Aunque haya vestigios de la presencia humana en el castillo de Castelo Branco que remontan a la pre y protohistoria, el castillo solo fue construido en la la Edad Media. Erigido por los Templarios, probablemente entre 1214 y 1230, fue delimitado por un recinto de murallas y torres. El rey D. Dinis presuntamente amplió los límites del castillo, sin embargo, hay evidencia de que fue el rey D. Afonso IV (1343) que construyó sus murallas.A través de los grabados del libro Fortress, escrita por Duarte de Armas, podemos considerar que en siglo 16, Castelo era una ciudad fortificada, con calles estrechas y edificios con una gran puerta para el caballo y una puerta estrecha para el caballero y su familia.