Apesar de existirem vestígios da presença humana no castelo de Castelo Branco que remontam à pré e à proto-história, o castelo só foi erigido na Idade Média. Erguido pelos Templários, provavelmente entre 1214 e 1230, foi delimitado por uma linha de de muralhas e torres. Alegadamente, foi o Rei D. Dinis quem expandiu os limites do castelo, no entanto há evidências que demonstram que o rei D. Afonso IV (1343) mandou erguer as suas paredes.Pela leitura do Livro das Fortalezas, redigido por Duarte de Armas, podemos considerar que, no séc. XVI, Castlo Branco era uma cidade fortificada, com ruas estreitas e casas com uma grande porta para o cavalo e uma porta estreita para o senhor e a sua família .