Bien qu'il existe des traces de présence humaine dans le château de la ville de Castelo Branco datant de la pré-et proto-histoire, le château a été construit seulement au Moyen-Age. Érigé par les Templiers, probablement entre 1214 et 1230, le château a été délimitée par une ligne de murailles et de tours. Selon les témoignages, il était le roi D. Dinis qui a élargi les limites du château, mais il existe des preuves pour montrer que le roi Afonso IV (1343) avait construit leurs murs.En lisant le Livre de Forteresses, écrit par Duarte de Armas, nous considérons que, dans le siècle. XVI, Blanc Castlo était une ville fortifiée avec ses rues étroites et ses maisons avec une grande porte pour le cheval et une porte étroite pour le chevalier et sa famille.