Junto a lo que puede ser verídico del castillo, existe lo anecdótico, y en la leyenda se habla de una galería misteriosa o pasadizo secreto que comunicaban las dependencias de la fortaleza con la otra orilla del río Matachel, e incluso en algunas llegaban hasta Mérida.

Este castillo se encuentra abandonado y arruinándose por la indiferencia del Municipio y del pueblo, pero más tarde se hicieron importantes reparaciones, presentándose en la actualidad una fortaleza con un imponente aspecto. Sus impresionantes construcciones se alzan gallardas en los altos del peñascal que domina el caserío urbano. Se cuenta, que durante la Guerra de Sucesión, fue sitiada la plaza por las tropas del Archiduque de Austria, pretendiente a la corona de España, por el General portugués Conde de las Galbeas.

Esta grandiosa obra y su vasta edificación, construida sobre bases romanas, es gótico del siglo XIII, siendo uno de los castillos más completos del medievo. Esta gran fortaleza de planta oblonga de semejanza a la de un barco, consta de dos recintos con sus correspondientes líneas de defensa; la meseta de la colina en que se asienta sólo es franqueable por el Suroeste, ofreciéndose muy escarpada por el Norte y muy accidentada y quebrada por el Este. La puerta más antigua, fortificada, está en el lado Oeste de la población y como en la mitad de la línea longitudinal de defensa, que es la del segundo y más importante recinto.