Situado en cota más alta de la Villa, y asentado sobre un espolon rocoso, en este castillo vivió el Papa Luna y allí también fueron llevado sus restos cuando murio.
Fue declarado Monumento Nacional el 3 de Junio de 1.931. De estilo es mudéjar, renacentista y barroco. De el destaca su portada de tres alturas, enmarcada por tres torres de planta circular. En la primera planta se abre la puerta de acceso, de medio punto entre pillastres de capitel toscano y frontón partido de volutas, entre pillastres toscanos. El interior está muy deteriorado, la escalera conserva la cúpula sobre pechinas y con interna, y alguna habitación, friso de lacerías mudéjares, pero los artesonados han desaparecido.