Una famosa leyenda (de la que se ha hablado mucho sin duda para dar publicidad al parador ubicado en el castillo), es la de la amante del Condestable Iranzo.

Se trata del condestable del reino de Castilla bajo las órdenes de Enrique IV en el siglo XV que efectuó esenciales remodelaciones en la urbe de Jaén.

Al parecer el condestable estaba locamente enamorado de una muchacha musulmana que por su parte lo amaba a él locamente.

El amor que los dos se profesaban era tal que los súbditos estaban horriblemente recelosos de ella puesto que consideraban que el hombre desatendía por su culpa sus funciones.

Encontrándose ausente el condestable, algunos hombres abordaron a la mujer, la violaron y después prendieron fuego a su cuerpo, acabando de este modo con su vida y con la del hijo que ella aguardaba.

Se dice que en la habitación que en su día ocupase la mujer se escuchan sus lamentos desesperados mientras arrastra y golpea los muebles.

Algunos huéspedes y trabajadores del parador aseguran que la han visto.

El espectro, celoso, se interpone cada vez que alguien procura realizar un retrato de su amante.