Cuenta la leyenda que el hijo bastardo de Carlos V, Jeromín, el futuro Don Juan de Austria, conoció a Magdalena, la hija del señor de Pasarón, y que entre ellos surgió un intenso amor juvenil.

Pero el abuelo de ella, enemigo del emperador y favorable a la causa comunera, no vio con buenos ojos esa relación y desde un primer momento se opuso.  En una ocasión los vio besándose y desde entonces la joven fue encerrada en una habitación de los sótanos del palacio, donde al cabo de los años murió.

Se dice que aun hoy la joven Magdalena vaga por el interior del palacio en los días de luna llena.

En recuerdo de la protagonista, una de las calles que bordea el palacio de Pasarón de la Vera lleva el nombre de Magdalena.

Lo cierto es que  el actual palacio de Pasarón fue mandado construir por Garci-Fernández Manrique de Lara, III conde de Osorno y señor de Pasarón, fallecido diez años antes de la llegada del emperador a Yuste. El conde no era en modo alguno contrario al emperador Carlos y de hecho ocupó cargos de máxima importancia en la corte española de la primera mitad del siglo XVI.  Se le recuerda también por su lucha contra los comuneros en 1520.

Su sucesor fue el IV conde de Osorno, Pedro Fernández Manrique de Lara y Luna, miembro del círculo más cercano al emperador en su  retiro de Yuste.