Existen indicios de que pudo ser construido en el siglo XII y ampliado o reconstruido en el siglo XIV.
Su historia está relacionada con la Reconquista y con los reyes Alfonso VI y Alfonso VIII, el primero por ser el conquistador de estas tierras a los musulmanes y por su romance y casamiento con Zaida, la princesa mora y el segundo por la reconquista y por dar los Fueros y el mercado a la Villa.
Aquí estuvo recluida Doña Urraca, mujer de Alfonso I el Batallador. En este Castillo estuvo prisionero el adelantado Pedro Manrique, por orden de Juan II. Álvaro de Luna, Marqués de Villena, también fue prisionero por diferencias con la Orden de Santiago y posteriormente fue dueño del Castillo.