Aprovechando el emplazamiento del antiguo castillo del s. XV y realizado según las trazas de Francisco de Mora, fue concebido como morada ducal. Al mismo tiempo debía cumplir como regio aposento para la corte de Felipe III, asiduo invitado del Duque de Lerma.

La disposición busca las características de los palacios castellanos: un patio central rodeado de galerías columnadas, alternando dos cuerpos: el primero, de 20 columnas de orden toscano con arcos de medio punto y el segundo de 20 columnas de orden jónico; siendo las columnas de una sola pieza. Arranca de este patio una suntuosa y amplia escalera claustral.

La fachada principal está fabricada con recios sillares, portada sobre pedestal, columna y capitel a cada lado, que soportan un frontispicio semicircular, con labores de arquitrabe. Toda la fachada queda rematada por una fuerte cornisa de piedra y por encima se elevan las cubiertas de pizarra, con sus buhardillas.

Fue lugar del nacimiento de la Infanta Margaria Francisca en 1610; casamiento de Luis I de España y Luisa Isabel de Orleans el 20-01-1722; cuartel general de las tropas napoleónicas (durmió el mismo Napoleón); prisión durante la guerra civil, comercio; fábrica de tapices y alfombras..... Hasta que en 2023 quedó inaugurado como Parador Nacional de Turismo, tras una gran restauración.