Aprovechando el emplazamiento del antiguo castillo del s. XV y realizado según las trazas de Francisco de Mora, fue concebido como morada ducal. Al mismo tiempo debía cumplir como regio aposento para la corte de Felipe III, asiduo invitado del Duque de Lerma.
La disposición busca las características de los palacios castellanos: un patio central rodeado de galerías columnadas, alternando dos cuerpos: el primero, de 20 columnas de orden toscano con arcos de medio punto y el segundo de 20 columnas de orden jónico; siendo las columnas de una sola pieza. Arranca de este patio una suntuosa y amplia escalera claustral.
La fachada principal está fabricada con recios sillares, portada sobre pedestal, columna y capitel a cada lado, que soportan un frontispicio semicircular, con labores de arquitrabe. Toda la fachada queda rematada por una fuerte cornisa de piedra y por encima se elevan las cubiertas de pizarra, con sus buhardillas.
Sobre aquellas cornisas y en las cuatro esquinas, arrancan los cuatro torreones rematados por chapiteles también cubiertos de pizarra, con gran bola, veleta y cruz.
Todo el Palacio estaba compuesto por 210 balcones de hierro y 135 ventanas entre buhardas y rejas.
El Palacio fue utilizado como cuartel general durante la invasión napoleónica e incendiado en su huida , perdiendo sus cuatro chapiteles.
Ha sido rehabilitado como Parador de Turismo, inaugurado en 2003, recobrando su aspecto original y el encanto perdido en siglos pasados.
