Con toda seguridad existió un primitivo puente, en el camino de Lerma a Burgos, que salvara el paso del río Arlanza. El nuevo puente no se levantó hasta la fortificación de la villa lermeña y una vez asegurada su firme posición amurallada. Se construyó con recios sillares de piedra y estaba provisto de sus correspondientes pilares tajamares y estribos.
El Duque creó en la vega del río un precioso jardín, con huerta y coto privado de caza. Los jardines lo componían estanques con cisnes, cenadores, fuentes de alabastro, paseos cubiertos… Además el Duque construyó 7 ermitas que añadían devoción a la hermosura del parque. El Papa Paulo V en 1609 concedió a los fieles que orasen en cada una de estas ermitas, las mismas indulgencias que gozaban los que visitaban las siete Iglesias de Roma. En la actualidad podemos contemplar la del Humilladero, como único vestigio de la fastuosidad de los jardines.