Isabel la Católica donó al Monasterio del Parral de Segovia un pequeño palacio mandado construir por Enrique IV en 1450 para sus cacerías por los montes de Valsaín, junto con la cercana ermita de San Ildefonso. Los monjes construyeron una hospedería y una granja, que fueron adquiridas por Felipe V en 1720 como lugar para retirarse. Comenzó entonces la construcción de un nuevo palacio y numerosos inmuebles colindantes para alojar a la servidumbre. Durante el reinado de Carlos III se consolidó el trazado urbanístico del Real Sitio, que habría de ser residencia veraniega de la corte durante más de un siglo.
En sus cercanías, Isabel de Farnesio, durante el reinado de Fernando VI y por indicación de éste con el fin de mantenerla alejada de los asuntos de Estado, mandó construir en 1751 un palacio en un antiguo coto de caza, el Real Palacio de Riofrío, que después sería utilizado por los reyes en sus jornadas de caza.
La documentación conservada en el Archivo General de Palacio incluye también la relativa a Riofrío, así como algunas series de fecha anterior de la Real Junta de Obras y Bosques
relativas a las Casas Reales y Bosques de Segovia y Valsaín, y especialmente al Real Ingenio de la Moneda de Segovia.