Valderrebollo perteneció, tras la reconquista, a la tierra de Atienza, pasando luego apertenecer de la jurisdicción de Jadraque. En 1493 la adquirió por compra al Rey, en doscientos mil maravedíes, el conde de Cifuentes, don Juan de Silva, quien incorporó este lugar a sus estados señoriales. En el siglo XVI se hizo Villa por sí, pero continuó bajo la posesión de los Silva y Mendoza, pasando luego a los duques de Pastrana y duques del Infantado.
De interes, la iglesia parroquial que está dedicada a la advocación de Nuestra Señora de la Leche. Su portada de ingreso, en el muro sur, resalta su estructura.
El ejemplar de esta arquitectura civil consiste en columna cilíndrica de fuste estriado, rematada en capitel jónico.