Valfermoso de Tajuña, tenia el nombre, antiguamente de Valfermoso de las Sogas, por haberse dedicado su población a esta industria y manufactura. Tras la reconquista de la zona por los cristianos, a finales del siglo XI, Valfermoso fue aldea del Común de Villa y Tierra de Hita.
Son de interés, las ruinas del antiguo castillo medieval, que fue levantado en los años medios del siglo XV por don Pedro Laso de Mendoza. Su planta y estructura era en todo similar al de Torija.
Hoy en día, solo podemos observar las escuetas ruinas que consisten en gran murallón de la torre mayor; bases de dos torreones esquineros; funda-mentos de sus muros, y el aljibe.
En la plaza mayor, magnífica fuente pública, donde se alza la gran iglesia parroquial dedicada a San Pedro Apóstol, y que es de unas dimensiones gigantescas. Es obra del siglo XVI.