Fue fundado en tiempos remotos con el nombre de "Valle de los Trigos", trasladandose más tarde al lugar que hoy ocupa, con el nombre de "Retamoso"; diminutivo-despectivo de "retama" o "retamar", el final "-oso" es muy frecuente en la comarca.
Estuvo habitado por iberos celtizados o por celtas que dejaron testimonio de su cultura, lo mismo que los hispano-romanos que también vivieron aquí. Los primeros habitantes de esta aldea son labranceros de Torrecilla que, a mediados del s. XVl ,se fueron asentando a las orillas de los arroyos Retamoso y Piloncillo, constituyendo dos núcleos: "Retamoso de Arriba" y "Retamoso de Abajo", que finalmente se unen, aunque se advierte la línea de los dos antiguos barrios.