En el siglo VI el Papa Gregorio I de paso a Toledo hizo una parada en este lugar y donó la imagen de la Virgen de la Sierra. Con la llegada de los árabes a España, la imagen fue escondida en un árbol, de donde fue rescatada tras la Reconquista.
Desde 1201 se tiene constancia de la celebración de la fiesta de la patrona, el 8 de Septiembre, y de su importancia como lugar de peregrinaje.
En la Guerra Civil, durante la invasión de 1936, la primitiva imagen es quemada, y solamente pueden recuperarse las manos de la Virgen y la cabeza del Niño, a partir de las cuales se realizó en 1941 una réplica de la anterior imagen. A pesar de tratarse de una Virgen sentada en un trono, permanece vestida con un manto por una antigua tradición.
A la capilla se accede a través de un típico patio manchego, con pies derechos de madera y zapatas, decorado con la Cruz de Malta porque Villarrubia de los Ojos se ubica en el límite entre los dominios de la Orden de San Juan y la de Calatrava.
