El santuario alberga La Virgen del Castañar que es la patrona de Béjar y su comarca. Los orígenes de su culto mariano se remontan al año 1446, fecha en la que, de manera milagrosa, es hallada su imagen enterrada a los pies de un frondoso castaño en el monte Castañar por unos pastores, Joaquín López e Isabel Sánchez, del vecino pueblo de La Garganta, en un momento en que una feroz epidemia de peste asolaba el alfoz. Las narraciones legadas sobre el milagro cuentan que la enfermedad infecciosa cesó en el instante en que los bejaranos acudieron en masa para postrarse ante la Virgen, por lo que su advocación se vinculó a la sanación, en particular de pestes y epidemias.
Pronto se iniciarían la construcción de una modesta ermita en el mismo lugar del hallazgo, cuyas obras se prolongarán a lo largo de los siglos hasta convertirse en el santuario que actualmente conocemos y, adyacente al templo, una casa para que residiera en ella un ermitaño o vigilante.
Durante cuatrocientos años, esto es, hasta la llegada de la comunidad franciscana en 1899, la ermita permaneció aislada de la población y expuesta a posibles saqueos. El miedo a perder el dominio sobre el culto mariano motivó la fundación de la Cofradía de la Virgen del Castañar encargada de mediar en su culto junto a los clérigos de la villa organizados en un Cabildo Eclesiástico desde la Edad Media
A partir de 1946 son custodios de la Virgen los padres Teatinos, como, con anterioridad lo fueron los franciscanos.