La ermita de Nuestra Señora de las Cruces fue construida tras la aparición, el 12 de octubre de 1375, a Sebastián González; un pastor que guardaba su ganado en la Serrezuela. Al lado de una fuente se encontró la talla de la Virgen de las Cruces.
La actual ermita se construyó a principios del siglo XVII. Y según los libros de cuentas de la parroquia de Santiago (1582), cuando terminaron las obras de esta iglesia, las maderas de los andamiajes, fue parte para la ermita de las Cruces y parte para el convento de franciscanos de Medellín, por mandato del Sr. Visitador. Por aquel tiempo, la patrona de Don Benito era aún la Virgen de la Piedad.
También se ha referido ya lo maltrecha que quedó la ermita en la guerra de la Independencia (1808-1814), su posterior reconstrucción y como, a partir de estos acontecimientos, la Virgen de las Cruces pasa a ser la Patrona. En el año 1901 se reformó el presbiterio y se colocó la verja de separación, que sólo se abre cuando se celebra el culto religioso.
En 1931 se hizo obra en el presbiterio y el retablo. La imagen de la Virgen fue llevada al pueblo, a causa de la sequía, el 11 de febrero. Aprovechando estas circunstancias se hicieron las obras aludidas, razón por la que su permanencia en el pueblo fue de las más prolongadas: hasta las 7 de la mañana del 12 de abril en que el vecindario, en medio de un gran fervor y en concurrencia de los pueblos próximos, la acompañó de regreso a su ermita.
Una vez más, en esta ocasión por la guerra fratricida de los españoles (1936-1939), hubo que hacer nuevas reparaciones. Pedro Torre-Isunza González realizó la imagen que se venera en la actualidad; y el nuevo mayordomo, el Conde de Campos de Orellana, adquirió el hermoso retablo barroco, procedente de una capilla del palacio del Marqués de Montsalú, que hubo que adaptar al altar. Hizo también a su costa un anexo para vivienda de los ermitaños y un amplio salón para los usos y necesidades de la ermita.
En 1968 se construyeron los soportales de la parte norte.
En 1983, el obispo de Plasencia Antonio Vilaplana, declaró a esta ermita «Centro Oficial de Peregrinación en la zona sur de la Diócesis», durante el Año Jubilar de la Redención.
En el año 1991 se realizaron las obras que dan el aspecto que en estos momentos tiene la ermita.