El origen institucional de la ermita lo podemos encontrar en el acuerdo del Concejo de Trujillo de 1531, el cual determino que la imagen de la Virgen con el niño, se colocase entre las dos torres del castillo, cumpliendo así con la venerable leyenda según la cual la Virgen se apareció con el Niño en sus brazos entre dos torres de la muralla, y gracias a ella se reconquistó la ciudadela.
Aunque para encontrar el origen de su devoción nos tenemos que retomar a 1233, un ejército formado por fuerzas de las Órdenes Militares y del Obispo de Plasencia puso sitio a la ciudad de Trujillo en ese entonces ocupada por los musulmanes. Finalmente, el 25 de enero de ese año, según la tradición, la Santísima. Virgen de la Victoria se apareció sobre los muros de la ciudad medieval de Trujillo (en el lugar llamado El Arco del Triunfo) anticipándole a los soldados el resultado de la batalla. Esto propició que ese día un grupo de aguerridos soldados cristianos encabezados por Fernán Ruíz reconquistaran definitivamente la villa pasando a pertenecer la ciudad a la Corona de Castilla durante el reinado de Fernando III.
La imagen de la Santísima. Virgen María de la Victoria que se venera actualmente en el castillo (Alcazaba de Trujillo) tomó su nombre en 1531 (hasta entonces llamada Santa María o la Asunción de Ntra. Señora), fecha en que fue tallada en piedra berroqueña por Diego Durán, y pintada y dorada seguidamente por Juan Notario y Antón Torino, entre los meses de Junio a Octubre de ese año.
La primera capilla para venerar la Virgen y poder celebrar misa se construye en los muros de la fortaleza entre los años 1546 y 1548. Una vez más, en 1583, la imagen se retoca y perfecciona disminuyendo un poco su tamaño por obra de Juanes de la Fuente, y se vuelve a pintar y dorar en Abril de 1584 por Juan Sánchez.
Más tarde, en 1912 la imagen adquirió su forma definitiva, quitándole la policromía y saneando la piedra hasta que finalmente, el 18 de Octubre de 1953, en un acto multitudinario en la Plaza Mayor de la ciudad, fue coronada canónicamente por el Nuncio de Su Santidad Monseñor Cicognani, siendo Obispo de la Diócesis de Plasencia Juan Pedro Zarranz y Pueyo