El templo fue construido en 1498 fuera del casco urbano para albergar un lazareto. Con el tiempo, el edificio se convirtió en un oratorio dedicado al Cristo de la Salud, considerado patrón de la ciudad junto a la Virgen de la Victoria.
Se construyo para albergar a la "Cofradía de San Lázaro y de San Blas", una cofradía que existía con anterioridad al propio edificio y cuya membresía estuvo sometida a estatutos de limpieza de sangre. El lugar elegido, situado entonces fuera de la ciudad, se debía a que el edificio fue construido como lazareto para evitar que los enfermos de peste tuvieran que albergarse en los hospitales de la ciudad.