Las primeras noticias que hay sobre la ermita es una provisión real de 1528 para la finalización de su construcción, dicha ermita primitiva fue destruida en 1685 por un incendio. La nueva ermita ya se había construido en 1686 y el 18 de agosto se colocó la nueva imagen en la nueva ermita.
En 1809 volvió a ser destruida con motivo de la ocupación francesa y la imagen trasladada. Finalmente en 1989 se vuelve a constituir la Hermandad de la Virgen de la Piedad y construye una nueva ermita