El fundador del convento del Espíritu Santo fue Pablo Pérez, que acompañó a los hermanos Pizarro en la conquista del Perú y recibió privilegios de nobleza por parte de Felipe II. Comenzó construyendo una capilla junto a su casa, obteniendo el 25 de mayo de 1556 la licencia del obispo Enríquez de Almansa para que se pudiese dar misa en ella. El 1 de septiembre de 1558 se produce la toma de posesión por parte de la comunidad de frailes, siendo su primer padre guardián fray Francisco de Chaves. El convento pasaría a formar parte de la provincia franciscana de San Miguel. Existe constancia de que el 31 de julo de 1567 se habían iniciado unas obras para ampliar y mejorar el convento, dichas obras se prolongarían por varias décadas, llegando a ser terminadas en su mayor parte en 1641.
La vida del convento cesó en 1835 cuando tuvo que cerrar sus puertas tras la exclaustración decretada por Mendizábal.