El edificio que alberga el archivo es la planta baja del palacio colonial que compone el palacio episcopal de Plasencia. Este palacio de estilo colonial se comenzó a construir en 1772 y se concluyó en 1774. Su coste duplicó los 200.000 reales que se presupuestaron de inicio. Los materiales utilizados fueron mampostería de granito con techos abovedados de ladrillo.
En él se encuentra los depósitos, las salas de consulta y trabajo, aseos y almacén.