No seu estudo titulado “Os efectos de sismo de Lisboa de 1755 sobre o patrimonio monumental de Galicia” a súa autora Dª Begoña Ces Fernández dous dá a seguinte noticia a conto das dificultades que se atopaban para a construción do Colexio do Cardeal:
“Pero as obras deberon proseguir ao longo do século XVII, posto que o mestre Simón de Mosteiro traballaba en 1620 no “cuarto da dianteira que agora se está facendo” pero abandona os traballos en novembro de 1622 por carecer o colexio de fondos para concluílos ( Bonet Correa, 1984: 181-182) e entre os documentos conservados no Arquivo do Colexio, menciónanse unhas provisións da Real Audiencia, datadas o 14 de abril de 1625, 5 de xaneiro dos efectos de sismo de Lisboa de 1755 sobre o patrimonio monumental de Galicia 1653 e 22 de agosto do mesmo ano para que se vendesen ao Colexio as madeiras que necesitase e non se impedise pasar os carros de pedra polos sitios afeitos.
Os relixiosos acudiran en varias ocasións a a Real Audiencia para solicitar a súa intervención. En 1625 a dificultade consistía en que algúns labradores impedían o paso dos carros de pedra para a obra da igrexa polos saídos das súas casas e campos, o que supón que aínda se estaban realizando obras no templo tras a súa consagración. No 1653 o problema xurdira porque o Colexio necesitaba moita madeira para proceder ás ampliacións que estaban a facer “para aumento dos xenerais que hai no devandito colexio para os estudos públicos que alí hai e para a necesidade dos suxeitos que asisten no devandito Colexio” e os veciños xa non lla querían vender. A obra á que se refiren é un cuarto do claustro destinado a dormitorio e situado cara ao Norte, do que xa estaban feitas as paredes pero que carecía de vigas e madeiras pola dificultade para atopar quen llas vendese.”