Actualmente pertence á Fundación “ Colexio Nosa Señora dá Antiga, Monforte de Lemos”. Mándao construír ou Cardeal D. Rodrigo de Castro Osorio (1523-1600), sendo cardeal de Sevilla. Este Cardeal é fillo dá III Condesa de Lemos Dª Beatriz de Castro, naceu en Valladolid en 1523. Estudou na Universidade de Salamanca e licenciouse en Leis e Canons. Acompañou a Felipe II a Flandes e Inglaterra. En 1553 era secretario en Roma, de D. Fernando Ruiz de Castro, 4º Conde Lemos, medio irmán seu. En 1556 é ordenado sacerdote e rexenta varias parroquias de Galicia. Bispo, sucesivamente, de Zamora e Conca. En 1581 é promovido á sede arzobispal de Sevilla e dous anos máis tarde é nomeado Cardeal por Gregorio XIII. Na súa visita a Santiago de Compostela, 1590, concibe a idea de construír aquí, non solar dúas seus maiores, un pequeno Escorial, que fose centro de cultura para Galicia, panteón familiar e museo de arte. Xa iniciadas as obras, só alcanza a ver vos cimentos, pois morre en 1600 aos 77 anos. Dispuxo ser enterrado en leste ou seu colexio, e aquí está nun nicho á beira do evanxeo, debaixo dunha estatua súa en actitude orante, obra de Juan de Bolonia.
Os xesuítas, membros da Compañía de Jesús, foron os escollidos, desde o principio para non só dirixir a construción da igrexa e edificio restante, senón para rexentar o Colexio. Estarán aquí ata 1767 en que son expulsados por orde de Carlos III. Foi unha orde perentoria, que non lles permitiu levar nada aos 11 relixiosos que residían aquí. A súa estancia durou 174 anos. Quíxose borrar todo vestixio dos xesuítas e iso explica que o seu anagrama ( JHS) fose borrado ou rascado de todos os sitios onde aparecía: retablo, púlpito, claustro, portas exteriores.Desde entón e ata 1873, que veñen os escolapios, o Colexio do Cardeal foi dedicado con máis ou menos fortuna a diversos labores: Real Seminario, Centro Real Colexio de Humanidades e Belas Artes, Instituto Provincial de Lugo. Este período durou 106 anos. O edificio quedou feito unha ruína. En palabras do arquitecto D. Francisco Pérez dos Cobos, comisionado polo Padroado, resume a situación nun informe, en que di:
“O edificio, tal como está hoxe, está completamente inhabitable e sorprende verdadeiramente que haxa sequera un alumno que veña a buscar o ensino nun Colexio nesas condicións. Hai bóvedas vencidas, muros desnivelados, todo o teitume ameaza esborrallarse; dous patios, un en ruínas e o outro sen terminar, non deixan lugar a dúbidas de que nun prazo moi breve o edificio desaparecerá e con el o ensino”.
É entón cando o apoderado do Duque de Alba, D. José Guitián e García fai xestiónelas pertinentes para que se fagan cargo do Colexio os Escolapios, membros da Orde das Escolas Pías, fundada polo aragonés San José de Calasanz. Facía 6 anos que estes relixiosos fixéronse cargo, para exercer o seu carisma, do Mosteiro de S. Rosendo, en Celanova (Ourense e 1867). Chégase a un acordo e asinan o contrato por unha banda o Conde de Lemos, D. Jacobo Fitz James Stuart e polo outro o Provincial dos escolapios P. Julián Viñas, o 31 de xaneiro de 1873. Estes fanse cargo do Colexio o 18 de marzo do mesmo ano e en outubro-novembro empezan o curso con 153 alumnos de Primaria. Aos 3 anos os escolapios estiveron preto de abandonar colexio e cidade, de maneira sigilosa, pola situación económica insustentable, xa que nin o Duque, nin o Concello querían pagar o que se estipulou no contrato. Afortunadamente chegouse a un acordo e aínda seguimos aquí. Os Escolapios terminaron as obras, realizan o mantemento, fan melloras e conservan o edificio, tal como está agora. Levamos aquí, en 2019, 146 anos.