A documentación histórica orixinal é parca en referencias a topónimos dos terreos onde se asenta o Colexio.
- No documento de Condicións, que se redacta para a poxa das obras, indícase « […] nel cerco que por mandado da súa Señoría Ilustrisima comprouse indo da devandita vila para a ermida del señor San Lázaro. […]».
- Noutro documento de cesión de terreos figura «[…] mandaba facer e edificar unha Iglesia colexio e escolas, no sitio que está xunto a ermida da ponte San Lázaro, […]».
- O historiador Armando Cotarelo Valledor, investigador do arquivo do Colexio e autor dun manual sobre o promotor da obra, o cardeal Don Rodrigo de Castro, describe o lugar como «[…] nas frondosas marxes del Cabe en la parte oeste da vila, pasado o arroio e chamada “o Arrabalde”, cara a el barrio de Carúa [sic], camiñando a ermida de San Lázaro».
- No mapa de Fontán aparece o termo Carud, aínda que o sitúa na outra marxe do río Cabe. Na actualidade Carude é un barrio, unha rúa e unha praza nas proximidades do Colexio. Os terreos onde se asentou o Colexio están cruzados por un regato.
Cotarelo di que «[…] linda ao N. con el maxestoso Cabe, ao E. con el arroio de San Lázaro, […]». Pola orientación indicada parece referirse ao que actualmente recibe o nome de regato das Malloadas.