O arcebispo eumés Bartolomé Rajoy e Losada, construíu o seu pazo xunto á praza do Pan, na que fora a casa de seu pai, o boticario, Nicolás Rajoy. 

Asinado a Alberto Ricoy, datándose a súa construción entre 1766 e 1767, na súa fachada conviven elementos da escola compostelana con outros novos, máis clasicistas, de influencia francesa.

Do edificio orixinal só se conserva a fachada, sobre a que destaca un remate co escudo de armas do eclesíastico. Está composta de tres pisos: un baixo con soportais, dous pisos con balcóns; pilastras de orde xigante percorren a fachada dende a base até o remate en cornixa con molduras.