El arzobispo eumés Bartolomé Rajoy y Losada, construyó su pazo junto a la plaza del Pan, en la que había sido la casa de su padre, el boticario, Nicolás Rajoy. 

Atribuido a Alberto Ricoy, datándose su construcción entre 1766 y 1767, en su fachada conviven elementos de la escuela compostelana con otros nuevos, más clasicistas, de influencia francesa.

Del edificio original solo se conserva la fachada, sobre la que destaca un final con el escudo de armas del eclesíastico. Está compuesta de tres pisos: un bajo con soportales, dos pisos con balcones; pilastras de orden gigante recorren la fachada desde la base hasta el remate en cornisa con molduras.