De todos os pazos de Vilagarcía, o de Vistalegre é o único que conta coa declaración de Monumento Histórico Artístico. O edificio afunde as súas raíces na fundación mesma de Vilagarcía, pois foi entón, a mediados do século XV, cando García de Caamaño decidiu construír unha torre neste lugar desde a que dominaría o recentemente creado burgo e porto.

Pasados os anos, un incendio destruíu a edificación, que daría lugar ao actual pazo, levantado cara a 1545, cando se instituíu o morgado de Vistalegre, por iniciativa de Álvaro Gómez de Sotomayor, neto do fundador, pero sobre todo polo empeño e a axuda económica do irmán de Álvaro, Rodrigo de Mendoza, abade de Teverga (Asturias) e capelán de Carlos V.

Ocupando boa parte do antigo castro de Alobre, situado nun alto e ao pé das marismas do río do Con e do antigo Camiño Real que unía Cambados con Vilagarcía e esta con Santiago, Vistalegre ofreceu a imaxe dun gran casa con dúas torres laterais durante case cen anos, ata que un raio derrubou a torre sur.

Cara a 1645, un neto de don Álvaro, Fernando de Andrade, arcebispo de Santiago, ordenou construír o convento de Agostiñas. Foi entón cando a torre foi levantada de novo, pero agora sobre o convento, e cando pazo e igrexa quedaron unidos polo seu característico arco-pasadizo.

A principios do século XX, o pazo foi sede do viceconsulado británico, para ser propiedade despois dun rico indiano, Andrés Fernández, propietario da maior mina de prata de México. Nos anos 20, o pazo volveu aos seus antigos donos, os marqueses de Vilagarcía, encarnados agora pola familia Barrio.