De todos los pazos de Vilagarcía, el de Vistalegre es el único que cuenta con la declaración de Monumento Histórico Artístico. El edificio hunde sus raíces en la fundación misma de Vilagarcía, pues fue entonces, a mediados del siglo XV, cuando García de Caamaño decidió construir una torre en este lugar desde la que dominaría el recientemente creado burgo y puerto.

Pasados los años, un incendio destruyó la edificación, que daría lugar al actual pazo, levantado hacia 1545, cuando se instituyó el morgado de Vistalegre, por iniciativa de Álvaro Gómez de Sotomayor, nieto del fundador, pero sobre todo por el empeño y la ayuda económica del hermano de Álvaro, Rodrigo de Mendoza, abad de Teverga (Asturias) y capellán de Carlos V.

Ocupando buena parte del antiguo castro de Alobre, situado en un alto y al pie de las marismas del río de O Con y del antiguo Camino Real que unía Cambados con Vilagarcía y esta con Santiago, Vistalegre ofreció la imagen de una gran casa con dos torres laterales durante casi cien años, hasta que un rayo derribó la torre sur.

Hacia 1645, un nieto de don Álvaro, Fernando de Andrade, arzobispo de Santiago, ordenó construir el convento de Agustinas. Fue entonces cuando la torre fue levantada de nuevo, pero ahora sobre el convento, y cuando pazo e iglesia quedaron unidos por su característico arco-pasadizo.

A principios del siglo XX, el pazo fue sed del viceconsulado británico, para ser propiedad después de un rico indiano, Andrés Fernández, propietario de la mayor mina de plata de México. En los años 20, el pazo volvió a sus antiguos dueños, los marqueses de Vilagarcía, encarnados ahora por la familia Barrio.