Fernando de Andrade y Pérez das Mariñas, I Conde de Andrade, dejó en la villa de Pontedeume el mejor de su mecenazgo: el Convento dos Agostiños y la Capilla Mayor de la iglesia de Santiago, donde, como había mandado en su testamento, fue enterrado en 1540. 

Dentro de los monumentos de la villa, el convento ocupa un lugar destacado; fundado en 1538, en una huerta propiedad de Don Fernando, que pasará a manos del convento. En la escritura de la fundación se determina que debía ponerse bajo la advocación de San Miguel Arcanxo, cláusula esta que no se cumplió y termina llamándose Santa María de Gracia, como querían los frades. 

El diseño del edificio seguía los criterios de la arquitectura del renacimiento más puro y menos plateresco, es decir, con poca decoración como así se refleja en la fachada. La puerta principal destaca por sus hechuras barrocas, con decoración de orejeras y molduras, igual que en las ventanas, creando claroscuros y gigantismos propios del barroco, estilo que se debe a la ampliación del siglo XVIII realizada bajo el mecenazgo del arzobispo Rajoy. En la fachada posterior, se observa una amplia escalinata que da al claustro bajo, un lugar destacado, ya que solía tener una fuente donde los frades hacían sus abluciones antes de las comidas. El claustro bajo está formado por una arcas mientras que el superior se forma con arquitrabe sobre columnas pilastras de fuste liso. El convento tenía dos corredores: el alto y el bajo, esta conectado con la iglesia (hoy desaparecida) para realizar las procesiones, prolongando así el culto y la celebración que se hacía en el espacio de la iglesia, capillas y el coro. 

El convento tuvo una existencia próspera hasta su extinción en 1835. Poco después, en 1852, el Ayuntamiento adquiere el edificio para destinarlo a la escuela de niñas, cuartel y cárcel del partido judicial, lo que nunca llegó a suceder. Posteriormente, fue vivienda particular hasta que en los años 80 pasa de nuevo a manos municipales. Tras su rehabilitación se convirtió en la Casa de la Cultura.