Fernando de Andrade e Pérez das Mariñas, I Conde de Andrade, deixou na vila de Pontedeume o mellor do seu mecenado: o Convento dos Agostiños e a Capela Maior da igrexa de Santiago, onde, como mandara no seu testamento, foi enterrado en 1540. 

Dentro dos monumentos da vila, o convento ocupa un lugar destacado; fundado en 1538, nunha horta propiedade de Don Fernando, que pasará a mans do convento. Na escritura da fundación determínase que debía poñerse baixo a advocación de San Miguel Arcanxo, cláusula esta que non se cumpriu e remata chamándose de Santa María de Gracia, coma querían os frades. 

O deseño do edificio seguía os criterios da arquitectura do renacemento máis puro e menos plateresco, é dicir, con pouca decoración coma así se reflicte na fachada. A porta principal destaca polas súas feituras barrocas, con decoración de orelleiras e molduras, igual que nas ventás, creando claroscuros e xigantismos propios do barroco, estilo que se debe á ampliación do século XVIII realizada baixo o mecenado do arcebispo Rajoy. Na fachada posterior, obsérvase unha ampla escalinata que da ao claustro baixo, un lugar destacado, xa que adoitaba ter unha fonte onde os frades facían as súas ablucións antes das comidas. O claustro baixo está formado por unha arcas mentres que o superior fórmase con arquitrabe sobre columnas pilastras de fuste liso. O convento tiña dous corredores: o alto e o baixo, esta conectado coa igrexa (hoxe desaparecida) para realizar as procesións, prolongando así o culto e a celebración que se facía no espazo da igrexa, capelas e o coro. 

O convento tivo unha existencia próspera até a súa extinción en 1835. Pouco despois, en 1852, o Concello adquire o edificio para destinalo a escola de nenas, cuartel e cárcere do partido xudicial, o que nunca chegou a suceder. Posteriormente, foi vivenda particular até que nos anos 80 pasa de novo a mans municipais. Tras a súa rehabilitación converteuse na Casa da Cultura.