El monasterio fue fundado en el siglo X por Osorio Gutiérrez, el conde santo, que a su muerte fue enterrado en su templo, en un sarcófago marmóreo paleocristiano del siglo VI originario de Aquitania. El sarcófago puede verse en la capilla de Valdeflores (siglo XVIII) de la iglesia monasterial.

De los primeros siglos de la historia de este cenobio se conservan un arca del IX y una lauda del XII. En esta última centuria se pasa de una congregación familiar a depender de la Orden benedictina y, a principios del XVI, queda bajo la influencia de San Benito de Valladolid. En el XIX, con la Desamortización, se inicia la decadencia, hasta que entre 1910 y 1942 se recobra la vida monástica con la llegada de monjes dependientes de Samos. Disgregada esta comunidad, y tras un tiempo como Seminario Menor Diocesano, dependiente del obispado de Mondoñedo, se hace cargo del edificio el Ayuntamiento, que sitúa en él su sede.

El carácter medieval de la construcción se pierde con las remodelaciones de los siglos XVII y XVIII. Es precisamente en el segundo tercio del XVIII cuando se finaliza la fachada barroca de la iglesia del monasterio por el arquitecto Fernando de Casas Novoa, considerada precedente de la fachada del Obradoiro de la catedral de Santiago.

Desde los años 60 del siglo XX la edificación alberga también un interesante Museo de Arte Sacro.

En 1974 el conjunto es declarado Monumento Histórico Artístico.