A parroquia de Santa María da Oliveira, antes Santa María do Burgo -por atoparse fóra das murallas- é, de todas as existentes na vila, a que ofrece a documentación máis antiga e completa. A primeira información data do mes de marzo de 1164, e fai referencia á doazón da devandita igrexa ao mosteiro de Oseira por parte do rei Fernando II. A súa disposición e formas correspóndense co estilo Románico de transición.

No século XIII foi reconstruída e no  XIV pasou á xurisdición do Bispado de Tui. Da igrexa primitiva só se conserva a fachada, ben conservada, cun rosetón de interese; cabe destacar o arco oxival da portada. O resto do edificio pertence a épocas posteriores, sobre todo ao Renacemento.

O adro que a rodea serviu como lugar de sepultura ata a construción do camposanto municipal no século XIX. No centro deste adro atópase un cruceiro co fuste estriado; o capitel de orde composta e a cruz ostentan por un lado a imaxe de Xesús Crucificado e, polo outro, a Purísima Nai con manto azul.
No seu interior existen diversas imaxes e retablos, datados entre os séculos XVII e XIX.
Este templo foi declarado en 1773 único “Lugar de Asilo” de Ribadavia, en virtude dun Breve de Clemente XIV; este dereito de asilo foi abolido en 1822.