En el casco viejo de As Pontes se destacan la Iglesia parroquial de Santa María y su cruceiro, los tres puentes conservados y diferentes viviendas con galerías, corredores y balcones, algunas más de estilo urbano-marinero y otras de típico estilo rural. Aún podemos comprobar la antigüedad medieval de sus tortuosas calles, donde antaño en lugar próximo a la plaza Real se ubicaba el antiguo castillo de García Rodríguez, señor de As Pontes a partir de mediados del s. XIV. Hoy no se conserva ni siquiera en ruinas, pero muchas de las piedras con inscripciones de motivos diferentes que podemos encontrar en los dinteles de ventanas y puertas de algunas casas, han sido reaprovechadas de las ruínas del castillo. Algunas de estas casas están restauradas, otras abandonadas y otras profundamente reformadas. En torno al casco antiguo pontés se ha ido desarrollando la moderna villa en diferentes poblados, sobre todo a partir del auge industrial y poblacional que supuso Endesa en la zona. El ayuntamiento tiene un plan de protección especial del casco antiguo.