Pertenceron a unha fortaleza do século XIV situada na vila da Laracha. Tivo unha gran relevancia na época feudal, os primeiros propietarios foron os  Andeiro, familia orixinaria das terras de Bergantiños. Tamén pertenceron a familias nobres como os Gómez Pérez das Mariñas. Sufriu as consecuencias dos ataques irmandiños.
No ano 1988, as pedras da fortaleza medieval foron utilizadas para a construción dunha ponte. Isto provocou a desaparición do portón, as torres e a muralla. Consérvase unha pedra armeira no pazo de Oca (A Estrada).
Hoxe en día aínda se conservan parte do muro perimetral e a vivenda da torre.
Trátase dun dos símbolos municipais máis coñecidos ao aparecer representado no escudo do Concello da Laracha.