Construción orixinaria do século XII, foi derrubado durante a Revolta Irmandiña e reconstruído por Pedro Madruga, con quen alcanza o seu máximo esplendor durante os anos finais do século XV. A finais do século XVIII pasou a ser propiedade do Marqués de la Vega de Armijo, quen o transformou nunha residencia de verán, construíndo nestes anos a famosa galería das damas de estilo neogótico. A súa sucesora foi a Marquesa de Ayerbe, María Vinyals para ser recentemente adquirido e restaurado pola Excma. Deputación de Pontevedra. O estado de conservación é bo, aínda que sufriu importantes reformas ao longo da súa dilatada historia. Sobresae a levada a cabo en 1780, segundo reza inscrición, ou a realizada nos últimos anos do século XIX, aproximadamente cara a 1870, a cargo do mencionado Marqués da Veiga e Armijo.O balcón corrido pseudogótico e o ameado do corpo principal son desta última reforma. Non obstante, o castelo conserva grande parte de época antiga, as súas dúas altas murallas ameadas, cos seus corpos defensivos e camiños de rolda, o patio de armas, antigas portas, a poterna, matacáns, troneras, restos da ponte levadiza coas súas defensas, a grande torre da homenaxe, o cárcere abovedado nun soto, etc. Dende as murallas, torre e edificio, contémplase un das paisaxes máis belas das Rías Baixas, o Val do Verdugo. Pola súa riqueza histórica, a súa bonita situación e a súa beleza arquitectónica é a fortaleza de Galicia máis importante que se conserva.