Comezouse no século XIII e reformouse durante o XIV e o XV. Presenta un excelente estado de conservación. Conta con murallas e foxo, sobre o que se tende unha ponte anteriormente levadiza. O edificio está construído en planta poligonal e ten catro torres e patio de armas. Os seus muros, de case dous metros de grosor, soportaron frecuentes ataques, como os da Guerra Irmandiña, feito que inspira a festa máis coñecida da vila: o Asalto ao Castelo. Foi obxecto de encarnizadas disputas por parte do arcebispo Fonseca de Compostela e a familia dos Moscoso, dous dos poderes máis importantes da Galicia medieval. Durante séculos, foi propiedade dos condes de Altamira e centro dunha extensa xurisdición de terra e mar, gobernando os portos de Camariñas e Laxe. A finais do século XIX o poeta do Rexurdimento Evaristo Martelo Paumán del Nero manda restaurar o castelo trala venda á sua familia. Finalmente, pasou a pertencer á Deputación da Coruña, institución que o rehabilitou e dedicou ao uso público, xestionado polo Concello de Vimianzo.
No seu interior pódense ver traballando a diferentes artesáns na Mostra de Artesanía ao Vivo: encaixe vimiancés, liño, olaría, cestaría, trenzado en palla, maquetas de barcos ou xoiaría en vidro.