Esta torre de base octogonal, antiga torre da homenaxe, é o único vestixio que nos lembra a existencia dun castelo fortaleza, cuxa orixe se remontaría ao século XI, aínda que este elemento data do XV. A súa silueta domina Vilalba, capital da comarca coñecida como a Terra Chá. Sábese que o antigo castelo, sucesivamente remodelado desde a súa orixe, no século XIII xa presentaba tres torres e unha muralla poligonal. Pertenceu aos señores de Lemos, pero posteriormente o rei Pedro I dooulla a Fernán Pérez de Andrade o Boo, sendo así como pasa ao patrimonio desta familia nobiliaria, que deixará os seus símbolos heráldicos na construción, como a representación pétrea do xabaril. Este primeiro Andrade deixa o castelo en herdanza ao seu irmán e este ao seu fillo Nuno Freyre de Andrade; é con el cando a fortaleza sofre a primeira revolta dos Irmandiños, pero a construción resiste o ataque. Novamente, xa avanzada a segunda metade do século XV e sendo propietario Fernán Pérez de Andrade o Mozo, a segunda revolta dos Irmandiños trouxo como consecuencia a destrución do castelo. Tras a derrota destes, o fillo do Mozo, Diego de Andrade, ordénalles aos sublevados feitos prisioneiros a reconstrución do edificio. É neste momento cando se realiza a traza octogonal da torre, cun obxectivo claramente defensivo e estratéxico: facela máis resistente fronte aos ataques dun revolucionario e exitoso instrumento bélico: a pólvora.

Finalizando o século XV os Reis Católicos concédenlle a Diego de Andrade o título de conde de Vilalba. As concesións nobiliarias sucédense na persoa do seu fillo, Fernando de Andrade; pero as accións deste espertan en Fernando o Católico dúbidas sobre a súa lealdade, polo que dispón confiscarlle a fortaleza a comezos do XVI. Nos anos posteriores non se destina o inmoble a ningún uso e sofre o abandono. Mentres, co paso do tempo e as alianzas matrimoniais, o condado de Vilalba incorporouse como un título máis á casa de Lemos e, de aí, á todopoderosa Casa de Alba.

Ao comezar a I Guerra Carlista, a edificación volve recuperar a súa función e emprégase como baluarte defensivo; para isto lévase a cabo un labor importantísimo de reconstrución e reforzo. Vilalba sofre un primeiro asalto carlista en 1835 e posteriormente dous máis. O daquela duque de Alba reclámalle o pagamento dos danos ao Concello, reclamación que resulta denegada e, finalmente, retirada. Avanzado o século XIX e co fin dos enfrontamentos carlistas, volve quedar abandonada; chegou mesmo a utilizarse como canteira pública. Isto ocasionou innumerables danos: perdéronse as torres menores, a porta de entrada e parte das murallas do antigo castelo, que daquela aínda se atopaban en pé. Finalmente, só a torre da homenaxe, que hoxe se contempla, puido manterse e, afortunadamente, librouse de ser vendida como canteira polo seu entón propietario, xa desvinculado da Casa de Alba. A campaña de defensa realizada por un grupo de intelectuais galegos librouna da desaparición, pero non puido evitar a deterioración derivada do abandono.

Xa nos anos 60 do século XX a torre rehabilítase e convértese en Parador Nacional de Turismo, para o que se levantaron en terreos anexos outras dependencias. Esta intervención posibilitou a recuperación deste elemento patrimonial e a súa conservación.

En 1994 incorpórase ao Catálogo de monumentos do patrimonio histórico de España, como Ben de Interese Cultural (BIC).