Este torreón de base octogonal, antigua torre del homenaje, es el único vestigio que nos recuerda la existencia de un castillo fortaleza, cuyo origen se remontaría al siglo XI, si bien este elemento data del XV. Su silueta domina Vilalba, capital de la comarca conocida como a Terra Chá. Se sabe que el antiguo castillo, sucesivamente remodelado desde su origen, en el siglo XIII ya presentaba tres torres y una muralla poligonal. Perteneció a los señores de Lemos, pero posteriormente el rey Pedro I se la donó a Fernán Pérez de Andrade o Boo, siendo así como pasa al patrimonio de esta familia nobiliaria, que dejará sus símbolos heráldicos en la construcción, como la representación pétrea del jabalí. Este primer Andrade deja el castillo en herencia a su hermano y este a su hijo Nuno Freyre de Andrade; es con él cuando la fortaleza sufre la primera revuelta de los Irmandiños, pero la construcción resiste el ataque. Nuevamente, ya avanzada la segunda mitad del siglo XV y siendo propietario Fernán Pérez de Andrade o Mozo, la segunda revuelta de los Irmandiños trajo como consecuencia la destrucción del castillo. Tras la derrota de estos, el hijo de o Mozo, Diego de Andrade, ordena a los sublevados hechos prisioneros la reconstrucción del edificio. Es en este momento cuando se realiza la traza octogonal de la torre, con un objetivo claramente defensivo y estratégico: hacerla más resistente frente a los ataques de un revolucionario y exitoso instrumento bélico: la pólvora.

Finalizando el siglo XV los Reyes Católicos le conceden a Diego de Andrade el título de conde de Vilalba. Las concesiones nobiliarias se suceden en la persona de su hijo, Fernando de Andrade; pero las acciones de este despiertan en Fernando el Católico dudas sobre su lealtad, por lo que dispone confiscarle la fortaleza a comienzos del XVI. En los años posteriores no se destina el inmueble a ningún uso y sufre el abandono. Mientras tanto, con el paso del tiempo y las alianzas matrimoniales, el condado de Vilalba se incorporó como un título más a la casa de Lemos y, de ahí, a la todopoderosa Casa de Alba.

Al estallar la I Guerra Carlista, la edificación vuelve a recuperar su función y se emplea como baluarte defensivo; para ello se lleva a cabo una labor importantísima de reconstrucción y refuerzo. Vilalba sufre un primer asalto carlista en 1835 y posteriormente dos más. El entonces duque de Alba reclama el pago de los daños al Ayuntamiento, reclamación que resulta denegada y, finalmente, retirada. Avanzado el siglo XIX y con el fin de los enfrentamientos carlistas, vuelve a quedar abandonada; llegó incluso a utilizarse como cantera pública. Esto ocasionó innumerables daños: se perdieron las torres menores, la puerta de entrada y parte de las murallas del antiguo castillo, que por aquel entonces aún se encontraban en pie. Finalmente, solo la torre del homenaje, que hoy se contempla, pudo mantenerse y, afortunadamente, se libró de ser vendida como cantera por su entonces propietario, ya desvinculado de la Casa de Alba. La campaña de defensa realizada por un grupo de intelectuales gallegos la libró de la desaparición, pero no pudo evitar el deterioro paulatino derivado del abandono.

Ya en los años 60 del siglo XX la torre se rehabilita y se convierte en Parador Nacional de Turismo, para lo que se levantaron en terrenos anejos otras dependencias. Esta intervención posibilitó la recuperación de este elemento patrimonial y su conservación.

En 1994 se incorpora al Catálogo de monumentos del patrimonio histórico de España, como Bien de Interés Cultural (BIC).