A Torre da Penela é o único resto dunha fortaleza medieval que vixiaba o condado do mesmo nome. Os seus lindes marcábanos os cruceiros de Bello, Baneira e campo da Penela. O fundador do vínculo foi Lope Bermúdez. A principios do século XVII, Lorenzo Bermúdez de Castro converteuna en pazo. Os últimos apelidos nobres foron os do conde Javier Ozores Pedrosa.
Ten formato cadrado. Na frontal aparece un escudo e unha porta con arco de medio punto de grandes doelas. Os cuarteis do escudo amosan as armas do remodelador: Bermúdez, Castro e Riobó. Outro escudo encástrase nos pés dun cabazo veciño.