A Casa-Torre foi en realidade, unha residencia señorial da familia Sierra Pambley. Uns anos máis tarde, esta familia funda unha escola que funcionaría neste singular edificio ata comezos do século XIX. Nesta centuria tamén foi usado como cuartel da Milicia Nacional, de aí que hoxe en día sexa coñecido como Cuartel Vello.
Como se pode observar, sitúase nunha posición dominante sobre o casco histórico da vila o que, unido ao seu aspecto de fortaleza, denota a destacada posición social que a familia tentaba mostrar.