La Casa-Torre fue en realidad, una residencia señorial de la familia Sierra Pambley. Unos años más tarde, esta familia funda una escuela que funcionaría en este singular edificio hasta comienzos del siglo XIX. En esta centuria también fue usado como cuartel de la Milicia Nacional, de ahí que hoy en día sea conocido como Cuartel Viejo.
Como se puede observar, se sitúa en una posición dominante sobre el casco histórico de la villa lo que, unido a su aspecto de fortaleza, denota la destacada posición social que la familia intentaba mostrar.