O pazo do Souto ten orixe na segunda metade do século XVII. Por aquel entón, Juan Antonio Posse de Soto, ministro da Inquisición e catedrático de medicina, levantou casa na parroquia de Sísamo, que sería ampliada e transformada en pazo polos seus descendentes.
O pazo foi habitado durante moitos anos polos marqueses de Montenegro, dos que podes ver o seu emblema na M do escudo da fachada. En 1906, deixou de ser a súa residencia habitual e só viñan de cando en vez a cobrar rendas ou de vacacións. A mediados de século, entre o 1950 e o 1968, xa deshabitado, o pazo pasará a usarse como escola. Nela estudará o seu actual propietario, que a comprou e a rehabilitou para o turismo rural despois de botar case tres décadas emigrado en Suíza. O pazo do Souto foi pioneiro do turismo rural en Galicia. Como establecemento hostaleiro foi inaugurado nos anos 90. O pazo ten traza rectangular, con dous andares e baixo cuberta, e dúas vistosas e ornamentadas chemineas. Está construído na parte occidental dun antigo castro, do que se conservan parte dos muros defensivos, aínda que cubertos por vexetación.