El pazo del Souto tiene origen en la segunda mitad del siglo XVII. Por aquel entonces, Juan Antonio Posse de Soto, ministro de la Inquisición y catedrático de medicina, levantó casa en la parroquia de Sísamo, que sería ampliada y transformada en pazo por sus descendientes.
El pazo fue habitado durante muchos años por los marqueses de Montenegro, de los que puedes ver su emblema en la M del escudo de la fachada. En 1906, dejó de ser su residencia habitual y sólo venían de vez en cuando a cobrar rentas o de vacaciones. A mediados de siglo, entre el 1950 y el 1968, ya deshabitado, el pazo pasará a usarse como escuela. En ella estudiará su actual propietario, que la compró y la rehabilitó para el turismo rural después de echar casi tres décadas emigrado en Suiza. El pazo do Souto fue pionero del turismo rural en Galicia. Como establecimiento hostelero fue inaugurado en los años 90. El pazo tiene traza rectangular, con dos pisos y bajo cubierta, y dos vistosas y ornamentadas chimeneas. Está construido en la parte occidental de un antiguo castro, del que se conservan parte de los muros defensivos, aunque cubiertos por vegetación.