Das heutige Herrenhaus hat im Laufe der Zeiten viele Veränderungen durchgemacht. Die größte fand um das Jahr 1800 statt, als der oldenburgische Herzog Peter Friedrich Ludwig (*1755 - †1829) seinen Hofjägermeister von Witzleben zu einem Umbau bewog. Der Treppenturm wurde abgerissen, dafür entstanden zwei Seitenflügel. Der Haupteingang befand sich auf der heutigen Rückseite des Gebäudes, wo eine Kolonnade entstand.
Die Familien der Witzlebens waren jeweils kinderreich, und so wurde die Raumverteilung im Laufe der Zeiten oft verändert. Noch sind Reste von den Original-Deckenmalereien im Obergeschoss zu sehen.
Während der kanadischen Besatzung nach dem 2. Weltkrieg versuchte man, das Herrenhaus abzubrennen. Es wurde im Obergeschoss Feuer gelegt und viele wichtige Urkunden sowohl vom Kloster wie auch über die Familie von Witzleben verbrannten. Das Haus brannte jedoch nicht ab, da die Eichenbohlen, aus denen das Haus seinerzeit gebaut worden war, schon damals über 500 Jahre alt waren und nicht entflammen wollten. Es entstand nur ein großes Loch im Fußboden.
Gleichzeitig versuchte man, die beiden großen, etwa 800-jährigen Linden vor dem Herrenhaus wegzusprengen, was nur bei der einen, die vor dem Haus stand, gelang. Die zweite Linde wurde schwer beschädigt, entwickelt aber noch jeden Sommer ihre volle Pracht.
Um 1960 fand wieder ein großer Umbau statt, zum Teil auf Grund der entstandenen Schäden durch die Beherbergung von Offizieren und Flüchtlingsfamilien. So wurden die beiden Stockwerke des Hauses als getrennte Wohnungen konzipiert.
Erwähnenswert ist noch die Farbe des Huder Herrenhauses. Die gelbe Fassadenfarbe ist nicht ursprünglich. Das Haus war über die Jahrhunderte hinweg in einem roten bzw. roséfarbenen Ziegelton geschlemmt. Erst in den 60’er Jahren des letzten Jahrhunderts erhielt es den heutigen Gelbton. Der Grund für die gelbe Farbwahl war die Huder St. Elisabethkirche. Die noch bis vor geraumer Zeit zu einer der wenigen original verputzen Kirchen Norddeutschlands zählte. Der Gedanke hinter dem gelben Anstrich war es, dass die St. Elisabeth-Kirche, das Herrenhaus und die Klosterschänke eine Einheit im Klosterensemble bilden sollten.