Grote brand verwoest het huis

In de loop van de 18de eeuw raakt het landgoed door erfeniskwesties ernstig verwaarloosd. Delen van de borg worden na 1800 zelfs afgebroken.

In 1850 verwoest een grote brand het huis grotendeels. De laatste baron Von Inn- und Knyphausen verhuist daarna naar Groningen.

Na zijn overlijden erft zijn neef, jonkheer Bram van Panhuys, de restanten. Hij besluit rond 1887 een nieuwe borg te bouwen. Ernaast komt een hertenkamp. Ook laat hij de tuinen en de schelpengrot restaureren. Bovendien wordt de weg van Midwolde naar Leek verhard met grind om Nienoord beter toegankelijk te maken.