Das Gärtnerhaus wurde zeitgleich mit dem Schloss als Kastellanswohnhaus und Wirtschaftsgebäude  errichtet. Sein heutiger Name Gärtnerhaus geht auf die Nutzung seit Ende des vorigen Jahrhunderts zurück, als das Gebäude zur Wohnung des Parkgärtners hergerichtet wurde. 2003 wurde es mit Unterstützung der Deutschen Stiftung Denkmalschutz restauriert.

Seitdem beherbergt es das Rathenau-Archiv sowie das Büro der Geschäftsfürung der Walther-Rathenau-Stiftung gGmbH.