In der Zeit von 1804 bis 1818 baute der Münsteraner Baumeister August Reinking das neoklassizistische Schloss für Maximilian Graf von Westerholt-Gysenberg.
Das damals noch sumpfige Wald-und Wiesengelände des Parks wurde 1896 der Stadt Oberhausen übereignet. Mit dem Ausbau der Parkanlage wurde bereits 1897 begonnen. Den Namen Kaisergarten bekam das Parkgelände 1898 zu Ehren des 100sten Geburtstages von Kaiser Wilhelm dem Ersten.
Mit dem Bau des Rhein-Herne-Kanals um 1910 – bis dahin floss die Emscher noch durch den Park – konnte der Kaisergartenpark bis zum heutigen Kanal erweitert werden.
Anfang des 20sten Jahrhunderts musste der See, der nahezu ausgetrocknet war, tiefer gelegt werden. Aus der Aushubmasse wurde eine künstliche Erhöhung im Park, der „Ottoberg“, erstellt.
Seit 1927 befindet sich im Herzen des Kaisergartens ein Tiergehege. Laut Chronik lebten dort einst sogar Leoparden, Affen und Bären. Heute sind es die heimischen und domestizierten Tiere, die dort zu sehen sind.
Um zu verhindern, dass der Park völlig unter Wasser steht, sind im Park leistungsstarke Pumpen installiert. Diese fördern das Wasser, das aufgrund der Bergsenkungen entsteht, in den Kanal.
Das gesamte Areal des Kaisergartens wurde zum Landschaftsschutzgebiet erklärt. Im Park stehen einige Platanen, die aufgrund ihres Alters unter Naturdenkmalschutz stehen.
Der Kaisergarten zählt heute zu den beliebtesten Ausflugzielen von Oberhausen und hat eine Gesamtgröße von ca. 29 ha. Das 4 ha große Tiergehege wurde hier bereits berücksichtigt.
Die Gesamtfläche teilt sich wie folgt auf:
- 7,5 ha Waldähnliche Fläche
- 1,6 ha Gehölze, Hecken
- 2,5 ha Wasserfläche
- 0,3 ha Stauden-, Rosen- u. Sommerblumenflächen
- 9,5 ha Rasen- und Wiesenflächen
- 3,5 ha Wegflächen
Neben dem Tiergehege besteht das Freizeitangebot zusätzlich aus der Minigolf- und Bogenschießanlage. Diese allerdings werden privat betrieben. Eine zusätzliche Attraktion für Kinder bilden die zwei bereits mehrfach überplanten städtischen Kinderspielplätze.
Auf dem Gelände des ehemaligen Staudengartens der Gärtnerei befindet sich ein kleiner Bauerngarten und ein Schaugarten.