In der Zeit von 1804 bis 1818 baute der Münsteraner Baumeister August Reinking das neoklassizistische Schloss für Maximilian Graf von Westerholt-Gysenberg.
Das damals noch sumpfige Wald-und Wiesengelände des Parks wurde 1896 der Stadt Oberhausen übereignet. Mit dem Ausbau der Parkanlage wurde bereits 1897 begonnen. Den Namen Kaisergarten bekam das Parkgelände 1898 zu Ehren des 100sten Geburtstages von Kaiser Wilhelm dem Ersten.