De voorloper van het huidige kasteel werd gebouwd in de dertiende eeuw als onderdeel van de verdedigingsgordel rond Brussel. In de daaropvolgende eeuwen werd het kasteel meermaals verwoest en heropgebouwd. Ook zijn functie evolueerde van strategische burcht tot zomerresidentie en buitenverblijf.