De Graventoren is gebouwd op de ruïne van een waterburcht uit de 12de eeuw, opgericht door de graven van Vlaanderen. Het kasteel vormde de achtergrond van verschillende historische terechtstellingen en gevangenisstraffen. Ook Mercator zat hier gevangen op beschuldiging van ketterij.