Het Gasthuis was oorspronkelijk een "passantenliedengasthuis", een soort hospitaal waar kloosterzusters instonden voor de opvang van noodlijdenden en vreemdelingen die door de stad trokken. In het Gasthuis worden vandaag regelmatig tijdelijke tentoonstellingen georganiseerd.