De grond waar  de pastorij nu opstaat, maakte vroeger deel uit van het 'Hof ter Elst'. Er is een gedenksteen van de eerste steenlegging teruggevonden in de tuin van de zijdeur. Het  volgende opschrift is in de harde blauwe steen gekapt: "Gelegd door  Graafe en Gravin Dubois-D’Aische 20 mei 1857.