Bij raadsbesluiten van 30 april 1578, 13 jan. 1584 werd bevolen, de kapel en ook het gasthuis af te breken; de goederen en meubelen werden toen aan het Dolhuis afgestaan. Nog in 1603 vermeldt Lapp van Waveren in zijn Memorie het gasthuis echter als beheerd door procuratoren, terwijl de arme passanten er huisvesting en voedsel vonden.