Het Sint Maartensgasthuis stond aan de Ottersteeg, de tegenwoordige Kaatstraat. Het was gesticht in 1454. Gasthuizen werden in die tijd door rijke mensen opgericht om pelgrims en andere reizigers onderdak te bieden. Sommige gasthuizen waren speciaal bedoeld voor zieken en bejaarden. Een gasthuis buiten de poort had als voordeel dat vreemdelingen hier ook na het sluiten van de poort onderdak konden krijgen. Iets verder naar het noorden, bij de huidige Anthoniedijk, lag nog een gasthuis, het Sint Anthoniegasthuis. Deze tekening van het Maartensgasthuis is in 1730 gemaakt door L.P. Serrurier.