Het sluisje bij Jaffa is al in 1581 aangelegd. Zo’n sluisje was een goede plek voor een herberg omdat het schutten wel even kon duren. In 1651 is voor het eerst sprake van ‘het herberchje genaemt Jaffa’. Toen Jaffa in 1796 werd verkocht, bleek dat de herberg ook een overdekte kolfbaan, een theekoepel en een wandeltuin bezat. De nieuwe eigenaar verbouwde Jaffa tot een herenhuis. Vanaf 1880 woonde de familie De Wit in Jaffa. William de Wit was eigenaar van de houtzaagmolens De Ster en de Bijgeval langs de Leidse Rijn. In 1934 is het huis gesloopt.