Enige panden blijken met elkaar te zijn verheeld tot wat tegenwoordig één pand is. De vroegste geschreven bronnen dateren van omstreeks 1415 wanneer de panden worden bewoond door Willem ‘de bastaard’ van Holland, Jacob de Buussen en Jan de Buser. Hoewel het bovengenoemde boek aangeeft dat het meester Jacob van Myerop, heer van Cabau, was die de panden in 1553 heeft verheeld, is dit vermoedelijk pas omstreeks 1613 gebeurd door François van Aerssen van Sommelsdijk. De grote renaissancegevel die het pand ooit gekregen heeft, is inmiddels verwijderd. Het is de familie Bentinck die drie generaties lang, tussen 1700 en 1815, haar naam aan het huis verbindt. Omstreeks 1700 laat Hans Willem Bentinck het grote pand verbouwen en uitbreiden waarbij gekozen wordt voor de drukke Lodewijk XIV-stijl die toen in zwang raakte. Het familiewapen heeft lange tijd op de eerste verdieping boven de entree gehangen. Hoewel het pand in massa en mogelijk in inrichting intact is gebleven, wordt het na aankoop door de Staat der Nederlanden in 1819 opnieuw verbouwd. Ditmaal wordt gekozen voor de terughoudende en verfijnde empire architectuurstijl. Zowel het ex- als het interieur wordt volgens deze nieuwe mode aangepast en is vandaag de dag nog grotendeels aanwezig.