Breestraat 84 is rijksmonument. Aanvullend onderzoek in het buurpand Breestraat 86 heeft de vroegste fase zoals beschreven in het bouwhistorische rapport van Meijers uit 2012 kunnen aanscherpen. Deze blijkt uit meerdere fases te bestaan. Vlak bij de ‘Blauwe Steen’, het kruispunt van de vier oudste bestuurlijke stadsdelen, ligt in het bon Gasthuis het perceel Breestraat 84. Aan de Breestraat, een oude dijk(?)route langs de Rijn ontstonden in de 12de en 13de eeuw een patroon van smalle langgerekte percelen. Of de poort of steeg, de Vischpoort, die vanachter het perceel uitgang gaf op de Rijn bij deze oudste fase hoort, of dat door verdichting een mogelijk tot de Rijn strekkend perceel later is ingekort is onbekend gebleven. Op basis van de bouwhistorische sporen en de weergave op historische afbeeldingen kan worden geconcludeerd dat de oudste bebouwing op het perceel is een bakstenen dwarshuis, dat naar alle waarschijnlijkheid uit de 13de eeuw dateert (fase 1.1). Dit tweelaagse huis heeft een bijzondere, mogelijk in natuursteen uitgevoerde, gekanteelde voorgevel en daarnaast ook gekanteelde zijgevels. De volgende verbouwingen valt in de 15de en/of 16de eeuw (fase 1.2, niet nader uitgesplitst of gedateerd). Voor zover duidelijk geworden is wordt het huis uitgebreid met een vast dwars geplaatst achterhuis en ontstaat er een opzet met een dubbel dwarshuis. Ook krijgt het perceel een straatkelder en wordt er verbouwd aan de rechterbouwmuur. De volgende bouwfase is de nieuwbouw van ‘De Vergulde Turk’ in 1672-1674. Afgezien van oudere delen in de rechterzijgevel en de straatkelder wordt het pand geheel opnieuw opgetrokken. Dit en de verdere bouwgeschiedenis staat behandeld in het rapport van Meijers uit 2012.