Op het perceel van Grote Markt 5 te Bergen op Zoom was al in de 14e eeuw sprake van bebouwing. De nog aanwezige kelders en het grote formaat van de in de linker zijmuur aangetroffen bakstenen refereren hieraan. Na de stadsbrand van 1397 heeft het perceel enkele decennia braakgelegen, waarna het tussen 1429 en 1444 werd bebouwd met een pand waarvan de huidige houten constructie en de voorgevel met de Gobertange kalkzandsteen zijn overgebleven. Rond 1500 werd het verbouwd, waarna het de naam ‘Onse Vrouwe’ kreeg, die tot op heden op de gevel prijkt. Als gevolg van de belegering door de Fransen raakte het huis in 1747 zwaar beschadigd. Waarschijnlijk is daarna de trapgevel gewijzigd in een lijstgevel en werd de diepte van het pand aangepast. In 1966 werd Grote Markt 5 aangewezen tot rijksmonument, en in de jaren die volgden gerestaureerd en grondig verbouwd. De zijgevel aan de Kremerstraat werd afgebroken en opnieuw opgetrokken met meer vensters dan voorheen en het volledige (historische) interieur verdween. De bestaande middeleeuwse houten constructies werden met stalen gebinten ondersteund. De voorgevel werd van het pleisterwerk ontdaan en de gehele begane grond werd voorzien van een nieuwe winkelpui. Sindsdien is het pand niet noemenswaardig gewijzigd.