Het Stadsmuseum Harderwijk is gevestigd in een gebouw dat bestaat uit minstens drie historische panden. Een deel van de zijvleugel aan de Smeepoorterbrink dateert in kern vermoedelijk uit de late middeleeuwen. In 1793 werden deze panden eigendom van Heribert van Westervelt. Er volgde een ingrijpende verbouwing, met als resultaat het huidige statige herenhuis waarvan het gedeelte aan de Donkerstraat is uitgevoerd in Lodewijk XVI-stijl.