Het gebouw aan de Holkerstraat 30, genaamd Huize St. Jozef is in 1938 gebouwd als een uitbreiding van het Sint Jozef-Gesticht uit 1856, gelegen aan de Huserstraat. Dit zusterhuis stond onder leiding van de Zusters van Onze Lieve Vrouw van Amersfoort. Om plaats te maken voor de uitbreiding werden drie bestaande huizen aan de oostzijde van de oude Rooms Katholieke kerk gesloopt. De uitbreiding van het St. Jozefgesticht werd als een zelfstandig gebouw gebouwd met een eigen monumentale ingangspartij in de voorgevel aan de zijde van de Holkerstraat. Huize St. Jozef werd gebouwd als rusthuis naar ontwerp van de Nijkerkse architect J.C.A. Alfrink met invloeden van de Nieuwe Haagse School. Het gebouw heeft een U-vormige plattegrond. In het ontwerp van het gebouw lijkt qua kamerindeling een onderscheid te zijn gemaakt in verschillende sociale klassen. Zo waren beide zijvleugels op zolder ingedeeld met eenvoudige kleine en grote slaapvertrekken die werden verlicht via de dakkapellen op het dak. Op zolder had men één toilet ter beschikking. Op de begane grond en eerste verdieping hadden de vier aaneengeschakelde kamers in beide zijvleugels de beschikking over drie toiletten en een badkamer. Deze sanitaire ruimtes waren ook ter beschikking voor de bewoners van de twee tweekamerwoningen aan weerszijden van de middenpartij in de hoofdvleugel. De tweekamerwoningen aan de voorzijde van het gebouw bestonden uit een zit- en slaapkamer die met elkaar in verbinding stonden. De zitkamers op beide uiteinden van de hoofdvleugel waren voorzien van een, nog altijd aanwezige, erker. De gebrandschilderde symbolen op de oorspronkelijke glas-in-lood ramen verwijzen naar het Rooms Katholieke geloof en naar Sint Jozef, de patroon van de Zusters van de Onze Lieve Vrouw te Amersfoort en naamgever van het rusthuis. In 1972 / 1973 werd het pand verbouwd gevolgd door een restauratie in omstreeks 2015.