Sørvær hvalfangststasjon ble oppretta i 1881 av selskapet Finmarken. De kjøpte hele Masterholmen og bygde opp stasjonen med spekkokeri, kjøtt- og beinkokeri og guanofabrikk, alt som ett sammenhengende anlegg, med kjøtt- og benkokeri i én del og spekkoking i en annen, samt graksekoking i en tredje, separat del. De drev fangst fra Sørvær helt til fredninga i 1904 og deretter flyttet til Svalbard (Green Harbour). En periode forsøkte de seg på salg av hermetisert hvalkjøtt i tillegg til de sedvanlige produktene fra hvalfangsten.

Som alle andre slike stasjoner 1880-1900 var det også kjelehus, bolighus, pakkhus, smie, verksted, flenseplan, lager, kullager, vannforsyning og krutthus m.m. En del av disse byggene - kokeri, kjelehus, bolighus, lemmingshus - ble arkitekttegnet av Albert Meier i 1881 og gjenfunnet i arkivene til Universitetet i Bergen (Marcus). Det finnes en rekke samtidige fotografier fra stasjonen og beskrivelser fra 1880 av J. Brunchorst (finnes i tidsskriftet Naturen). Sistnevnte er eneste skikkelige, samtidige beskrivelse av prosessen på hvalfabrikkene, som alle senere gjengivelser er tatt ut ifra. Derfor har vi bedre kjennskap til hvordan stasjonen på Sørvær fungerte enn mange av de andre, på tross av at hele holmen idag er nedbygd.

Det at holmen idag er helt nedbygd gjør at eneste rester man kan gjenfinne er litt rester i fjæra der flenseplanet lå, masse spekkbetong og teglstein i fjæra, mulige bygningsgroper og tørrmurer V for Krutthusveien, og nettopp stedsnavnene Krutthusneset på SV-sida av Masterholmen og Fabrikken på N-sida. Det står også en kjele fra fabrikken innunder huset på Krutthusveien 6 og Langbrua over til Kuholmen vises på et foto fra ca. 1910 å stå på kjeler som pontonger..