Syntetiska bilder av koraller (Desmophyllum pertusum) med objektigenkänningmodeller - Syntetiska bilder av koraller (Desmophyllum pertusum) med objektigenkänningsmodeller

DOI

Two object detection models using Darknet/YOLOv4 were trained on images of the coral Desmophyllum pertusum from the Kosterhavet National Park. In one of the models, the training image data was amplified using StyleGAN2 generative modeling. The dataset contains 2266 synthetic images with labels and 409 original images of corals used for training the ML model. Included is also the YOLOv4 models and the StyleGAN2 network. The still images were extracted from raw video data collected using a remotely operated underwater vehicle. 409 JPEG images from the raw video data are provided in 720x576 resolution. In certain images, coordinates visible in the OSD have been cropped. The synthetic images are PNG files in 512x512 resolution. The StyleGAN2 network is included as a serialized pickle file (*.pkl). The object detection models are provided in the .weights format used by the Darknet/YOLOv4 package. Two files are included (trained on original images only, trained on original + synthetic images). The machine learning software packages used is currently (2022) available on Github: StyleGAN2: https://github.com/NVlabs/stylegan2 YOLOv4: https://github.com/AlexeyAB/darknet

Två objektigenkänningsmodeller som använder sig av Darknet/YOLOv4 har tränats på bilder av korallen Desmophyllum pertusum från Kosterhavets nationalpark. I en av modellerna har träningsbilddata förstärkts ytterligare med generativ modellering enligt StyleGAN2. Datasetet innehåller 2266 syntetiska bilder med positionsmärken och 409 originalbilder av koraller som använts för att träna maskininlärningsmodellen. Det innehåller också YOLOv4-modellerna samt StyleGAN2-nätverket. Bildmaterialet är ett stillbildsurval från råvideo som samlats in med en fjärrstyrd undervattensfarkost. De 409 JPEG-bilderna från råvideon är i upplösningen 720x576. Vissa har beskurits från koordinater som varit synliga på OSD-display. De syntetiska bilderna är i upplösningen 512x512 och i PNG-format. StyleGAN2-nätverket finns tillgänglig som serialiserad pickle-fil (*.pkl). Objektigenkänningsmodellerna finns med i .weights-formatet som används i Darknet/YOLOv4-paketet. Den ena modellfilen är bara tränad på originalbilder, och den andra på originalbilder tillsammans med syntetiska bilder. Den maskininlärningsmjukvara som använts finns i dagsläget (2022) tillgänglig på Github. StyleGAN2: https://github.com/NVlabs/stylegan2 YOLOv4: https://github.com/AlexeyAB/darknet

Video recordings from 35 research cruises in the Kosterhavet National Park using a ROV.

Videoinspelningar från 35 st forskningskryssningar i Kosterhavets nationalpark med ROV.

Recording

Inspelning

The classification of Desmophyllum pertusum in still images from the video data has been performed as citizen science by volunteers using the classification tool on the Koster seafloor observatory website.

Klassifikationen av Desmophyllum pertusum på stillbilder från videodatan har genomförts genom medborgarforskning och frivilliga deltagare via klassifikationsverktyget på webbplatsen The Koster seafloor observatory.

Transcription

Transkription

Identifier
DOI https://doi.org/10.5878/hp35-4809
Metadata Access https://datacatalogue.cessda.eu/oai-pmh/v0/oai?verb=GetRecord&metadataPrefix=oai_ddi25&identifier=05ec052c7a10dddf9d5ccaa7078a2d5a486855848adf158636fd6ef1d4bde131
Provenance
Creator Obst, Matthias; Al-Khateeb, Sarah; Anton, Victor; Germishuys, Jannes
Publisher Swedish National Data Service; Svensk nationell datatjänst
Publication Year 2023
Rights Access to data through SND. Data are freely accessible.; Åtkomst till data via SND. Data är fritt tillgängliga.
OpenAccess true
Contact https://snd.gu.se
Representation
Discipline Biology; Biospheric Sciences; Ecology; Geosciences; Life Sciences; Natural Sciences; Zoology
Spatial Coverage Sweden; Sverige