This dataset contains news articles from Swedish news sites during the covid-19 corona pandemic 2020–2021. The purpose was to develop and test new methods for collection and analyses of large news corpora by computational means. In total, there are 677,151 articles collected from 19 news sites during 2020-01-01 to 2021-04-26. The articles were collected by scraping all links on the homepages and main sections of each site every two hours, day and night. The dataset also includes about 45 million timestamps at which the articles were present on the front pages (homepages and main sections of each news site, such as domestic news, sports, editorials, etc.). This allows for detailed analysis of what articles any reader likely was exposed to when visiting a news site. The time resolution is (as stated previously) two hours, meaning that you can detect changes in which articles were on the front pages every two hours. The 19 news sites are aftonbladet.se, arbetet.se, da.se, di.se, dn.se, etc.se, expressen.se, feministisktperspektiv.se, friatider.se, gp.se, nyatider.se, nyheteridag.se, samnytt.se, samtiden.nu, svd.se, sverigesradio.se, svt.se, sydsvenskan.se and vlt.se. Due to copyright, the full text is not available but instead transformed into a document-term matrix (in long format) which contains the frequency of all words for each article (in total, 80 million words). Each article also includes extensive metadata that was extracted from the articles themselves (URL, document title, article heading, author, publish date, edit date, language, section, tags, category) and metadata that was inferred by simple heuristic algorithms (page type, article genre, paywall). The dataset consists of the following: article_metadata.csv (53 MB): The file contains information about each news article, one article per row. In total, there are 677,151 observations and 17 variables. article_text.csv (236 MB): The file contains the id of each news article and how many times (count) a specific word occurs in the news article. The file contains 80,090,784 observations and 3 variables in long format. frontpage_timestamps.csv (175 MB): The file contains when each news article was found on the front page (homepage and main sections) of the news sites. The file contains 45,337,740 observations and 4 variables in long format. More information about the content in the files is found in the README-file. In it you will also find the R-script for using the data.
Detta dataset innehåller nyhetsartiklar från svenska nyhetssajter under coronapandemin 2020–2021. Syftet var att utveckla och testa nya metoder för insamling och analyser av stora nyhetsmaterial. Totalt finns det 677 151 artiklar insamlade från 19 nyhetssajter under 2020-01-01 till 2021-04-26. Artiklarna samlades in genom web scraping av alla länkar på nyhetssajterna varannan timme, dag och natt. Datasetet innehåller också cirka 45 miljoner tidsstämplar där artiklarna fanns på förstasidorna (hemsidorna och huvudavdelningarna på varje nyhetssajt, exempelvis inrikes, sport, ledare, etc.). Detta möjliggör detaljerad analys av vilka artiklar läsare sannolikt exponerades för när de besökte nyhetssajten ifråga. Tidsupplösningen är (som tidigare nämnts) två timmar, vilket innebär att du kan upptäcka förändringar i vilka artiklar som fanns på förstasidorna varannan timme. De 19 nyhetssajterna är aftonbladet.se, arbetet.se, da.se, di.se, dn.se, etc.se, expressen.se, feministisktperspektiv.se, friatider.se, gp.se, nyatider.se , nyheteridag.se, samnytt.se, samtiden.nu, svd.se, sverigesradio.se, svt.se, sydsvenskan.se och vlt.se. På grund av upphovsrätt är hela texten inte tillgänglig utan har omvandlats till en så kallad document-term matrix (i long format) som innehåller frekvensen av alla ord för varje artikel (totalt 80 miljoner ord). Varje artikel innehåller också omfattande metadata som extraherades från artiklarna (URL, dokumenttitel, artikelrubrik, författare, publiceringsdatum, redigeringsdatum, språk, avsnitt, taggar, kategori) och metadata som härleddes av enkla heuristiska algoritmer (sidtyp , artikelgenre, betalvägg). Datasetet består av följande: article_metadata.csv (53 MB): Filen innehåller information om varje nyhetsartikel, en artikel per rad. Totalt finns det 677,151 observationer och 17 variabler. article_text.csv (236 MB): Filen innehåller id till varje nyhetsartikel och anger hur många gånger ett specifikt ord används i en nyhetsartikel. Filen innehåller 80,090,784 observationer and 3 variabler i long format. frontpage_timestamps.csv (175 MB): Filen anger när varje nyhetsartikel hittades på första sidan (hemsida och huvudsektioner) på nyhetssidorna. Filen innehåller 45,337,740 observationer och 4 variabler i long format. Mer information om innehållet i filerna finns i README-filen. Där finns även R-kod för användning av data.
An open source web scraper scraped news articles from 19 Swedish news sites every two hours. Code in Python for the web scraper is available at: https://github.com/peterdalle/mechanicalnewsAn open source web scraper scraped news articles from 19 Swedish news sites every two hours. Code in Python for the web scraper is available at: https://github.com/peterdalle/mechanicalnews
Artiklarna samlades in genom web scraping av alla länkar på 19 svenska nyhetssajter varannan timme, dag och natt. Verktyget för web scraping är publicerat med öppen källkod och finns tillgängligt på: https://github.com/peterdalle/mechanicalnewsArtiklarna samlades in genom web scraping av alla länkar på 19 svenska nyhetssajter varannan timme, dag och natt. Verktyget för web scraping är publicerat med öppen källkod och finns tillgängligt på: https://github.com/peterdalle/mechanicalnews
Total universe/Complete enumerationTotal universe/Complete enumeration
Hela populationen/total räkningHela populationen/total räkning
OtherOther
ÖvrigtÖvrigt
