An Empirical Test of the Impact of Smartphones on Panel-based Online Data Collection

DOI

Online panel providers are confronted with an ever-increasing number of technical devices, operating systems and internet browsers with which panel members access the internet and retrieve emails. Mobile devices such as Smartphones offer a wide variety of innovative research designs by means of new participation modes, interview occasions and data sources. This beneficial “intentional” use of mobile devices as data collection mode is counterbalanced by the potential threat to data quality by “unintentional mobile respondents”. Unintentional mobile respondents participate in a conventional online survey per mobile device. Especially the limitations inherent to Smartphones in terms of display size and data entry comfort raise concerns regarding the usefulness of mobile participations. But a rejection of mobile survey accesses may decrease the accessibility of surveys causing systematic sample biases. The few empirical studies available do not yield conclusive results regarding the extent of unintentional mobile participations and their impact on data quality. The paper addresses both validity threats and reports results of four studies conducted in the German section of the online panel of Harris Interactive AG.

Online-Panel-Anbieter sind mit einer ständig wachsenden Zahl von technischen Geräten, Betriebssystemen und Internet-Browsern, mit denen Panel-Mitglieder auf das Internet zugreifen und E-Mails abrufen, konfrontiert. Mobile Geräte wie Smartphones bieten eine Vielzahl von innovativen Forschungsdesigns durch neue Teilnahme-Modi, Interviewgelegenheiten und Datenquellen. Dieser vorteilhafte ´vorsätzliche´ Einsatz von mobilen Geräten zur Datenerfassung wird durch die potenzielle Bedrohung für die Datenqualität von ´unbeabsichtigten mobilen Befragten´ ausgeglichen. Unabsichtlich nehmen mobile Befragte an einer herkömmlichen Online-Umfrage per Mobilgerät teil. Vor allem die Beschränkungen von Smartphones in Sachen Display-Größe und Dateneingabekomfort führen zu Bedenken in Bezug auf den Nutzen von Mobil-Teilnahmen. Aber eine Ablehnung der mobilen Zugänglichkeit zu Umfragen könnte die Zugänglichkeit zu Umfragen verringern, die eine systematische Verzerrung der Stichprobe verursachen. Die wenigen zur Verfügung stehenden empirischen Studien haben keine aussagekräftigen Ergebnisse über das Ausmaß unbeabsichtigter Mobil Teilnahmen und deren Auswirkungen auf die Datenqualität. Das Papier spricht sowohl Bedrohungen der Validität an und beschreibt ebenso die Ergebnisse von vier Studien im deutschen Teil des von Harris Interactive AG durchgeführten Online-Panels. Themen: Beginn Panel-Mitgliedschaft; geschätzte Anzahl eigener Umfrageteilnahmen; privat genutzte technische Geräte (Desktop PC, Notebook, Netbook, Tablet PC, Apple iPhone, Black Berry, Smartphone (Betriebssystem: Android, Microsoft oder Symbian); geschätzte Häufigkeit des Internetzugriffs pro Woche mit diesen Geräten; genutzter Browser für den privaten Internetzugang per Smartphone; privater Internetzugang via Smartphone zuhause bzw. unterwegs per WLAN oder Mobilfunknetz; privater Mobilfunkvertrag mit Internet-Flatrate; ausreichendes monatliches Highspeedvolumen; geplanter Internetzugriff per Smartphone; Umfrageteilnahme per Smartphone in der Vergangenheit und Art der Einladung zu dieser Umfrage (z.B. durch E-Mail, Anwendung aus Online-Panel); Thema der Umfrage; Art der technischen Probleme während der Umfrageteilnahme; durch technische Probleme verursachter Verzicht auf die Umfrageteilnahme; Installation einer Umfrage-App und Gründe für die Deinstallation; Einstellung zur Nutzung von Smartphones (Skala: regelmäßiger Abrufen privater E-Mails via Smartphone, mehr Zeit online aufgrund des Smartphones, ausreichend gute Darstellung der meisten Webseiten, keine Probleme beim Ausfüllen von Online-Formularen, mehr Komfort durch Apps als durch Smartphone-Browser, Präferenz von optimierten Webseiten für mobile Geräte, fehlende Nutzerfreundlichkeit vieler Webseiten beim Zugriff via Smartphone, Smartphone-Nutzung für private Internetnutzung, offen für Umfragen per Smartphone, Wunsch nach Wahlmöglichkeit zwischen Smartphone und PC für jede Umfrage, Umfrageteilnahme per Smartphone ist zu unkomfortabel, Bereitschaft zur Teilnahme an Umfragen von höchstens 10 Minuten Dauer). Demographie: Geschlecht; Alter; Haushaltsgröße; höchster Schulabschluss; Bundesland; Bevölkerungszahl des Wohnortes (Ortsgröße). Experiment: Umfrage fertiggestellt; Experiment 1: Angeleiteter Zugang zur Befragung; Experiment 2: Dauer der Befragung. Weiterhin verkodet wurden: Dauer zwischen der Umfrageeinladung und den ersten Zugang zur Umfrage; Teilnahmedauer; Anzahl spontaner Markennennungen; Anzahl der Unstimmigkeiten bei den Fragen zu Marken (Bekanntheit, Relevanz, erste Wahl).

simple random sample of online panel

Einfache Zufallsauswahl aus Online-Panel

Interactive self-administered questionnaire: CASI (Computer Assisted Self-Interview)

CASI (Computerunterstützte Selbstbefragung)- Interaktiver Selbstausfüller

Identifier
DOI https://doi.org/10.4232/1.11919
Source https://search.gesis.org/research_data/ZA5653?lang=de
Metadata Access https://datacatalogue.cessda.eu/oai-pmh/v0/oai?verb=GetRecord&metadataPrefix=oai_ddi25&identifier=d16b6fd0793a484f2987abf4455486bd408569b7cea400e91f0a0fcab86cf3b3
Provenance
Creator Drewes, Frank
Publisher GESIS Data Archive for the Social Sciences; GESIS Datenarchiv für Sozialwissenschaften
Publication Year 2014
Rights A - Data and documents are released for academic research and teaching.; A - Daten und Dokumente sind für die akademische Forschung und Lehre freigegeben.
OpenAccess true
Contact http://www.gesis.org/
Representation
Discipline Social Sciences
Spatial Coverage Germany; Deutschland