Programme for the International Assessment of Adult Competencies (PIAAC), English Pilot Study on Non-Cognitive Skills

This online survey was designed to test the measurement properties of nine personality scales – the Big Five, Traditionalism, Self-Control, Self-Efficacy, Honesty/Integrity, Socio-Emotional Skills, Intellectual Curiosity, Job Orientation Preferences and Vocational Interests. Eight of these nine scales are existing scales (or combinations of scales) available for use in public domain. The scale assessing socio-emotional skills was developed by an expert group. The complete formulations of items from all the scales including the different forms/test conditions of the scales are presented in the data documentation. Simplified scales Based on the work of members of the expert group, simplified versions of original scales were developed (see data documentation). This was done in order to make the wording of the original scales more appropriate for use with general adult population (in many cases the original items were perceived as possibly too complex and abstract for less literate members of general population). Not all items have simplified versions since in some cases the original formulations were seen by the expert group as suitable for the target population. This is especially the case in the Job Orientations, Integrity/Honesty and Vocational Interests’ scales as well as the entire Intellectual Curiosity scale. In total, there are 174 original items and 130 simplified or reversed versions of the items. Neutral/middle point In addition to comparing scales containing the original and simplified items, the second main design feature of this online survey was the use of a neutral/middle point in the Likert scales (agree/disagree). In particular, there were two versions of each original and simplified scale – one with 5 agree/disagree response options, including a “neither agree nor disagree” neutral/middle category and another with 4 response options, which did not include the option of “neither agree nor disagree”. This was done in order to see which of the two response formats worked better for each of the scales in target population. Balanced scales Some of the original scales were balanced and some unbalanced, with the majority of items being part of balanced scales. The unbalanced scales (self-control, self-efficacy and socio-emotional skills) were balanced by including alternative reverse formulations of a selected small group of items. The process of balancing was achieved by reversing the original formulations of 22 items (in the item bank document, the reversed items are marked with “R” while newly reversed items are marked as “new R”). These newly reversed items were tested against their original counterparts in order to see if the creation of balanced scales led to improvements (comparing both item- and scale-level properties). Multiple choice vs forced choice In case of the Vocational Interest scale, the two design features that were tested were the original vs simplified and multiple choice vs forced choice item formats. The original format of the Vocational Interest scale was multiple choice. However, the force choice format is often used in other Vocational Interest scales and the expert group wanted to test which of the two formats works better for general adult population. Design of the online survey The objectives of the online survey were the following, to test: 1. the measurement characteristics of the selected scales; 2. the relationships of the selected scales with background and other characteristics of respondents; 3. different item formulations – original vs. simplified; 4. different response options – with or without a neutral/middle category; 5. scales with different item formats – multiple choice vs. forced choice (voc. interests scale); and 6. the new balanced scales (in comparison with the original unbalanced scales). Background questionnaire The survey included a number of socio-demographic, economic and personal wellbeing indicators as well as a short cognitive ability test. Socio-demographic characteristics: Gender, age, country of birth/residence, mother tongue, marital status, educational attainment, and parental education Economic and wellbeing indicators: Broad activity status, occupational status, income, subjective health, social trust, life satisfaction, and personal wellbeing Quality control questions: In order to check the quality of responses, the survey included three quality control items placed within the Big Five, Self-Control, and Socio-Emotional skills scales. These were used, together with other indicators of data quality, to create an overall quality control indicator and guided the exclusion of poor quality responses.

Inhalt: Diese Online-Umfrage wurde entwickelt, um die Messeigenschaften von neun Persönlichkeitsskalen zu testen: die Big Five, Traditionalismus, Selbstkontrolle, Selbstwirksamkeit, Ehrlichkeit/Integrität, sozial-emotionale Fähigkeiten, intellektuelle Neugier, Berufsorientierung und berufliche Interessen. Acht dieser neun Skalen sind vorhandene Skalen (oder Kombinationen von Skalen), die für den Einsatz im öffentlichen Bereich verfügbar sind. Die Skala zur Bewertung der sozial-emotionalen Fähigkeiten wurde von einer Expertengruppe entwickelt. In der Datendokumentation wird die komplette Formulierung aller Skalen und Items einschließlich der verschiedenen Formen/Prüfbedingungen der Skalen dargestellt. Das Ziel der Online-Umfrage war Folgendes zu testen: 1) Die messtechnischen Merkmale der ausgewählten Skalen; 2) Die Beziehungen der ausgewählten Skalen mit dem Hintergrund und anderen Merkmalen der Befragten; 3) Unterschiedliche Item Formulierungen – Original vs. Vereinfacht; 4) Unterschiedliche Antwortmöglichkeiten – mit oder ohne Neutral/Mittelpunkt Kategorie; 5) Skalen mit verschiedenen Item Formaten - Mehrfachauswahl vs. erzwungene Auswahl; und 6) Die ausgeglichenen Skalen (im Vergleich mit den originalen unausgeglichenen Skalen). Vereinfachte Skalen Basierend auf der Arbeit der Mitglieder der Expertengruppe wurden vereinfachte Versionen der Originalskalen entwickelt (siehe Datendokumentation). Ziel war es, den Wortlaut der ursprünglichen Skalen für die Befragungen der allgemeinen erwachsenen Bevölkerung anzupassen (in vielen Fällen wurden die ursprünglichen Items als möglicherweise zu komplex und abstrakt für weniger gebildete Personen eingeschätzt). Da die ursprünglichen Formulierungen in einigen Fällen von der Expertengruppe als für die Zielgruppe geeignet eingeschätzt wurden, liegt nicht für alle Items/Skalen eine vereinfachte Version vor. Dies gilt insbesondere für die Skalen Berufsorientierung, Ehrlichkeit/ Integrität und berufliche Interessen sowie die Skala zur intellektuellen Neugier. Insgesamt liegen 174 originale Items und 130 vereinfachte oder umgedrehte Versionen der Items vor. Neutral/Mittelpunkt Neben dem Vergleich der Skalen mit den ursprünglichen und vereinfachten Items, war die Verwendung eines Neutral-/Mittelpunkts in den Likert-Skalen (Stimme zu/ stimme nicht zu) auch Ziel dieser Online-Befragung. Es lagen zwei Versionen von jeder der ursprünglichen und vereinfachten Skalan vor- eine mit 5 Antwortmöglichkeiten, einschließlich einer ´weder zustimmen noch ablehnen´ neutralen/mittleren Kategorie und eine andere mit 4 Antwortmöglichkeiten, die nicht die Option ´weder zustimmen noch ablehnen´ enthielt. Ziel war es zu sehen, welches der beiden Antwortformate für jede der Skalen in der Zielpopulation besser funktioniert. Ausgewogene Skalen Einige der ursprünglichen Skalen waren ausgewogen und einige unausgewogen, wobei die meisten Items Teil einer ausgewogenen Skala waren. Die unausgewogenen Skalen (Selbstbeherrschung, Selbstwirksamkeit und sozial-emotionale Fähigkeiten) wurden durch die Einbeziehung alternativer umgekehrter Formulierungen einer ausgewählten kleinen Gruppe von Items ausgeglichen. Der Ausgleich wurde durch die Umdrehung der ursprünglichen Formulierungen von 22 Items erreicht (in der Item Bank Dokument werden die umgedrehten Items mit ´R´ und die neu umgedrehten Items mit ´new R´ gekennzeichnet). Diese neu umgedrehten Items wurden gegen ihre ursprünglichen Pendants getestet, um zu sehen, ob die Erstellung ausgewogener Skalen zu Verbesserungen führte (auf Item- und Skalen Ebene). Mehrfachauswahl vs. erzwungene Auswahl Im Falle der Skala für berufliche Interessen wurden die beiden design Merkmale original vs. vereinfachte und Mehrfachauswahl vs. erzwungene Auswahlformate getestet. Die originale Version der Skala für berufliche Interessen bestand aus eine Mehrfachauswahl. Die Expertengruppe testete, welche der beiden Versionen für die allgemeine erwachsene Bevölkerung besser geeignet ist. Hintergrundfragebogen Um das analytische Potenzial der Persönlichkeitsskalen auszuschöpfen, wurden im Rahmen der Umfrage eine Reihe sozio-demografischen und ökonomischen Indikatoren (z.B.: Geschlecht, Alter, Geburtsland, beruflicher Status) und Indikatoren zum persönlichen Wohlbefinden erfasst. Darüber hinaus enthält die Umfrage einen kurzen Test der kognitiven Fähigkeiten sowie Fragen zur Qualitätskontrolle (siehe Studienbeschreibung).

Non-probability: QuotaNonprobability.Quota

Nicht-Wahrscheinlichkeitsauswahl: QuotenstichprobeNonprobability.Quota

Self-administered questionnaire: Web-based (CAWI)SelfAdministeredQuestionnaire.CAWI

Selbstausgefüllter Fragebogen: Webbasiert (CAWI)SelfAdministeredQuestionnaire.CAWI

Identifier
Source https://search.gesis.org/research_data/ZA6940?lang=de
Metadata Access https://datacatalogue.cessda.eu/oai-pmh/v0/oai?verb=GetRecord&metadataPrefix=oai_ddi25&identifier=2ef47303766b9bf1c687c10f3acbc83cd693de0037b2d9ecdc66ea8f27947282
Provenance
Creator Organisation for Economic Co-operation and Development (OECD)
Publisher GESIS Data Archive for the Social Sciences; GESIS Datenarchiv für Sozialwissenschaften
Publication Year 2018
Rights C - Data and documents are only released for academic research and teaching after the data depositor's written authorization. For this purpose the Data Archive obtains a written permission with specification of the user and the analysis intention.; C - Daten und Dokumente sind für die akademische Forschung und Lehre nur nach schriftlicher Genehmigung des Datengebers zugänglich. Das Datenarchiv holt dazu schriftlich die Genehmigung unter Angabe des Benutzers und des Auswertungszweckes ein.
OpenAccess true
Contact http://www.gesis.org/
Representation
Language English; German
Discipline Psychology; Social and Behavioural Sciences
Spatial Coverage United Kingdom; Vereinigtes Königreich; United States of America; Vereinigte Staaten von Amerika