Programme for the International Assessment of Adult Competencies (PIAAC), International Pilot Study on Non-Cognitive Skills

DOI

Die Online-Umfrage wurde mit folgendem Ziel entworfen: um die Messeigenschaften ausgewählter Skalen sowie der länderübergreifenden Vergleichbarkeit ausgewählter Skalen zu testen. Die Messeigenschaften von neun Persönlichkeitsskalen wurden getestet: Big Five, Traditionalismus, Selbstkontrolle, Selbstwirksamkeit, Ehrlichkeit/Integrität, sozial-emotionale Fähigkeiten, intellektuelle Neugier, Berufsorientierung und berufliche Interessen. Acht dieser neun Skalen sind vorhandene Skalen (oder Kombinationen von Skalen), die für den Einsatz im öffentlichen Bereich verfügbar sind. Die Skala zur Bewertung der sozial-emotionalen Fähigkeiten wurde von einer Expertengruppe entwickelt. Die vollständigen Formulierungen der Items in allen Skalen sind in der beigefügten Excel-Datei enthalten (unter Daten und Dokumente).

Hintergrundfragebogen Um das analytische Potenzial auszuschöpfen und die politische Bedeutung der Persönlichkeitsskalen zu untersuchen, beinhaltet die Umfrage eine Reihe von sozio-demografischen Indikatoren, Indikatoren zu ökonomischen und persönlichen Wohlbefinden als auch einen kurzen kognitiven Fähigkeitstest. Dazu gehören insbesondere: Sozio-demographische Merkmale (z.B.: Geschlecht, Alter, Geburtsland), Wirtschafts- und Wohlstandsindikatoren (z.B.: Beschäftigungsstatus, subjektive Gesundheit, Lebenszufriedenheit) sowie Fragen zur Qualitätskontrolle.

This online survey was designed to test the measurement properties of nine personality scales – the Big Five, Traditionalism, Self-Control, Self-Efficacy, Honesty/Integrity, Socio-Emotional skills, Intellectual Curiosity, Job Orientation Preferences and Vocational Interests. Eight of these nine scales are existing scales (or combinations of scales) available for use in public domain. The scale assessing socio-emotional skills was developed by an expert group . The full formulations of items in all scales are presented in the attached excel file.

Design of the online survey

The online survey was designed with following objectives: 1) Testing the measurement characteristics of selected scales; 2) Testing the cross national comparability of selected scales.

Background questionnaire

In order to examine the analytic potential (and policy relevance) of the selected personality measures, the survey included a number of socio-demographic and economic and personal wellbeing indicators as well as a short cognitive ability test. In particular, it includes: Socio-demographic characteristics: Gender, age, country of birth, mother tongue, marital status, educational attainment, and parental education. Economic and wellbeing indicators: Broad activity status, occupational status, subjective health, social trust, life satisfaction, and personal wellbeing. Quality control questions: In order to check the quality of the response data, the survey included three quality control items placed within the Big Five, Self-Control, and Socio-Emotional skills scales. These were later used, along other indicators of data quality, for the creation of an overall quality control indicator and removal of poor quality responses.

Personen zwischen 16 und 65 Jahren in Deutschland, Spanien, Frankreich, Japan und Polen

Persons between 16 and 65 years in Germany, Spain, France, Japan and Poland

Nicht-Wahrscheinlichkeitsauswahl: Quotenauswahl; Auswahlverfahren Kommentar: Nicht-Wahrscheinlichkeitsauswahl: Quotenstichprobe

7436 Personen wurden befragt, etwa 1500 je Land. Von diesen wurden 6,6% der Befragten ausgeschlossen, nachdem sie verschiedene Qualitätskontrollkriterien nicht erfüllt hatten. Auf Basis dieser Kriterien wurde ein aggregierter Qualitätsindikator erstellt und Befragte mit schlechter Antwortqualität aus den Datensätzen entfernt. Daraus ergibt sich die finale Stichprobe aus 1.314 französischen, 1.240 japanischen, 1.380 spanischen, 1.538 deutschen und 1.452 polnischen Befragten.

Es handelt sich um eine willkürliche Stichprobe (Convenience sample), die nicht repräsentativ für die Bevölkerung in den betreffenden Ländern ist. Es wurden Quoten verwendet, um eine Geschlechts- und Altersverteilung zu gewährleisten, die weitgehend die nationalen Volkszählungsdaten widerspiegelt.

Kriterien zur Qualitätskontrolle und zum Ausschluss Eine Qualitätskontrolle wurde mit Hilfe der folgenden Kriterien vorgenommen: - -Testzeit: Ausschluss derer, die in unter 6 Minuten geantwortet haben und Markierung derer, die den Test innerhalb von 6-8 Minuten abgeschlossen haben; -Alter: Ausschluss derer junger als 16 und älter als 65 Jahre; - Ergebnisse des Fähigkeitstests (2 Kriterien): Kennzeichnung derer, die wiederholend „Ich weiß nicht“ geantwortet haben oder die keine einzige richtige Antwort hatten (1 Punkt für jedes Kriterium) - Qualitätskontrollkriterien (3 Kriterien): Kennzeichnung derer, die an einer, zwei oder allen drei Kontrollfragen gescheitert sind (1 Punkt für jedes gescheiterte Qualitätskontrollkriterium) -Antwortkonsistenz: Kennzeichnung derer, die gleiche Antworten zu vier paaren von gegensätzlichen/umgekehrten Fragen gegeben haben (z.B. „Ist ordentlich“ vs. „Ist unordentlich“ oder „Ist gesprächig“ vs. „Tendiert dazu ruhig zu sein“). Die aufgezählten Kriterien wurden zugrunde gelegt um ein allgemeiner Qualitätsindikator (genannt `Qualität´) abzuleiten. Außerdem wurden nicht vollständige Fälle sowie Dubletten aus dem Datensatz ausgeschlossen.

Non-probability: Quota; Sampling Procedure Comment: Non-probability Sample: Quota Sample

7436 responses were collected, around 1500 by country. Out of these, 6.6% respondents were excluded after failing on various quality control criteria - age, testing time, ability test, consistency of answers, answers on quality control questions, incomplete responses. An aggregate quality indicator was constructed based on these criteria and respondents with poor response quality were removed from the datasets. Thus, in the final sample there are 1.314 French respondents, 1.240 Japanese respondents, 1.380 Spanish respondents, 1.538 German respondents and 1.452 Polish respondents. The sample was a convenience sample and is therefore unrepresentative of the populations in the countries concerned. Quotas were used to ensure a gender and age distribution that broadly represented national´s census data.

Criteria for quality control and exclusion

Quality control was undertaken using the following 8 criteria: - Testing time - excluding those that answered in less than 6 minutes and marking those who had finished in between 6-8 minutes (1 point); - Age - excluding those younger than 16 and older than 65; - Ability test results (2 criteria) - marking those that repeatedly answered “don’t know” or that did not have single correct answer (1 point for each of the two criteria); - Quality control items (3 criteria) - marking those that failed one, two or all three quality control answers (1 point for each failed quality control item); - Consistency in answering – marking those that gave the same answers to four pairs of opposing/reverse questions (e.g. “Is neat” vs. “Is messy”; or “Is talkative” vs. “Tends to be quiet”). In the end an overall quality indicator (named ´quality´) was compiled combining all these individual criteria. Non-complete cases as well as duplicates were excluded from the database.

Erhebungseinheit: Jugendliche; Erwachsene### Quellen: • Beierlein C., Kemper C. J., Kovaleva A., & Rammstedt, B. (2013). Kurzskala zur Erfassung allgemeiner Selbstwirksamkeitserwartungen (ASKU). Short Scale for Measuring General Self-efficacy Beliefs (ASKU). mda: Methoden, Daten, Analysen, 7(2), 251-278. • Chernyshenko, O. S. (2002). Applications of ideal point approaches to scale construction and scoring in personality measurement: The development of a six-faceted measure of conscientiousness. University of Illinois at Urbana-Champaign. • De Vries, R. E. (2013). The 24-item brief HEXACO inventory (BHI). Journal of Research in Personality, 47(6), 871-880. • Romppel, M., Herrmann-Lingen, C., Wachter, R., Edelmann, F., Düngen, H. D., Pieske, B., & Grande, G. (2013). A short form of the General Self-Efficacy Scale (GSE-6): Development, psychometric properties and validity in an intercultural non-clinical sample and a sample of patients at risk for heart failure. GMS Psycho-Social-Medicine, 10. • Soto, C. J., & John, O. P. (2017). The next Big Five Inventory (BFI-2): Developing and assessing a hierarchical model with 15 facets to enhance bandwidth, fidelity, and predictive power. Journal of Personality and Social Psychology, 113, 117-143. • Soto, C. J., & John, O. P. (2017). Short and extra-short forms of the Big Five Inventory–2: The BFI-2-S and BFI-2-XS. Journal of Research in Personality, 68, 69-81. • Schwarzer, R., & Jerusalem, M. (1995). Generalized Self-Efficacy scale. In J. Weinman, S. Wright, & M. Johnston, Measures in health psychology: A user’s portfolio. Causal and control beliefs (pp. 35-37). Windsor, UK: NFER-Nelson. Mitglieder der Expertengruppe: • Daniel Danner (GESIS – Leibniz Institute for the Social Sciences, Germany) • Beatrice Rammstedt (GESIS – Leibniz Institute for the Social Sciences, Germany) • Brent Roberts (University of Illinois, USA) • Manfred Schmitt (University of Landau, Germany) • Fons van de Vijver (Tilburg University, Netherlands) • Richard Roberts (Professional Examination Service, USA) • Susanne Weis (University of Landau, Germany)

Survey unit: teenagers; adults### References: • Beierlein C., Kemper C. J., Kovaleva A., & Rammstedt, B. (2013). Kurzskala zur Erfassung allgemeiner Selbstwirksamkeitserwartungen (ASKU). Short Scale for Measuring General Self-efficacy Beliefs (ASKU). mda: Methoden, Daten, Analysen, 7(2), 251-278. • Chernyshenko, O. S. (2002). Applications of ideal point approaches to scale construction and scoring in personality measurement: The development of a six-faceted measure of conscientiousness. University of Illinois at Urbana-Champaign. • De Vries, R. E. (2013). The 24-item brief HEXACO inventory (BHI). Journal of Research in Personality, 47(6), 871-880. • Romppel, M., Herrmann-Lingen, C., Wachter, R., Edelmann, F., Düngen, H. D., Pieske, B., & Grande, G. (2013). A short form of the General Self-Efficacy Scale (GSE-6): Development, psychometric properties and validity in an intercultural non-clinical sample and a sample of patients at risk for heart failure. GMS Psycho-Social-Medicine, 10. • Soto, C. J., & John, O. P. (2017). The next Big Five Inventory (BFI-2): Developing and assessing a hierarchical model with 15 facets to enhance bandwidth, fidelity, and predictive power. Journal of Personality and Social Psychology, 113, 117-143. • Soto, C. J., & John, O. P. (2017). Short and extra-short forms of the Big Five Inventory–2: The BFI-2-S and BFI-2-XS. Journal of Research in Personality, 68, 69-81. • Schwarzer, R., & Jerusalem, M. (1995). Generalized Self-Efficacy scale. In J. Weinman, S. Wright, & M. Johnston, Measures in health psychology: A user’s portfolio. Causal and control beliefs (pp. 35-37). Windsor, UK: NFER-Nelson. Members of expert group: • Daniel Danner (GESIS – Leibniz Institute for the Social Sciences, Germany) • Beatrice Rammstedt (GESIS – Leibniz Institute for the Social Sciences, Germany) • Brent Roberts (University of Illinois, USA) • Manfred Schmitt (University of Landau, Germany) • Fons van de Vijver (Tilburg University, Netherlands) • Richard Roberts (Professional Examination Service, USA) • Susanne Weis (University of Landau, Germany)

Self-administered questionnaire: Web-based

Selbstausfüller: CAWI (Computerunterstütztes Web-Interview)

Web-Umfrage, die gesamte Umfrage wurde online durchgeführt. Die Umfrage wurde mit der Survey Monkey Plattform durchgeführt.

Self-administered questionnaire: CAWI (Computer-Assisted Web Interview)

Web survey, entire survey was conducted online. The survey was implemented using Survey Monkey platform.

Identifier
DOI https://doi.org/10.4232/1.13063
Metadata Access https://www.da-ra.de/oaip/oai?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai:oai.da-ra.de:653174
Provenance
Creator Organisation for Economic Co-operation and Development (OECD)
Publisher GESIS Data Archive
Contributor Cint company; GESIS
Publication Year 2018
Rights All metadata from GESIS DBK are available free of restriction under the Creative Commons CC0 1.0 Universal Public Domain Dedication. However, GESIS requests that you actively acknowledge and give attribution to all metadata sources, such as the data providers and any data aggregators, including GESIS. For further information see https://dbk.gesis.org/dbksearch/guidelines.asp; Delivery; C - Data and documents are only released for academic research and teaching after the data depositor’s written authorization. For this purpose the Data Archive obtains a written permission with specification of the user and the analysis intention.
OpenAccess true
Contact GESIS Data Archive
Representation
Language German
Resource Type Dataset; Umfrage- und Aggregatdaten; Survey and aggregate data
Discipline Social Sciences
Spatial Coverage Germany; Spain; France; Japan; Poland; 2017-01-30 - 2017-03-06