DiFA - Digital Formative Assessment (Evaluation Study)

DOI

As part of the Digital Formative Assessment (DiFA) project, an online course was developed for student teachers that offers individualised, trace-based feedback on learning behaviour. The course, which ran over five learning units, focussed on the use of digital media in the classroom and included multimedia materials such as texts and videos as well as interactive activities such as concept maps, forum discussions and self-assessment tests. The project comprised two empirical phases: In the pilot phase, participants provided self-reports on self-regulated learning and learning engagement and completed a multiple document processing test. Detailed log data of the learners´ interactions were recorded in order to develop behavioural indicators and feedback models. In the evaluation phase, the feedback system was tested in an experimental design that included personalised and non-personalised feedback. At the end of each learning unit, participants received feedback on their learning behaviour and suggestions for behavioural adaptation. Pre- and post-measurements made it possible to analyse the change in the outcome variables. The results of the DiFA project contribute to a better understanding of learning behaviour in digital learning environments. In version 1.0.0, only the research data of the DiFA evaluation study (survey data and scores) without log data are available for re-use.

Im Rahmen des Projekts Digitales Formatives Assessment (DiFA) wurde ein Online-Kurs für Lehramtsstudierende entwickelt, der individualisiertes, tracedatenbasiertes Feedback zum Lernverhalten bietet. Der Kurs, der sich über fünf Lerneinheiten erstreckte, thematisierte den Einsatz digitaler Medien im Unterricht und beinhaltete multimediale Materialien wie Texte und Videos sowie interaktive Aktivitäten wie Concept-Maps, Forendiskussionen und Tests zur Selbstkontrolle. Das Projekt umfasste zwei empirische Phasen: In der Pilotphase gaben die Teilnehmer Selbstauskünfte zu selbstreguliertem Lernen und Lernengagement ab und absolvierten einen Test zur Verarbeitung multipler Dokumente. Hierbei wurden detaillierte Logdaten der Interaktionen der Lernenden erfasst, um Verhaltensindikatoren und Feedbackmodelle zu entwickeln. In der Evaluationsphase wurde das Feedbacksystem in einem experimentellen Design getestet, das personalisiertes und nicht-personalisiertes Feedback umfasste. Am Ende jeder Lerneinheit erhielten die Teilnehmer Rückmeldungen zu ihrem Lernverhalten sowie Vorschläge zur Verhaltensadaptation. Prä- und Post-Messungen ermöglichten eine Analyse der Veränderung der Outcome-Variablen. Die Ergebnisse des DiFA-Projekts tragen zu einem besseren Verständnis des Lernverhaltens in digitalen Lernumgebungen bei. In der Version 1.0.0 stehen nur die Forschungsdaten der DiFA Evaluationsstudie (Befragungsdaten und Scores) ohne Log-Daten zur Nachnutzung zur Verfügung.

Non-probability: PurposiveNonprobability.Purposive

Nicht-Wahrscheinlichkeitsauswahl: Bewusste AuswahlNonprobability.Purposive

Non-probability: Respondent-assistedNonprobability.RespondentAssisted

Nicht-Zufallsstichprobe: Respondenten gesteuerte AuswahlNonprobability.RespondentAssisted

ObservationObservation

BeobachtungObservation

Educational measurements and testsMeasurementsAndTests.Educational

Messungen und Tests: Leistungs- und KompetenztestsMeasurementsAndTests.Educational

Psychological measurements and testsMeasurementsAndTests.Psychological

Messungen und Tests: Psychologische TestsMeasurementsAndTests.Psychological

Self-administered questionnaire: Computer-assisted (CASI)SelfAdministeredQuestionnaire.CASI

Selbstausgefüllter Fragebogen: Computerunterstützt (CASI)SelfAdministeredQuestionnaire.CASI

Identifier
DOI https://doi.org/10.4232/1.14466
Source https://search.gesis.org/research_data/ZA8918?lang=de
Metadata Access https://datacatalogue.cessda.eu/oai-pmh/v0/oai?verb=GetRecord&metadataPrefix=oai_ddi25&identifier=7454c19e40186c629193609e62dbfa71f136b834971f8812ef5fb79c84db3566
Provenance
Creator Bengs, Daniel; Biedermann, Daniel; Ciordas-Hertel, George; Eichmann, Beate; Hahnel, Carolin; Mendzheritskaya, Julia; Onofrei, Monica; Winter, Marc; Wolter, Ilka; Artelt, Cordula; Drachsler, Hendrik; Horz, Holger; Goldhammer, Frank
Publisher GESIS Data Archive for the Social Sciences; GESIS Datenarchiv für Sozialwissenschaften
Publication Year 2025
Rights A - Data and documents are released for academic research and teaching.; A - Daten und Dokumente sind für die akademische Forschung und Lehre freigegeben.
OpenAccess true
Contact http://www.gesis.org/
Representation
Discipline Psychology; Social and Behavioural Sciences