CavE-ICT PISA

Projektbeschreibung

Ein kompetenter Umgang mit Informations- und Kommunikationstechnologien (ICT) stellt aufgrund der alltäglichen Nutzung von Computern die  Voraussetzung für eine erfolgreiche Teilnahme in modernen Wissensgesellschaften und damit ein wichtiges Bildungsziel dar. Im Rahmen des Verbundprojektes sollte ein Instrument entwickelt werden, mit dem die ICT-Fähigkeiten von 15-jährigen Schüler*innen computerbasiert gemessen werden können. Die Vorgabe authentischer und adaptiver (d.h., an das individuelle Kompetenzniveau angepasster) Testaufgaben in verhaltensnaher Umgebung ermöglicht dabei eine valide und effiziente Messung der ICT-Fähigkeiten.

Methodisches Vorgehen

Die geplanten Arbeitsschritte (1-5) des Projekts orientierten sich an dem für internationale Vergleichsstudien (Large-Scale Assessments) typischen, konzeptuellen Entwicklungsprozess. Zunächst sollte ein theoretisches Rahmenkonzept (1) geschaffen werden, das die Domäne der ICT-bezogenen Fähigkeiten definiert sowie organisiert und der Testentwicklung (2) als Grundlage diente. Daten für Skalenentwicklung und Validierung (3) des Messinstruments sollten im Rahmen einer nationalen Ergänzung im Feldtest von PISA 2015 erhoben werden und bildeten die Basis für die Entwicklung des adaptiven Tests (4). Mit dem entwickelten Instrument konnte weiterführend die Rolle von ICT-Fähigkeiten in computerbezogenen Messungen (5) untersucht werden

Die Projektphasen und Arbeitsschritte erfolgten alle in enger Kooperation der Projektbeteiligten untereinander. Die Arbeitsschwerpunkte der Projektbeteiligten am DIPF lagen dabei in der Ausarbeitung der theoretischen Rahmenkonzeption, in der Ableitung des Erhebungskonzeptes, in der Entwicklung und Bereitstellung der Software zur Aufgabenerstellung (CBA ItemBuilder), der technischen Auslieferung des Messinstruments und in der Bearbeitung der Validierungsfragestellung.

Projektziele

Erstellung eines theoretischen Rahmenkonzepts 

Das erste Teilziel stellte die Erarbeitung eines theoretischen Rahmenkonzepts dar, das die Domäne der ICT-bezogenen Fähigkeiten definiert und organisiert. Aufbauend auf dem PISA-Fragebogen zur Vertrautheit mit Computern (‚ICT Familiarity Questionnaire‘)  und bisherigen theoretischen Konzeptionen sollten neue und bisher vernachlässigte Aspekte, wie z.B. die kooperative Zusammenarbeit (‚Kollaboration‘), bei der theoretischen Fundierung berücksichtigt werden. Unter Zuhilfenahme psychologischer Theorien und Modelle sollte zudem die interne Struktur von ICT- Fähigkeiten beschrieben werden. Das Rahmenkonzept definiert prototypische ICT-Tasks, wie zum Beispiel eine Informationssuche im Internet und beschreibt die dafür jeweils notwendigen ICT-spezifischen  Fähigkeiten und Fertigkeiten. Darüber hinaus werden im Hinblick auf die Aufgabenentwicklung konstrukt- und schwierigkeitsbestimmende Aspekte in diesen ICT-Aufgaben identifiziert.

Itementwicklung und Feldtestung

Auf Grundlage des theoretischen Rahmenkonzepts war es das zweite Ziel, ein Erhebungskonzept zu erstellen, in dem den formulierten Fähigkeiten und Fertigkeiten systematisch repräsentative Aufgaben zugeordnet werden. Die Aufgabentypen waren nach verschiedenen Merkmalen (z.B. schwierigkeitsbestimmende Merkmale, Kontext, Reaktionsmodus) zu kategorisieren und ordnen, womit die Grundlage für eine systematische Aufgabenentwicklung geschaffen ist. Entsprechend konstruierten geschulte Aufgabenentwickler Aufgaben , die Simulationen von ICT-Umgebungen enthalten (beispielsweise einem Internetbrowser) und diese mittels des Autorenwerkzeugs CBA ItemBuilder implementieren. In kognitionspsychologischen Untersuchungen (Cognitive Laboratory Studies’) wurden diese Aufgaben dann einer ersten qualitativen Überprüfung unterzogen, anschließend optimiert und im Rahmen des PISA 2015 Feldtests an einer großen Stichprobe getestet.

Finanzierung

Gefördert vom Bundesministerium für Bildung und Forschung

Kooperationen

Prof. Dr. Holger Horz, Goethe-Universität Frankfurt am Main (Projektkoordination)

Prof. Dr. Andreas Frey, Friedrich-Schiller-Universität Jena

Projektteam

Projektdaten