PISA 2012 CBA Nationale Begleitstudie

Projektbeschreibung

Computer prägen heute das Alltags- und Berufsleben, sodass Wissen und Fertigkeiten auch zunehmend mit Hilfe des Computers erfasst werden – so beispielsweise von 15-jährigen Jugendlichen im Rahmen der PISA-Erhebung 2012. Eine Testumsetzung per Computer minimiert nicht nur Kosten und Aufwand, sondern erlaubt insbesondere auch – gegenüber herkömmlichen papierbasierten Testaufgaben – neue Darstellungsmöglichkeiten und Aufgabenformate. Die nationale deutsche Ergänzungsstudie zu PISA 2012 versuchte daher, Fragen zu Verwendungsmöglichkeiten von Computern v. a. zur Erfassung des Leseverständnisses zu beantworten.

Methodisches Vorgehen

Die Datenerhebung der CBA-Begleitforschung fand im Rahmen eines nationalen zweiten Testtags der PISA 2012-Haupterhebung in Deutschland statt. Für die Teilnahme an der Begleitforschung konnten 77 der 212 PISA-Schulen gewonnen werden, sodass die Daten von fast 900 Schüler*innen für die Auswertung vorliegen. Die Testpersonen bearbeiteten während einer Testung überwiegend Aufgaben am Computer. Neben einer Testbatterie, in der ihre Computerfähigkeiten, Arbeitsgedächtniskapazität und grundlegenden Lesefähigkeiten geprüft wurden, bearbeiteten sie auch Leseverständnisaufgaben und Fragen, die ihre Einstellung zu diesen Aufgaben erfassen. Einige bearbeiteten auch Aufgaben in einem Testheft, d. h. in Papierform. Zur Beantwortung der Forschungsfragen sind zusätzlich auch Ergebnisse aus Leseverständnisaufgaben einbezogen worden, die bereits am ersten Testtag im Rahmen von PISA computerbasiert administriert wurden.

Projektziele

Der Fokus der Begleitstudie lag auf der Durchführung von computerbasiertem Assessment (CBA) im PISA-Kontext. Dabei sollten vorrangig Fragestellungen zu den folgenden Bereichen forschungsorientiert beantwortet werden: 

1. Computerbasierte Messung des Lesens von Hypertexten (Digital Reading)
   

   Im Gegensatz zum „gewöhnlichen“ Lineartext weist der digitale Hypertext spezifische Merkmale auf, die eine besondere Anforderung darstellen: das Lesen einer typischen Webseite bedeutet nicht nur fortlaufend Textpassagen nur zu lesen, sondern auch darüber zu entscheiden, welche weiteren Webseiten in welcher Reihenfolge über Links angesteuert werden. Bei dieser Auswahl müssen zusätzliche Kriterien wie z. B. die Relevanz und Vertrauenswürdigkeit der Webseiten berücksichtigt werden. Der Computer ist bei der Erfassung des Lesens digitaler Texte also nicht nur ein Ausgabemedium, sondern ermöglicht vielmehr erst die Erzeugung von Hypertexten. Im Rahmen der nationalen Begleitstudie wird daher empirisch untersucht, ob sich eine Lineartext- von einer Hypertextlesekompetenz unterscheiden lässt und inwieweit sich Unterschiede durch Personenmerkmale, z. B. wie gut jemand mit dem Computer umgehen kann, erklären lassen.

    

   Beispiele aus NaBe
   So sieht die Umsetzung von Digital Reading Aufgaben aus:
   
   
   Die Aufgaben sind ähnlich zu Homepages aufgebaut, Links können natürlich angeklickt werden und verweisen auf weitere Seiten.
   
   
   
2. Untersuchungen des Administrationsmodus
   Weitere Fragestellungen, die durch die PISA-Begleitforschung beantwortet werden sollen, betreffen Effekte, die durch die Übertragung von (linearen) Papiertexten auf den Computer entstehen können. Um das Lesen von Lineartexten zwischen den verschiedenen Modi (d.h. Papier vs. Computer) vergleichbar zu halten, wurde auf eine möglichst große Übereinstimmung zwischen der papier- und der computerbasierten Form geachtet. Neben der technischen Übertragbarkeit an sich ist vor allem von Interesse, ob sich die psychometrischen Eigenschaften der Aufgaben, wie z. B. ihre Lösungsschwierigkeit mit dem Moduswechsel ändern und wie ggf. auftretende Unterschiede erklärt werden können. Im Mittelpunkt steht u.a. die Frage, inwiefern solche Moduseffekte vom jeweiligen Antwortformat, z. B. Freitextschreiben oder Multiple Choice, der Leseaufgaben abhängen.
   
   Beispiele aus NaBe
   So sehen die Aufgaben zur Untersuchung von Modus-Effekten aus:
   
   
   Die Aufgaben sollten möglichst ähnlich zu den papierbasierten Versionen sein. Deshalb enthalten die Aufgaben z. B. keine Hyperlinks im Text.
   
   
   

Finanzierung

Zentrum für internationale Bildungsvergleichsstudien (ZIB)

Kooperationen

• TUM, 
• DPC 

Publikationen

Hahnel, C., Goldhammer, F., Kröhne, U., & Naumann, J. (2018). The role of reading skills for the evaluation of online information. Computers in Human Behavior, 78, 223–234.  http://doi.org/10.1016/j.chb.2017.10.004

Hahnel. C. (2017). Demands and Cognitive Processes in Reading Digital Text (Dissertationsschrift). Goethe Universität Frankfurt am Main.

Hahnel, C., Goldhammer, F., Kröhne, U., & Naumann, J. (2017). Reading digital text involves working memory updating based on task characteristics and reader behavior. Learning and Individual Differences, 59, 149–157.  http://doi.org/10.1016/j.lindif.2017.09.001

Hahnel, C., Goldhammer, F., Naumann, J., & Kröhne, U. (2016). Effects of Reading Comprehension, Basic Computer Skills, Evaluating Online Information, and Navigation on Reading Digital Text. Computers in Human Behavior, 55, 486-500. http://doi.org/10.1016/j.chb.2015.09.042

Ausgewählte Konferenzbeiträge

Kröhne, U., Goldhammer, F., & Hahnel, C. (2014, 04. Juli). Benefits of Process-related Information for Explaining Differences Between Administration Modes. Vortrag auf der 9th Conference of the International Test Commission (ITC) in San Sebastian, ES.

Kröhne, U., Hahnel, C., Schiepe-Tiska, A., & Goldhammer, F. (2013, 27. August). Analyzing Mode Effects of PISA Print Reading Including a Comparison of Time-related Information. Vortrag auf der 15th Biennal Conference of the European Association for Research on Learning and Instruction (EARLI) in München, DE.

Projektdaten