InSe – Instruktionssensitivität von Testitems in der Pädagogisch-Psychologischen Diagnostik

Projektbeschreibung

Ergebnisse von Schüler*innen aus standardisierten Leistungstests werden häufig dazu genutzt, ihren individuellen Lernstand zu erfassen, die Qualität von Schule, Unterricht und anderer pädagogischer Maßnahmen zu beurteilen oder Bildungssysteme auf nationaler und internationaler Ebene zu vergleichen. Gültige Rückschlüsse über Schule und Unterricht erfordern, dass die Testinstrumente im Allgemeinen instruktionssensitiv sind, also dazu in der Lage, Effekte von Schule und Unterricht abzubilden. Das Projekt untersucht, wie sich die Instruktionssensitivität von Tests und Items empirisch fassen und in der Pädagogisch-Psychologischen Diagnostik praktisch nutzen lässt.

Projektziele

Das Projekt baut auf einem von Naumann, Hochweber und Hartig (2014) vorgestellten längsschnittlichen Mehrebenen-DIF-Modell (LML-DIF-Modell) zur Untersuchung von Instruktionssensitivität auf. Dieses Modell integriert bestehende Ansätze zur Instruktionssensitivität, indem es sowohl Veränderungen in Schülerleistungen über die Zeit als auch Unterschiede zwischen Klassen einbezieht. Vier übergeordnete Ziele werden verfolgt:

1. die Weiterentwicklung des LML-DIF-Modells
2. die Untersuchung der Qualität und Bedingungen der Parameterschätzung
3. die Validierung von statistischen Indikatoren für Instruktionssensitivität
4. die Entwicklung von Kriterien zur Klassifikation von Instruktionssensitivität auf Test- und Itemebene

Die Arbeitspakete zur Erreichung dieser Ziele lassen sich einteilen in die Bereiche Modellentwicklung, Simulationsstudien, Sekundäranalysen und eine Datenerhebung an Schweizer Schulen.

Eine Weiterentwicklung des Modells wird angestrebt. Dabei werden die Instruktionssensitivität auf Testebene ebenso wie Prädiktorvariablen einbezogen. Auch die Modellierung variierender Itemdiskriminationen, die Verallgemeinerung auf mehrstufige Antworten und die Anwendung auf Trenddaten sind Teil dieser Arbeit. Simulationsstudien unterstützen die Modellentwicklung und dienen der Erforschung der Qualität und Bedingungen der Parameterschätzung (zum Beispiel Stichprobenanforderungen). Sekundäranalysen dienen der Entwicklung von Kriterien für "hohe" oder "geringe" Instruktionssensitivität. Darüber hinaus validiert das Projekt statistische Indikatoren für Instruktionssensitivität, indem deren Zusammenhänge mit Prädiktoren auf Klassen- und Itemebene analysiert werden. Einige weitere Sekundäranalysen dienen darüber hinaus der Ersterprobung von neu entwickelten Modellvarianten.

Ergänzend ist die Erhebung eigener Testdaten an Schweizer Schulen geplant. In Zusammenarbeit mit dem Lehrmittelverlag St.Gallen erfolgt eine Erhebung der Schulleistungen von Schüler*innen im Fach Mathematik zu mehreren Messzeitpunkten. Parallel dazu sind detaillierte Untersuchungen des Unterrichtsinhalts und umfassende Einschätzungen mit fachlicher Expertise zu den Testaufgaben bezüglich ihrer Nähe zum Unterricht vorgesehen. Die Zusammenführung der erhobenen Daten liefert eine vielversprechende Grundlage für die Validierung statistischer Indikatoren sowie die Entwicklung von Kriterien zur Klassifikation der Instruktionssensitivität von Testitems.

Finanzierung

Das Kooperationsprojekt „Instruktionssensitivität von Testitems in der Pädagogisch-Psychologischen Diagnostik“ des DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation mit der Pädagogischen Hochschule St. Gallen (PHSG) wird von der Deutschen Forschungsgemeinschaft (DFG) und dem Schweizerischen Nationalfonds (SNF) gefördert.

Kooperationen

• Min Li, University of Washington, Seattle

Publikationen

• Naumann, A., Rieser, S., Musow, S., Hochweber, J., & Hartig, J. (2019). Sensitivity of Test Items to Teaching Quality. Learning and Instruction, 60, 41–53. DOI: https://doi.org/10.1016/j.learninstruc.2018.11.002
• Naumann, A., Musow, S., Aichele, C., Hochweber, J., & Hartig, J. (2018): Instruktionssensitivität von Tests und Items [Instructional Sensitivity of Tests and Items]. Zeitschrift für Erziehungswissenschaft. Online first. DOI: 10.1007/s11618-018-0832-0
• Naumann, A., Hartig, J., & Hochweber, J. (2017). Absolute and relative measures of instructional sensitivity. Journal of Educational and Behavioral Statistics, 42(6), 678–705. DOI: 10.3102//1076998617703649
  
• Naumann, A., Hochweber, J., & Klieme, E. (2016). A psychometric framework for the evaluation of instructional sensitivity. Educational Assessment, 21(2), S. 89–101, DOI: 10.1080/10627197.2016.1167591
  
• Naumann, A., Hochweber, J., & Hartig, J. (2014). Modeling instructional sensitivity using a longitudinal multilevel differential item functioning approach. Journal of Educational Measurement, 51, S. 381–399, DOI: 10.1111/jedm.12051  

Projektleitung

Projektteam

• Stephanie Musow
• Dr. Alexander Naumann

Projektdaten