ReTiCo: Response Time Control

Projektbeschreibung

In groß angelegten Bildungsvergleichsstudien (Large Scale Assessments) werden die Aufgaben üblicherweise innerhalb eines nicht weiter unterteilten Zeitrahmens bearbeitet. Testteilnehmende können sich somit bei der Bearbeitung in der pro Aufgabe verwendeten Zeit, beziehungsweise im jeweiligen Zeitmanagement, erheblich unterscheiden. Diese individuellen Unterschiede in der Bearbeitungsstrategie können zu heterogenen Leistungen führen, das heißt, die Wahl der Bearbeitungsstrategie kann die Messung beeinflussen und deren Vergleichbarkeit beeinträchtigen. Bisherige Erkenntnisse zu dieser Problematik, die mit dem sogenannten‚ Speed-Accuracy-Tradeoff‘ zusammenhängt, stammen vorwiegend aus Studien zu Speed-Tests (Messung der Leistungsgeschwindigkeit). In diesem Projekt sollen die Fragestellungen und Erkenntnisse nun auch auf Power-Tests (Messung der Leistungshöhe, z.B. Kompetenz- oder Fähigkeitstests) übertragen werden.

Methodisches Vorgehen

ReTiCo kombiniert experimentelle und diagnostische Untersuchungsansätze. Bereits erprobte Lesekompetenztests werden in verschiedenen zeitlichen Rückmeldebedingungen umgesetzt, um den individuellen Einfluss auf die Leistung der Schüler*innen zu untersuchen, ebenso wie die Auswirkungen auf die Itemkennwerte. Die Datenerhebung findet im Frühjahr 2014 an Berufsschulen statt. Dabei wird eine Stichprobe von mindestens 800 Personen angestrebt. Die Teilnehmenden bearbeiten die Testverfahren ausschließlich am Computer. Neben verschiedenen Lesebedingungen werden in anonymisierter Form erklärende Variablen (beispielsweise Testmotivation, Stressempfinden, Deutschnote) erfasst, die Aufschluss über mögliche Zusammenhänge zwischen Personenvariablen und Fähigkeit sowie Bearbeitungsstrategie geben sollen.

Projektziele

Im Einzelnen werden folgende Zielsetzungen verfolgt:

1. Reduktion der individuellen Unterschiede
   Durch die Einführung von zeitlichem Feedback und der Begrenzung der Bearbeitungszeit auf Aufgabenebene sollen konstruktirrelevante Unterschiede in der Bearbeitungsstrategie reduziert werden.
2. Ermittlung der Ursachen
   Mit Hilfe zusätzlicher erklärender Personenvariablen sollen die Ursachen der individuellen Unterschiede in der Bearbeitung ermittelt werden.
3. Modelltestung
   Zur Schätzung der Personenparameter sollen Modelle getestet werden, die den Einfluss des Zeitaufwandes auf den Bearbeitungserfolg berücksichtigen.
4. Auswirkungen auf Itemkennwerte
   Die Auswirkungen verschiedener zeitlicher Bedingungen auf die Itemkennwerte Schwierigkeit und Trennschärfe sowie die Kovarianzstruktur der Messungen sollen untersucht werden.

Finanzierung

Zentrum für internationale Bildungsvergleichsstudien (ZIB)

Kooperation

NEPS

Publikationen

• Goldhammer, F.; Kroehne, U. (2014). Controlling Individuals' Time Spent on Task in Speeded Performance Measures: Experimental Time Limits, Posterior Time Limits, and Response Time Modeling. Applied Psychological Measurement. Published online before print January 16, 2014. doi: 10.1177/0146621613517164
• Goldhammer, F. ; Klein Entink, R.H. (2011). Speed of reasoning and its relation to reasoning ability. Intelligence, 39, 108-119.

Projektdaten