Conditions and Consequences of Classroom Assessment

Projektbeschreibung

Zentrale Idee von formativem Assessment (Lernbegleitende Leistungsbeurteilung und –rückmeldung) ist es mit Hilfe von Leistungsmessungen Informationen über den Lernstand der Schüler*innen zu gewinnen und diese Informationen für die Gestaltung des weiteren Lehr- und Lernprozess zu nutzen. Den Lernenden kann auf Basis der Leistungsbeurteilung lernförderliches Feedback gegeben werden, um so die Diskrepanz zwischen Lernstand und Lernziel zu verringern. Die Kernelemente formativem Assessments bestehen also aus einer detaillierten Diagnose des Lernstandes und der Nutzung der gewonnen Informationen – z.B. in Form von Feedback.

In der ersten Förderphase (2007-2009) wurden Mathematikaufgaben entwickelt und erprobt, die als Grundlage für das darauf folgende Experiment und die Interventionsstudie dienten (1). In der zweiten Förderphase (2009-2011) wurde ‚Feedback‘ als ein zentrales Element formativer Leistungsmessung genauer untersucht. Hierzu wurden in einem Experiment verschiedene Arten schriftlicher Rückmeldung eingesetzt und in Bezug auf deren Wirkung auf kognitive und motivationale Prozesse verglichen (2). Um die Befunde aus den ersten beiden Teilstudien in einem ökologisch validen Setting zu überprüfen, wurde anschließend, ebenfalls im zweiten Förderzeitraum, eine Interventionsstudie durchgeführt. In dieser wurden  Lehrkräfte geschult, ihren Schüler*innen auf Basis einer Leistungsdiagnose lernförderliche Rückmeldungen zu geben (3). In der vierten und abschließenden Transferstudie wurde die Fortbildung für Lehrkräfte der Interventionsstudie weiterentwickelt und geprüft, inwieweit eine intensive Fortbildung zu formativem Assessment allgemeines- und mathematikdidaktisches Wissen von Lehrkräften fördert (4).

Die Skalierungsstudie

In der ersten Förderphase wurden Aufgaben zu zwei Unterrichtseinheiten des Mathematikunterrichts der neunten Jahrgangsstufe entwickelt („Satzgruppe des Pythagoras“ und „Lineare Gleichungssysteme“), um die Leistungen in den beiden mathematischen Teilkompetenzen „Modellierungskompetenz“ und „technische Kompetenz“ differenziert zu erfassen. Ziel der Skalierungsstudie war es die entwickelten Testaufgaben zu erproben, um die resultierenden Itemkennwerte im anschließenden Experiment und in der Interventionsstudie für eine präzise und detaillierte Leistungsmessung in unterrichtsbezogenen Lerninhalten zu nutzen. Der Fokus der ersten Förderphase lag demnach auf der Untersuchung eines Kernelements formativen Assessments – der Diagnose. Die Daten der Skalierungsstudie wurden zudem dazu verwendet, eigenständigen psychometrischen Fragestellungen nachzugehen. So konnte gezeigt werden, dass Leistungen in mathematischen Inhaltsbereichen, sowie  mathematischen und inhaltsspezifischen Teilkompetenzen empirisch trennbar sind. Mittels Befragungen von Schüler*innen und Lehrkräften wurde außerdem die Leistungsbeurteilungspraxis im Mathematikunterricht erforscht.

Das Experiment

Während in der ersten Förderphase die Erprobung der detaillierten Leistungsmessung im Vordergrund stand, lag der Fokus der zweiten Förderphase auf der Erforschung motivationaler und kognitiver Effekte des zweiten zentralen Elements formativen Assessments – der Rückmeldung.  Aus der internationalen Feedbackliteratur wurden hierzu bekannte motivations- und lernförderliche Rückmeldemerkmale herausgearbeitet und für die Entwicklung einer lösungsprozessbezogenen Rückmeldung verwendet. Anschließend wurde in einem Experiment die lösungsprozessbezogene Rückmeldung mit einer auf Noten basierenden Rückmeldung sowie einer auf Kompetenzstufen basierenden Rückmeldung hinsichtlich ihrer Wirkung auf die Interessens- und Leistungsentwicklung von Schüler*innen verglichen. Die lösungsprozessbezogene Rückmeldung erwies sich hierbei unter Laborbedingungen als besonders lernförderlich. Sie wurde von den Schüler*innen als besonders nützlich und kompetenzunterstützend wahrgenommen, was sich wiederum positiv auf die Leistungs- und Interessenentwicklung auswirkte.

Die Interventionsstudie

In der Interventionsstudie wurden die Erkenntnisse der Skalierungsstudie und des Experiments genutzt, um in einem quasi-experimentellen Studiendesign die Wirkung von formativem Assessment auf Lehr- und Lernprozesse in einem ökologisch validem Setting zu untersuchen. Hierzu wurden 41 Lehrkräfte auf 3 Versuchsbedingungen aufgeteilt (Kontrollgruppe + zwei Interventionsgruppen). Zunächst wurden alle teilnehmenden Lehrkräfte geschult, eine 13-stündige Unterrichtseinheit zum „Satz des Pythagoras“ durchzuführen. Die Lehrkräfte in den beiden Interventionsbedingungen wurden darüber hinaus darin trainiert, zu vorab festgelegten Zeitpunkten mit Hilfe von Diagnoseaufgaben den Lernstand der Schüler*innen zu erfassen und ihnen daraufhin eine lernförderliche Rückmeldung zu geben. Eine der Interventionsgruppen erhielt eine dritte Schulung in der sie trainiert wurden, mündliches Feedback zu geben. Für die Diagnose und schriftliche Rückmeldung wurde ein speziell für diese Studie entwickeltes formatives Assessment-Tool eingesetzt, welches auf der lösungsprozessbezogenen Rückmeldung des Experimentes basiert. Dieser sogenannte „Diagnosebogen“ enthält sowohl die von der Schüler*in zu bearbeitende Diagnoseaufgabe, als auch ein vorstrukturiertes Feedbackfeld, in dem die Lehrkräfte Stärken, Schwächen und Strategien rückmelden. Erste Analysen zeigen, dass Schüler*innen in den Interventionsgruppen die Rückmeldungen im Unterricht als besonders nützlich wahrnehmen und sich dies über eine erhöhte Erfolgserwartung auf die Leistungs- und Interessenentwicklung auswirkt.

Die Transferstudie

Das Ziel der Transferstudie ist es zu untersuchen, inwiefern Fortbildungen für Lehrkräfte zum formativen Assessment geeignet sind die Assessmentkompetenz von Lehrkräften zu fördern. Hierzu wurden die Fortbildungen der Interventionsstudie weiterentwickelt und intensiviert. Anhand einer Stichprobe von 67 Lehrkräften konnte gezeigt werden, dass sich durch Weiterbildungen zum Thema formatives Assessment das mathematikdidaktische Wissen über formatives Assessment von Lehrpersonen steigern lässt. Wirkungen auf allgemein pädagogisches Wissen über formatives Assessment werden derzeit untersucht.

Ausgewählte Publikationen

Besser, M., Leiss, D. & Klieme, E. (in press). Wirkung von Lehrerfortbildungen auf Expertise von Lehrkräften zu formativem Assessment im kompetenzorientierten Mathematikunterricht. The effect of teacher-trainings on teachers' expertise concerning formative assessment in competency-oriented mathematics. Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie, 2.

Bürgermeister, A. (2014). Leistungsbeurteilung im Mathematikunterricht. Bedingungen und Effekte von Beurteilungspraxis und Beurteilungsgenauigkeit. Münster: Waxmann.

Bürgermeister, A., Klieme, E., Rakoczy, K., Harks, B. & Blum, W. (2014). Formative Leistungsbeurteilung im Unterricht: Konzepte, Praxisberichte und ein neues Diagnoseinstrument für das Fach Mathematik. In M. Hasselhorn, W. Schneider & U. Trautwein (Hrsg.), Lernverlaufsdiagnostik (S. 41-60). Göttingen: Hogrefe.

Harks, B., Klieme, E., Hartig, J. & Leiß, D. (2014). Separating cognitive and content domains in mathematical competence. Educational Assessment, 19, 243-266.

Harks, B., Rakoczy, K., Hattie, J., Besser, M. & Klieme, E. (2014). The effects of feedback on achievement, interest, and self-evaluation: the role of feedback’s perceived usefulness. Educational Psychology, 34(4), 269-290.

Klieme, E., Bürgermeister, A., Harks, B., Blum, W., Leiß, D., Rakoczy, K. (2010): Leistungsbeurteilung und Kompetenzmodellierung im Mathematikunterricht. In: Klieme, E., Leutner, D., Kenk, M. (Hrsg.): Kompetenzmodellierung. Zwischenbilanz des DFG-Schwerpunktprogramms und Perspektiven des Forschungsansatzes. 56. Beiheft der Zeitschrift für Pädagogik, Heft 2/2010, Beltz-Verlag, Weinheim und Basel.

Rakoczy, K., Harks, B., Klieme, E., Blum, W. & Hochweber, J. (2013). Written feedback in mathematics: Mediated by students’ perception, moderated by goal orientation. Learning and Instruction, 27, 63-73.

Finanzierung

Deutsche Forschungsgemeinschaft im Rahmen des Schwerpunktprogramms „Kompetenzmodelle“

Kooperationen

• Werner Blum (Universität Kassel)
• Dominik Leiss (Leuphana Universität Lüneburg)
• Michael Besser (Leuphana Universität Lüneburg)

Projektleitung

• Prof. Dr. Dr. h.c. Eckhard Klieme
• Prof. Dr. Katrin Rakoczy

Projektdaten