„Gezielt auf die Bedürfnisse eingehen“
Zunächst einmal: Was müssen wir uns eigentlich unter einem Learning-Analytics-Cockpit für Lehrkräfte vorstellen? Um die Luftfahrt oder Ähnliches dürfte es wohl nicht gehen, oder?
Nein, darum geht es nicht, aber wir wollten die Idee eines Cockpits auf das Klassenzimmer übertragen. Ein Learning-Analytics-Cockpit ist ein spezielles Dashboard für Lehrkräfte, das ihnen einen umfassenden Überblick über die Lernentwicklung ihrer Schüler*innen bietet. Es sammelt und visualisiert Daten aus digitalen Lernplattformen wie Moodle, um den aktuellen Leistungsstand und die Fortschritte der Kinder und Jugendlichen darzustellen. Darüber hinaus ermöglicht es Lehrkräften, direktes und gezieltes Feedback zu geben. Das ist dann durchaus ähnlich wie bei Pilot*innen, die durch ihr Cockpit Instrumente überwachen und das Flugzeug steuern. Analog dazu soll unsere Anwendung den Lehrkräften helfen, den Lernprozess ihrer Schüler*innen gezielt zu lenken und auf Schwierigkeiten schnell zu reagieren.
Das klingt ziemlich nach Zukunftsmusik: Ist das denn etwas, was wir schon bald in den Klassenzimmern erwarten dürften?
Es ist nicht mehr reine Zukunftsmusik. In einigen Ländern, wie den Niederlanden, werden „Teacher Dashboards“ bereits in Grundschulen eingesetzt. Diese frühen Versionen bieten Lehrkräften Informationen über den Lernfortschritt ihrer Schüler, beinhalten allerdings kein integriertes Feedback-System. Solche Dashboards sind jedoch insgesamt noch wenig erforscht und werden in Deutschland nicht flächendeckend eingesetzt. Dies zeigt, dass die Technologie bereits vorhanden ist und genutzt wird, aber es gibt noch viel Potenzial für Weiterentwicklungen, besonders im Hinblick auf umfassendere Funktionen, wie zum Beispiel die genannten integrierten Feedback-Mechanismen.
Sie haben sich ja jetzt etwas näher mit dem Aufbau eines solchen Cockpits beschäftigt: Was genau haben Sie denn untersucht?
In unserer ersten Studie haben wir uns darauf konzentriert, wie ein Learning-Analytics-Cockpit idealerweise gestaltet sein muss. Dazu haben wir eine Co-Design-Studie mit Lehrer*innen aus MINT-Fächern durchgeführt, die in den Klassen 5 bis 12 unterrichten. In ausführlichen Interviews haben wir gemeinsam Anforderungen definiert und einen Prototyp entwickelt. Dieser Prototyp wurde in mehreren Schritten verbessert, indem wir die Ideen und das Feedback der Lehrkräfte integriert haben. Mit genau diesem gemeinschaftlichen Arbeiten und Optimieren ist Co-Design gemeint.
Und was für Befunde kamen dabei heraus?
Unsere Studie hat 16 zentrale Anforderungen für das Design eines Learning-Analytics-Cockpits identifiziert. Ein besonders wichtiger Punkt war, dass das Feedback-System Lehrkräften dabei helfen soll, diesen Prozess zu vereinfachen und Zeit zu sparen, ohne die Kontrolle über das Feedback vollständig abzugeben. Lehrer*innen wünschten sich zum Beispiel automatische Erinnerungen, die vordefiniertes Feedback vorschlagen, das jedoch an den spezifischen Lernkontext angepasst werden kann. Eine vollständige Automatisierung wurde von allen Befragten abgelehnt, da sie aktiv im Feedback-Prozess eingebunden bleiben möchten. Die Ergebnisse zeigen, dass eine Balance zwischen Automatisierung und menschlicher Kontrolle entscheidend ist, besonders in einem schulischen Kontext.
Nun wird in der öffentlichen Debatte immer wieder gerne bezweifelt, dass solche Technik wirklich nutzbringend ist. Wie sehen Sie das?
Ich verstehe die Bedenken, aber die Wirksamkeit solcher Technologien hängt stark davon ab, wie gut sie an die Bedürfnisse der Endnutzer*innen – in diesem Fall der Lehrkräfte – angepasst sind. Deshalb haben wir zunächst die erwähnte Co-Design-Studie durchgeführt, um den Prototypen direkt mit den anvisierten Nutzer*innen zu entwickeln. Im nächsten Schritt wollten wir die tatsächliche Wirkung des Dashboards in der Praxis testen. Dafür haben wir das Cockpit weiterentwickelt und an weiterführenden Schulen evaluiert. 16 Lehrkräfte und 403 Schüler*innen waren an dieser neuen Studie beteiligt. Das Dashboard wurde über mehrere Wochen hinweg im Physikunterricht eingesetzt, um zu untersuchen, wie es den Lernprozess beeinflusst und ob es tatsächlich einen Mehrwert bietet.
Gibt es dazu auch schon Ergebnisse? Wirkt die Arbeit mit den Dashboards?
Ja, unsere Ergebnisse sind vielversprechend. Schüler*innen, deren Lehrkräfte das Learning-Analytics-Cockpit nutzten, zeigten einen signifikant höheren Wissenszuwachs im Vergleich zu denjenigen, bei denen kein solches Dashboard eingesetzt wurde. Die Analyse des Nutzungsverhaltens der Lehrer*innen zeigte wiederum, dass das Dashboard besonders dabei hilft, Schüler*innen mit Lernschwierigkeiten zu identifizieren und ihnen gezieltes Prozess-Feedback zu geben. Dieses Feedback geht über einfache Korrekturen, zum Beispiel „Aufgabe richtig“ oder „Aufgabe falsch“´, hinaus und bietet konkrete Hinweise darauf, wie die Kinder und Jugendlichen ihre Lernstrategien verbessern können. Insgesamt deuten diese Ergebnisse darauf hin, dass das Dashboard Lehrkräfte dabei unterstützt, gezielt auf die Bedürfnisse der Schüler einzugehen und den Lernprozess zu fördern. Es ist wichtig zu betonen, dass wir mit diesen positiven Befunden erst am Anfang stehen. Das Forschungsgebiet der Teacher-Dashboards sollte zukünftig tiefer in der Praxis untersucht werden, um ihre Wirkung und ihr Potenzial besser zu verstehen.
Die Fachveröffentlichungen zu den beiden in Kooperation mit weiteren wissenschaftlichen Einrichtungen durchgeführten Studien:
Onur Karademir ist assoziierter Mitarbeiter des DIPF – im Arbeitsbereich „Educational Technologies“. Zum Forschungsinteresse des Informatikers zählen Anwendungen für adaptives Lernen und Learning Analytics, also das Auswerten von technik-unterstützten Lehr-Lern-Prozessen. In diesem Bereich hat er schon verschiedene Entwicklungen und ein Start-Up umgesetzt. Onur Karademir arbeitet jetzt als Consultant für IT-Strategie und „Enterprise Architecture“ bei der Unternehmensberatung Accenture.