Modellierung und Messung experimenteller Kompetenz : Analyse eines large-scale Experimentiertests

Abstract:
Ausgangspunkt der Arbeit bildet ein large-scale Experimentiertest, der im Frühjahr 2008 im Rah-men des Schweizer HarmoS-Projekts in der deutsch- und französischsprachigen Schweiz mit rund 1400 Schülerinnen und Schülern des 6. und 9. Schuljahres durchgeführt wurde. Der Test umfasste 15 Experimentieraufgaben mit insgesamt 95 praktischen Items, von denen rund ein Drittel in beiden Schulstufen eingesetzt wurde. Die Schülerinnen und Schüler bearbeiteten selbständig jeweils zwei Experimente mit Hilfe gedruckter Aufgabenstellungen, in die sie ihre Lösungen und Ergebnisse schriftlich protokollierten.
Die Testergebnisse bestätigen einen geringen, jedoch hoch signifikanten Leistungszuwachs zwischen den Jahrgangsstufen 6 und 9, der hauptsächlich auf eine markante Kompetenzsteigerung in den gymnasialen Klassen zurückgeführt werden kann. Zwischen den nicht progymnasialen Real- und Sekundarstufen zeigen sich am Ende der obligatorischen Schulzeit keine signifikanten Leistungsdifferenzen beim Experimentieren. Auch gegenüber der Primarstufe wird in den nicht gymnasialen Niveaus der Sekundarstufe I kein Performancezuwachs festgestellt. In Bezug auf die Geschlechter gibt es auf keiner Schulstufe signifikante Unterschiede beim Experimentieren.
Die Interpretation dieser für den Schweizer Bildungsdiskurs relevanten Resultate wird durch die mit Hands-on-Tests einhergehenden Validitätsunsicherheiten erschwert. Die Frage, welche Fähigkeiten und welches Wissen mit solchen Testformaten tatsächlich gemessen werden, ist nicht nur für die Interpretation der HarmoS-Ergebnisse entscheidend, sondern kommt ganz allgemein in der aktuellen naturwissenschaftsdidaktischen Kompetenzforschung hohe Bedeutung zu. Der Hauptteil der Arbeit ist in diesem Sinne der post hoc-Analyse der Validität des HarmoS-Experimentiertests gewidmet, die einerseits auf der Modellierung der Itemschwierigkeit mit Hilfe vom Itemmerkmalen und andererseits auf Rasch-basierten Dimensionsanalysen des Tests basiert.
Im ersten Teil der Arbeit wird die Validitätsanalyse auf eine Erörterung der Begriffe der experimentellen Kompetenz und der Itemschwierigkeit sowie deren Interdependenz theoretisch abgestützt. Der Kompetenzbegriff wird anhand dreier wissenschaftlicher Diskurse zu Standards, Modellen und Assessments ausführlich diskutiert. Aus der Analyse von Bildungsstandards werden fünf verallgemeinerte Dimensionen hergeleitet, in welchen sich der Zuwachs experimenteller Kompetenz grundsätzlich manifestieren kann: nämlich in dem zu bearbeitenden Aufgabenumfang, in der Komplexität des zu lösenden Problems, in der Qualität, mit der eine Aufgabe gelöst wird, in der Eigenständigkeit beim Lösungsprozess (diese wurde beim HarmoS-Experimentiertests nicht gemessen) sowie im bewältigten Transferumfang. Für die Modellierung der Itemschwierigkeit mit Hilfe von Itemmerkmalen wird der Aufgabenlösungs- und Bewertungsprozess beim Testen in vier unabhängig voneinander gedachte Arbeitsschritte zerlegt: Aufgabe erfassen, Problem lösen, Antwort geben und Lösung kodieren. Mit diesem Modell können Schwierigkeiten, die sich auf eine der Progressionsdimensionen experimenteller Kompetenz beziehen und mit so genannten kompetenzrelevanten Itemmerkmalen verknüpft werden (Problem lösen und Lösung kodieren), von Schwierigkeiten abgegrenzt werden, die sich auf nicht kompetenzspezifische Fähigkeiten (wie Lesen und Schreiben) beziehen und mit so genannten kompetenzirrelevanten Itemmerkmalen verknüpft werden (Aufgabe erfassen und Antwort geben).
Im zweiten empirischen Teil der Arbeit wird die Validitätsanalyse in zwei Schritten durchgeführt. Mittels multipler Regressionsanalysen wird gezeigt, dass bis zu 44% der Varianz der Itemschwierigkeit mit maximal 12 Itemmerkmalen aufgeklärt werden kann. Die Ergebnisse legen jedoch nahe, dass der HarmoS-Experimentiertest zu einem erheblichen Teil kompetenzirrelevante Aspekte misst. In Bezug auf kompetenzrelevante Aspekte reagiert der Test lediglich auf die Prozessqualität sensitiv. Der Aufgabenumfang scheint auf die Itemschwierigkeit keinen Einfluss zu haben und die Problemkomplexität wird vom Test gar nicht erfasst, was auf die starke Heterogenität des Tests bezüglich des Aufgabentyps zurückgeführt wird. Mittels Rasch-basierten Dimensionsanalysen wird zudem gezeigt, dass zwischen den Aufgaben mit mechanischem oder elektrischem Kontext und den Aufgaben mit biologischem oder stofflichem Kontext wenig Transfer stattfindet. Die Vermutung, dass die „physikalischen“ Aufgaben im Gegensatz zu den „nicht-physikalischen“ Aufgaben eher schulische Kontexte betreffen und fachliches Vorwissen ansprechen, wird durch die Tatsache untermauert, dass nur bei den „physikalischen“ Aufgaben eine signifikante Leistungssteigerung zwischen der 6. und 9. Schulstufe stattfindet.
Im letzten Teil der Arbeit werden die Konsequenzen der Resultate aus der Validitätsanalyse erörtert und Verbesserungsvorschläge für large-scale Experimentiertests als Messinstrument experimenteller Kompetenz diskutiert.