In Kürze

Autoren: Barbara Drechsel, Manfred Prenzel & Tina Seidel

Inhalt

• 15.1 Was können Schülerinnen und Schüler? Das Interesse an Schülerleistungen
• 15.2 Klassifikation von Vergleichsstudien
• 15.3 Drei beispielhafte Vergleichsstudien
• 15.4 Vergleichsstudien - Von der Idee zur Testdurchführung
• 15.5 Auswertungsverfahren und Ergebnisse (mit Beispielen)
• 15.6 Erweiterungen von Vergleichsstudien
• 15.7 Ausblick: Vergleichsstudien der Zukunft?

Worum geht's?

„Deutsche Schülerinnen und Schüler sind dumm! - PISA-Zeugnis für Kultusminister: Versetzung gefährdet. - Kinder besser als die Schulen. - PISA 2003: Leichte Verbesserung - kein Grund zur Entwarnung."

Diese und ähnliche Schlagzeilen waren in den letzten Jahren immer wieder zu lesen. Sie bezogen sich meistens auf PISA, das Programme for International Student Assessment, die derzeit bekannteste internationale Vergleichsstudie, an der Deutschland sich beteiligt. Eine umfassende Diskussion über Bildung wurde in Deutschland durch diese und weitere Studien angestoßen, und gerade die internationale Perspektive der Studien hat viele Fragen neu aufgeworfen, die in der Pädagogischen Psychologie und der empirischen Bildungsforschung seit Jahren bearbeitet werden.

Dieses Kapitel beleuchtet in → Abschn. 15.1 zunächst den historischen Zusammenhang, aus dem Schulleistungsstudien entstanden sind. → Abschn. 15.2 betrachtet Schulleistungsstudien systematisch: Welche Varianten solcher Studien gibt es und wie kann man sie klassifizieren? Welche Studien ziehen internationale, und welche nationale Vergleiche? Anhand dreier Beispiele wird in → Abschn. 15.3 ein Spektrum von Schulleistungsstudien vorgestellt. Danach werden die theoretischen Grundlagen und die verschiedenen Konzeptionen, technische und methodische Voraussetzungen wie Designs und Stichproben sowie Besonderheiten der Datenerhebung und -aufbereitung behandelt (→ Abschn. 15.4) sowie Fragen der Auswertung und der Ergebnisdarstellung (→ Abschn. 15.5). Wie jeder Forschungszugang haben auch Schulleistungsstudien nur eine begrenzte Reichweite. Deshalb werden auch ihre Grenzen (→ Abschn. 15.6) beschrieben, ebenso wie verschiedene Ergänzungen und Erweiterungen im Design bzw. in den Stichproben von Schulleistungsstudien, die den beschriebenen Problemen Rechnung tragen. In diesem Zusammenhang wird auch thematisiert, wie sich Fragestellungen entwickeln: Schulleistungsstudien werden erweitert, um bestimmte Fragen aus der pädagogisch-psychologischen Forschung tiefergehend bearbeiten zu können. Darüber hinaus tragen Befunde aus der pädagogisch-psychologischen Forschung zur Weiterentwicklung der Studien bei (→ Abschn. 15.7). → Abschn. 15.8 schließt mit einem Ausblick: Wie könnten Schulleistungsstudien in der Zukunft aussehen?

 Zusammenfassung

In modernen Gesellschaften wird die Qualität von Bildungssystemen mithilfe eines empirisch fundierten Bildungsmonitoring regelmäßig überprüft und auf der Grundlage der zusammengetragenen Daten gesteuert und verbessert. Zentral ist dabei die Frage, wie gut ein Schul- bzw. Bildungssystem seinen Aufgaben gerecht wird. Schulleistungsstudien oder Vergleichsstudien gehören als wichtiger Bestandteil zu einem systematischen Bildungsmonitoring. Sie haben zum Ziel, in ihrer Testkomponente Auskunft über den Stand der Kompetenzen einer Personengruppe zu einem bestimmten Zeitpunkt in der Bildungskarriere zu geben. Neben diesen wichtigen Ergebnissen (Outputs) von Bildungsprozessen werden auch Prozess- und Kontextfaktoren berücksichtigt, die Aussagen über die Wirkungsweise eines Bildungssystems erlauben (beispielsweise über Chancengerechtigkeit). Diese Daten werden meist über Fragebögen erhoben. Die inhaltliche Ausrichtung einer Vergleichsstudie wird in ihrer Rahmenkonzeption festgelegt: Unter Rückgriff auf eine bildungstheoretische Auffassung und den aktuellen Forschungsstand in der Domäne bildet die Rahmenkonzeption die Grundlage der Test- und Fragebogenkonstruktion.

Abhängig von ihren Fragestellungen legen Vergleichsstudien unterschiedliche Perspektiven an: Sie geben Auskunft über den Zustand des Bildungssystems im (internationalen) Vergleich mit anderen Systemen, sie lassen sich anhand von inhaltlichen Kriterien (z. B. Kompetenzstufen) verorten und geben - bei wiederholten Erhebungsrunden - Auskunft über Veränderungen über die Zeit. Um diesen Fragen nachgehen zu können sind Vergleichsstudien spezifische Designs zugrunde gelegt. Die Auswertung von Vergleichsstudien erfolgt mit Modellen der Item-Response-Theorie. IRT-Modelle sind am besten geeignet, präzise Aussagen über die Ergebnisse für Personengruppen (und nicht auf Individualebene) zu machen und Aufgabenschwierigkeit und Personenfähigkeit auf derselben Skala zu messen. Die Ergebnisse von Vergleichsstudien beschreiben die Stärken und Schwächen eines Bildungssystems und geben viele wertvolle Hinweise zu seiner Steuerung. Die begrenzte Reichweite und die eingeschränkten „Interpretationsmöglichkeiten" von Vergleichsstudien, die jeweils spezifische Fragen verfolgen und meist nicht kausal interpretierbare Ergebnisse liefern, geben Impulse für Forschungsarbeiten, die an den Verfahren und Ergebnissen von Vergleichsstudien ansetzen und Erkenntnisse und Zusammenhänge in Small-Scale-Studien überprüfen und vertiefen. Eine besondere Herausforderung für die Zukunft ist es, in der Anlage und Umsetzung von Vergleichsstudien auf Veränderungen in den Bildungszielen (beispielweise durch Veränderungen im IT-Bereich; auch → Kap. 5) sensibel und zeitnah zu reagieren. Trends, die Entwicklungen von Kompetenzen und Kontextmerkmalen über die Zeit, methodisch fundiert zu beschreiben, ist eines der bedeutsamen Probleme in der Forschung zu Vergleichsstudien. Computerbasiertes und adaptives Testen stellen bedeutsame Fortschritte für die Durchführung von Vergleichsstudien dar, die notwendigen Vorarbeiten dazu sind jedoch bisher nicht vollständig erledigt.