Eine Meta-Meta-Studie zeigt: Die Erwartungen an KI sind übertrieben. ChatGPT und Co. revolutionieren die Bildung (noch) nicht. Es fehlt an validen Daten. Wunschdenken regiert.

Früher gab es Meta-Analysen. Jetzt gibt's Meta-Meta-Analysen. Das liegt in diesem Fall an:

1.) einer Diskussion unter Statistikern, weil eine Meta-Analyse die Publikationsbias nicht ausreichend berücksichtigt hatte

2.) liegt es daran, dass Meta-Analysen aus Übersichtsgründen oft zitiert werden, Meta-Meta-Analysen, die Meta-Analysen kritisieren, in der zitationsgierigen Wissenschaft pures Referenzgold sind und

3.) zeigt das wieder mal, dass so ziemlich jeder Bereich unserer Welt nach Abstraktion strebt und die Wissenschaft ganz vorn dabei ist. Aber darum soll's

4.) hier nicht gehen, sondern um das, was diese Studie untersucht hat.

Also, worum ging's?

Die Frage: Welche Effekte hat KI aufs Lernen?

Die Studie: 67 Meta-Analysen im Check

Weil (siehe Punkt 1 oben) eine Studie die Publikationsbias nicht richtig berücksichtigt hatte, haben die Forscher einfach mal alle Meta-Analysen daraufhin durchgeschaut. (Man hat ja sonst nichts zu tun.)

Also wurden 1.840 Effektstärkenschätzungen aus 67 Meta-Analysen zusammengetragen. Quelle: Bartoš et al.: Effect of Artificial Intelligence on Learning: A Meta-Meta-Analysis (Link), Preprint, Version vom 28.01.2026.

Die Ergebnisse im Detail

Ergebnis:

• Unsaubere Resultate: Die Effekte der Meta-Studien sind verzerrt, weil die verwendeten Methoden nicht zeitgemäß waren, z.B. fehlten Berichte der Effektstärken und moderierende Variablen. Die Folge:

• die Resultate der 67 Meta-Analysen sind nicht auf einen Nenner zu bringen. Sie reichen von sehr negativen Auswirkungen bis zu stark positiven Ergebnissen. Das liegt auch an:

• Messproblemen: es fehlen Standardisierung der Outcome-Messgrößen (z.B. kritisches Denken vs. Testnoten), zudem wurden indirekte Effekte wie Veränderungen der Lehrmethoden oft nicht erfasst. Stattdessen:

• zeigen einige Meta-Studien negative Effekte (z.B. weniger kognitive Anstrengung durch KI-Nutzung), aber diese Studien sind unterrepräsentiert, denn es gibt eine erheblichen Publikationsbias, die positive Effekte begünstigt. Heißt:

• Studien mit positiven oder spektakulären Ergebnissen (z. B. "KI verbessert das Lernen") werden häufiger eingereicht, veröffentlicht und zitiert. Dagegen gehen unspektakuläre oder negative Ergebnisse oft unter. Aber:

• es gibt Hinweise, dass sich jenes alte Muster wiederholt, demnach neue Technik denen nützt, die bereits eine gute Vorbildung haben, während weniger gut Gebildete davon kaum oder gar nicht profitieren bzw. sogar Nachteile erleiden.

Und nun?

Es braucht standardisierte Analysen und Langzeitstudien.

Klar ist aber auch: alle bisherigen und aktuellen politischen Entscheidungen basieren auf Vermutungen und Wunschdenken.

Kurzum: Es gibt noch viel zu tun. Bis dahin aber, so fürchte ich, werden die Horror- und Heilsgeschichten-Erzähler weiterhin ihre Thesen an die Türen der Bildungseinrichtungen zu nageln versuchen...