Prüfungen im KI-Zeitalter? Versuchen Sie es doch mal auf die Nicht-so-nette-Tour.
Wir diskutieren viel über Prüfungs-Anforderungen im KI-Zeitalter. Die Grundfrage lautet: Wie lassen sich die Prüfungen so gestalten, dass sie
a.) robust genug sind, um nicht komplett von KI gemacht zu werden und
b.) trotz des Einsatzes von KI die Leistung des Menschen sichtbar machen.
Meist läuft es so: Dozenten denken mit Prüfungsämtern, Kollegen und Studis über Lösungen nach, präsentieren Best-Practice-Beispiele und gestalten die neuen Prüfungen ganz transparent.
Das ist natürlich sehr löblich, aber vielleicht nicht der einzige Weg. Soll heißen: Wie wäre es, wenn man die Studis einfach mal im Dunklen tappen und zur Not auch mal auf die Nase fallen lässt?!
Warum man das tun sollte? Weil zu echter Bildung Reibung gehört. Produktive Irritation. Scheitern.
Fall 1: Die Falle mit Madagaskar
Nehmen wir Dr. Jason Gibson, seines Zeichens Geschichtsprofessor in Mississippi und im Nebenberuf Hochschuldidaktiker im Bereich "Prompt Injection".
Da er davon ausging, dass seine Studenten die Aufgaben der Online-Prüfung zum Thema "Industrielle Revolution" mit KI erledigen würden, baute er in die Aufgabenstellung eine versteckte Anweisung an. Wer die Aufgabe einfach kopierte und in den Chatbot einfügte, würde ein Ergebnis bekommen, das an einer Stelle komplett sinnlose Dinge über Madagaskar erzählt.
Und siehe da: 32 von 35 Studis kopierten die Aufgabe und - das ist das eigentlich traurige, aber irgendwie auch erwartbare Ergebnis - prüften nicht nach, was der Chatbot ausspuckte. Denn dann hätten sie gemerkt, dass in ihrer Antwort komplett sinnloses Zeug steht. Sowas wie: "Madagaskar treibt schräg durch den Nachmittag." oder "Ein lilafarbenes Fahrrad aus Madagaskar flüstert der Decke zu.“
Sowas kann man in einem Seminar über surrealistische Literatur schreiben, aber nicht in Geschichte. Haben die Studis aber getan. Und sie waren nicht die einzigen. Deshalb zu Fall Nr. 2.
Fall 2: Der Trojaner aus Texas
Hauptakteur diesmal: Will Teague, Geschichts-Dozent aus Texas. Auch er baute einen versteckten Prompt ein. (Offenbar nutzen Historiker die Story vom Trojanischen Pferd für ihre eigenen Zwecke :)). Aber gut, in seinem Fall zeigte sich die KI-Nutzung darin, dass das Ergebnis einer Buchanalyse aus marxistischer Perspektive geschrieben war - nicht gerade das, was man in Texas erwartet.
Erwartbar war dagegen das Resultat: 40% der Arbeiten waren KI-generiert.
Weniger erwartbar war dagegen Teagues Reaktion: er ließ die Studenten nicht durchfallen, sondern über einen Essay zum Thema "Schaden und Nutzen von KI" reflektieren. Natürlich war wieder eine Falle eingebaut, aber diesmal ließen - bis auf einen Unbelehrbaren - alle die Pfoten von der KI.
Mit anderen Worten: Der Ansatz kann funktionieren. (Es gibt noch weitere Beispiele, auch aus Vor-KI-Zeiten.) Die Lernforschung liefert dafür sogar empirische Beweise: Scheitern + Auflösung = Chance auf echte Einsicht und (KI-)Bildung.
Also, wer traut sich hierzulande? Oder hat sich schon getraut?
Es muss nicht immer dröge Didaktik sein. Manchmal heiligt der Zweck auch ein fies anmutendes Mittel. Die Methode ist ein Schuss vor den Bug - und der Lerneffekt dürfte hier gegeben sein.
