Halluzinierende Anwälte. Ich habe mal ausgewertet, in wie vielen Gerichtsverfahren Künstliche Intelligenz für Chaos gesorgt hat. (Es sind viele!)

Der Fall ging durch die Medien: das Landgericht Darmstadt hat einem Professor das Honorar gestrichen, weil sein "Gutachten" (das Gericht selbst setzte den Begriff in Anführungszeichen) von KI generiert und so fehlerhaft war, dass es vor Gericht nicht verwendet werden konnte (Az.: 19 O 527/16, Urteilsbegründung)

Solche Fälle machen Schlagzeilen. Aber fast niemand schaut dahinter, denn KI-generierte Gutachten, erfundene Fälle und falsche Rechtsbelege sind kein Einzelfall. Ich habe mir deshalb die Sache mal systematisch angesehen und mit Hilfe von Excelmatic.ai einen Datensatz ausgewertet, der weltweit 811 Fälle von KI-Halluzinationen in Gerichtsverfahren gesammelt hat. Hier die Webseite dazu.

In über 800 Fällen basierten Gerichtsverfahren auf KI-generierten Fehlinformationen. Die Dunkelziffer ist um ein Vielfaches höher.

Zur Einordnung der Zahlen

Wichtig zur Einordnung der Zahlen:

1.) Manche Fälle enthalten mehrere Arten von Halluzinationen, z.B. erfundene Urteile und falsche Zitate. Deshalb ist die Gesamtzahl an Halluzinationen in meiner Auswertung deutlich höher als 811.

2.) Mitunter sind in einem einzigen Schriftsatz drei oder vier Fälle einer Halluzinationsart, z.B. erfundene Urteile, enthalten.

Die Zahlen zeigen: KI sorgt (nicht nur) für falsche Details, sondern für grundlegende Fehler. Das Muster ist deutlich: Das Gros der Probleme betrifft:

• von KI komplett erfundene Gerichtsentscheidungen: 1338 Fälle

• durch KI falsch dargestellte Rechtsprechung: 581 Fälle

• von KI erfundene oder falsche Zitate: 458 Fälle

Dazu kommen andere Nonsens-Belege.

Das Erschreckende: das sind keine einzelnen Ausrutscher. Vielmehr scheinen KI-Halluzinationen in juristischen Kreisen zu einem generellen Problem zu werden. Die Dunkelziffer dürfte jedenfalls wesentlich höher als die in der Datenbank aktuell versammelten 811 Beispiele liegen.

Wer weiß, wie viele Menschen auf Grundlage fiktiver Fälle verurteilt wurden, weil niemand die Sache nachgeprüft hat.

Das eigentliche Problem: fehlende Prüfung

Das Problem ist dabei nicht, dass KI Fehler macht. Das Problem ist vielmehr, dass diese Fehler nicht erkannt werden, weil Anwälte und andere Rechtsvertreter die Quellen nicht prüfen. Im Falle des oben genannten Professors hatte das Gericht in Darmstadt erklärt, es habe "nicht einmal eine Untersuchung der Klägerin stattgefunden", zudem wurde "ein Unfallgeschehen herangezogen [...], dass sich so nicht einmal nach der Darstellung der Klägerin ereignet hat."

Und was lernen wir daraus?

Die Basis jeder guten Entscheidung sind gute, saubere Daten. Das gilt für Gerichtsakten genauso wie für Entscheidungen, die in Unternehmen getroffen werden. KI kann bei der Recherche helfen, aber nur, wenn sie richtig eingesetzt wird. Eine kritische Überprüfung der Ergebnisse ist unerlässlich. Und die Kenntnis der richtigen Tools. Und da gibt es deutlich besseres als ChatGPT.

KI-Bildung heißt deshalb zuerst: richtig recherchieren lernen. Ich stehe mit meiner Expertise dafür gern zur Verfügung.