Wissenschaftlich recherchieren mit KI: Trefferlisten, die wie das Ergebnis einer Lotto-Ziehung aussehen.

Dass sich die Ergebnisse einer KI-Recherche nicht 1:1 wiederholen lassen, ist bekannt. Wie wenig sie sich selbst in einer wissenschaftlichen Datenbank gleichen, habe ich gestern mal wieder gemerkt.

Ein Praxistest mit ScopusAI

Ich habe für einen Workshop ScopusAI getestet. Die Datenbank ist groß, 100 Mio. (verlinkte) Dokumente, 2 Milliarden Zitationsverbindungen, 28.000 Peer-Review-Journals - man gönnt sich ja sonst nichts. (Okay, Elsevier, das hinter Scopus steht, gönnt sich eine jährliche Gewinnmarge, von der die Deutsche Bank nur träumen kann, aber das ist eine andere Sache :))

Der Prompt für die Suche kam von einer Forschungsgruppe, für die ich den Workshop gemacht habe. Ich habe ihn erstmal auf Deutsch eingegeben. Er lautete: „Identifiziere wissenschaftliche Literatur zu digitalen Methoden in der Fertigung von Holzbauteilen. Berücksichtige verwandte englische Fachbegriffe und priorisiere empirische Studien. Ordne die Ergebnisse nach Methode, Anwendungsbereich, zentralem Befund, Grenzen und Reifegrad.“

Die Antwort war ausführlich. 12 Seiten Bericht, über 50 Quellen, wunderbar.

Da die Antwort auf Englisch war, dachte ich mir: Was passiert, wenn ich den Prompt nochmal eingebe + am Ende dazuschreibe: "Antworte auf Deutsch."

Wieder 12 Seiten Bericht, über 50 Quellen, alles auf Deutsch, wunderbar.

Aber was, wenn ich den Prompt auf Englisch eingebe?

Gesagt, getan, wieder 12 Seiten, wieder über 50 Quellen - gar nichts mehr wunderbar.

Kaum Überlappung zwischen den drei Suchen

Denn als ich die drei Berichte hatte, bin ich sie im Detail durchgegangen. Ich hatte angenommen, dass - wenn eine Fachdatenbank dranhängt - die Ergebnisse nicht soooo weit auseinanderlaufen können. Aber denkste!

163 Referenzen. Davon wurden 138 nur in einer der drei Suchen gefunden. Im Grunde ist die KI bei jeder Suche neu abgebogen. Und immer waren es ziemliche Einbahnstraßen. Nur drei Quellen tauchten überall auf - und das waren Übersichtsstudien, die jeder gefunden hätte.

Am ähnlichsten waren sich Suche 1 und 3, obwohl Nr. 1 auf Deutsch und Nr. 3 auf Englisch gepromptet war. Am weitesten weg war Nr. 2, wo ich "Antworte auf Deutsch" dazugeschrieben hatte in der Annahme, das würde eher die Darstellung als die Suche betreffen. Aber genau da ist die KI bei der Suche am weitesten abgebogen.

Fünf Regeln für die KI-Literatursuche

Deshalb: Wer den KI-Assistenten einer (großen) Fachdatenbank oder ein KI-Recherche-Tool nutzt, muss wissen: Eine einzelne Suche ist kein Ergebnis - und wenn, dann eher das einer Lotto-Ziehung. Deshalb:

1.) Denselben Prompt mehrfach durchlaufen lassen

2.) Prompt-Varianten probieren

3.) Nach jedem Lauf zählen, wie viele Titel neu sind (sollten irgendwann weniger werden)

4.) Die Ergebnisse (mit KI) bzgl. Suchmethodik, Abdeckung usw. vergleichen

5.) Nicht entmutigen lassen. Früher mussten die Leute für die Literaturrecherche monatelang in Zettelkatalogen wühlen, jetzt geht's in Minuten von zu Hause aus, mit nem Kaffee in der Hand.

Bei einer KI-Suche sollte ein und derselbe Prompt mehrfach hintereinander genutzt werden, um zu schauen, wie sich Antwort und Trefferliste entwickeln.