Wie man mit KI richtig recherchiert. Eine praktische Anleitung und ein paar grundlegende Erkenntnisse.

Morgen gebe ich wieder einen Recherche-Workshop für Wissenschaftler, und wie immer bereite ich ihn fachspezifisch vor. Diesmal werde ich bei einer Forschungsgruppe zu Gast sein, die aus dem Bereich Holzbau kommt und sich - forschend wie praktisch bauend - mit der Frage befasst, wie Fertigung, Montage und Ressourcenverbrauch von Holzbauten durch Robotik, KI usw. verbessert werden können?

Im Workshop soll es erstmal darum gehen, die Grundlagen KI-gestützter Recherchen zu verstehen und einen Überblick relevanter KI-Tools zu bekommen. Und es wird auch gezeigt, dass KI allein nicht die Lösung ist, denn es braucht nach wie vor klassischen Recherchesysteme und Suchtechniken - von OPACs über Zeitschriften bis hin zu Fachdatenbanken. Und dazu natürlich die Möglichkeiten der KI.

In der Vorbereitung habe ich wie immer verschiedene KI-Tools und Plattformen getestet, um an einem fachspezifischen Thema generelle Erkenntnisse für die KI-Suche ableiten und zeigen zu können. Und weil ich mir dachte, das könnte auch andere interessieren, schreibe ich sie hier mal auf:

Fünf Erkenntnisse aus der Tool-Praxis

1.) Jedes Tool greift auf andere Datenbestände zurück, die sich nur z.T. überlappen.

2.) Selbst bei gleicher Datenbasis unterscheiden sich Suchlogik, Ranking und Filter. Einige Tools zerlegen die Frage in Teilschritte und verfolgen Zitationen, andere machen eine semantische Ähnlichkeitssuche. Kurzum: Die Wege durch den Datenraum sind verschiedene (und latent unergründlich :))

3.) Titel, Abstract, Volltext, Zitationskontext werden unterschiedlich genutzt. Manche Tools nutzen zusätzlich zudem noch Volltext-Snippets, andere - wie z.B. Elicit - kombinieren mehrere Indizes.

4.) Auch wenn die Datenbasis "fix" ist, arbeiten die generativen und agentischen Komponenten probabilistisch, sodass Zusammenfassungen, Kategorisierungen und Folgefragen selbst beim gleichen Prompt z.T. stark divergieren.

5.) Jedes Tool ist für eine andere Aufgabe gebaut bzw. macht je nach Abo verschiedenes: schnelle Synthese, systematisches Screening, Citation Tracking usw.

Was das für die Recherche bedeutet

Generell heißt das: Kein Tool zeigt alles. Wahrscheinlich zeigt keines auch nur die Hälfte der relevanten Daten und Literatur. Dazu kommt: Mehr Treffer sind nicht automatisch besser. Und Übereinstimmungen sind kein Wahrheitsbeweis. Wenn mehrere Systeme auf denselben Index zugreifen, teilen sie evtl. auch denselben blinden Fleck.

Zudem können fachlich exzellente Paper nirgends auftauchen: schwache Metadaten oder ein Begriff, der im Ranking nicht zieht, genügen.

Gute Ergebnisse hängen deshalb von drei Ebenen ab:

• Fragequalität

• Datenbasis

• Systemlogik

Die Aufgabe lautet also: Systeme auswählen, Datenbasis verstehen, Lücken erkennen, Evidenz prüfen. Und dann von vorn :)

KI-Recherche ist ein Zusammenspiel aus Forschungsfrage, Datenbasis, Retrievalverfahren, Ranking, Modell und menschlicher Kontrolle.

Das versuche ich in meinen Workshops zu zeigen.

KI-Recherchen sind ein Zusammenspiel aus Forschungsfrage, Datenbasis, Retrievalverfahren, Ranking, Modell und menschlicher Kontrolle.