Recherche auf Preprint-Plattformen mit KI. Ergebnisse eines Live-Praxistests von alphaXiv. Und ein überraschendes Ergebnis.
Ich habe gestern an der Technischen Universität Chemnitz einen Tagesworkshop zur Daten- und Literaturrecherche gegeben. Dabei habe ich live einen kompletten Workflow gezeigt: von Bibliothekssystemen über Fachdatenbanken (inkl. solchen mit KI-Assistenten), weiter über akademische Suchmaschinen und Repositorien bis hin zu wissenschaftlichen KI-Recherche-Tools und Programmen zum Citation-Tracking mit KI.
Auch Preprint-Plattformen waren natürlich ein Thema. Die KI-Integration ist hier noch nicht sehr weit, auch wenn Semantic Scholar einen Semantic Reader hat, der PDFs von arXiv mit KI analytisch leichter zugänglich macht. Am meisten beeindruckt hat mich aber alphaXiv. ( Link)
Es ist ein Overlay über arXiv, greift aber auf weitere Datenquellen zu. Technisch läuft es über einen RAG-Ansatz mit agentischen, mehrstufigen Retrieval-Prozessen: Keyword Search, Vektorsuche, Abstract- und Volltext-Lesen, alles verbunden durch ein LLM, das nach verschiedenen Metriken rankt und dann eine Antwort erstellt.
Der Praxistest: Findet die KI den Fehler?
Neben der Suche haben wir gestern live noch etwas getestet, nämlich die Möglichkeit, mit den Papers zu chatten. Ein Teilnehmer hatte einen Preprint aus dem Bereich Medizin dabei und vermutet, dass darin ein kleiner methodischer Fehler ist. Nichts Großes, aber einem aufmerksamen Reviewer würde es wahrscheinlich auffallen. Er wollte wissen: findet alphaxiv den Fehler?
Also haben wir es live getestet. Und siehe da: das Programm hat das Problem gefunden, die Stelle geflagged und auch eine Erklärung geliefert, warum die Methode an dieser Stelle problematisch ist.
Was das für Recherche-Tools bedeutet
Das zeigt mal wieder: KI-gestützte Recherche-Tools können oft viel mehr als einfach nur Literatur zu suchen, sondern Studien auf vielfältige Art und Weise analytisch durchdringen. Viele KI-Tools - wie z.B. SciSpace - sind inzwischen end-to-end konzipiert und decken den gesamten wissenschaftlichen Arbeitsprozess ab. Ob sich die Preprint-Plattformen dahingehend entwickeln, glaube ich zwar nicht, aber auch hier ist KI inzwischen angekommen und erweitert die Möglichkeiten der Analyse.
Deshalb die Frage: Wer von euch hat alphaXiv schon mal getestet? Oder den mit arXiv verbundenen Semantic Reader in Semantic Scholar probiert?
Ich freue mich über Erfahrungen. Und eure Anmerkungen zur wissenschaftlichen Recherche - mit und ohne KI. Denn eines ist klar: die klassischen Bibliothekssysteme und Suchtechniken sind weiterhin nötig. Mehr als die meisten glauben, auch das haben die Teilnehmer gestern im Workshop gemerkt.
