Bindestriche in Titeln von Artikeln schaden der wissenschaftlichen Reputation

Wissenschaftler wollen herausgefunden haben, dass das wichtige Ranking nach Zitierhäufigkeit und dem Journal Impact Factor fehlerhaft ist

Man sollte ja denken, dass Programme, seien sie nun KI-gestützt oder nicht, vorurteilslos nach bestimmten Kriterien etwa ein Ranking erstellen können. Aber es kommen immer wieder unbedachte Einflüsse ins Spiel, die lange Zeit unbemerkt bleiben können. Bei KI-Programmen ist in letzter Zeit klar geworden, dass die Datenauswahl eine verzerrende Rolle spielen kann, die zu seltsamen Ergebnissen führt.

Aber das kann auch anderweitig mit Computerprogrammen passieren, wie unlängst Zhi Quan Zhou, T.H. Tse und Matt Witheridge für das in der Wissenschaft wichtige Ranking herausgefunden haben. Erfasst wird hier die Zitierhäufigkeit von Artikeln und der Journal Impact Factor (JIF), der messen soll, wie einflussreich oder wichtig eine wissenschaftliche Zeitschrift ist. Wie oft Artikel in Wissenschaftsjournalen zitiert werden, wird als maßgeblich für die Bedeutung der Autoren, der Artikel, der Universitäten und der Journale betrachtet.

Die Wissenschaftler von der Hongkong Universität und der australischen Universität von Wollongong untersuchten, wie sie in ihrer Studie schreiben, die zwei wichtigsten Zitationsdatenbanken Scopus und Web of Science. Scopus wird für Zitationsstatistiken zum Ranking von Universitäten verwendet, Web of Science für die Erstellung des JIF. Die Rankings sind sowieso umstritten, aber wenn sie dann auch noch Fehler enthalten, wird es problematisch angesichts der Bedeutung der Rankings für den Wissenschaftsbetrieb und die Wissenschaftler. 2015 wurde bereits in einer Studie festgestellt, dass anscheinend Artikel mit einem längeren Titel weniger häufig zitiert werden.

Und die Wissenschaftler haben einen seltsamen, aber fatalen Fehler gefunden, der das Ranking insgesamt in Frage stellt. Wenn ein Artikel in seinem Titel einen Bindestrich aufweist, was natürlich keinerlei Einfluss auf seine wissenschaftliche Qualität besitzt, wird er automatisch als weniger wichtig eingestuft, weil das die Zitathäufigkeit in den Datenbanken senkt. Sicherheitshalber verwendeten die Autoren daher im Titel ihrer Veröffentlichung keinen Bindestrich, sondern einen Doppelpunkt: "Metamorphic Robustness Testing: Exposing Hidden Defects in Citation Statistics and Journal Impact Factors".

Die Ergebnisse ihrer Untersuchung sollen für die ganze Wissenschaftsliteratur und für allen Bereiche wie Physik oder Chemie gelten. Getestet hatten die Wissenschaftler die Verlässlichkeit der Software der Datenbanken, ob sie mit fehlerhaften Eingaben oder unerwarteten Situationen umgehen können. Um das zu erfassen, setzten sie die Methode des metamorphic testing ein, um zu überprüfen, ob die erwarteten Ergebnisse mit den faktischen übereinstimmen, indem beispielsweise Tippfehler bei der Eingabe etwa des Namens eines Autors gemacht wurden oder ein Bindestrich aus einem Titel in einer Fußnote entfernt wurde. "Robust" sind Scopus und Web of Science danach keineswegs, die bei solchen kleinen Fehlern nicht imstande sind, die Referenzen zu verlinken.

Aber warum werden Titel mit Bindestrichen weniger häufig zitiert? Die Wissenschaftler vermuten, dass Autoren, wenn sie einen Artikel zitieren, möglicherweise übersehen, Bindestriche anzugeben. Dann kann in den Datenbanken keine Verlinkung mit dem Artikel mit Bindestrichen im Titel hergestellt werden, weswegen der Zitationsindex falsch wird. Das Problem scheint sich bei mehreren Bindestrichen zu verstärken, die die Irrtumshäufigkeit der Menschen erhöhen. Dass die Länge der Titel etwas mit der Zitationshäufigkeit zu tun hat, bestreiten die Wissenschaftler. Längere Titel würden einfach mit höherer Wahrscheinlichkeit mehr Bindestriche enthalten - und deswegen weniger häufig wegen der Bindestrichfehler zitiert werden. Und Artikel mit Bindestrichen sollen auch den JIF von Wissenschaftsjournalen senken.

Womöglich spielen weitere Fehlerquellen in die quantitative Bewertung wissenschaftlicher Arbeiten und Journale herein. Aber die Wissenschaftler sehen durch ihre Untersuchung bereits die Verlässlichkeit der Zitationsstatistik und des JIF beeinträchtigt, weil die Zahl der Bindestriche natürlich keinen Einfluss auf die vermutete Qualität durch Quantität haben sollte. "Diese überraschenden Ergebnisse sind nicht für Professoren von Interesse, die nach einer Anstellung suchen oder promovieren wollen, sondern auch für die Hochschulleitung wie Präsidenten, Dekane oder Leiter. Sie treffen für alle Fakultäten jeder Universität zu", schreibt T.H. Tse.

Schwierig wird die Beurteilung, weil die Firma Clarivate, die Web of Science betreut, auf die Studie reagiert und behauptet hat, dass Bindestriche keinen Einfluss haben können, weil man verlinkte und unverlinkte Zitierungen für den JIF verwende. Man verlasse sich nicht auf den Artikeltitel alleine, der irrtümlich sein kann, weswegen Bindestriche keinen Einfluss auf Zitationshäufigkeit hätten.

T.H. Tse bestreitet den Einwand. Die empirischen Ergebnisse würden zeigen, dass Bindestriche in Titeln einen negativen Einfluss auf die Zitationshäufigkeit und die JIF haben. Man habe dies auch mit Screenshots demonstriert. Man könne nur Black-Box-Tests verwenden, weil der Quellcode der proprietären Software nicht bekannt ist. Für Black-Box-Tests seien die internen Datenstrukturen wie verlinkte und nicht verlinkte Zitate nicht wichtig. Man könne aber schon damit Fehler aufdecken.