Wissenschaftliche Aufständische sagen, Journal Impact Factors verzerren die Wissenschaft

Wissenschaftliche Aufständische sagen, Journal Impact Factors verzerren die Wissenschaft

Video: Things Mr. Welch is No Longer Allowed to do in a RPG #1-2450 Reading Compilation (March 2020).

Anonim

von der American Society for Cell Biology

Eine Ad-hoc-Koalition unwahrscheinlicher Aufständischer - Wissenschaftler, Herausgeber und Verleger von Fachzeitschriften, wissenschaftliche Gesellschaften und Forschungsförderer in vielen wissenschaftlichen Disziplinen - hat heute eine internationale Erklärung veröffentlicht, in der die weltweite Wissenschaftsgemeinschaft aufgefordert wird, die Rolle des Journal Impact Factor (JIF) in zu beseitigen Evaluierung der Forschung im Hinblick auf Finanzierung, Einstellung, Beförderung oder institutionelle Wirksamkeit.

Die San Francisco Declaration on Research Assessment (DORA) wurde von einer Gruppe von Herausgebern, Verlegern und anderen Journalisten erstellt, die im Dezember letzten Jahres von der American Society for Cell Biology (ASCB) in San Francisco während der Jahrestagung der Society einberufen wurden. Die Gruppe aus San Francisco war sich einig, dass das JIF, das wissenschaftliche Zeitschriften nach der durchschnittlichen Anzahl von Zitaten ordnet, die ihre Artikel in einem bestimmten Zeitraum anziehen, zu einer Obsession in der Weltwissenschaft geworden ist. Einflussfaktoren beeinflussen die Art und Weise, in der Forschung durchgeführt, berichtet und finanziert wird. Während der fünfmonatigen Diskussion wandelte sich die San Francisco-Deklarationsgruppe von einem "Aufstand", wie es ein Verleger ausdrückte, gegen die Verwendung des herausragenden zweijährigen JIF zu einer umfassenderen Überprüfung der wissenschaftlichen Bewertung. Die heute veröffentlichte Erklärung der DORA enthält 18 Empfehlungen für Veränderungen in der Wissenschaftskultur auf allen Ebenen - einzelne Wissenschaftler, Verlage, Institutionen, Förderstellen und die bibliometrischen Dienste selbst -, um die dominierende Rolle des JIF bei der Bewertung von Forschung und Wissenschaft zu verringern und stattdessen zu Konzentrieren Sie sich auf den Inhalt der primären Forschungsarbeiten, unabhängig vom Publikationsort. Die DORA-Koalition fordert alle Personen und Organisationen, die sich mit wissenschaftlicher Forschung befassen, auf, die Erklärung von San Francisco zu unterzeichnen: http://www.ascb.org/SFdeclaration.html.

Die heutige Erklärung fällt zeitlich mit den Leitartikeln in wissenschaftlichen Journalen auf der ganzen Welt zusammen, einschließlich einer Billigung von DORA durch Bruce Alberts, Chefredakteur des Science Magazine, in der Ausgabe des Journals vom 17. Mai. Andere Redakteure, die DORA unterzeichnen, repräsentieren Journal of Cell Biology ( JCB ), Verkehr, Genetik, eLife, Journal of Cell Science, Zellalterung, Molekularbiologie der Zelle ( MBoC ), BioArchitecture, EMBO Journal, Journal of Cell Science, Journal of Surfactants & Waschmittel, Zellstruktur & Funktionen (Japan), Lipide, Gene, Journal der Elektrochemischen Gesellschaft und Entwicklung . Zu den Unterzeichnerorganisationen von DORA gehören neben ASCB die American Association for the Advancement of Science, die British Society for Cell Biology, der Wellcome Trust, das Howard Hughes Medical Institute, EMBO, das European Molecular Biology Laboratory, die Association for Psychological Science und Electromechanical Gesellschaft, die European Sociology Association, die European Mathematical Society, die Association of Australian Medical Research Institutes, die Company of Biologists, die American Physiological Society, die Linguistic Society of America, die Genetics Society of America, das Burnet Institute (Australien), die Nationales Zentrum für Genomanalyse (CNAG, Barcelona, ​​Spanien) und Bionics Institute (Australien). Eine vollständige Liste der bisherigen Unterzeichner finden Sie unter http://www.ascb.org/SFdeclaration.html.

Mark Patterson, Executive Director von eLife, verweist auf die vielfältige Liste der DORA-Unterzeichner als Beweis dafür, dass Bedenken in Bezug auf Einflussfaktoren im wissenschaftlichen Verlagswesen kein Thema zwischen uns und ihnen sind. "Sie haben das sehr Alte wie Science und das sehr Neue wie PeerJ oder eLife . Sie haben also das Alte und das Neue, das Non-Profit- und das For-Profit-Modell, den Open Access und das Abonnement-Modell. Es ist wirklich." eine Mischung ", sagt Patterson. "Das Thema betrifft nicht nur Verlage aller Art, sondern auch die verschiedenen an der Bewertung der Forschung beteiligten Kreise, von einzelnen Forschern bis zu den Institutionen, in denen sie arbeiten oder von denen sie finanziert werden, bis hin zu den Zeitschriften, in denen sie publizieren."

Heutzutage gibt es eine Reihe von Zitierrankingsystemen, aber das älteste und einflussreichste ist das sogenannte "Zweijahres-JIF", das Eugene Garfield in den frühen 1950er Jahren entwickelt und ursprünglich von seinem Institut für wissenschaftliche Informationen (ISI) als Abonnementkauf herausgegeben hat Werkzeug für akademische und medizinische Bibliothekare. Das JIF, das einmal im Jahr in Journal Citation Reports im Rahmen des Thomson Reuters (ISI) Web of Knowledge erscheint, gibt die durchschnittliche Anzahl der in einem Jahr eingegangenen Zitate pro in der Zeitschrift veröffentlichtem Artikel in den beiden vorangegangenen Jahren an. Frühestens nach Ablauf des dritten vollen Erscheinungsjahres kann eine neue Zeitschrift ein JIF haben.

Obwohl das JIF nur ein Maß für die durchschnittliche Zitierhäufigkeit einer Zeitschrift ist, hat es sich zu einem starken Stellvertreter für den wissenschaftlichen Wert entwickelt und wird nach Ansicht der DORA-Verfasser häufig zur Beurteilung einzelner Wissenschaftler und Forschungseinrichtungen missbraucht. Das JIF ist in China, Indien und anderen Nationen, die sich zu globalen Forschungsmächten entwickelt haben, noch mächtiger geworden. "Es ist verrückt", sagt David Drubin, Chefredakteur des ASCB-Journals MBoC . "Dies ist eine Metrik, die wirklich viel Verkehr erzeugt. Sie sehen es am deutlichsten, wenn Sie in ein anderes Land reisen, und ich sehe es besonders bei meinen ausländischen Postdocs. Sie möchten nur in Zeitschriften mit hohen Einflussfaktoren veröffentlichen."

In der Erklärung von San Francisco werden Studien zitiert, in denen bekannte Mängel der JIF beschrieben werden, Verzerrungen, die die Ergebnisse innerhalb von Zeitschriften verzerren, die Unterschiede zwischen den Fachgebieten beschönigen und die Primärforschungsartikel mit viel einfacher zu zitierenden Übersichtsartikeln zusammenfassen. Darüber hinaus kann das JIF von Redakteuren und Autoren "gespielt" werden, während die für die Berechnung des JIF verwendeten Daten laut DORA weder transparent noch öffentlich zugänglich sind.

Da das JIF nicht auf dem Median, sondern auf dem Mittelwert der Zitate zu Artikeln in einer bestimmten Zeitschrift basiert, kann eine Handvoll häufig zitierter Artikel das gesamte JIF steuern, sagt Bernd Pulverer, Chefredakteur des EMBO-Journals . "Mein Lieblingsbeispiel ist das erste Papier über die Sequenzierung des menschlichen Genoms. Dieses Papier, das bisher knapp 10.000 Mal zitiert wurde, hat den JIF von Nature für ein paar Jahre im Alleingang erhöht."

"Der Journal Impact Factor (JIF) wurde entwickelt, um Bibliothekaren bei Abonnemententscheidungen zu helfen. Er ist jedoch ein Indikator für die Qualität der Forschung", sagt Stefano Bertuzzi, Executive Director der ASCB, einer von mehr als 70 Institutionsleitern, der die Erklärung im Namen unterzeichnet ihrer Organisationen. "Forscher werden jetzt danach beurteilt, wo sie veröffentlichen, nicht danach, was sie veröffentlichen. Dies ist nicht länger eine Frage des Verkaufs von Abonnements. Die Besessenheit, die große Auswirkungen hat, verzerrt unser wissenschaftliches Urteilsvermögen, schädigt Karrieren und verschwendet Zeit und wertvolle Arbeit."

In der SF-Erklärung werden alle Beteiligten aufgefordert, sich auf den Inhalt der Beiträge und nicht auf die JIF der Zeitschrift zu konzentrieren, in der sie veröffentlicht wurden, sagt Bertuzzi: "Die Verbindung ist fehlerhaft und die Bedeutung der Ergebnisse spiegeln sich im Licht einer hohen JIF wider Zahl ist oft völlig irreführend, weil immer nur eine sehr kleine Anzahl von Artikeln in einer Zeitschrift veröffentlicht wird, die die meisten Zitate erhalten, so dass es fehlerhaft ist, die Auswirkung eines einzelnen Artikels anhand dieser Metrik zu messen JIFs und umgekehrt. "

Michael Marks, einer der vier Herausgeber von Traffic, der DORA unterzeichnete, räumt ein, dass die Gruppe erkannt hat, dass die wissenschaftliche Welt die Einflussfaktoren unangemessen eingesetzt hat. "Ursprünglich war es unsere Darmreaktion, das JIF selbst zu beschuldigen, aber es ist nicht die Schuld des JIF", sagt Marks. "Das Problem ist, dass wir das JIF verwenden."

Laut Drubin erfordern die 18 Empfehlungen von DORA weitreichende Änderungen in der wissenschaftlichen Bewertung. Sie werden hoffentlich zu einem "Kulturwandel führen, bei dem die Leute die Zeitschriften, in denen sie publizieren, nicht nach Prestige, sondern nach Passform auswählen. Stimmt das Format? Stimmt das Publikum? Verfügt die Redaktion über das entsprechende Fachwissen?" Eine schwierige Veränderung, räumt Drubin ein, die jedoch für die Integrität der wissenschaftlichen Selbsteinschätzung von entscheidender Bedeutung ist. "Für mich war es nur eine Frage, wann genug genug ist", sagt Drubin über seine Rolle im großen JIF-Aufstand.