Unabhängiges Magazin für Wirtschaft und Bildung

29. März 2024

Search form

Search form

„Studies are unreliable.“

„Studies are unreliable.“© piqs.de/lauren manning

US psychologist shakes the foundations of the scientific community.

According to his theory, the “suitability for the reproducing” of experiments and studies so that results are consistent with others under the same conditions, are among the keystones of scientific methodology. (Vienna; english/german) Nearly 70% of the disclosed research results are not easily reproduced to say the least, the US Socio-psychologist Brian Nosek states. This has earnt him recognition among the experts, but has also got him a severe beating.
“The scientific literature we avail ourselves of is not as reliable a we had assumed,” he proclaimed in front of journalists in Vienna. As managing director of the “Centre for Open Science” in Virginia his own work is notwithstanding. Nosek and colleagues have picked out one hundred studies from three high-ranking psychology periodicals and individual teams have tried reproducing them as authentically as possible. They even did this while working closely with the original authors and they were using the same reference material.

Airbrushed, rigged Picture
Among them was a study from his own research group which had formed an independent team, Nosek confided when he held a conference in Vienna upon invitation by the Austrian Science Fond (FWF) and the Austrian Institute of Science and Technology (IST). The imitators got a different result than his, and the same went for sixty of the one hundred repeated surveys. Nosek traces this back to different details which had not been recognised as important in the research requirements, thus having been disregarded.
To make scientific studies easier to reproduce, Nosek requests more transparency in the methods used. “Researchers do not find it appealing to make their publications as accurate as possible,” the psychologist said. The science periodicals gave much more emphasis to round, smooth stories without contradictions in them and evasive style details. “This provides a rigged and airbrushed picture of the whole.” He felt it was of significant value to closely define the research questions, methods used and the interpretation desired, in advance. Otherwise “it is too tempting to interact with one's information and unwittingly reach the conclusion that seems the most engrossing.“

----------------------------------------------------------------------------------

„Studien unzuverlässig“

US-Psychologe rüttelt an Grundfesten des Wissenschaftsbetriebes,

Die „Reproduzierbarkeit“ von Versuchen und Studien, die unter gleichen Bedingungen fortwährend gleiche Ergebnisse liefern, gehört zu Grundpfeilern wissenschaftlicher Methodik. Fast 70 Prozent der veröffentlichten Forschungsergebnisse sind aber gar nicht so einfach reproduzierbar, so der US-Sozialpsychologe Brian Nosek. Dafür erntete er in der Fachwelt viel Aufsehen, aber auch heftige Prügel.

"Die wissenschaftliche Literatur ist nicht so vertrauenswürdig, wie wir angenommen haben", sagte er nun vor Journalisten in Wien. Seine eigene Arbeit nimmt der Leiter des "Center for Open Science" in Virginia (USA) davon nicht aus. Nosek und Kollegen haben hundert Studien aus drei hochrangigen Psychologie-Fachmagazinen herausgepickt und einzelne Teams versuchten, sie so authentisch wie möglich nachzumachen. Das taten sie sogar in Rücksprache mit den Original-Autoren und nutzten auch gleiche Materialien.

Geschöntes Bild
Inkludiert war dabei auch eine seiner eigenen Studie, die sich ein unabhängiges Team vorgenommen hat, erzählte Nosek, der auf Einladung des Wissenschaftsfonds FWF und des Institute of Science an Technology (IST) Austria einen Vortrag hielt. Die Nachahmer kamen auf ein anderes Ergebnis als er, so wie bei 60 der 100 wiederholten Studien. Nosek führt das auf unterschiedliche und nicht als wichtig erkannte Details in Bedingungen zurück, die somit unberücksichtigt blieben.
Um wissenschaftliche Studien reproduzierbarer zu machen, plädiert Nosek für mehr Transparenz bei den Methoden: "Es gibt für die Forscher keinen Anreiz, so akkurat wie möglich zu publizieren“. Wissenschaftsmagazine legen vielmehr Wert auf glatte Geschichten ohne Widersprüche und abweichende Details. "Das erzeugt ein geschöntes Bild." Er hielte es für sinnvoll, Forschungsfragen, Methoden und Interpretation vorab genau zu definieren. Sonst „erliege man der Versuchung mit seinen Daten zu interagieren und unbewusst genau zu jenem Ergebnis zu kommen, das am spannendsten erscheint“

Links

APA-Science/red/cc, Economy Ausgabe Webartikel, 18.10.2016