Schutzbrillen auf und los! Viele Schülerinnen und Schüler freuen sich, wenn sie im Chemieunterricht bekannte Versuche selbst durchführen dürfen. Neben der netten Abwechslung wird ihnen so auch eine Grundlage wissenschaftlicher Erkenntnisse vermittelt: Replizierbarkeit. Denn idealerweise sollten sich die Ergebnisse eines wissenschaftlichen Versuches auch im Klassenraum wiederholen lassen. Replizierbarkeit ist aber nicht nur in naturwissenschaftlichen Fächern wichtig. Auch in der psychologischen Forschung sollten Studienergebnisse wiederholbar sein. Schließlich basieren sowohl neue Studien wie auch Empfehlungen für die Praxis auf bisherigen Erkenntnissen.

Aber wie ist es um die Replizierbarkeit psychologischer Studienergebnisse bestellt? Anfang der 2010er Jahre kamen durch unwahrscheinliche Forschungsergebnisse, fehlgeschlagene Replikationen und Fälschungsskandale Zweifel an der Zuverlässigkeit psychologischer Forschung auf. Dies nahm ein internationales Forschungsteam zum Anlass, genau 100 psychologische Studien, die in führenden psychologischen Fachzeitschriften veröffentlicht worden waren, zu wiederholen. Dieses „Replizierbarkeitsprojekt Psychologie“ (Reproducibility Project: Psychology) kam im Jahr 2015 zu einem erschütternden Ergebnis: Weniger als die Hälfte aller Replikationsversuche bestätigten das Originalergebnis. Die Psychologie befindet sich seitdem in einer Replikationskrise.

Wie reagieren Forschung und Öffentlichkeit auf die Replikationskrise?

Die Krise hat bereits große Veränderungen in der wissenschaftlichen Psychologie bewirkt. Während die Forschung bisher eher hinter verschlossenen Türen stattfand, will das Fach nun viel transparenter sein. Replikationen sollen erleichtert und methodische Zweifel ausgeräumt werden. Im Rahmen dieser so genannten Open-Science-Bewegung stellen Forschende beispielsweise Daten und Materialien öffentlich zur Verfügung. Diese neuen, transparenten Forschungspraktiken werden auch von vielen Fachverbänden und Zeitschriften befürwortet oder sogar gefordert. Viele Forschende begrüßen das und werten es als einen Beleg dafür an, dass die psychologische Wissenschaft sich selbst korrigiert.

Eine wichtige Perspektive wurde bisher aber kaum betrachtet: Wie reagiert die Öffentlichkeit auf die Replikationskrise? Sehen Personen, die nicht in der Wissenschaft tätig sind, die kritische Auseinandersetzung mit der eigenen Replizierbarkeit ebenfalls positiv – als ein Beleg für die Selbstkorrektur der Psychologie? Oder verlieren sie vielmehr das Vertrauen in die psychologische Forschung? Dieser Frage sind wir, gemeinsam mit Birte Englich, in einer Reihe von Studien nachgegangen.

In der ersten Studie informierten wir unsere 271 Studienteilnehmenden (rekrutiert über eine amerikanische Onlineplattform) über das Replizierbarkeitsprojekt Psychologie. Wir verrieten aber nicht das Ergebnis, sondern baten die Teilnehmenden zu schätzen: „Wie viele der 100 Studienergebnisse konnten bestätigt werden?“ Verglichen mit dem tatsächlichen Ergebnis überschätzen die Teilnehmenden die Replizierbarkeit psychologischer Forschung. Im Mittel glaubten sie, dass 61 Prozent der Studien replizierbar waren (tatsächlich waren es ja weniger als 50 Prozent). Anschließend gaben die Studienteilnehmenden ihr Vertrauen in die Psychologie an, in dem sie ihre Zustimmung zu fünf Aussagen – beispielsweise: „Ich vertraue der psychologischen Forschungsgemeinde, das Richtige zu tun“ – auf einer Skala von 1 bis 7 ausdrückten. Die Ergebnisse zeigten ein klares Bild: Personen, die psychologische Forschung für eher replizierbar hielten, neigten auch stärker dazu, der Psychologie zu vertrauen.

Wie aber lässt sich dieser Zusammenhang erklären? Haben manche Personen einfach ein schlechtes Bild von der Psychologie insgesamt und halten diese deshalb weder für replizierbar noch für vertrauenswürdig? Oder führt geringe wahrgenommene Replizierbarkeit zu einem verringerten Vertrauen?

Um das zu überprüfen, führten wir eine zweite Studie durch. Erneut erzählten wir unseren Studienteilnehmenden (269 US-Amerikanerinnen und Amerikanern) vom Replizierbarkeitsprojekt Psychologie. Dieses Mal teilten wir die Teilnehmenden aber in drei verschiedene Gruppen auf. Eine Gruppe erfuhr das tatsächliche Ergebnis des Projekts: Nur eine geringe Anzahl an Studien konnte repliziert werden. Den anderen beiden Gruppen erzählten wir hingegen, dass entweder eine mittlere oder sogar eine hohe Anzahl an Studien repliziert werden konnte. Anschließend maßen wir das Vertrauen der Studienteilnehmenden in die psychologische Forschung. Die Ergebnisse waren erneut eindeutig: Das geringste Vertrauen hatten Teilnehmende, die zuvor von einer nur geringen Replizierbarkeit erfahren hatten. Das höchste Vertrauen sprach hingegen die Gruppe aus, die wir über eine vermeintlich hohe Replizierbarkeit unterrichtet hatten. Wie gut sich Studienergebnisse wiederholen lassen, wirkte sich also ursächlich auf das Vertrauen in die Forschung aus.

Kann verlorenes Vertrauen repariert werden?

Diese beiden Studien zeichnen ein düsteres Bild für die öffentliche Wahrnehmung der Psychologie in Zeiten der Replikationskrise. Einerseits könnte man diesen Vertrauensverlust als gerechte Konsequenz für die geringe Verlässlichkeit psychologischer Ergebnisse betrachten. Andererseits sind die Reaktionen der Forschenden in der Psychologie ja gerade ein Zeichen dafür, dass sie das Problem – im Gegensatz zu den Vertretern vieler anderer Disziplinen – aktiv angehen. Dieser Selbstkorrekturprozess könnte ja auch positiv betrachtet werden. Gibt es also eine Möglichkeit, über geringe Replizierbarkeit zu berichten, ohne dabei das öffentliche Vertrauen zu schädigen? Oder verlorenes Vertrauen zurückzugewinnen? Dieser Frage widmeten wir uns in den drei finalen Studien dieses Projektes.

In allen Untersuchungen informierten wir die Teilnehmenden über die geringe Replizierbarkeit psychologischer Studien, die im Replizierbarkeitsprojekt Psychologie beobachtet wurde. Im Gegensatz zu den beiden ersten Studien gaben wir den Versuchspersonen diesmal noch zusätzliche Informationen über die Reaktion der Forschungsgemeinde, die möglichen Ursachen der Krise oder die aktuelle Situation. Wir vermuteten, dass diese detaillierteren Erklärungen das Vertrauen in die Psychologie wiederherstellen könnten. So erklärten wir in einer Studie beispielsweise, dass psychologische Forschung mittlerweile viel transparenter und offener geworden sei. In einer weiteren Studie erläuterten wir mögliche Ursachen dafür, dass psychologische Forschung oft nicht replizierbar ist, zum Beispiel, dass psychologische Effekte besonders stark vom Untersuchungskontext beeinflusst werden (eine Argumentation, die auch die Deutsche Gesellschaft für Psychologie verwendet). In der letzten Studie behaupteten wir sogar, dass die Replikationsprobleme mittlerweile überwunden wären und aktuelle psychologische Studienergebnisse hoch replizierbar seien. Zu unserer Überraschung konnte aber keine dieser Maßnahmen das Vertrauen in die Psychologie wiederherstellen (siehe Abbildung). Egal welche Zusatzinformationen wir lieferten, der einmal angerichtete Vertrauensverlust schien irreparabel. Zwar können wir nicht ausschließen, dass diese Maßnahmen nicht doch kleine Effekte haben. Es ist aber – zumindest diesen Ergebnissen nach – sehr unwahrscheinlich, dass die getesteten Maßnahmen Wundermittel sind, die zu einer kompletten Wiederherstellung des öffentlichen Vertrauens führen.

Was bedeutet das für die Praxis? Für Psychologinnen und Psychologen – sowie Forschende insgesamt – darf dies unserer Ansicht nach nicht dazu führen, nicht mehr über die Replikationskrise zu sprechen. Ganz im Gegenteil! Gerade jetzt ist es wichtig, transparent und nachvollziehbar zu arbeiten, Probleme anzusprechen und zu lösen, um so die Verlässlichkeit psychologischer Forschung zu erhöhen. Hoffnung spendet hierbei auch Forschung unserer Kollegen Farid Anvari und Daniël Lakens. Zwar belegen sie ebenfalls, dass geringe Replizierbarkeit das Vertrauen in psychologische Forschung schädigt. Dies scheint aber nur für frühere Forschungsergebnisse der Fall zu sein. Das Vertrauen in weitere Ergebnisse bleibt erst einmal unerschüttert. Für zukünftige Forschung erhält die Psychologie also gewissermaßen einen Vertrauensvorschuss. Es ist eine wichtige Aufgabe unseres Fachs und der Wissenschaft insgesamt, dem gerecht zu werden und in Zukunft besser replizierbare Forschungsergebnisse zu produzieren.

 

Gastbeiträge spiegeln nicht zwangsläufig die Meinung unserer Redaktion wider.