In Ihrem neuen Band über Evaluationsmethoden zitieren Sie eine Umfrage von Wissenschaft im Dialog*, nach der fast 90 Prozent der befragten Wissenschaftskommunikator*innen Evaluationen wichtig finden. Bei der Einschätzung der eigenen Fähigkeiten aber zeigt sich ein gemischtes Bild. Woher kommt die Diskrepanz zwischen Theorie und Praxis? 

Ricarda Ziegler: Viele Praktiker*innen sind sich sehr bewusst, wie wichtig Evaluationen in der Wissenschaftskommunikation sind – und auch, dass sie selbst nicht genug oder gut genug evaluieren. Zum einen hat das sicherlich damit zu tun, dass Praktiker*innen in der Wissenschaftskommunikation aus verschiedenen fachlichen Hintergründen kommen und unterschiedlich viel Wissen in Bereichen der Evaluation mitbringen. Zum anderen liegt das natürlich an den Anforderungen im Arbeitsalltag. Bei vielen kommen immer mehr Aufgaben und Verantwortlichkeiten hinzu, sodass Evaluation nicht immer genügend Aufmerksamkeit bekommen kann. Ein weiterer Grund ist, dass viele Wisskomm-Praktiker*innen in Kontexten arbeiten, in denen Projekte eine begrenzte Laufzeit haben und man sich regelmäßig um die nächste Förderung bewerben oder das Projektbudget verteidigen muss. In solchen Situationen besteht ein gewisser Druck, positive Evaluationsergebnisse zu erzielen und zu berichten und ist es schwierig, Evaluation so zu verstehen, wie wir es im neuen Band tun – nämlich auch als Gelegenheit des individuellen und kollektiven Lernens in der Wissenschaftskommunikation. 

Philipp Niemann: Ein Punkt ist sicher auch, dass bestimmte Informationen noch nicht unbedingt unter dem Label „Evaluation von Wissenschaftskommunikation“ vorliegen. Es gibt die tollen Materialien der Impact Unit. Aber als wir in der #FactoryWisskomm in einer Arbeitsgruppe zum Thema Qualität zusammensaßen, bemerkten wir, dass es in dem Bereich der konkreten Evaluationsmethoden noch eine Lücke gibt. Da haben wir gedacht: Ist es nicht eine Idee, das mal anzugehen?

Ergebnis dieser Überlegungen ist der Sammelband. An wen richtet sich das Buch? 

Niemann: Wir wollen Praktiker*innen im Bereich der Wissenschaftskommunikation genauso ansprechen wie Forscher*innen – und dabei jeweils sowohl diejenigen, die sich schon auskennen und sich eine Vertiefung in einem bestimmten Bereich wünschen, als auch solche, die das zum ersten Mal machen. Wir sehen, dass es international Thematisierungen von Evaluation in der Wissenschaftskommunikation explizit gibt, aber dass im deutschsprachigen Raum gerade im Bereich der Methoden kaum etwas vorliegt. Wir wollten Evaluationsbemühungen in der Wissenschaftskommunikation unterstützen, indem wir hier einen Beitrag leisten. Die Tatsache, dass das Buch Open Access verfügbar ist, spielt dabei eine große Rolle. Wir hatten jetzt 15.000 Downloads in kurzer Zeit. Das ist gar nicht schlecht – und nur möglich dank der großzügigen Unterstützung des BMBF** und der Klaus Tschira Stiftung**, die die Open-Access-Gebühren übernommen haben.

Ist das ein Zeichen dafür, dass dem Thema Evaluation in der Wissenschaftskommunikation ein immer höherer Stellenwert beigemessen wird?

Ziegler: Ja, das sieht man einerseits bei denjenigen, die Wissenschaftskommunikation fördern – zum Beispiel, wenn man Gelder beantragt und dabei immer öfter auch Fragen zum Thema Evaluation beantworten muss. Wir sehen aber auch in der Praxis einen hohen Bedarf nach Unterstützung und zur Orientierung zum Thema Evaluation von Wissenschaftskommunikation.

Was sind typische Herausforderungen bei der Planung von Evaluationen? 

Vanessa van den Bogaert: Ein ganz typischer Fallstrick, der einem begegnet, wenn man einen Evaluationsauftrag bekommt oder selbst ein Projekt evaluieren möchte, ist, dass es keine fertige Vorlage gibt. Es gibt kein Design oder Vorgehen, das auf alles passt. Deshalb steht man vor der Herausforderung, Methoden auszuwählen, die für die eigene Fragestellung passen. Dabei sind viele Dinge abzuwägen, denn man hat nicht unendlich viel Zeit, Geld und Personal. Es stellt sich die Frage: Welche Güte soll diese Evaluation haben und wie kann ich das im konkreten Projekt erreichen? Man möchte ja hinterher verlässliche Aussagen haben, die einem helfen, das Projekt zu bewerten und weiterzuentwickeln. Es ist total wichtig, dass man das reflektiert – und damit haben wir ja nicht angefangen. Es gibt die DeGEval – Gesellschaft für Evaluation und weitere Gesellschaften im deutschsprachigen Ausland. In unserem Sammelband unserem Buch war es uns sehr wichtig, das zusammenführen, weil ganz viele Ressourcen schon da sind, die einem helfen, sich auf den Weg zu machen.

Welche unterschiedlichen Möglichkeiten für Evaluationen gibt es denn?

Ziegler: Sehr viele unterschiedliche Möglichkeiten. Der erste Schritt in der Evaluationsplanung ist die Beschäftigung mit der Frage: Welche Funktion soll die Evaluation einnehmen? Evaluationen können zum Beispiel aus Legitimierungsgründen gemacht werden oder um Entscheidungen über eine zukünftige Fortführung zu informieren. Daneben gibt es den Anspruch zu schauen, ob ein Projekt seine Ziele erreichen konnte und warum bzw. warum nicht. Außerdem dienen Evaluation dem Verstehen eines Formates und dem Dazulernen – gerade, wenn Neues ausprobiert und erprobt werden 

Aus diesen Überlegungen leitet sich dann die Evaluationsart und das Design ab. Überprüfe ich beispielsweise am Ende des Projekts: Was sind die Ergebnisse, wurden die Ziele erreicht? Versuche sich also, den Outcome, den Impact, die Wirkungen zu erheben oder wähle ich eine Evaluation, die schon während des Projekts auf einer formativen Ebene ansetzt? Die Entscheidung ist auch verbunden mit der Frage, ob ich eine vorhandene Hypothese, wie das Projekt funktioniert, bestätigen oder eher explorativ neues Wissen generieren möchte. 

Damit kommen wir direkt zu den Methoden. Welche stellen Sie in dem Band vor? 

Niemann: Die Spannbreite der Methoden, die man für evaluatorische Herangehensweisen verwenden kann, ist groß. Wir haben zum einen versucht, Klassiker abzudecken, wie man sie aus der empirischen Sozialforschung kennt: Befragungen, Beobachtungen oder Inhaltsanalysen. Wir haben das aber um Methoden ergänzt, die vielleicht nicht so ganz alltäglich sind wie physiologische Messungen – zum Beispiel Blickaufzeichnungen – oder Nutzungsdatenanalysen. Und es gibt auch Kapitel, die größere, komplexere Zusammenhänge darstellen und beispielsweise zeigen, wie man Testverfahren entwickelt. Außerdem finden sich auch alltagspraktische Hinweise zum Beispiel auf kreative Feedback-Methoden, die man in Workshops oder bei Veranstaltungen nutzen kann.

Wenn ich als Praktiker*in noch nicht viel Erfahrung mit Evaluationen habe: Finde ich in dem Buch Ansätze, die ich einfach umsetzen kann? 

Niemann: Unsere Idee war, im Methodenteil des Buches zweigleisig vorzugehen. Es gibt Grundlagenbeiträge, die auf dem aktuellen Stand der Fachwissenschaft eine Methode vorstellen – aber durchaus so, dass man das gut verstehen kann, wenn man vorher noch keinen Zugang dazu hatte. Um die Dinge greifbar zu machen, gibt es dann im Anschluss ein Praxiskapitel mit einem Anwendungsfall aus der Wissenschaftskommunikation.

Können Sie Einblicke in Praxisbeispiele geben?

Niemann: Christian Humm und ich haben beispielsweise einen Beitrag darüber geschrieben, wie man Blickaufzeichnungen konkret anwendet, wenn es um eine Virtual-Reality-Umgebung zur Wissenschaftskommunikation zu einem Physik-Experiment geht. Man kann beispielsweise erkennen, ob ganz klassische Interaktionsmuster vorherrschen, wie man sie auch aus Nicht-VR-Kontexten kennt, oder ob manches vielleicht neu ist, weil der Raum andere Möglichkeiten bietet.

Van den Bogaert: Wir haben auch Beiträge zu Begleitforschungsvorhaben von Citizen-Science-Projekten, die beispielsweise quantitative Befragungen in Online-Settings nutzen und wir haben Nutzungsdatenanalysen – auch aus einem Citizen-Science-Projekt. Es wird gefragt: Was machen Personen, wenn sie online an so einem Projekt teilnehmen? Wie verhalten sie sich? Außerdem haben wir Leitfadeninterviews zu einem Wissenschaftsvarieté. Es wird jeweils gezeigt, wie eine einzelne Methode oder eine Kombination aus Methoden in der Praxis genutzt werden. Der Fokus liegt darauf zu beschreiben, welche Herausforderungen es gab und worauf zu  achten ist. Unser Eindruck ist, dass dieser bunte Strauß an Praxisbeispielen gut helfen kann, das Wissen über die Methode auch anzuwenden.

Ziegler: Das sind auch schöne Beispiele dafür, dass man in jedem Evaluationsprojekt abwägen muss zwischen: „Wie müsste man das eigentlich idealerweise methodisch machen?“ und „Was ist tatsächlich umsetzbar?“ 

Was wollen Sie mit dem Buch erreichen? 

Niemann: Es ist ja häufig so, dass man Methodenseminare nicht unbedingt in der prickelndsten Erinnerung behält. Mit dem Buch möchten wir ein Stück weit Berührungsängste abbauen, indem wir zeigen: Das ist nicht immer ein Hexenwerk, sondern in weiten Teilen gut machbar.

Ziegler: Wir möchten, dass Evaluation in der Wissenschaftskommunikation noch ein bisschen selbstverständlicher wird. Und dass man dadurch Ergebnisse bekommt, die man nicht nur zum Beispiel an den Fördermittelgeber berichtet, sondern die einem inhaltlich weiterhelfen und die man idealerweise auch noch mit der Community teilt, um Wissenschaftskommunikation in unterschiedlichen Kontexten informiert zu gestalten und besser zu machen. Wir möchten also einen Beitrag zur Qualitätsentwicklung und Professionalisierung leisten.

Bisher sind Ergebnisse von Evaluationen in der Wissenschaftskommunikation häufig nicht öffentlich zugänglich. Wie ließe sich das ändern?

Niemann: Es gibt keine formale Hürde. Wenn man zum eigenen Projekt eine Evaluation durchführt oder in Auftrag gibt, könnte man die auch online stellen. Das wird aber kaum gemacht und hat viel damit zu tun, dass Personen und Institutionen vielleicht den Eindruck haben, man könnte womöglich erkennen, dass etwas nicht ganz ideal gelaufen ist. Mit Evaluation wird ja oft die Überlegung verbunden, dass geprüft wird, wie gut etwas war. Von diesem Bild wollen wir wegkommen. Es geht darum zu schauen, inwiefern bestimmte, vorher definierte Ziele oder Überlegungen erreicht wurden – und was man daraus mitnehmen kann, um es beim nächsten Mal besser, anders, noch optimaler zu machen. Wenn wir dahin kommen, ist die Bereitschaft höher zu sagen: „Es ist gar kein Problem, allen zu zeigen, an welchen Stellen Optimierungspotenzial besteht.“ In dem Moment, wo es zum Standard wird, dass man Evaluationsberichte öffentlich macht, ist das Problem nicht mehr so groß. Dann muss niemand mehr Sorge davor haben, sich zu exponieren. Denn man wird kein Projekt in der Wisskomm finden, bei dem alles optimal ist.

* Wissenschaft im Dialog und das Nationale Institut für Wissenschaftskommunikation sind zwei Träger des Portals Wissenschaftskommunikation.de

** Das BMBF und die Klaus Tschira Stiftung sind Förderer des Portals Wissenschaftskommunikation.de