Das „Toolkit zur Evaluation“ der Impact Unit von Wissenschaft im Dialog* unterstützt Praktiker*innen bei der Planung und Umsetzung aussagekräftiger Evaluationen in der Wissenschaftskommunikation. Es umfasst verschiedene Materialien: Hilfsmittel geben einen ersten Überblick zum Ablauf einer Evaluation. Anleitungen und Einblicke zeigen, wie eine Evaluation tatsächlich umgesetzt wird. Verschiedene Vorlagen helfen bei der Projektplanung und -evaluation.

Der Entscheidungsbaum zur Evaluation von Wissenschaftskommunikation richtet sich an Personen, die einen Einstieg in das Thema suchen. Er gibt einen Einblick, mit welchen Fragen und Fachbegriffen Wissenschaftskommunikator*innen bei der Evaluation konfrontiert werden. In der Prezi-Version lässt sich dieser Planungsprozess einmal durchlaufen – vom Identifizieren des Erkenntnisinteresses bis zur Wahl der Auswertungsmethode.

Die How-To-Reihe „Wisskomm evaluieren“ liefert Beispiele und nähere Erklärungen zu diesen Planungsschritten. Sie zeigt auf, wie sich eine Evaluation von Anfang bis Ende systematisch planen lässt, soll dabei aber kein strenges Regelwerk sein. Wer schon mitten in der Evaluation steckt, kann direkt den Teil der Reihe heranziehen, der in der aktuellen Situation weiterhelfen kann. Auf der Projekthomepage gibt es weitere Hintergründe und die wissenschaftlichen Arbeiten der Impact Unit zum Weiterlesen.

Hier gibt es den Entscheidungsbaum und alle veröffentlichten Bausteine der How-To-Reihe „Wisskomm evaluieren“ zum Download:

Wo anfangen?

Ein Entscheidungsbaum (Kurzübersicht als PDF) unterstützt bei der Planung aussagekräftiger Evaluationen. Die Evaluationsplanung im Schnelldurchlauf dient als Grundlage, um die einzelnen Schritte zu durchdenken und zu skizzieren. Die interaktive Prezi führt durch den Prozess.

1. Wissenschaftskommunikation strategisch planen

Die Basis für eine aufschlussreiche Evaluation von Wissenschaftskommunikation wird bereits bei der strategischen Planung des zu evaluierenden Projekts selbst gelegt. Für Projektverantwortliche, die zu Beginn ihres Projekts keine klare Entscheidung getroffen haben, wen und was sie genau erreichen wollen, gestaltet sich die Evaluation äußerst schwierig. Wer hingegen zu Beginn eines Projekts die Ziele klar festlegt, die Zielgruppen präzise definiert und die Kommunikationsaktivitäten innerhalb des Projekts daran ausrichtet, schafft optimale Bedingungen für eine Evaluation. Das erste How-To soll Denkanstöße für eine solche strategische Planung geben und damit auch eine Ausgangslage für aussagekräftige Evaluationen schaffen.

Teil eins der How-to-Reihe „Wisskomm evaluieren“: Wissenschaftskommunikation strategisch planen

Zusatzmaterial:

• Schritte zur eigenen Theory of Change
• Ziele und Zielgruppen bestimmen – Vorlage zum Selbstausfüllen (als Word-Datei zum Download)
• Ziele und Zielgruppen bestimmen – Vorlage mit ausgefülltem Beispiel

2.  Das Evaluationsvorhaben bestimmen

Für eine erkenntnisreiche Evaluation ist es unumgänglich, ein gewisses Maß an Zeit und Energie zu investieren. Damit die Ressourcen gut genutzt werden, sollten sich idealerweise alle Projektbeteiligten über ihre Vorstellungen verständigen, wieso evaluiert wird und was mit den Ergebnissen letztendlich geschehen soll. Um dies zu gewährleisten und den Weg zu einer aussagekräftigen Evaluation zu ebnen, lohnt es sich, das Vorgehen vorab Schritt für Schritt zu durchdenken.

Teil zwei der How-to-Reihe „Wisskomm evaluieren“: Evaluationsvorhaben bestimmen

3. Das Erhebungsdesign einer Evaluation planen

Das Erhebungsdesign beschreibt den Aufbau der Evaluation, das heißt die Strategie, nach der die benötigten Daten erhoben werden, um das festgelegte Erkenntnisinteresse zu verfolgen. Mit der Bestimmung des Erhebungsdesigns werden folgende Fragen geklärt: Wann und wie häufig werden Daten erhoben? Werden zusätzliche Vergleichswerte (zur Einordnung der Daten) benötigt? Und werden alle verfügbaren Daten oder nur eine Auswahl untersucht?

Teil drei der How-to-Reihe „Wisskomm evaluieren“: Erhebungsdesign einer Evaluation planen

4. Evaluationsinstrumente entwickeln

Dieses How-To liefert Anleitungen und Beispiele zur Erstellung gängiger Evaluationsinstrumente: Fragebögen, Interviewleitfäden, Beobachtungsbögen und Kodebücher für Inhaltsanalysen. Eine Checkliste zu jedem Instrument hilft dabei, die häufigsten Fehlerquellen bei der Formulierung von Fragen, bei Testläufen von Instrumenten, Schulungen von Interviewer*innen usw. zu umgehen. Dazu gibt es Praxisbeispiele und als Begleitmaterial eine Vorlage zur Erstellung eines eigenen Kodebuchs für Inhaltsanalysen.

Teil vier der How-to-Reihe „Wisskomm evaluieren“: Evaluationsinstrumente entwickeln

Zusatzmaterial:

• Kodebuch-Vorlage
• Bausteine für das eigene Kodebuch (als Word-Datei zum Download)

5. Datenauswertung einer Evaluation planen

Audio- oder Videodateien, Interviewtranskripte, Survey-Antworten oder Beobachtungsnotizen: Die Datenerhebung liefert eine Fülle an Informationen. Aus diesen Daten sollen in der Auswertungsphase Antworten auf die eingangs gestellte(n) Evaluationsfrage(n) gefunden werden. Dieser Schritt fällt umso leichter, je sorgfältiger die Auswertung im Voraus geplant und die Daten aufbereitet wurden. Der fünfte Teil der How-to-Reihe unterstützt die Evaluierenden bei der Datenaufbereitung und Datenbereinigung. Er liefert Hinweise zur Entwicklung einer Auswertungsstrategie und dem Einsatz passender Analysesoftware.

Teil fünf der How-to-Reihe „Wisskomm evaluieren“: Datenauswertung einer Evaluation planen

6. Evaluationsergebnisse berichten und reflektieren

Nach Auswertung der Daten werden die Ergebnisse vorgestellt, diskutiert und der Evaluationsprozess reflektiert. Welche Fragen sich die Evaluierenden zur Interpretation und Diskussion ihrer Erkenntnisse stellen sollten und wie sie aus der Evaluation den größtmöglichen Mehrwert ziehen können, erklärt das sechste How-To. Es führt durch die Erstellung des Evaluationsberichts, schlägt Reflexionsfragen für die Diskussion vor und liefert Impulse für die Kommunikation der Ergebnisse.

Teil sechs der How-to-Reihe „Wisskomm evaluieren“: Evaluationsergebnisse berichten und reflektieren

Factsheets zur Evaluationspraxis in der Wissenschaftskommunikation

Das erste Factsheet stellt Evaluationskriterien vor, anhand derer beurteilt werden soll, ob eine Evaluation gut gemacht und damit aussagekräftig ist. Grundlage hierfür bieten die Standards für Evaluationen der DeGEval – Gesellschaft für Evaluation.

Factsheet: Worauf kommt es bei einer guten Evaluation an?

Im zweiten Factsheet werden eine Reihe unterschiedlicher Datenerhebungsmethoden vorgestellt, von klassischen Methoden der Sozialforschung bis hin zu spielerischen Ansätzen – falls es einmal nicht der Fragebogen sein soll.

Factsheet: Alternativen zum Fragebogen

*Wissenschaft im Dialog ist einer der drei Träger des Portals Wissenschaftskommunikation.de.