Foto: Evaluation-Fragebogen des RIKI-Projekts

Evaluation des Projekts „Risikokommunikation zur Künstlichen Intelligenz“ (RIKI)

Ist ein Projekt der Wissenschaftskommunikation tatsächlich erfolgreich und was könnte daran noch optimiert werden? Um solche Fragen zu beantworten, ist eine wissenschaftliche Evaluation von elementarer Bedeutung. Dieser Gastbeitrag gibt anhand eines Kommunikationsprojekts des Nationalen Instituts für Wissenschaftskommunikation (NaWik) konkrete Einblicke in Methodik und Ergebnisse einer projektbegleitenden Evaluation.

Im Rahmen eines vom Bundesministerium für Bildung und Forschung geförderten Projekts hatte das Nationale Institut für Wissenschaftskommunikation (NaWik) es sich zur Aufgabe gemacht, Nachwuchswissenschaftler*innen bei der Risikokommunikation zu künstlicher Intelligenz (RIKI) zu unterstützen. Durch das Projekt sollten Forschende darin ermutigt werden, sich in öffentlichen Debatten einzubringen und ihre potenziell kritischen Forschungsthemen einfach und verständlich zu vermitteln. Zu diesem Zweck wurden eine Reihe von Workshops mit Wissenschaftler*innen durchgeführt, die selbst an KI-Themen forschen. Sie wurden motiviert, Videobotschaften zu erstellen, in denen sie ihren Umgang mit den Risiken der KI-Technologie schildern. Zusätzlich wurden öffentliche Diskussionsrunden für einen Austausch zwischen Bürger*innen und Forschenden abgehalten und die gewonnenen Erkenntnisse in einem Handbuch gesammelt.

Ein institutseigenes Forschungsteam analysierte und evaluierte projektbegleitend die beiden öffentlichen Diskussionsrunden, den Youtube-Kanal des Projekts und das entstandene Kompendium. In diesem Beitrag werden ausgewählte Ergebnisse der Untersuchung vorgestellt.

Ist eine öffentliche Diskussionsrunde eine Möglichkeit, um das Publikum in eine Debatte mit einzubeziehen?

Für eine grundsätzliche Einschätzung der Debatten- und Veranstaltungsqualität wurde untersucht, inwieweit die jeweilige Veranstaltung den Teilnehmer*innen persönlich wie auch inhaltlich einen Mehrwert bot. Zudem war von besonderem Interesse, ob sich das Problembewusstsein der Teilnehmer*innen und ihre grundsätzliche Haltung zum Thema KI durch ihre Beteiligung an den Diskussionen veränderten.


Steckbrief zur Evaluationsmethode der öffentlichen Diskussionsrunde

Es wurden zwei Debatten untersucht, die in Karlsruhe zum Thema „Autonomes Fahren und KI“ und in Berlin zu „KI in der Medizin“ stattfanden und die auf zwei Qualifikationsarbeiten aus dem Studiengang „Wissenschaft – Medien – Kommunikation“ am Karlsruher Institut für Technologie (KIT) basieren. Methodisch nahmen bei der angestellten Untersuchung insgesamt 54 Teilnehmer*innen der Diskussionsveranstaltungen sowohl vor als auch nach der jeweiligen Veranstaltung an einer standardisierten Befragung teil.  Pro Standort wurde mit sieben weiteren Personen leitfadengestützte Interviews geführt.


Eine öffentliche Diskussionsrunde als Format für den Austausch auf Augenhöhe

Insgesamt zeigte die Evaluation, dass die gewählte Form der öffentlichen Diskussion in einem sogenannten Fishbowl-Format[1] eine sinnvolle Möglichkeit ist, um das Publikum in eine Debatte mit einzubeziehen. Das ergab sich aus der Beobachtung, dass die überwiegende Mehrheit der Befragten angab, mit dem Veranstaltungsformat ebenso wie mit dem Inhalt der Debatte zufrieden zu sein. Der direkte Austausch zwischen Expert*innen und Publikum wurde als gelungen und vornehmlich „auf Augenhöhe“ wahrgenommen.

Teilnehmende der Diskussionsrunden zu KI-Themen in Berlin (n=21) und Karlsruhe (n=24) bewerteten die Veranstaltungsqualität weitgehend als gut bis sehr gut.

Passend zum Thema „KI in der Medizin“ nahmen bei dieser Veranstaltung vor allem Besucher*innen aus dem medizinischen Berufsfeld teil. Sie führten an, bereits einen Bezug zum Diskussionsthema zu haben und schätzten ihr Vorwissen dazu entsprechend hoch ein. Der nachträglich angegebene Wissenszuwachs durch die Debatte wiederum fiel demzufolge verhältnismäßig gering aus.

Die Teilnehmer*innen der Veranstaltung zum Thema „Autonomes Fahren und KI“ gaben ebenfalls ein starkes Interesse an der Thematik an, wiesen jedoch kaum einen persönlichen oder beruflichen Bezug dazu aus. Passend dazu gab über die Hälfte der Befragten im Nachhinein an, neues Wissen aus der Veranstaltung erhalten zu haben. Ebenso wurde die Vertiefung von Wissen und das Aufzeigen alternativer Blickwinkel als Resultat der Diskussion genannt.

Nach beiden öffentlichen Debatten konnte eine gestiegene Bereitschaft zur erneuten Teilnahme an einer öffentlichen Diskussion mit ähnlichem Format sowie inhaltlichem Schwerpunkt ausgemacht werden.

Auch bei der Haltung gegenüber den Inhalten konnten durch die Befragungen vor und nach den Diskussionsrunden Veränderungen festgestellt werden. So zeigte die Analyse der Aussagenbewertungen zu KI in der Medizin beispielsweise, dass die Teilnehmer*innen im Anschluss weniger ethische Bedenken bezüglich des Themas äußerten. Allerdings wurde die Sicherheit von Patientendaten stärker für problematisch gehalten als zuvor.

Nach der Debatte um autonomes Fahren gaben die Befragten seltener an, sich auf dem Testfeld sicher zu fühlen, gleichzeitig wurde jedoch die Datensicherheit beim autonomen Fahren positiver eingeschätzt als zuvor.

Wie werden Videos zum Thema Risikokommunikation zur Künstlichen Intelligenz genutzt?

Im Rahmen der Projektevaluation wurde auch der Youtube-Kanal untersucht, auf dem die Video-Statements der Workshopteilnehmer*innen zu verschiedenen KI-Themen sowie die filmischen Dokumentationen der Fishbowl-Diskussionen veröffentlicht wurden.


Steckbrief zur Evaluationsmethode der Videobotschaften von Forschenden

Es wurde eine quantitative Analyse des Youtube-Kanals durchgeführt, bei der neben den Abrufzahlen auch andere Metadaten wie die Zahl der Kommentare oder der Likes und Dislikes der Videos betrachtet wurden.


„Künstliche Intelligenz“ als meist genutzter Suchbegriff bei der Analyse des RIKI Youtube-Kanals

Die Analyse der Suchbegriffe der Zuschauer*innen ergab, dass die Videos vor allem von Nutzer*innen angesehen werden, die am Thema „Künstliche Intelligenz“ interessiert sind. Hierbei wurden Begriffe untersucht, die in der Youtube-Suche eingegeben wurden und eines der Videos des RIKI-Kanals als Suchergebnis generierten, welches im Folgenden auch angesehen wurde. Das Thema „Risikokommunikation“ schien den Untersuchungen zufolge nicht im Fokus der Nutzer*innen zu liegen. Vielmehr konnte ein Interesse am übergeordneten Thema der Künstlichen Intelligenz und vor allem an den Debatten zum „Autonomes Fahren“ und „Medizin“ in diesem Zusammenhang festgestellt werden, da diese Videobeiträge am häufigsten und längsten angesehen wurden.

Die Untersuchung des RIKI-Projektkanals zeigte, dass die meisten Aufrufe der RIKI-Videos durch den Suchbegriff „Künstliche Intelligenz“ zustande kamen.

Insgesamt betrachtet generiert der Youtube-Kanal allerdings im Untersuchungszeitraum nur eine geringe Anzahl an Nutzerinteraktionen und Abonnenten.

Können gewonnene Erkenntnisse in Form eines Kompendiums bei der Kommunikation zum Thema „Risikokommunikation zur Künstlichen Intelligenz“ als Hilfsmittel dienen?

Das Kompendium „Risikokommunikation zur Künstlichen Intelligenz“, das auf den Ergebnissen der Workshops und Fishbowl-Debatten des Projekts aufbaut, soll Wissenschaftler*innen und Öffentlichkeitsarbeiter*innen bei gesamtgesellschaftlichen Auseinandersetzungen und in der öffentlichen Kommunikation kritischer Fragestellungen über KI als Hilfsmittel dienen.


Steckbrief zur Evaluationsmethode des Kompendiums „Risikokommunikation zur Künstlichen Intelligenz“

Die Evaluation des Kompendiums wurde mittels qualitativer Leitfadeninterviews durchgeführt. Befragt wurden insgesamt sechzehn Personen, wovon elf Wissenschaftler*innen und fünf Öffentlichkeitsarbeiter*innen aus dem KI-Forschungsbereich darstellten. Die Experteninterviews bestanden dabei aus 14 Leitfragen und wurden telefonisch durchgeführt.


Kompendium als nützliches Hilfsmittel für die Risikokommunikation

Die für die Evaluation befragten Forschenden und Kommunikator*innen gaben an, mit dem Inhalt des Kompendiums sehr zufrieden zu sein. Insbesondere die ausgewählten Themen sowie deren Einordnung und Aktualität waren ausschlaggebend dafür, dass das Kompendium mehrfach als gute Übersicht über das Themengebiet KI bezeichnet wurde. Auch die Darstellung der einzelnen Themenschwerpunkte wurde von den Interviewten mehrheitlich als korrekt eingestuft.

Auszug der Befragung per Leitfadeninterview im Rahmen der Evaluation des RIKI-Projekts.

Befragte, die in der Vergangenheit selbst im Bereich Risikokommunikation tätig waren, äußerten sich überzeugt davon, dass das Kompendium auch in zukünftigen Kommunikationssituationen zur Rekapitulation von Kommunikationsstrategien sowie als Vorbereitungsmaterial relevant sein wird. Als besonders hilfreich wurde es für Forschende mit wenig Erfahrung in der Wissenschaftskommunikation eingestuft.

Die Mehrheit der Befragten war auch dahingehend optimistisch, dass das Kompendium zu mehr öffentlicher Kommunikation über KI beitragen werde. Die meisten Interviewten fühlten sich durch das Produkt besser auf schwierige Kommunikationssituationen vorbereitet und an die Relevanz öffentlicher Kommunikation erinnert. Auch mit der gestalterischen Umsetzung waren alle zufrieden, lediglich die zusätzlichen Online-Inhalte waren von keinem der Befragten genutzt worden.

Fazit der Evaluation des RIKI-Projekts

Die untersuchten Komponenten des RIKI-Projekts waren auf unterschiedliche Personengruppen ausgerichtet und strebten verschiedene Ziele an. So gewährte die Evaluation der Befragung der Diskussionsteilnehmer Einblicke in die Vermittlung von wissenschaftlichen Inhalten zwischen Expert*innen und Fachfremden im Debatten-Format. Die Evaluation des Kompendiums hingegen ließ Erkenntnisse darüber zu, ob Wissenschaftler*innen und Kommunikator*innen einen Nutzen aus den forschungsintern erarbeiteten Inhalten zu RIKI erhielten.

Die Evaluation von drei zentralen Komponenten des RIKI-Projekts hat deutlich gemacht, dass öffentliche Diskussionsrunden im Themenfeld Risikokommunikation ein probates Mittel sein können, um einen Diskurs zwischen Wissenschaft und Gesellschaft auf Augenhöhe zu führen. Auch ist erkennbar geworden, dass sowohl Praktiker*innen der Wissenschaftskommunikation als auch Wissenschaftler*innen aus dem Bereich der KI Bedarf und Interesse an einer kompakten Handreichung für den kommunikativen Alltag im Themenfeld haben. Hinsichtlich des Youtube-Kanals hat sich einmal mehr gezeigt, dass Videos zu Nischenthemen in der Regel ohne spezifischen Anlass kein Massenpublikum generieren, aber von einer spezifischen Zielgruppe gesucht und wahrgenommen werden.

Eine detaillierte Beschreibung der eingesetzten Evaluationsmethoden und sämtliche Ergebnisse der Evaluation bietet der vollständige Evaluationsbericht (PDF) auf Foschung@Nawik.


Steckbrief zum Evaluationsprojekt:

Evaluationen von Kommunikationsprojekten sind von erheblicher Relevanz, um die Qualität, Wirkung oder Effektivität der durchgeführten Tätigkeiten zu überprüfen – allerdings sind sie im Feld der Wissenschaftskommunikation noch nicht besonders weit verbreitet.

Nicht zuletzt, um dies in Zukunft zu verändern, werden vom Nationalen Institut für Wissenschaftskommunikation (NaWik) im institutseigenen Bereich Forschung@NaWik praxisrelevante Fragen und Formate der Wissenschaftskommunikation in Forschungsprojekten empirisch untersucht. Das Methodenspektrum reicht dabei von klassischen Befragungen und Beobachtungen bis hin zu Blickdatenerhebungen im eigenen Rezeptionslabor.

Einblicke in vergangene und künftige Evaluationsprojekte finden sich hier.

 

[1] In einer Fishbowl-Debatte besteht der Diskussionsraum aus zwei Stuhlkreisen. Während der RIKI-Veranstaltungen saßen im inneren Kreis die Wissenschaftler:innen und ein Stuhl war für eine/n Besucher:in freigehalten. Alle anderen Bürger:innen saßen im äußeren Stuhlkreis und konnten die Debatte beobachten sowie abwechselnd in den inneren Stuhlkreis wechseln, um sich an der Diskussion mit den Expert*innen zu beteiligen.

 

* Das NaWik  ist einer der drei Träger des Portals Wissenschaftskommunikation.de.