Foto: Rawpixel.com

Wie ChatGPT die Wissenschaft erklärt

Monika Taddicken und Esther Greussing beschäftigen sich in ihrer Forschung mit der Rolle der künstlichen Intelligenz bei der Informationssuche. Im Interview sprechen sie über die Chancen und Grenzen von Chatbots für die Wissenschaftskommunikation.

Wenn man im Internet nach wissenschaftlichen Informationen sucht, landet man oft zuerst bei Wikipedia. Denken Sie, dass KI-Assistenten Wikipedia und andere Quellen bald ersetzen werden?

Monika Taddicken: Abschätzungen über die Zukunft sind natürlich immer schwierig. Trotzdem würde ich sagen, dass generative KI künftig sehr stark genutzt werden wird, um sich über alle möglichen Themen zu informieren – in welcher Form auch immer.

Esther Greussing: Noch ist es eine ganz bestimmte Bevölkerungsgruppe, die ChatGPT nutzt. Das hat eine quantitative Studie gezeigt, die wir durchgeführt haben. Menschen, die generative KI für wissenschaftsbezogene Informationen nutzen, sind tendenziell jünger, verfügen über mehr Wissen und haben mehr Vertrauen in die Systeme. Ich glaube, dass sich das in Zukunft aber verändern wird.

Esther Greussing ist Postdoktorandin am Institut für Kommunikationswissenschaft der Technischen Universität Braunschweig.

Im Rahmen des ALIES-Projekts haben wir auch eine qualitative Interviewstudie durchgeführt, in der wir Personen gefragt haben, ob sie sich derzeit vorstellen könnten, KI-Anwendungen für die Informationssuche zu wissenschaftlichen Themen zu nutzen. Eine wiederkehrende Antwort war, dass die Teilnehmenden die Interaktion mit ChatGPT und Bing Chat für eine oberflächliche Recherche sehr praktisch finden, sie aber noch nicht für eine detaillierte Informationssuche nutzen.

Wie sind Sie bei der qualitativen Studie vorgegangen?

Greussing: In einem sehr offenen Verfahren haben wir Personen gebeten, nach wissenschaftlichen Informationen zu zwei Themen zu suchen: Nachhaltigkeit von Flugreisen und Wirksamkeit von Saftkuren. Anschließend haben wir mit ihnen über ihre Nutzungserfahrungen gesprochen. Dabei wurde deutlich, dass die Bedienung der Systeme für die Menschen sehr intuitiv war. In den Chatverläufen haben wir aber gesehen, dass durch die Verwendung unterschiedlicher Begriffe oder durch bestimmte Nachfragen sehr unterschiedliche Informationen ausgegeben wurden.

Monika Taddicken ist Professorin für Kommunikationswissenschaft an der Technischen Universität Braunschweig. Ihre Forschungsschwerpunkte sind Online-Kommunikation, Wissenschaftskommunikation, Nutzungs- und Wirkungsforschung.

Vielen war nicht klar, wie generative KI funktioniert und dass man nicht weiß, welche Trainingsdaten im Hintergrund verwendet werden. Das haben wir in der Nachbesprechung natürlich aufgeklärt. Teilweise war das Erstaunen groß. Wir haben bemerkt, dass das Faktenwissen über KI noch nicht sehr ausgeprägt ist. Das hat natürlich Auswirkungen darauf, wie Nutzer*innen mit den Informationen umgehen und ob sie diese für vertrauenswürdig halten. Wir sind aber an dem Punkt vorbei, zu sagen, Chatbots sollten allgemein nicht für wissenschaftliche Informationen genutzt werden. Es wird schon genutzt. Es geht jetzt darum zu verstehen, wie Menschen es nutzen.

Sind Sie der Meinung, dass es einer Schulung bedarf, wie man der generativen KI möglichst zielgerichtet Informationen entlocken kann?

Taddicken: KI-Literacy ist ein wichtiges Thema. Auf der einen Seite haben wir Kompetenzdimensionen, die man bei Medienangeboten ohnehin mitbringen muss, zum Beispiel die Quellenkritik. Dann kommt eine gewisse Kompetenz hinzu, die wir bei wissenschaftlichen Themen brauchen, die Science Literacy. Im Vergleich zu anderen Online-Angeboten steht bei KI-generierten Informationen natürlich die Nachvollziehbarkeit der Antwort im Vordergrund. Dann gibt es weitere Dimensionen, die dahinter stehen. Zum Beispiel, wer das System eigentlich entwickelt hat und anbietet. Medienkompetenz war schon vorher ein unglaublich komplexer Begriff, und das wird jetzt noch komplexer.

Greussing: Hinzu kommt: Bing Chat und ChatGPT funktionieren sehr unterschiedlich, zum Beispiel gibt Bing Chat Quellen an und ChatGPT nicht. Es wird nicht möglich sein, für jedes System eine eigene Kompetenz zu erwerben.

Konnten Sie Trends erkennen, in welche Richtung die Chatbots die Informationssuche gelenkt haben?

Greussing: Wir haben das Szenario so aufgebaut, dass es uns weniger um die polarisierenden Aspekte der Themen und Meinungen ging. Stattdessen ging es um die Suche nach wissenschaftlichen Studien. ChatGPT äußert keine Meinung. Das Programm ist darauf programmiert, sehr diplomatisch zu sein und eher Vor- beziehungsweise Nachteile anzugeben. Einige Personen waren deswegen etwas frustriert. Zum Teil war es ihre Erwartung an das System, eine Meinung zu erhalten.

„Wir haben aber auch in früheren Studien gesehen, dass Menschen, die klare Antworten suchen, Probleme damit haben, wenn sie diese nicht bekommen." Monika Taddicken
Taddicken: Unser Schwerpunkt lag auf dem Umgang mit und der Bewertung von Evidenz. Wir haben aber auch in früheren Studien gesehen, dass Menschen, die klare Antworten suchen, Probleme damit haben, wenn sie diese nicht bekommen. Tatsächlich sind diese Personen auch häufiger anfällig dafür, populistischen Aussagen zu glauben. Deswegen ist der Umgang damit auch etwas, was wir uns in nächster Zeit in der Forschung genauer anschauen müssen.

Sollten Chatbots möglichst menschenähnlich kommunizieren?

Greussing: Wir haben die Teilnehmenden dazu befragt. Es gab Personen, die es ganz klar abgelehnt haben, dass der Chatbot anthropomorphisiert sein soll. Sie möchten nicht, dass er sympathisch wirkt. Er soll einfache Funktionen erfüllen und Informationen präsentieren. Auf der anderen Seite hatten wir Personen, die eine persönliche Ansprache als sehr positiv empfanden und sich dadurch unterstützt gefühlt haben. Wir brauchen hier also noch mehr Forschung. Für welche Themen finden Menschen es vielleicht angebracht, dass ein Chatbot witzig oder ironisch ist? Bei welchen Themen wird es aber abgelehnt, weil es nur darum geht, Informationen möglichst effizient, schnell und einfach zu erhalten?

„Für welche Themen finden Menschen es vielleicht angebracht, dass ein Chatbot witzig oder ironisch ist? Bei welchen Themen wird es aber abgelehnt, weil es nur darum geht, Informationen möglichst effizient, schnell und einfach zu erhalten?" Esther Greussing

Taddicken: Es kann sein, dass es einen Kipppunkt gibt, wenn man eine andere Antwort als erwartet erhält, zum Beispiel eine witzige Antwort auf eine Frage nach spezifischen Fakten. In menschlichen Gesprächen würde dies auch zu Irritationen führen. Interessant ist, was das mit der Glaubwürdigkeit der Informationen macht. Das können wir bislang noch nicht beantworten.

Welche Rollen kann generative KI in der Wissenschaftskommunikation annehmen?

Greussing: In unserem Projekt interessieren wir uns konkret für generative KI als Informationsintermediär. Das heißt, uns interessiert die spezielle neue Rolle einer KI, die Information generiert, distribuiert und präsentiert. Hier werden also Funktionen, die ursprünglich getrennt waren, in einem System zusammengeführt, was wiederum die Wahrnehmung dieser Funktionen verändern kann.

Ihr Verbundprojekt ALIES läuft seit einem Jahr – was sind Ihre nächsten Schritte?

Taddicken: In einer anderen Studie vergleichen wir repräsentative Umfragen zu Wissen und Einstellungen zu generativer KI in mehreren Ländern. Und wir werden uns ansehen, wie es wahrgenommen wird, wenn eine KI Humor und Gefühl KI zeigt. Neben ALIES gibt es ein weiteres Forschungsprojekt, welches vom Bundesministerium für Bildung und Forschung gefördert und wahrscheinlich im nächsten Frühjahr starten wird („Wiss-KKI – Wissenschaftskommunikation über und mit künstlicher Intelligenz“, Verbundprojekt mit der Universität Augsburg und der Technischen Universität München). Da schauen wir unter anderem auf die Berichterstattung über KI im Zusammenhang mit wissenschaftlichen Themen. Wir arbeiten auch an einem Tool, was in die Praxis von Wissenschaftskommunikator*innen einfließen soll. Dieses soll an der Schnittstelle zwischen Wissenschaftler*innen und Bürger*innen die direkte Wissenschaftskommunikation verbessern.

Möchten Sie aus Ihrer Forschung auch Regulierungsempfehlungen für die Politik ableiten?

Taddicken: Das wird sicherlich noch ein Thema werden. Der israelische Teil unseres Verbunds interessiert sich sehr für die Vermittlungsebene und die Frage, wie Menschen mit generativer KI in Bezug auf ganz spezifische Kontexte und Alltagsfragen umgehen. Im BMBF-Projekt Wiss-KKI wird uns auch interessieren, wie wir die Multiplikator*innen dazu befähigen können, generative KI als Tool erfolgreich einzusetzen. Kurzum: Wir geben weniger Regulierungsempfehlungen, sondern erforschen die Nutzungsperspektive und die Frage der Befähigung. Dabei sehe ich es aber auch als unsere Aufgabe an, auf blinde Flecken zu verweisen.