„Ich würde eher Glas fressen als jemals ChatGPT zu verwenden!“ Jens Foell

„Generative KI bringt uns nicht den Wandel, der uns versprochen wurde.“ [Übersetzung]¹ Véro Mischitz

„Ich bin schockiert, dass Menschen dieser Maschine einfach blind vertrauen! Sogar mehr, als sie einem anderen Menschen vertrauen würden.” [Übersetzung]² Etienne Bucher

Generative KI ist ein hilfreiches Werkzeug in der Wissenschaftskommunikation? Das sehen nicht alle in der Wisskomm-Community so. In den letzten Wochen wurde auf verschiedenen Social-Media-Kanälen intensiv über die Nachteile einer KI-Nutzung in der Wissenschaftskommunikation diskutiert. Werden wir dümmer, wenn wir KI-Anwendungen nutzen? Leidet die Kreativität? Kann der Einsatz von KI in der Wissenschaftskommunikation gar das Vertrauen in die Wissenschaft zerstören? Wir haben einige Meinungen aus der nationalen und internationalen Wisskomm-Community zu diesem Thema gesammelt.

Unter anderem auf Linkedin wurde über eine Studie des MIT Media Lab in Cambridge, Massachusetts, diskutiert. Die Studie zeigte, dass die Gehirne von Personen, die einen Text mithilfe von ChatGPT verfassten, weniger aktiv waren als die der Personen, die ChatGPT nicht nutzen durften. Zudem zeigten sich Anzeichen, dass die Kreativität langfristig unter dem Einsatz des Chatbots leiden könne. Auch wenn die Autorin der Studie, Nataliya Kosmyna, betont, dass die Ergebnisse mit Vorsicht betrachtet werden sollten, da nur wenige Proband*innen über einen kurzen Zeitraum untersucht wurden und das Paper noch keinen Peer-Review-Prozess durchlaufen hat, erhielt es weltweit viel Aufmerksamkeit.

Der Wissenschaftskommunikator Jens Foell findet die Ergebnisse der Studie nicht überraschend und rät grundsätzlich von der Nutzung generativer KI ab. „Ich bin promovierter Neuropsychologe und ich würde eher Glas fressen, als jemals ChatGPT zu verwenden!“, schreibt er in einem LinkedIn-Post. Seiner Meinung nach leidet die Qualität eines Textes oder einer Illustration immer unter der Nutzung generativer KI: „Wenn man ChatGPT für die eigene Arbeit verwendet, auch als Werkzeug, dann heißt das, man nimmt einen riesigen Energieaufwand in Kauf, um nachher ein schlechteres Ergebnis einzufahren, als wenn man die Arbeit einfach selbst gemacht hätte.“

Auch Véro Mischitz sieht keinen Vorteil in der Nutzung einer generativen KI, nicht einmal als unterstützendes Werkzeug: „Ich bin es leid zu hören: ,Aber ich benutze KI als Werkzeug‘. Es ist kein Werkzeug. Es ist eine Dienstleistung, die auf linguistischer Wahrscheinlichkeit basiert (im Falle von LLMs).“ [Übersetzung]³ Man könne so viel prompten, wie man wolle, verlässliche Ergebnisse könnten nicht produziert werden. Die Kontrolle über den Vorgang und das Ergebnis sei zudem limitiert. Die Biologin und Illustratorin glaubt auch nicht, dass der Einsatz von Large Language Models (LLMs) wie ChatGPT Zeit sparen würde, da viel Zeit in das Fine-Tuning der Ergebnisse investiert werden müsse. Und selbst wenn ein Ergebnis zufriedenstellend ist, müsse man den hohen Preis betrachten, den man zahlt. Denn dadurch würden Glaubwürdigkeit und Qualität gemindert und man nehme eine Verschwendung menschlicher und natürlicher Ressourcen in Kauf. 

Wissenschaftskommunikator Dennis Eckmeier hingegen betont in der Diskussion, dass auch er Neurobiologe sei, ChatGPT nutze und nicht der Meinung ist, dass seine Kreativität darunter leide. Wichtig sei, ChatGPT nicht wie einen vertrauensvollen Mitarbeiter, sondern eben nur als Werkzeug zu behandeln. Er selbst überprüfe alles, was er mit einer KI verfasst. Auch die Deutsche Forschungsgemeinschaft (DFG) hat sich kürzlich in zwei Kommentaren zur Nutzung von KI in der Wissenschaft geäußert. Die DFG steht generativer KI „neutral” gegenüber und sieht darin ein hilfreiches Werkzeug, „das vielfältige Prozesse im wissenschaftlichen Alltag unterstützen kann”. Laut den Autor*innen Michaela Bilic-Merdes, Sebastian Brandt und Michael Lentze kann KI eine wertvolle Hilfe sein, ersetze aber nicht das kritische Denken, die Erfahrung und die ethische Verantwortung der Wissenschaftler*innen. Besonders beim Verfassen wissenschaftlicher Publikationen mahnen die Autor*innen zu einem verantwortungsvollen Umgang: Transparenz, Integrität und Qualität seien auch im KI-Zeitalter weiterhin Leitprinzipien wissenschaftlichen Arbeitens.

Matthias Magdowski, wissenschaftlicher Mitarbeiter an der Otto-von-Guericke Universität Magdeburg beobachtet allerdings, dass viele Paper mit falschen Quellen auftauchen, die offensichtlich von ChatGPT verfasst wurden. Er vermutet, dass Forschende dadurch eine umfangreiche Publikationsliste generieren wollen, weil diese in der Wissenschaft als Qualitätsmerkmal gelte: „Daher wird es immer schwieriger werden, den Einsatz von KI zur Erstellung von Artikeln zu erkennen, die nur veröffentlicht werden, um die Anzahl der Zitate oder den H-Index einer Person zu verbessern, anstatt die Wissenschaft voranzubringen oder neue, interessante und originelle Ideen und Informationen zu verbreiten.“[Übersetzung]⁴

Auch Jens Foell kritisiert den Qualitätsverlust wissenschaftlicher Publikationen durch den Einsatz von generativer KI: „Ich sehe immer mehr Leute, die den Einsatz generativer KI für das Verfassen wissenschaftlicher Artikel verteidigen, und das versetzt mich in einen absoluten Schockzustand.“ [Übersetzung]⁵Mittlerweile gebe es Hunderte von wissenschaftlichen Publikationen, die mit ChatGPT verfasst wurden und in denen komplette Textbausteine ungeprüft in die Publikation übernommen wurden. Ohne diese Nutzung transparent zu deklarieren.

Er verweist auf die Webseite des Projekts academ-ai, auf der solche Publikationen gelistet sind. Für Foell ist klar, dass das Vertrauen der Menschen in Wissenschaft, aber auch in den Journalismus durch solch eine Nutzung von generativer KI zerstört werde. Der Wert von (Wissenschafts)Journalismus beruhe auf den drei Säulen der Verlässlichkeit, Vertrauenswürdigkeit und Rechenschaftspflicht. Personen, die in dem Gebiet arbeiten und ChatGPT nutzen, würden diese drei Säulen zerstören: „So funktioniert Ihr Job nicht. Sie werden ein viel besserer Journalist sein, wenn Sie einfach vergessen, dass es ChatGPT gibt. Das ist ganz einfach! Ich tue es jeden Tag.“ [Übersetzung]⁶ Er ist der Ansicht, dass Personen, die ChatGPT zum Schreiben verwenden, sich selbst nicht als Autor*innen sehen sollten.

Svenja Hagenhoff, Professorin für Buchwissenschaft an der Friedrich-Alexander-Universität Erlangen-Nürnberg, stimmt Foell in diesem Punkt zu und steht zudem dem Einsatz von KI-Anwendungen bei der inhaltlichen Auseinandersetzung mit Texten skeptisch gegenüber: „Und man sollte sich nicht als Leser bezeichnen, wenn man generative KI eine ‚Zusammenfassung‘ wissenschaftlicher Arbeiten machen lässt, deren Argumente man selbst differenziert analysieren sollte.“ [Übersetzung]⁷

Grundsätzlich könne das Problem beim Einsatz von KI in mangelndem Wissen darüber liegen, wie KI arbeitet, vermutet Foell in einem Post auf Bluesky: „Jedes Mal, wenn ich jemanden online auf die Verwendung von ChatGPT anspreche und dies zu einer Diskussion führt, endet es *immer* damit, dass derjenige sagt “Das wusste ich nicht über ChatGPT“. Es könnte sich um Probleme mit der Genauigkeit, dem Urheberrecht oder der Nachhaltigkeit handeln, aber es stellt sich jedes Mal heraus, dass die Leute nicht ausreichend informiert waren”. [Übersetzung]⁸  

Auch Véro Mischitz wundert sich in einem Likedin-Post darüber, wie unbedarft viele Personen generative KI einsetzen: „Ich bin verblüfft, wie viele qualifizierte und intelligente Menschen darauf hereinfallen, um mit den sich verschlechternden Standards und Arbeitsbedingungen Schritt zu halten. Die generative KI bringt uns nicht den Wandel, der uns versprochen wurde“.[Übersetzung]⁹  

Auf Aufklärung setzt Katherine J. Mack. In einem Beitrag bei Bluesky erklärt die theoretische Kosmologin und Assistenzprofessorin an der North Carolina State University, dass Chatbots keine Fakten wissen und sie auch nicht dazu entwickelt wurden, korrekte Antworten zu geben. Chatbots seien entwickelt worden, um Muster von Wörtern nachzuahmen. „Wenn sie ‚richtig‘ liegen, liegt das nur daran, dass die richtigen Dinge oft geschrieben werden, so dass diese Muster häufig vorkommen. Das ist alles“. [Übersetzung]¹⁰  

Weiter erklärt sie, warum eine falsche Antwort in dem Sinne kein Fehler des Chatbots sei: „Das liegt daran, dass bei diesem Würfelwurf zufällig eine Gruppe von Wörtern zusammenkommt, die, wenn sie von einem Menschen gelesen wird, etwas Falsches darstellt. Aber es funktionierte genau so, wie ChatGPT entwickelt wurde. Es sollte einen Satz ergeben und das tat es auch.“ [Übersetzung]¹¹  

Ihr Beitrag wurde fast 10.000-mal geteilt und es haben sich fast 600 Antworten darunter gesammelt. Viele Nutzer*innen bestätigen, dass auch sie eine solche Unwissenheit beobachten.

Damian P. Williams, Assistant Professor of Philosophy and Data Science an der University North Carolina bedankt sich bei Katie Mack für ihre Aufklärungsbemühungen und beobachtet selbst, dass Leute geschockt sind, wenn er ihnen diese Funktionsweisen von ChatGPT erklärt: „Jedes Mal, wenn ich dies in einem Vortrag oder auf einer Konferenz sage, sind die Leute schockiert, also danke, dass Sie es sagen, wann immer Sie können.“[Übersetzung]¹²

Zumindest in ethischen Aspekten ist für Surehka Davies das Hauptproblem nicht die generative KI selbst. Es sei theoretisch möglich, ein ethisches KI-Modell zu entwickeln, das den Datenschutz achtet, Umweltschäden vermeidet und für dessen Entwicklung Mitarbeiter*innen gerecht bezahlt werden. Das Problem sei allerdings, dass die Entwicklung in den Händen einiger weniger einflussreicher Tech-Milliardäre, „Bros“, liege: „Bros entwerfen keine Dinge, die unsere Lebensqualität verbessern. Sie stellen Werkzeuge für die Gaunerei her“ [Übersetzung]¹³ Abgesehen von den ethischen Aspekten, findet aber auch die Historikerin und Buchautorin, dass die eigenen Schreibfertigkeiten nur besser werden, wenn man selbst schreibt: „Die harte Arbeit beim Schreiben ist genau das, was die eigenen Schreibfähigkeiten verbessert.“[Übersetzung]¹⁴

1. „Generative AI is not bringing us the transformation we were promised.“ https://www.linkedin.com/feed/update/urn:li:activity:7346077405595201538?commentUrn=urn%3Ali%3Acomment%3A%28activity%3A7346077405595201538%2C7346086578236116992%29&dashCommentUrn=urn%3Ali%3Afsd_comment%3A%287346086578236116992%2Curn%3Ali%3Aactivity%3A7346077405595201538%29 ↩︎
2. „I am shocked to see how people just blindly trust this machine! Even more so than they would trust another human being.“ https://bsky.app/profile/plantepigenetics.ch/post/3ltgtmpkv2c2b ↩︎
3. “I am profoundly tired of the ,But I use AI as a tool!‘ take. It’s not a tool. It is a service, based on linguistic probability (in the case of LLMs).“ https://www.linkedin.com/feed/update/urn:li:activity:7346077405595201538?commentUrn=urn%3Ali%3Acomment%3A%28activity%3A7346077405595201538%2C7346086578236116992%29&dashCommentUrn=urn%3Ali%3Afsd_comment%3A%287346086578236116992%2Curn%3Ali%3Aactivity%3A7346077405595201538%29 ↩︎
4. „Therefore, it will become increasingly difficult to detect the use of AI to generate papers that are solely published to improve someone’s citation count or H-index, rather than to advance science or disseminate new, interesting and original ideas and information.“https://www.linkedin.com/posts/magdowski_if-you-cannot-make-it-fake-it-not-only-activity-7349921023229599745-uwLJ/?utm_source=share&utm_medium=member_desktop&rcm=ACoAABgcSPIBsqFEqOuqjuCFLuWObBbUOtbpr64 ↩︎
5. „I see more and more people defend the use of generative AI for writing scientific articles, and it puts me in a state of absolute shock.“https://www.linkedin.com/posts/jens-foell-2365a2a1_suspected-ai-academ-ai-activity-7347565824288735232-2RV_/ ↩︎
6. „That’s not how your job works. You’ll be a much better journalist if you just forget that ChatGPT exists. It’s easy! I do it every day.“https://www.linkedin.com/posts/jens-foell-2365a2a1_heres-the-deal-ai-tools-llms-are-less-activity-7346077405595201538-KbBa/  ↩︎
7. „And don’t call yourself a reader if you let generative AI do a ,summary‘ of scientific papers whose arguments you are supposed to analyze in a differentiated way.“https://bsky.app/profile/svenjahagenhoff.bsky.social/post/3lsyvwnlhwk2m ↩︎
8. „Every single time I call someone out online for using ChatGPT and it leads to a discussion, it *always* ends with them saying „I didn’t know that about ChatGPT“. Could be issues with accuracy, copyright, or sustainability, but every single time it turns out people were under-informed.“https://bsky.app/profile/jensfoell.de/post/3ltgpsgf4ek2s ↩︎
9. „I am baffled to see how many skilled and intelligent people are falling for this in the attempt to keep up with worsening standards and working conditions. Generative AI is not bringing us the transformation we were promised.“https://www.linkedin.com/feed/update/urn:li:activity:7346077405595201538?commentUrn=urn%3Ali%3Acomment%3A%28activity%3A7346077405595201538%2C7346086578236116992%29&dashCommentUrn=urn%3Ali%3Afsd_comment%3A%287346086578236116992%2Curn%3Ali%3Aactivity%3A7346077405595201538%29 ↩︎
10. „When they’re ,right‘ it’s because correct things are often written down, so those patterns are frequent. That’s all“https://bsky.app/profile/astrokatie.com/post/3lrxfsxnkms2c ↩︎
11. „It’s because on that roll of the dice, it happened to string together a group of words that, when read by a human, represents something false. But it was working entirely as designed. It was supposed to make a sentence & it did.“ ↩︎
12. „Every time [I] say this in a talk or a conference people are shocked, so thank you for saying it whenever you can“.https://bsky.app/profile/wolvendamien.bsky.social/post/3lrxofvfn2s25 ↩︎
13. „Bros aren’t designing things to improve our quality of life. They’re making grifting tools“https://bsky.app/profile/drsurekhadavies.bsky.social/post/3lrxih56dl222  ↩︎
14. „… And working hard at writing is precisely what grows your capability at that very writing.“https://bsky.app/profile/drsurekhadavies.bsky.social/post/3lrxii3swi222 ↩︎