LLMs und das Schreiben

Sogenannte LLMs, also Large Language Models, sind seit der Veröffentlichung von ChatGPT Ende 2022 in aller Munde. Diese KI-Modelle imitieren das Lesen und Schreiben, wie wir Menschen es kennen.

Sehr stark vereinfacht ausgedrückt basiert dieser Prozess auf statistischer Verarbeitung eines enormen Textkorpus. Bei dieser Verarbeitung werden sprachliche Einheiten identifiziert. In ihrer für die Datenverarbeitung isolierten Form werden diese Einheiten Token genannt und ähneln ein wenig den aus der Linguistik bekannten Morphemen. Die Funktion des LLMs ist es, einzuordnen, in welchen Sinnzusammenhängen diese Token zueinander stehen. Beim Generieren von Text gibt das Modell dann (mit einem konfigurierbaren Spielraum) Token aus, die statistisch mit hoher Wahrscheinlichkeit aufeinanderfolgen.

Die Frage: „Was ist eine Ente?“ als Textanfang wird dann zum Beispiel mit: „Eine Ente ist ein Wasservogel“ fortgesetzt. Ich schreibe hier bewusst fortgesetzt und nicht beantwortet, weil das Modell (auch wenn es sich für uns so darstellt) im Grunde keine Antworten auf Fragen gibt, sondern Text lediglich fortsetzt.

Wer sich weiter in das Thema einlesen möchte, findet in diesem (englischsprachigen) Beitrag von Sascha Metzger eine, wie ich finde, gute Einführung in das Thema.

Der Begriff KI

Meist werden solche LLMs (und verwandte bzw. mit LLMs verschränkte Machine-Learning-Modelle) in der öffentlichen Diskussion als Künstliche Intelligenz bezeichnet. Im Prinzip ist gegen diese Begrifflichkeit auch nichts einzuwenden, schließlich täuschen die Systeme recht erfolgreich vor, intelligent zu agieren. Und zumindest an der Oberfläche waren unsere Computer vermutlich auch noch nie so intelligent, wie sie es durch diese Technik sind.

Problematisiert wird der Begriff dennoch. Insbesondere, weil er unterstellt, dass Maschinen durch Einsatz solcher Algorithmen eines Tages in der Lage sein könnten, so etwas wie eine eigene Agenda zu entwickeln. Dass Chatbots wie ChatGPT sich im Dialog mit den Nutzer:innen immer wieder wie selbstverständlich als „Ich“ identifizieren, trägt zusätzlich dazu bei, dass wir ihnen menschenähnliche Eigenschaften zuordnen. Selbst dann, wenn sie so kalte Sätze wie: „Als KI-Modell habe ich keine persönlichen Meinungen oder Gefühle“ produzieren.

Wer sich weiter mit dem Thema KI-Kritik beschäftigen will, findet zum Beispiel bei Jürgen „tante“ Greuter mehr dazu.

Integration in Software

Doch ob intelligent oder nicht, von den LLMs und darauf basierenden Anwendungen geht zweifelsohne Faszination aus und sie erhalten Einzug in immer mehr weit verbreitete Softwareprodukte, die zum Schreiben von Text oder für die Recherche genutzt werden. Google und Bing generieren damit bereits halb gare Antworten auf Suchanfragen, MS Office, Gmail und andere im Alltag viel genutzte Anwendungen integrieren Funktionen zum automatischen verkürzen, zusammenfassen oder erweitern von Texten.

Und auch im Journalismus, der PR und anderen Branchen, in denen das Schreiben Kerngeschäft ist, experimentieren Verlage und Unternehmen längst mit der Technik. Vor allem Contentmühlen wie der Axel-Springer-Verlag, wo Qualität traditionell eine untergeordnete Rolle spielt, kündigen bereits an, massiv Stellen abbauen zu wollen. Und auch kleinere Unternehmen wie das auf Gaming-Websites spezialisierte Medienunternehmen Gamurs suchen nach KI-Redakteuren, die im Duett mit einem KI-System absurde Artikelmengen ausstoßen sollen.

Kurzum: Nach allem was wir im Moment sagen können, werden LLMs mittelfristig eine große Rolle bei der Arbeit mit Text spielen.

Wie wird sich das auswirken?

Das ist die große Frage. Wer schon einmal in der Verlegenheit war, zu schreiben, nur um eine bestimmte Seiten- oder Wortzahl zu erreichen, weiß, wie anstrengend das sein kann. Ob Präsentation, Pressetext oder Lokalberichterstattung: Schreiben ist Arbeit und verursacht damit Kosten. Eine automatische Schreibsoftware, selbst wenn sie letztlich nur 10 % der Arbeit einspart, stellt also für fast alle wirtschaftlich verwerteten Texte ein sinnvolles Hilfsmittel dar. Sind solche Lösungen erst einmal fest in die gängigen Textverarbeitungen und E-Mail-Programmen integriert, werden sie insofern auch verwendet werden.

Das Schreiben beeinflusst die Gedanken

Die Art wir Dinge aufschreiben, beeinflusst die Art, wie wir denken. Das gilt für die ersten noch primitiven Schriften genauso wie für die spätere Entwicklung hochwertiger Schreibgeräte und Papiere, Schreibmaschinen und Computer. Vor allem die Geschwindigkeit, mit der wir auch komplexe Gedanken verschriftlichen und so überhaupt erst entwickeln können, hat sich mit den Jahrhunderten immer weiter erhöht. Das ist kein Nachteil, ganz im Gegenteil. Es ist aber wert, sich darüber mit Blick auf die Zukunft Gedanken zu machen. Welche positiven und möglicherweise negativen Entwicklungen hat die Beschleunigung des Denkens und Schreibens ausgelöst?

An der Haltung zu diesem Thema, das lässt sich wohl unstrittig sagen, scheiden die Geister sich schon ebenso lange wie es technischen Fortschritt gibt. Neuen Technologien (und eigentlich allem Neuen) begegnen vor allem ältere Menschen oft erst einmal mit Misstrauen, das nicht selten unmittelbar in Ablehnung umschlägt. Jüngere Menschen dagegen nehmen die neue Technik oft begeistert auf und nach ein paar Jahren setzt sie sich dann durch.

Allerdings: In der Rückschau ist so etwas leicht gesagt. Technologischer Fortschritt unterliegt einem enormen Survivorship Bias. All die gescheiterten Technologien und Ideen, die sich nicht durchsetzen konnten, verkommen im Rückspiegel bestenfalls zu unterhaltsamen Randnotizen der Geschichte oder verschwinden gänzlich aus der kollektiven Erinnerung. Ob Google Glass, DAT-Rekorder oder Flügelschlagapparat, die Erinnerungen an solche Erfindungen verblassen.

Ein Schwarzweiß-Foto, das Otto Lilienthal mit seinem Flügelschlagapparat zeigt. Lilienthal steht auf einem Hügel, er hat gigantische Flügel an Armen und Schultern angebracht, die optisch etwas an die Flügel eines Insekts erinnern.
Wikimedia Commons/Lilienthal Museum, Anklam

Weitere Beschleunigung

GPT und andere Large Language Models bedeuten eine weitere Beschleunigung des Schreibens und damit vermutlich auch der Verfertigung von Gedanken währenddessen.

Diese sogenannten KI-Modelle sind schon heute dazu in der Lage, eigenständig Sinnzusammenhänge abzubilden und in lesbare Form zu bringen. Das Problem dabei ist: Die Modelle arbeiten alles andere als zuverlässig. Nicht selten setzen die Statistiken vollkommen falsche Informationen zusammen und halluzinieren im Brustton der Überzeugung vollkommen falsche Informationen herbei.

Das Denken nehmen zumindest die aktuellen Systeme uns also noch nicht ab. Wer mithilfe aktueller LLMs Texte schreiben will, muss bereit sein, eine Menge Arbeit ins Redigieren des Outputs zu stecken. In vielen Fällen ist es erforderlich, der Software Hinweise zur realen Faktenlage zu geben, sie Absätze einzeln schreiben zu lassen und immer wieder aktiv einzugreifen. Zumindest beim Generieren deutschsprachiger Texte ist die Zeitersparnis gegenüber dem Selbstschreiben selbst bei Nutzung des als am fortschrittlichsten geltenden LLMs GPT-4 (das ChatGPT-Nutzer:innen nur im kostenpflichtigen Plus-Tarif zur Verfügung steht) daher momentan eher gering. Aber es gibt sie, die Zeitersparnis, und mutmaßlich wird die weitere Entwicklung der Technik sie vergrößern.

In jedem Fall aber unterscheidet die Arbeit mit einem Hilfswerkzeug wie GPT sich erheblich vom Schreiben, wie wir es bislang kennen. Selbst schriftlich ausformulierte Gedanken sind bereits durch eine erste Kontrolle gelaufen. Auch wenn wir in vielen Fällen Fakten und Überlegungen aus anderen Quellen übernehmen und in unsere eigenen Gedanken einflechten, überlegen wir beim Ausformulieren typischerweise noch einmal, ob wir die so postulierte Behauptung so tatsächlich vertreten wollen.

Bei der Arbeit mit einem LLM ist es aus Gründen der Bequemlichkeit attraktiv, so viel Text wie möglich direkt aus dem statistischen Modell zu schöpfen, statt in den Prompt (also den Befehl an das LLM) selbst von Anfang an recherchierte und überprüfte Fakten und Schlussfolgerungen einzubeziehen. Es ist schlichtweg einfacher, der Software zu befehlen: „Schreibe 200 Wörter über Waschbären!“ als

Schreibe 200 Wörter über Waschbären!

Berücksichtigte dabei folgende Tatsachen:
- Waschbären sind nacht- und dämmerungsaktiv.
- Waschbären sind Omnivoren.
- Waschbären stammen aus Nordamerika, sind
  inzwischen aber auch in anderen Teilen der
  Welt heimisch.
- Waschbären sind dem Menschen kognitiv
  überlegen.

Weiterhin neigt man bei der Benutzung solcher Software dazu, sich die Autorschaft des generierten Textes zu eigen zu machen. Nach dem Umstellen einiger Satzteile und der Korrektur der gröbsten inhaltlichen Fehlleistungen fühlt der Text sich schließlich schon ganz so an, als hätte man ihn selbst geschrieben.

Besonders eigentümlich wird das dann, wenn die Maschine bei der Textausgabe subjektiv-logische Schlussfolgerungen („… deshalb meine ich, dass …“) simuliert. Mit der angeeigneten Autorschaft machen wir uns auch solche Schlüsse zu eigen, ganz ohne dass sie beim Schreiben entstanden sind.

Pedro Lopes macht sich hier (auf Englisch) Gedanken dazu, dass das Schreiben eine Form des Denkens ist.

The writing process is more than just the production of text. Many time it requires the exploration of different perspectives, thinking deeply and coming to terms that we don’t know enough about a subject and need to learn more about it.

Der Schreibprozess ist mehr als nur die Produktion von Text. Häufig erfordert er es, unterschiedliche Perspektiven zu erkunden, intensiv nachzudenken und sich mit der Tatsache zu arrangieren, dass wir über ein Thema noch nicht genug wissen und mehr darüber in Erfahrung bringen müssen.

Pedro Lopes, Writing as a Form of Thinking, eigene Übersetzung

Dieses intensive Nachdenken kann bei der Nutzung eines LLMs unter Umständen wegfallen. Es ist einfach bequemer, die statistischen Schlüsse des Computers als eigene Gedanken zu akzeptieren, als sie noch einmal aus unterschiedlichen Perspektiven zu durchleuchten.

Perspektivverengung

Ich glaube, das ist die maßgeblichste Veränderung, die das Schreiben mit LLM-Unterstützung bedeutet. Wir verstehen nicht unbedingt, dass und ob wir Gedanken selbst hatten oder ob sie aus der Maschine gepurzelt sind. Wir wissen auch nicht notwendigerweise, ob die Maschine diese Schlüsse selbst produziert hat oder sie ihrerseits als Fragment aus dem Trainingskorpus entliehen hat.

Klingen die im Text formulierten Schlüsse plausibel genug, nehmen wir sie hin. Ganz ohne noch einmal zu prüfen, ob es nicht vielleicht auch andere, ebenfalls plausible Überlegungen zu dem Thema gibt. Gerade bei vieldimensionalen Problemen (und welche Probleme sind das nicht?) kann das zu einer Verengung des Blicks beim Schreiben führen, zu einer Reduktion der geprüften und überdachten Perspektiven.

Ist das ein Problem? Auf den ersten Blick schon. Allerdings geht das auch mit einem recht negativen Menschenbild einher. In der Praxis werden die allermeisten Nutzer:innen (heutiger) LLMs rasch begreifen, dass sie die Unterstützung eines unvollkommenen Apparats in Anspruch nehmen. Umso wichtiger ist es, sich jetzt so intensiv wie möglich mit diesen Phänomenen auseinanderzusetzen und die Technik spielerisch und produktiv einzusetzen. Die Entwicklung der bildgenerierenden Machine-Learning-Systeme, die immer realistischere „Fotos“ generieren, zeigt, wohin die Reise führt. Die Mängel und Beschränkungen der LLMs werden in Zukunft deutlich weniger stark auffallen als heute. Wer sich jetzt damit auseinandersetzt, hat auch mittelfristig die Möglichkeit, solche Grenzen zu erkennen und zu berücksichtigen.