23. Februar 2023 KI-Textgeneratoren: So funktionieren AI-Anwendungen wie ChatGPT und Co.

Der Hype um Textgeneratoren mit künstlicher Intelligenz wie ChatGPT ist ungebrochen, wenngleich sie aufgrund der Verbreitung falscher Informationen, Plagiaten oder gar Propaganda vermehrt in der Kritik stehen. Ross King vom AIT erklärt im Interview die Funktionsweise hinter den neuen Online-Anwendungen.

„ChatGPT ist ein verschwommenes JPEG des Webs.“ So beschrieb der US-amerikanische Science-Fiction-Autor Ted Chiang den umstrittenen auf künstlicher Intelligenz (KI) basierten Textgenerator in einem Artikel des New Yorker. Was er damit meinte, ist, dass all jene Texte, die KI-Programme wie ChatGPT produzieren, eine komprimierte Version der Internetinhalte sind, mit denen sie gefüttert wurden. Für das menschliche Auge ist der Unterschied kaum erkennbar, „aber es ist eben keine 100-prozentige Reproduktion des Originals“, erklärt Ross King, Head of Competence Unit Data Science & Artificial Intelligence am AIT Austrian Institute of Technology.

Zu Beginn des laufenden Jahres standen KI-Modelle, allen voran ChatGPT, vermehrt in der Kritik, falsche Informationen zu generieren und dadurch potenziell die Gesellschaft zu gefährden. Das Modell selbst könne jedoch gar nichts Neues erzeugen, sondern nur anhand der gegebenen Datensätze arbeiten, meint King. „Künstliche Intelligenz hat kein Verständnis von Fakten. Es hat kein Verständnis von der Welt. Es weiß nur auf der Basis von Milliarden von Beispielen, wie Sätze aufgebaut sind, und versucht dieses Verhalten nachzubauen“, so der Experte. Im Interview erklärt Ross King, wie KI-Technologien funktionieren, welche Risiken sie bergen und wo sie derzeit Anwendung finden.

Wie funktionieren die KI-Technologie und das Machine Learning hinter Anwendungen wie ChatGPT grundsätzlich?
Ross King: Grundsätzlich sind Modelle für maschinelles Lernen komplexe Funktionen, die versuchen, einen Output auf Grundlage einer Eingabe wie einer Folge von Zahlen, einem Bild oder einer Liste von Wörtern vorherzusagen. Diese Funktionen besitzen eine Reihe von variablen Parametern, die regelmäßig optimiert oder trainiert werden, damit das Modell die besten Vorhersagen für die Trainingsdaten – auch bekannt als „Ground Truth“ – trifft. Ground-Truth-Daten sind ein Datensatz, für den vorgegebene Eingaben einen bereits bekannten Output oder ein Label haben. Beispielsweise kann eine Reihe von Bildern, in denen die abgebildeten Objekte bereits bekannt sind, weil menschliche Experten sie vorher gekennzeichnet haben, als Ground Truth für ein Bildklassifizierungsmodell dienen.

Wie produzieren KI-Textgeneratoren wie ChatGPT Antworten und Texte? Warum geben sie niemals zweimal dieselbe Antwort?
King: Das Grundprinzip von Natural-Language-Generation-Systemen (NLG) wie ChatGPT ist die Textvorhersage. Ein maschinelles Lernmodell wird so trainiert, dass es aus einer anfänglichen Liste von Wörtern das wahrscheinlichste nächste Wort vorhersagt. In diesem Fall ist die Grundwahrheit eine riesige Menge an vorhandenem Text, der aus dem Internet gesammelt wurde. Gehen wir also als Beispiel davon aus, dass die ersten Wörter, die eingegeben werden „Der Bundeskanzler Österreichs ist“ sind, dann wird mit sehr hoher Wahrscheinlichkeit das nächste Wort „Karl“ sein. Da aber nicht „im Jahr 2023“ definiert wurde, besteht auch die Möglichkeit, dass das nächste Wort „Sebastian“ ist.

Eine wichtige Neuerung ist, dass das Modell die Vorhersage nicht einfach nur auf Grundlage des vorherigen Wortes trifft, sondern aller wichtigen vorherigen Wörter, und auch deren Reihenfolge berücksichtigt. Dies beschreibt das GPT-3-Modell, das 175 Milliarden Modellparameter auf der Grundlage von 300 Milliarden Eingabe-Token – also Wörtern – hat. ChatGPT erweitert GPT-3 darüber hinaus um eine zusätzliche Funktionsebene, welche die Eingabe eines Users in die effizienteste Eingangsanfrage – also eine Liste von Wörtern – für das Vorhersagemodell umwandelt und gleichzeitig versucht unpassende Eingangsanfragen auszusortieren. Würde eine Userin oder ein User nun etwa fragen „Erzähle mir einen Witz über Migration“, würde die Anwendung die Frage abwehren, da jemand zuvor eingegeben hat, dass solche Witze nicht in Ordnung sind.

Alle Vorhersagen des maschinellen Lernens sind wahrscheinlichkeitsbasiert. GPT-3 sagt das nächste Wort nicht mit 100-prozentiger Sicherheit voraus, sondern liefert eine Liste von möglichen Wörtern mit unterschiedlichen Wahrscheinlichkeiten. ChatGPT wählt das nächste Wort nach dem Zufallsprinzip aus, basierend auf der vorhergesagten Wahrscheinlichkeit. Jedes vorhergesagte Wort wird an die ursprüngliche Eingangsanfrage zurückgegeben, wodurch sich das Ergebnis der nächsten Vorhersage ändert. Daher ist es auch sehr unwahrscheinlich, dass derselbe Text mit derselben Eingangsanfrage reproduziert werden kann.

Inwiefern ist diese Technologie hilfreich im Alltag? In welchen Bereichen kann derartige künstliche Intelligenz den Menschen ersetzen?
King: Anwendungsmöglichkeiten für ChatGPT tauchen überall auf, aber es wird einige Zeit dauern, um festzustellen, welche davon wirklich nützlich sind und ein nachhaltiges Geschäftsmodell bieten. Eine naheliegende Anwendung liegt im Bereich des automatisierten Kundendienstes. Zum jetzigen Zeitpunkt betrachten wir diese KI-Systeme als Unterstützung für den Menschen, nicht als Ersatz für ihn. Man kann einen Übersetzungsdienst wie „DeepL“ nutzen, um ein Dokument zu übersetzen, aber wenn es auf hohe Qualität ankommt, ist eine menschliche Überprüfung der Ergebnisse immer noch notwendig. Ähnlich könnte man ChatGPT verwenden, um eine Zusammenfassung über ein Thema zu erstellen, aber ein menschlicher Redakteur wäre immer noch erforderlich, um die Qualität und Genauigkeit des generierten Ergebnisses sicherzustellen.

Welche Nachteile, Problemfelder und Risiken birgt KI? Warum werden KI-Anwendungen vermehrt von Bildungseinrichtungen verboten?
King: Neben dem Problem des Plagiats gibt es noch viele andere Sicherheitsbedenken im Zusammenhang mit NLG. So könnte NLG beispielsweise Social-Engineering-Angriffe durch die automatische Erstellung von Phishing-E-Mails erleichtern. Sie könnte dazu verwendet werden, gezielt Nutzerinnen und Nutzer mit Kommentaren auf deren Social-Media-Kanälen zu belästigen. Das größte Missbrauchspotenzial in Bezug auf unsere Forschung am AIT hat die Nutzung von NLG zur Beeinflussung und Desinformation. Anwendungen wie ChatGPT könnten dazu verwendet werden, bestimmte Standpunkte in sozialen Medien zu fördern, betrügerische Produktrezensionen zu erstellen oder sogar politische Einflusskampagnen durch Propaganda oder Astroturfing [Anm. d. Red.: von Lobbyingunternehmen künstlich gesteuerte „Bügerinitiativen“] durchzuführen.

Welche Anwendungen sind derzeit neben ChatGPT noch auf dem Markt? Welche sind in Entwicklung?
King: Nachdem Microsoft zehn Milliarden Dollar in OpenAI – das Unternehmen hinter GPT-3 und ChatGPT – investiert hat, hat Google nun seinen Chatbot namens Bard angekündigt. Bard basiert höchstwahrscheinlich auf dem hauseigenen Generalist-Language-Sprachmodell (GLaM), das mit 1,2 Billionen Parametern noch siebenmal größer als GPT-3 ist. In Bezug auf Daten, Rechenleistung und Fachwissen hat Google vermutlich die Ressourcen, um OpenAI herauszufordern, auch wenn es bei der NLG-Entwicklung derzeit noch etwas zurückliegt.

Es gibt aber daneben zahlreiche andere Unternehmen, die an offenen NLG-Modellen arbeiten, wie Meta (OPA), Amazon (AlexaTM) und EleutherAI (GPT-J). Und erst im Januar 2023 kündigte auch das deutsche Bundesministerium für Wirtschaft und Klimaschutz die Förderung des OpenGPT-X-Projekts mit rund fünfzehn Millionen Euro an, wobei der Schwerpunkt hier auf Deutsch und anderen nicht-englischen europäischen Sprachen liegen wird.

Gibt es daneben auch Tools, mit denen Userinnen und User herausfinden können, ob ein Text mithilfe eines KI-Textgenerators erstellt wurde?
King: OpenAI hat selbst ein maschinelles Lernmodell veröffentlicht, das Text entweder als „von KI erstellt“ oder als „von Menschen erstellt“ klassifiziert. Unter Berücksichtigung der Tatsache, dass ein solcher Klassifikator immer auf Wahrscheinlichkeiten basiert, ist er aber noch nicht besonders leistungsstark, da er NLG-Text nur in 26 Prozent der Fälle als solchen erkennt.

Das Thema NLG-Erkennung ist auch Teil unserer AIT-Forschungs-Roadmap und steht im Kontext unserer Forschungsaktivitäten im Kampf gegen Desinformation und Hate-Speech in vom Finanzministerium geförderten zivilen KIRAS-Sicherheitsforschungsprojekten wie defalsif-AI und HYBRIS.