GPT-3: Das kreative Potenzial
KI-Meilenstein von OpenAI — in Aktion
Veröffentlicht/published 2020 in Toward Data Science. Dieser Text war meine erste Analyse von GPT-3 und nun ist es, nach mehr als einem Jahr Arbeit mit diesem System bereits überholt. Nichtsdestotrotz finden Sie hier die Grundsätze und wichtigsten Elemente des System.
Es war Februar 2019, als OpenAI die Forschungsergebnisse zum Sprachmodells GPT-2 veröffentlichte. Es wurde mit 40 GB Text (8 Mio. Websites) unüberwacht trainiert und konnte Wörter in der Nähe voneinander vorhersagen. GPT-2, ein auf Transformer basierendes Sprachmodel, das mit der Methode der Selbstbeobachtung (self-attention) operiert, ermöglichte es uns, sehr überzeugende und kohärente Texte zu generieren. Die Qualität war so gut, dass das Hauptmodell mit 1,5 Milliarden Parametern zunächst wieder de-publiziert wurde, um unkontrollierte Fake News zu verhindern. Glücklicherweise haben sich die Befürchtungen nicht bestätigt, das komplette Modell wurde später doch veröffentlicht und konnte sogar mit Colab Notebooks verwendet werden.
Im Jahre 2020 schlug OpenAI mit dem neuen Sprachmodell GPT-3 zurück. Mit 175 Milliarden Parametern (siehe auch: GPT-3 Paper).
Unnötiger Spoiler: es ist unglaublich gut.
Aber wie sieht es in der Praxis aus?
Nun — nach mehr als einem Jahr Wartens, wird der Zugang zu GPT-3 von OpenAI direkt zur Verfügung gestellt. Ohne Wartelisten. Doch natürlich mit Beachtung einiger Regeln.
GPT-3 lässt sich direkt über Playground (Spielwiese) oder über API ansteuern. Da ich mich eher auf kreativen Experimenten konzentriere, arbeite ich im Playground.
Schnittstelle, Presets, Voreinstellungen.
So sieht der GPT-3 Playground / Spielwiese aus:
Die Playground-Oberfläche ist schlicht, birgt aber jede Menge Power in sich. Zunächst einmal gibt es einen Einstellungsdialog, in dem man die Textlänge, die Temperatur und andere Funktionen einstellen kann.
Engine: Es gibt mittlerweile mehrere Engines. Basic Engine (Ada, Babbage, Curie, Davinci) — wo DaVinci als stärkste Engine mit vollem Parameterumfang arbeitet (ist auch langsamer). Ada ist am schwächsten im kreativen Bereich, aber auch am günstigsten. Instruct Engine führt die direkten Instruktionen aus (darüber später).
Temperature: von 0 (niedrig/langweilig) über 0.5–0.7 (Standard) bis hin zu 0.9–1 (chaotisch/kreativ).
Sie können auch festlegen, wo der generierte Text beginnen und enden soll — dies sind einige der Kontrollfunktionen, die sich direkt auf die Textergebnisse auswirken.
Die weiteren Einstellungen werde ich in einem speziell darüber verfassten Essay unter die Lupe nehmen.
Die einfache Schnittstelle bietet auch einige GPT-3-Presets (vorbereitete Prompts). Das Erstaunliche an transformer-gesteuerten GPT-Modellen ist unter anderem die Fähigkeit, einen bestimmten Stil, ein Textzeichen oder eine Struktur zu erkennen. Wenn Sie mit Listen beginnen, generiert GPT-3 entsprechen weitere Listen. Wenn Ihr Prompt eine Q&A-Struktur hat, wird er kohärent gehalten. Wenn Sie nach einem Gedicht fragen, schreibt es ein Gedicht.
Sie können Ihre eigenen Presets erstellen (und sogar teilen) oder die vorhandenen verwenden, zum Beispiel:
Chat.
Eine typische Einstellung für einen Chatbot (man beachte die Besondertheiten unter “Einstellungen”. Sie fragen — die KI antwortet. Es ist auch möglich, die “Charaktere” oder Einstellungen zu modifizieren. Um die kontextuellen Auswirkungen zu demonstrieren, ändern wir mal den KI-Charakter von “hilfreich” und “sehr freundlich” zu “brutal, dumm und sehr unfreundlich”. Sie werden sehen, wie der gesamte Dialog beeinflusst, “biased” wird:
Ich glaube, wir haben Marvin, den paranoiden Androiden, zum Leben erweckt.
Übrigens, ich nutze das oben erwähnte Adjektiv “biased”, “voreingenommen”, nicht im Sinne der stereotypenhaften Voreingenommenheit (Chauvinismus etc.) der KI-Modelle, das öfters konkretisiert wird. “Biased” in diesem Fall ist eine bestimmte Tonalität des Texts, ein semantischer Schubsen in eine dem Autor notwendige Richtung.
Q&A — Fragen und Antworten
Dieser Preset besteht aus einer klaren dualen Struktur: Frage / Antwort. GPT-3 braucht ein wenig Training, bevor es anfängt, die Fragen zu beantworten (und die Regeln zu verstehen), aber dann funktioniert es perfekt. Ich habe ein paar zufällige Fragen aus verschiedenen Bereichen gestellt, und hier ist sie:
Ich würde sagen, perfekt!
Analyse unstrukturierter Daten
Dies ist faszinierend und zeigt ein gutes Orientierungsvermögen im unstrukturierten Text — und das Extrahieren strukturierter Daten aus dem Volltext.
Zusammenfassen für einen Zweitklässler
Dieser Preset zeigt eine neue Ebene des Verstehens — einschließlich der Umformulierung schwieriger Konzepte und Sätze in klare Worte.
Ich habe es mit Wittgenstein probiert:
Das einfache Sprichwort lässt sich überzeugend paraphrasieren:
Oder schauen Sie sich diese übersichtliche und klare Umsetzung von Sigmund Freuds Zeitkonzeptes an:
Wie Sie sehen, ist die Komprimierung von Text und seine kohärente “Übersetzung” eine der Stärken von GPT-3.
Wie sieht es mit Sprachen aus?
GPT-2 war bereits ein großartiges Sprachmodell, zumindest wenn es ums Englische ging. Man konnte erstaunliche Texte erzeugen, vor allem mit dem 1,5 Milliarden Parameter Model. Ich habe GPT-2 für ein Drehbuch zu diesem Kurzfilm verwendet — und dessen Absurdität könnte sich der guten Tradition von David Lynch und Beckett gesellen:
Die Dialoge weisen inner Logik auf, bei all der Spontaneität. Soweit so gut — mit englischen Inhalten. Bei anderen Sprachen stößt man auf die Barriere des Verständnisses. GPT-2 versuchte, Sprachen zu imitieren, man musste es aber an einem Textkorpus in einer bestimmten Sprache trainieren, um gute vergleichsweise Passablen zu erzielen.
Hier, zum Beispiel, versuchte ich, mit GPT-2 Faust 3 (neu) zu schreiben, indem ich das Sprachmodell an Faust-Original stundenlang trainierte. Was entstand, war auf den ersten Blick sogar rein visuell wiedererkennbar. Aber nur äusserlich. Bei dem ersten Satz bereits wird man merken, dass es kein richtiges Deutsch ist:
GPT-3 ist anders. Es ist trainiert an vielen Sprachen:
Natürlich fällt der Gap zwischen No1 Englisch (93% des Datensets) und No 2 Deutsch (1,2% des Datensets) auf. Doch bereits 1,2% machen was aus — GPT-3 kann perfekt Deutsch, anders, als c’t in der Oktoberausgabe ’21 behauptet.
Ich habe auf die Schnelle Deutsch, Russisch und Japanisch ausprobiert.
Deutsch.
Es war eher meine Tochter, die versuchte, GPT-3 ein Märchen schreiben zu lassen. Sie begann mit “Eine Katze mit Flügeln ging im Park spazieren”.
Die entstandene Geschichte war erstaunlich gut geschrieben. Mit Ironie, lebendigen Figuren und Leitmotiven. Dies ist nicht nur eine Sammlung von Topoi oder zusammenhängenden Sätzen. Das ist … eine Geschichte!
Mein Artikel über die deutschsprachigen Experimente ist noch Arbeit.
Auf Russisch.
Ich hatte einmal GPT-2 auf Puschkins Poesie trainiert und bekam einige interessante Neologismen zu lesen, aber es war ein grammatikalisches Chaos:
Im Fall von GPT-3 habe ich einige Zeilen aus einem Puschkins Gedicht eingegeben — und das Ergebnis war… interessant.
Es reimt sich nicht, ist aber stilistisch eindrucksvoll, allerdings keinen Spur von Puschkin-Stil. Jedoch zumindest fast ohne Fehler oder seltsame Grammatik. Und… es funktioniert als Poesie (wenn man bereit ist, diesen Text als poetisches Werk zu interpretieren).
Russisch in Prosa am Beispiel der Gattung Briefwechsel, funktioniert sogar besser:
Japanisch.
Ich habe einen zufälligen Satz eingegeben:
今日は楽しい一日になりますように！と言いました。//
Heute war ein lustiger und unterhaltsamer Tag, sagte ich.
Und das Ergebnis war eine kleine Geschichte über Gebete, Glück, Weisheit und Geldanlage. In gut geschriebenem Japanisch (neutrale Höflichkeitsform, gemäss der Eingabe).
ERGO: GPT-3 ist bereit für die mehrsprachige Textverarbeitung, wobei die Qualität je nach Sprache schwankt.
Verschiedene Experimente (und Warnsignale).
ShakespAIre und das Schreiben von Gedichten
Mein erster Versuch war natürlich, ein Shakespeare-Sonett zu dichten. Der Prompt war also einfach:
here is a poem by Shakespeare
Hier ist ein Gedicht von Shakespeare
Das Ergebnis war dieses:
Perfekte jambische Verse, toller Stil, schöne Reime… Wenn da nicht eine Sache wäre:
Die ersten beiden Zeilen waren komplett von Alexander Pope, The Rape of the Lock übernommen. Und hier haben wir einen Grund, vorsichtig zu sein: GPT-3 produziert einzigartige und unwiederholbare Texte, aber es kann auch ohne Vorwarnung die gesamten Zitate bestehender Texte, auf die es trainiert wurde, wiederverwenden.
Eine erneute Überprüfung der Ergebnisse vor der Veröffentlichung ist unumgänglich, wenn man die Einzigartigkeit dieses Textes garantieren will.
Ich frage mich, ob es Möglichkeiten für eine “Projektion” wie bei StyleGAN2 gibt, nur dass im Gegensatz zu StyleGAN2 (wo das Bild mit dem latenten Raum verglichen wird), in GPT-3 mit dem Datensatz verglichen wird, auf dem es trainiert wurde? Um versehentliche Plagiate zu verhindern. (OpenAI arbeitet an der Lösung dieses Phänomens).
Interessant ist: GPT-3 kann bei Bedarf Schreibstile verschiedener Autoren imitieren.
Hier ein weiteres Beispiel:
Aufsätze
Als ich noch keinen Zugang hatte, bat ich einen Freund, GPT-3 einen Aufsatz über Kurt Schwitters, einen deutschen Künstler und Dadaisten, schreiben zu lassen:
Das Ergebnis war: GPT-3 hat bereits ein umfassendes Wissen, das in den Texten zum Ausdruck kommt. Es ist zwar nicht immer zuverlässig (man muss es feinjustieren, um eine perfekte Bedeutungsübereinstimmung zu erreichen), aber es ist dennoch sehr nah am Diskurs.
Programmieren mit GPT-3
Eine weitere verblüffende Möglichkeit ist die Verwendung von GPT-3 in ganz anderen Fällen als nur zur Texterzeugung:
CSS kann es auch:
Zusammenfassung.
Wir stehen noch am Anfang, aber die Experimente der KI-Gemeinschaft mit GPT-3 zeigen seine Kraft, sein Potenzial und seine Auswirkungen. Wir müssen sie nur mit Verstand und guter Absicht einsetzen. Aber das ist der menschliche Faktor. Und der ist nicht immer der beste.
Für weitere wunderbare Textexperimente empfehle ich Ihnen die Lektüre von Gwern:
Möge die Reise weitergehen!
P.S. Auch jetzt, nach mehr als einem Jahr umfassender Experimente mit GPT-3 ich sehe es klar und deutlich: wir kratzen immernoch auf der Oberfläche dieses Sci-Fi-Systems, das wahr geworden ist.
