Von neuronalen Netzen zu großen Sprachmodellen

Die Tastatur deines Handys schlägt beim Tippen das nächste Wort vor. Ein Chatbot schreibt ganze Aufsätze, beantwortet Fragen und übersetzt Gedichte. Sind das dieselben Maschinen? Im Kern beider steckt eine überraschend bescheidene Aufgabe: Rate anhand des bisherigen Texts, was als Nächstes kommt. Diese letzte Lektion zeigt, wie weit diese eine Frage trägt und wo ihre Grenzen liegen. Probier es zuerst selbst aus, bevor du die Erklärung liest.

Probier es aus

• Gib ein häufiges Wort in das Textfeld ein und lies die Liste der wahrscheinlichen nächsten Wörter und ihre Wahrscheinlichkeiten. Ergeben sie Sinn, gemessen an dem, was du über den Text weißt?
• Schieb den Temperatur-Regler nach links und beobachte, wie das häufigste Wort fast die gesamte Wahrscheinlichkeit an sich zieht. Schieb ihn dann nach rechts und sieh zu, wie sich die Wahrscheinlichkeiten angleichen.
• Probier ein Wort, das in dem kurzen Text vermutlich selten ist. Bei so wenigen Beispielen zum Zählen – wie vertrauenswürdig sind die Wahrscheinlichkeiten, die das Modell zeigt?
• Folge einer Kette von Hand: Gib das wahrscheinlichste nächste Wort ein, dann das wahrscheinlichste Wort danach und so weiter. Klingt der entstehende Satz flüssig? Führt er irgendwohin?

Die Idee in einfachen Worten

Ein Sprachmodell ordnet dem, was in einem Text als Nächstes kommt, Wahrscheinlichkeiten zu. Nach „Ich hätte gern eine Tasse“ ist das Wort „Tee“ wahrscheinlich, „Kaffee“ ebenso, „Kies“ kaum. Hat man solche Wahrscheinlichkeiten, kann man Text erzeugen: ein nächstes Wort wählen, anhängen und erneut fragen.

Das einfachste mögliche Sprachmodell ist ein Bigramm-Modell. Es liest eine Textsammlung (einen Korpus) und zählt einfach, welches Wort auf welches folgt. In dieser Lektion betrachten wir eines, gebaut auf einem kurzen Text, der eigens für diesen Kurs geschrieben wurde. Zu jedem Wort kennt das Modell die Wörter, die im Korpus darauf folgten, mit ihren Wahrscheinlichkeiten.

Stell dir jemanden vor, der nur ein einziges Buch gelesen hat, das aber viele Male, und dessen einzige Fähigkeit darin besteht, sich zu merken, welches Wort auf welches folgte. Bitte diese Person, einen Satz fortzusetzen, und sie produziert etwas, das entfernt nach dem Buch klingt – im Kleinen flüssig, im Großen ziellos. Diese Person ist ein Bigramm-Modell.

Warum es funktioniert

Das Bigramm-Modell schätzt die Wahrscheinlichkeit des nächsten Worts b nach dem Wort a aus Häufigkeiten:

P(nächstes = b | aktuelles = a) = Anzahl(a b) / Anzahl(a)

Kommt „Tasse“ im Korpus zehnmal vor und folgt darauf siebenmal „Tee“, gibt das Modell „Tee“ nach „Tasse“ die Wahrscheinlichkeit 0,7. Das ist alles – zählen und teilen. Lernen heißt auch hier, ein Modell an Beispiele anzupassen, und die Bewertung ist, wie gut es das nächste Wort eines echten Texts vorhersagt.

Um Text zu erzeugen, muss das Modell unter den Kandidaten wählen, und hier kommt die Temperatur ins Spiel. Eine niedrige Temperatur schärft die Verteilung: Das wahrscheinlichste Wort gewinnt fast jedes Mal, und der Text wird repetitiv und sicher. Eine hohe Temperatur macht sie flacher: Seltenere Wörter bekommen eine echte Chance, und der Text wird abwechslungsreicher und sprunghafter. Die Temperatur ändert nicht, was das Modell weiß, sondern nur, wie kühn es zieht.

Ein großes Sprachmodell (Large Language Model, LLM) erledigt dieselbe Aufgabe mit drei großen Verbesserungen. Erstens sagt es Tokens vorher – Wortstücke –, sodass es mit jedem Wort umgehen kann, auch mit einem, das es nie als Ganzes gesehen hat. Zweitens schaut es nicht nur auf das vorherige Wort, sondern ist ein neuronales Netz, meist ein Transformer (2017 vorgestellt), dessen Attention-Mechanismus (Aufmerksamkeit) jede Position auf Tausende vorheriger Tokens zurückblicken und entscheiden lässt, welche wichtig sind. Drittens sind seine Wahrscheinlichkeiten keine Zählungen, sondern Ausgaben eines Netzes mit Milliarden von Gewichten, trainiert mit genau den Werkzeugen dieses Kurses: dem Log-Loss aus Lektion 5 auf das nächste Token, minimiert mit dem Gradientenabstieg aus Lektion 4, mit der Backpropagation aus Lektion 11. Trainiert auf einer riesigen Textmenge, zwingt die Rateaufgabe das Netz, Grammatik, Fakten und Denkmuster aufzunehmen, weil all das hilft vorherzusagen, was als Nächstes kommt.

Häufiger Fehler

Das größte Missverständnis über Sprachmodelle ist der Glaube, sie schlügen Antworten nach. Sie befragen keine Datenbank; sie erzeugen die Fortsetzung, die ihr Training wahrscheinlich gemacht hat. Meistens ist sie auch die wahre, aber nicht immer – wenn das Plausible und das Wahre auseinanderfallen, behauptet das Modell flüssig etwas Falsches, und das nennt man Halluzination. Der zweite Fehler ist, die Temperatur für einen Qualitätsregler zu halten. Eine niedrige Temperatur ist nicht „richtiger“, nur vorhersehbarer; sie passt zu sachlichen Antworten, eine höhere zum Brainstorming.

Das ist die ganze Reise: von einem Schwellenwert auf einem Tumormesswert bis zu einem Netz, das das nächste Wort von allem vorhersagt, was je geschrieben wurde. Das Rezept hat sich nie geändert – eine Familie von Modellen, eine Bewertung, eine Suche und eine ehrliche Prüfung auf Daten, die das Modell nie gesehen hat. Die Atlas-Links unten sind der Ort, um jeden Schritt zu vertiefen.

import re
from collections import Counter

src = open("site-src/course/labs/next-token.corpus.js", encoding="utf-8").read()
text = re.search(r"en: `(.*?)`", src, re.S).group(1)  # die englischen Sätze des Labs
words = re.findall(r"[a-z']+", text.lower())
after_the = Counter(b for a, b in zip(words, words[1:]) if a == "the")
counts = after_the.most_common()
print(f'"the" seen {sum(after_the.values())} times, {len(after_the)} different next words, top: {counts[:3]}')
for t in (1, 0.5, 0.1, 3):
    w = {b: c ** (1 / t) for b, c in counts}
    print(f"temperature {t}: P(morning | the) = {w['morning'] / sum(w.values()):.1%}")

"the" seen 42 times, 26 different next words, top: [('morning', 4), ('cup', 3), ('garden', 3)]
temperature 1: P(morning | the) = 9.5%
temperature 0.5: P(morning | the) = 18.6%
temperature 0.1: P(morning | the) = 85.0%
temperature 3: P(morning | the) = 5.3%