Tokenisierung: Das Alphabet der Maschinen
Wie aus Buchstaben Token werden, und warum LLMs die Welt durch diese Brille sehen.
Frage ChatGPT, wie viele R in "strawberry" stecken — und lange antwortete es oft falsch. Nicht, weil es schlecht zählen kann, sondern weil es die Buchstaben nie einzeln sieht. Es sieht drei Stücke — "str", "aw", "berry" (beim Tokenizer von GPT-4) — zusammengefügt von einem Algorithmus, der vor dem Gespräch läuft.
Alles, was ein Sprachmodell tut, beginnt damit, wie es Text in Stücke zerlegt. Dieser unsichtbare erste Schritt heißt Tokenisierung und bestimmt, was das Modell sehen kann, wie viel es sich merkt und was ihm schwerfällt.
Tokens — Warum nicht einfach Wörter?
Definition
Token
Analogie
Beispiel
Definition
Drei Granularitätsebenen
Es gibt drei Wege, Text in Zahlen umzuwandeln. Jeder hat seinen Preis:
Riesiges Vokabular, unbekannte Wörter unmöglich, Tippfehler werden zu „unbekannt“
Handhabbares Vokabular (32k-200k), jeder Input verarbeitbar, unbekannte Wörter werden zerteilt
Die dritte Option — Zeichen- bzw. Byte-Ebene — erzeugt ein winziges Vokabular (auf Byte-Ebene genau 256 Einträge), aber extrem lange Sequenzen. Subword-Tokenisierung löst beide Probleme gleichzeitig: Das Vokabular bleibt praktisch, und kein Input ist wirklich "unbekannt".
Achtung
Das Strawberry-Problem
Wenn du ein LLM fragst "Wie viele R hat 'strawberry'?", antworteten ältere Modelle oft "2" statt "3". Der Grund ist architekturbedingt: Der Tokenizer zerlegt "strawberry" in Tokens wie "str", "aw", "berry", bevor das Modell den Text überhaupt sieht.
Das Modell verarbeitet diese drei Stücke als unteilbare Einheiten — es kann nicht in einen Token hineinschauen, um einzelne Buchstaben zu zählen. Das ist kein gewöhnlicher Bug, den man einfach behebt — es ist eine fundamentale Konsequenz der Subword-Tokenisierung.
Achtung
Irrtum: "Tokens sind im Grunde einfach Wörter"
Wenn Tokens Wörter wären, bräuchte jede Sprache der Welt ein eigenes riesiges Vokabular, unbekannte Wörter wären für das System nicht darstellbar und Tippfehler wären unverarbeitbar. Subword-Tokenisierung wurde genau erfunden, um diese Probleme zu vermeiden. Ein Token kann ein ganzes Wort sein ("the"), ein Wortfragment ("tion"), ein einzelnes Zeichen ("x") oder sogar ein Leerzeichen plus Zeichen (" the"). Die Grenzen werden durch statistische Häufigkeit in den Trainingsdaten bestimmt, nicht durch linguistische Regeln.
Interaktiv: Text selbst tokenisieren
Gib einen beliebigen Text ein und beobachte, wie er in Tokens zerlegt wird. Wechsle zwischen Zeichen-, Wort- und Subwort-Tokenisierung und vergleiche: Wie viele Tokens entstehen bei jeder Methode? Beachte besonders, wie Subwort-Tokenisierung unbekannte Wörter in bekannte Teile zerlegt — genau das macht BPE, das du im nächsten Abschnitt kennenlernst.
Live-Tokenizer
Häufige Silben und Teilwörter werden zusammengefasst (wie GPT es tut). Bester Kompromiss zwischen Vokabulargröße und Tokenanzahl.
Token-Liste anzeigen (23 Tokens)
LLMs verarbeiten nicht Wörter, sondern Tokens. Ein längerer Text braucht mehr Tokens, was mehr Rechenzeit und Kosten bedeutet. Subword-Tokenizer (wie BPE) bieten den besten Kompromiss: weniger Tokens als zeichenweise, aber flexibler als wortweise Zerlegung.
Byte-Pair Encoding — Wie das Vokabular sich selbst lernt
Definition
Byte-Pair Encoding (BPE)
Analogie
Beispiel
Definition
BPE auf einem Mini-Korpus
Korpus: "low lower lowest new newer newest". Start-Tokens: einzelne Zeichen [l, o, w, e, r, s, t, n]. Die Reihenfolge ist vereinfacht: Echtes BPE würde hier zuerst w + e verschmelzen, weil dieses Paar viermal vorkommt.
- 1. Merge: l + o → neuer Token "lo"
- 2. Merge: lo + w → neuer Token "low"
- 3. Merge: e + r → neuer Token "er"
- 4. Merge: e + s → neuer Token "es"
- 5. Merge: es + t → neuer Token "est"
- 6. Merge: n + e → neuer Token "ne"
- 7. Merge: ne + w → neuer Token "new"
Nach 7 Merges: "lowest" = ["low", "est"]. "newer" = ["new", "er"]. Jedes Wort wird aus wiederverwendbaren Teilen zusammengesetzt — und die Teile entstanden aus reiner Häufigkeitsstatistik.
Typische Vokabulargröße moderner Tokenizer
32 k–200k
Tokenizer, die überwiegend auf englischem Text trainiert wurden, zerlegen deutschen oder Hindi-Text in deutlich mehr Tokens — für Deutsch je nach Tokenizer etwa 30 % (GPT-4o) bis 50 % (GPT-4) mehr. Der Grund: Für englische Wörter existieren bereits effiziente Merges, während seltenere Sprachen stärker fragmentiert werden. Die Konsequenz ist direkt spürbar: 30 % mehr Tokens bedeuten 30 % höhere API-Kosten für denselben Inhalt, und ins Context Window passt knapp ein Viertel weniger Text.
Mehr Tokens für deutschen Text vs. Englisch (Tokenizer von GPT-4o)
~30 %
Achtung
Irrtum: "Der Tokenizer versteht Wortgrenzen und Morphologie"
BPE hat kein Konzept von linguistischer Struktur. Es weiß nicht, dass "un-" ein Präfix oder "-ing" ein Suffix ist. Wenn "un" + "g" im Trainingskorpus sehr häufig nebeneinander stehen (wie es in deutschen Texten der Fall ist), wird "ung" zu einem einzigen Token — unabhängig davon, ob es ein Suffix oder Teil eines Wortstamms ist. Dieser rein statistische Prozess erklärt auch die Mehrsprachigkeitsstrafe.
BPE live: dem Vokabular beim Wachsen zusehen
Der Live-Tokenizer weiter oben zeigt das fertige Ergebnis. Hier siehst du den Trainingsschritt davor: wie BPE das Vokabular überhaupt erst aufbaut.
Das Context Window — Wie viel sich ein Modell merken kann
Definition
Context Window (Kontextfenster)
Analogie
Beispiel
Definition
GPT-4 Turbo (abgeschaltet) Context Window (Tokens)
128 k
Claude 3 (2024, abgeschaltet) Context Window (Tokens)
200 k
GPT-3: Das 175-Milliarden-Parameter-Modell
Der Durchbruch zu Few-Shot Learning und emergenten KI-Fähigkeiten. Am 28. Mai 2020 präsentierte OpenAIs Team um Tom Brown das bedeutende Paper „Language Models are Few-Shot Learners“ – GPT-3 mit 175 Milliarden Parametern, über 100-fach größer als GPT-2. Die Skalierung enthüllte emergente Fähigkeiten: Das Modell konnte neue Aufgaben mit nur wenigen Beispielen lösen, ohne Fine-Tuning. Von Übersetzungen über Wort-Rätsel bis zu 3-stelliger Arithmetik demonstrierte GPT-3 beeindruckende Vielseitigkeit. Menschliche Evaluatoren konnten von GPT-3 generierte Nachrichtenartikel kaum von echten unterscheiden. Allein durch In-Context Learning näherte sich GPT-3 bei einzelnen SuperGLUE-Teilaufgaben dem state of the art an – auf dem Gesamt-Benchmark blieb es mit rund 71,8 Punkten allerdings deutlich hinter den fine-getunten Spitzenmodellen (etwa 89) zurück. 31 OpenAI-Forscher (Tom Brown und 30 Ko-Autoren) bewiesen: Massive Parameterskalierung kann qualitativ neue Fähigkeiten hervorbringen. GPT-3 legte das Fundament für ChatGPT und die moderne LLM-Ära.
Ein Roman in Tokens
Ein durchschnittlicher Roman enthält 80.000-130.000 Wörter, was etwa 100.000-160.000 Tokens entspricht (Tokens > Wörter, weil Satzzeichen und Subword-Splits Overhead erzeugen). Ein Modell mit 128k-Token-Fenster fasst einen kürzeren Roman; ein langer mit 160.000 Tokens braucht ein größeres Fenster wie die 200.000 Tokens von Claude 3.
Achtung
Lost-in-the-Middle-Effekt
Forscher haben gezeigt: Wenn eine Schlüsselinformation in der Mitte eines langen Kontexts platziert wird (etwa auf Seite 150 von 300), rufen Modelle sie deutlich schlechter ab als Informationen am Anfang oder Ende. Das Context Window ist kein gleichmäßiger Speicher — es hat eine U-förmige Abrufkurve, bei der Anfang und Ende bevorzugt werden.
Achtung
Irrtum: "200k Context Window heißt, das Modell merkt sich alles perfekt"
Zwei Probleme untergraben diese Annahme. Erstens: Der Lost-in-the-Middle-Effekt bedeutet, dass die Abrufqualität für Informationen in der Mitte sehr langer Kontexte abnimmt, obwohl sie technisch hineinpassen. Zweitens: Längere Kontexte kosten überproportional mehr Rechenleistung (die Attention wächst quadratisch mit der Länge), weshalb viele Anwendungen die Kontextnutzung bewusst weit unter dem theoretischen Maximum halten. Ein 200k-Fenster ist eine Obergrenze, keine Qualitätsgarantie.
Interaktiv: Token-Kosten und Context Window
Ein Modell rechnet nicht in Wörtern, sondern in Tokens, und daran hängen Platz und Preis: Jedes Token belegt Platz im Context Window und wird bei der API bezahlt. Der Rechner schätzt beides. Er zählt die Wörter und rechnet sie mit einer Faustregel in Tokens um, voreingestellt nach dem Roman-Beispiel oben (80.000 Wörter ≈ 100.000 Tokens). Einen Preis nennt der Artikel nicht: Trag den deines Anbieters ein, voreingestellt ist 1 € je Million Tokens.
Merke
Kernaussagen
- Tokens sind keine Wörter — sie sind statistische Subword-Einheiten, die der Tokenizer vor dem Modell erzeugt.
- BPE baut das Vokabular durch reine Häufigkeitsstatistik, nicht durch Sprachverständnis.
- Das Context Window ist ein hartes Limit gemessen in Tokens — wenn es voll ist, gehen ältere Informationen komplett verloren.
- Selbst innerhalb des Context Windows rufen Modelle Informationen aus der Mitte schlechter ab (Lost-in-the-Middle-Effekt).
Nächster Artikel: Embeddings — wie diese Tokens zu Vektoren mit Bedeutung werden.
Prüfen
Checkpoint: Tokenisierung
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen
Prüfen
Quiz: Tokenisierung
Was ist der Hauptvorteil der Subword-Tokenisierung gegenüber Wort-Tokenisierung?
Wähle eine Antwort
1. Was ist der Hauptvorteil der Subword-Tokenisierung gegenüber Wort-Tokenisierung?
2. Bei BPE wird das Zeichenpaar "t" + "h" zum Token "th" zusammengeführt. Was hat diesen Merge bestimmt?
3. Ein BPE-Tokenizer, der überwiegend auf englischem Text trainiert wurde, verarbeitet das deutsche Wort "Handlungsempfehlung" (19 Zeichen). Welches Ergebnis ist am wahrscheinlichsten im Vergleich zum englischen Wort "recommendation" (14 Zeichen)?
4. Du baust einen Kundensupport-Chatbot mit einem 16k-Token Context Window. Die Konversationshistorie eines Kunden umfasst 20.000 Tokens. Was passiert mit den ältesten Nachrichten, und welche Lösung könnte helfen?
5. Angenommen, ein Modell mit 200k-Token-Fenster ruft eine entscheidende Information auf Seite 150 eines 300-Seiten-Dokuments weniger zuverlässig ab als Informationen auf Seite 1 oder 300. Was erklärt das?