Zurück zum Lernbereich

Tokenisierung: Das Alphabet der Maschinen

Wie aus Buchstaben Token werden, und warum LLMs die Welt durch diese Brille sehen.

  • Architekturen
  • 12 min
  • Fortgeschritten

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: Wie KI Texte liest

Was ist Tokenisierung?

KI liest Text nicht Wort für Wort. Sie zerlegt Text zuerst in kleine Stücke. Diese Stücke heißen Token. Das Zerlegen heißt Tokenisierung. Deshalb kann KI keine einzelnen Buchstaben zählen. Sie sieht nur ganze Token.

Wie das Vokabular entsteht

Ein Programm baut das Wörterbuch der Token. Es sucht häufige Buchstabenpaare. Es fasst sie zu einem neuen Token zusammen. Das nennt man Byte-Pair Encoding. Byte-Pair Encoding heißt: Häufige Buchstabenpaare verbinden.

Das Kontextfenster

Jedes Sprachmodell hat ein Kontextfenster. Das Kontextfenster heißt: So viele Token kann das Modell auf einmal lesen. Wird das Fenster voll, verschwinden alte Token. Das Modell vergisst sie dann.

Frage ChatGPT, wie viele R in "strawberry" stecken — und lange antwortete es oft falsch. Nicht, weil es schlecht zählen kann, sondern weil es die Buchstaben nie einzeln sieht. Es sieht drei Stücke — "str", "aw", "berry" (beim Tokenizer von GPT-4) — zusammengefügt von einem Algorithmus, der vor dem Gespräch läuft.

Alles, was ein Sprachmodell tut, beginnt damit, wie es Text in Stücke zerlegt. Dieser unsichtbare erste Schritt heißt Tokenisierung und bestimmt, was das Modell sehen kann, wie viel es sich merkt und was ihm schwerfällt.

Tokens — Warum nicht einfach Wörter?

Definition

Token

Analogie

Stell dir drei Spielzeugsysteme vor. System A: einzelne Atome — du kannst alles bauen, aber ein Haus braucht Millionen Teile. System B: fertige Häuser — schnell platziert, aber wenn du eine Form brauchst, die nicht vorgefertigt wurde, hast du Pech. System C — LEGO — bietet ein paar tausend standardisierte Steine verschiedener Größen. Häufige Strukturen kommen als größere Fertigteile; ungewöhnliche Formen baust du aus kleineren Steinen zusammen. Genau so funktioniert Subword-Tokenisierung: Zeichen sind Atome, Wörter sind Fertighäuser, und Tokens sind LEGO-Steine — der nützliche Mittelweg.

Beispiel

LEGO-Steine haben physische Formen, die Menschen erkennen. Tokens dagegen sind willkürliche Zeichenketten wie "tion", " the" oder "ishable" — ohne inhärente Bedeutung. Die Analogie übertreibt die "Sinnhaftigkeit" der einzelnen Stücke.

Drei Granularitätsebenen

Es gibt drei Wege, Text in Zahlen umzuwandeln. Jeder hat seinen Preis:

Wort-Ebene

Riesiges Vokabular, unbekannte Wörter unmöglich, Tippfehler werden zu „unbekannt“

Subword-Ebene (Tokens)

Handhabbares Vokabular (32k-200k), jeder Input verarbeitbar, unbekannte Wörter werden zerteilt

Die dritte Option — Zeichen- bzw. Byte-Ebene — erzeugt ein winziges Vokabular (auf Byte-Ebene genau 256 Einträge), aber extrem lange Sequenzen. Subword-Tokenisierung löst beide Probleme gleichzeitig: Das Vokabular bleibt praktisch, und kein Input ist wirklich "unbekannt".

Achtung

Das Strawberry-Problem

Wenn du ein LLM fragst "Wie viele R hat 'strawberry'?", antworteten ältere Modelle oft "2" statt "3". Der Grund ist architekturbedingt: Der Tokenizer zerlegt "strawberry" in Tokens wie "str", "aw", "berry", bevor das Modell den Text überhaupt sieht.

Das Modell verarbeitet diese drei Stücke als unteilbare Einheiten — es kann nicht in einen Token hineinschauen, um einzelne Buchstaben zu zählen. Das ist kein gewöhnlicher Bug, den man einfach behebt — es ist eine fundamentale Konsequenz der Subword-Tokenisierung.

Achtung

Irrtum: "Tokens sind im Grunde einfach Wörter"

Wenn Tokens Wörter wären, bräuchte jede Sprache der Welt ein eigenes riesiges Vokabular, unbekannte Wörter wären für das System nicht darstellbar und Tippfehler wären unverarbeitbar. Subword-Tokenisierung wurde genau erfunden, um diese Probleme zu vermeiden. Ein Token kann ein ganzes Wort sein ("the"), ein Wortfragment ("tion"), ein einzelnes Zeichen ("x") oder sogar ein Leerzeichen plus Zeichen (" the"). Die Grenzen werden durch statistische Häufigkeit in den Trainingsdaten bestimmt, nicht durch linguistische Regeln.

Interaktiv: Text selbst tokenisieren

Gib einen beliebigen Text ein und beobachte, wie er in Tokens zerlegt wird. Wechsle zwischen Zeichen-, Wort- und Subwort-Tokenisierung und vergleiche: Wie viele Tokens entstehen bei jeder Methode? Beachte besonders, wie Subwort-Tokenisierung unbekannte Wörter in bekannte Teile zerlegt — genau das macht BPE, das du im nächsten Abschnitt kennenlernst.

Live-Tokenizer

Steuerung
Methode

Häufige Silben und Teilwörter werden zusammengefasst (wie GPT es tut). Bester Kompromiss zwischen Vokabulargröße und Tokenanzahl.

Eingabe
Zeichen89Tokens23Zeichen/Token3.9
Tokens:
KünstlicheIntelligenzverändertdieWelt.MaschinellesLernenisteinTeilgebietderKI.
Token-Liste anzeigen (23 Tokens)
1Künstli7 Zeichen
2che3 Zeichen
3Inte4 Zeichen
4lli3 Zeichen
5genz4 Zeichen
6ver3 Zeichen
7ändert6 Zeichen
8die3 Zeichen
9Welt4 Zeichen
10.1 Zeichen
11Maschi6 Zeichen
12nell4 Zeichen
13es2 Zeichen
14Lern4 Zeichen
15en2 Zeichen
16ist3 Zeichen
17ein3 Zeichen
18Tei3 Zeichen
19lge3 Zeichen
20biet4 Zeichen
21der3 Zeichen
22KI2 Zeichen
23.1 Zeichen
Warum ist das wichtig?

LLMs verarbeiten nicht Wörter, sondern Tokens. Ein längerer Text braucht mehr Tokens, was mehr Rechenzeit und Kosten bedeutet. Subword-Tokenizer (wie BPE) bieten den besten Kompromiss: weniger Tokens als zeichenweise, aber flexibler als wortweise Zerlegung.

ZeichenweiseJedes Zeichen = 1 Token. Sehr viele Tokens, aber kein unbekanntes Vokabular.
WortweiseJedes Wort = 1 Token. Wenige Tokens, aber unbekannte Wörter sind ein Problem.
Subword (BPE)Häufige Silben und Wörter werden zusammengefasst. Bester Kompromiss — Standard bei GPT & Co.

Byte-Pair Encoding — Wie das Vokabular sich selbst lernt

Definition

Byte-Pair Encoding (BPE)

Analogie

Stell dir einen neuen Mitarbeiter vor, der tausende Firmen-E-Mails liest. In der ersten Woche bemerkt er, dass alle "so bald wie möglich" schreiben — er kürzt es zu "asap" ab. Nächste Woche wird "Ende des Tages" zu "EOD". Über Monate baut er ein persönliches Abkürzungswörterbuch für die häufigsten Phrasen. BPE macht dasselbe: Es beobachtet, welche Zeichenpaare am häufigsten vorkommen, und erstellt für jedes eine Kurzform (einen zusammengefügten Token).

Beispiel

Der entscheidende Unterschied: Der Mitarbeiter kürzt nach Bedeutung ab ("so bald wie möglich" ist eine semantische Einheit). BPE dagegen kürzt rein nach Zeichenhäufigkeit — es würde "th" und "e" zu "the" verschmelzen, nicht weil "the" ein sinnvolles Wort ist, sondern weil die Zeichen extrem oft nebeneinander stehen.

BPE auf einem Mini-Korpus

Korpus: "low lower lowest new newer newest". Start-Tokens: einzelne Zeichen [l, o, w, e, r, s, t, n]. Die Reihenfolge ist vereinfacht: Echtes BPE würde hier zuerst w + e verschmelzen, weil dieses Paar viermal vorkommt.

  1. 1. Merge: l + o → neuer Token "lo"
  2. 2. Merge: lo + w → neuer Token "low"
  3. 3. Merge: e + r → neuer Token "er"
  4. 4. Merge: e + s → neuer Token "es"
  5. 5. Merge: es + t → neuer Token "est"
  6. 6. Merge: n + e → neuer Token "ne"
  7. 7. Merge: ne + w → neuer Token "new"

Nach 7 Merges: "lowest" = ["low", "est"]. "newer" = ["new", "er"]. Jedes Wort wird aus wiederverwendbaren Teilen zusammengesetzt — und die Teile entstanden aus reiner Häufigkeitsstatistik.

Typische Vokabulargröße moderner Tokenizer

32 k–200k

Tokenizer, die überwiegend auf englischem Text trainiert wurden, zerlegen deutschen oder Hindi-Text in deutlich mehr Tokens — für Deutsch je nach Tokenizer etwa 30 % (GPT-4o) bis 50 % (GPT-4) mehr. Der Grund: Für englische Wörter existieren bereits effiziente Merges, während seltenere Sprachen stärker fragmentiert werden. Die Konsequenz ist direkt spürbar: 30 % mehr Tokens bedeuten 30 % höhere API-Kosten für denselben Inhalt, und ins Context Window passt knapp ein Viertel weniger Text.

Mehr Tokens für deutschen Text vs. Englisch (Tokenizer von GPT-4o)

~30 %

Achtung

Irrtum: "Der Tokenizer versteht Wortgrenzen und Morphologie"

BPE hat kein Konzept von linguistischer Struktur. Es weiß nicht, dass "un-" ein Präfix oder "-ing" ein Suffix ist. Wenn "un" + "g" im Trainingskorpus sehr häufig nebeneinander stehen (wie es in deutschen Texten der Fall ist), wird "ung" zu einem einzigen Token — unabhängig davon, ob es ein Suffix oder Teil eines Wortstamms ist. Dieser rein statistische Prozess erklärt auch die Mehrsprachigkeitsstrafe.

BPE live: dem Vokabular beim Wachsen zusehen

Der Live-Tokenizer weiter oben zeigt das fertige Ergebnis. Hier siehst du den Trainingsschritt davor: wie BPE das Vokabular überhaupt erst aufbaut.

Das Context Window — Wie viel sich ein Modell merken kann

Definition

Context Window (Kontextfenster)

Analogie

Stell dir vor, du schreibst eine Forschungsarbeit an einem Schreibtisch, auf den genau 50 Seiten passen. Du kannst alle 50 Seiten ausbreiten und frei darauf zugreifen. Aber sobald du Seite 51 hinzufügst, fällt Seite 1 vom Tisch und ist weg — nicht abgelegt, nicht zusammengefasst, einfach weg. Um sie wieder zu nutzen, muss jemand sie aus dem Archiv holen (das ist RAG: Retrieval-Augmented Generation).

Beispiel

Der Schreibtisch hat auch eine Eigenheit: Du fokussierst dich natürlich auf die Seiten direkt vor dir (die neuesten) und die oben angepinnten (die ersten), aber Seiten in der Mitte des Stapels werden übersehen. Einschränkung: Ein Schreibtisch ist räumlich, ein Context Window ist sequenziell — die Analogie erfasst nicht, dass Tokens der Reihe nach verarbeitet werden.

GPT-4 Turbo (abgeschaltet) Context Window (Tokens)

128 k

Claude 3 (2024, abgeschaltet) Context Window (Tokens)

200 k

Ein Roman in Tokens

Ein durchschnittlicher Roman enthält 80.000-130.000 Wörter, was etwa 100.000-160.000 Tokens entspricht (Tokens > Wörter, weil Satzzeichen und Subword-Splits Overhead erzeugen). Ein Modell mit 128k-Token-Fenster fasst einen kürzeren Roman; ein langer mit 160.000 Tokens braucht ein größeres Fenster wie die 200.000 Tokens von Claude 3.

Achtung

Lost-in-the-Middle-Effekt

Forscher haben gezeigt: Wenn eine Schlüsselinformation in der Mitte eines langen Kontexts platziert wird (etwa auf Seite 150 von 300), rufen Modelle sie deutlich schlechter ab als Informationen am Anfang oder Ende. Das Context Window ist kein gleichmäßiger Speicher — es hat eine U-förmige Abrufkurve, bei der Anfang und Ende bevorzugt werden.

Achtung

Irrtum: "200k Context Window heißt, das Modell merkt sich alles perfekt"

Zwei Probleme untergraben diese Annahme. Erstens: Der Lost-in-the-Middle-Effekt bedeutet, dass die Abrufqualität für Informationen in der Mitte sehr langer Kontexte abnimmt, obwohl sie technisch hineinpassen. Zweitens: Längere Kontexte kosten überproportional mehr Rechenleistung (die Attention wächst quadratisch mit der Länge), weshalb viele Anwendungen die Kontextnutzung bewusst weit unter dem theoretischen Maximum halten. Ein 200k-Fenster ist eine Obergrenze, keine Qualitätsgarantie.

Interaktiv: Token-Kosten und Context Window

Ein Modell rechnet nicht in Wörtern, sondern in Tokens, und daran hängen Platz und Preis: Jedes Token belegt Platz im Context Window und wird bei der API bezahlt. Der Rechner schätzt beides. Er zählt die Wörter und rechnet sie mit einer Faustregel in Tokens um, voreingestellt nach dem Roman-Beispiel oben (80.000 Wörter ≈ 100.000 Tokens). Einen Preis nennt der Artikel nicht: Trag den deines Anbieters ein, voreingestellt ist 1 € je Million Tokens.

Merke

Kernaussagen

  • Tokens sind keine Wörter — sie sind statistische Subword-Einheiten, die der Tokenizer vor dem Modell erzeugt.
  • BPE baut das Vokabular durch reine Häufigkeitsstatistik, nicht durch Sprachverständnis.
  • Das Context Window ist ein hartes Limit gemessen in Tokens — wenn es voll ist, gehen ältere Informationen komplett verloren.
  • Selbst innerhalb des Context Windows rufen Modelle Informationen aus der Mitte schlechter ab (Lost-in-the-Middle-Effekt).

Nächster Artikel: Embeddings — wie diese Tokens zu Vektoren mit Bedeutung werden.

Prüfen

Checkpoint: Tokenisierung

Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.

0 von 3 sitzen

Prüfen

Quiz: Tokenisierung

Was ist der Hauptvorteil der Subword-Tokenisierung gegenüber Wort-Tokenisierung?

Wähle eine Antwort

Auflösung: 1) B · 2) C · 3) B · 4) B · 5) B