Context Window
SprachverarbeitungContext Window – die maximale Textlänge, die ein Sprachmodell auf einmal verarbeiten kann. Gemessen in Tokens umfasst das Fenster sowohl Input als auch Output: Ein 8K-Context-Window bedeutet maximal 8.000 Tokens für Prompt und Antwort zusammen. Die Begrenzung entsteht durch die quadratische Komplexität des Attention-Mechanismus in Transformern – verdoppelt man den Context, vervierfacht sich der Attention-Aufwand. Die Entwicklung geht rasant: von 2K (frühe GPT-Modelle) über 8K (GPT-4) und 1M Tokens (etwa aktuelle Claude- und Gemini-Modelle) bis zu 10M Tokens (laut Meta bei Llama 4 Scout). Praktisch relevant: Je mehr im Fenster steht, desto eher übersieht das Modell Einzelheiten, lange bevor es voll ist (Anthropic nennt das „context rot“).
Beispiel
Ein Nutzer füttert ein 100-Seiten-Dokument (ca. 75K Tokens) in ein Modell mit 8K Context Window – das funktioniert nicht. Bei einem 128K-Modell passt das Dokument rein, und es bleiben noch 53K Tokens für die Analyse übrig.
Auch bekannt als
Kontextfenster