Context Window
SprachverarbeitungContext Window – die maximale Textlänge, die ein Sprachmodell auf einmal verarbeiten kann. Gemessen in Tokens umfasst das Fenster sowohl Input als auch Output: Ein 8K-Context-Window bedeutet maximal 8.000 Tokens für Prompt und Antwort zusammen. Die Begrenzung entsteht durch die quadratische Komplexität des Attention-Mechanismus in Transformern – verdoppelt man den Context, vervierfacht sich der Attention-Aufwand. Die Entwicklung geht rasant: von 2K (frühe GPT-Modelle) über 8K (GPT-4) bis zu 200K (Claude) und 1M Tokens (Gemini). Praktisch relevant: Bei langen Gesprächen oder umfangreichen Dokumenten stößt man schnell an Grenzen.
Beispiel
Ein Nutzer füttert ein 100-Seiten-Dokument (ca. 75K Tokens) in ein Modell mit 8K Context Window – das funktioniert nicht. Bei einem 128K-Modell passt das Dokument rein, und es bleiben noch 53K Tokens für die Analyse übrig.
Auch bekannt als
Kontextfenster
Verwendet in
Quellen
- Vaswani, A., Shazeer, N., Parmar, N., et al. (2017). Attention Is All You Need. NeurIPS 2017
- Anthropic. (2023). Introducing 100K Context Windows
- Jurafsky, D., & Martin, J.H. (2024). Speech and Language Processing (3rd ed. draft)