Attention — wohin schauen Sprachmodelle?
Wenn ChatGPT, Claude oder DeepL einen Satz verstehen sollen, müssen sie für jedes Wort entscheiden, welche anderen gerade wichtig sind. Genau dieses gezielte Hinhören nennt man Attention — und du kannst hier zusehen, wie es funktioniert. Klick dich durch Köpfe, Schichten und Sätze.
Was ist Attention?
Stell dir eine laute Cocktailparty vor: Dutzende Stimmen reden gleichzeitig — aber sobald jemand auf der anderen Seite des Raums deinen Namen sagt, dreht sich dein Kopf automatisch dorthin. Dein Gehirn hat aus dem Lärm eine Information ausgewählt und allem anderen weniger Gewicht gegeben.
Genau dieses Auswählen — Wichtiges hervorheben, Unwichtiges leise stellen — ist Attention.
Beim Lesen passiert dasselbe in Mini-Form: Sobald du das Pronomen „sie" siehst, springt dein Blick zurück zu der Person, die vorher genannt wurde. Du gewichtest blitzschnell, welche der vorherigen Wörter relevant sind, und blendest den Rest aus.
Ein Transformer-Sprachmodell macht das für jedes einzelne Wort gleichzeitig — pro Schicht und pro Aufmerksamkeits-Kopf neu.
Beispiel: „Leonie gab dem Hund einen Knochen, weil er hungrig war."
Wer ist „er"? Du weißt sofort: der Hund — nicht Leonie, nicht der Knochen. Genau diese Entscheidung muss auch das Sprachmodell treffen, sonst wird die Übersetzung falsch oder die Antwort unsinnig. In einem trainierten Modell lernt ein einziger Attention-Kopf genau dieses Muster: Pronomen → richtiger Bezug.
Ohne Attention gäbe es heute kein ChatGPT, keinen Claude, keinen DeepL-Translator — sie alle stehen auf dieser einen Idee, die 2017 in dem Paper „Attention Is All You Need" zum ersten Mal in dieser Form formuliert wurde.
Analogie:
Stell dir eine laute Cocktailparty vor: Dutzende Stimmen reden gleichzeitig — aber sobald jemand auf der anderen Seite des Raums deinen Namen sagt, dreht sich dein Kopf automatisch dorthin. Dein Gehirn hat aus dem Lärm eine Information ausgewählt und allem anderen weniger Gewicht gegeben.
Genau dieses Auswählen — Wichtiges hervorheben, Unwichtiges leise stellen — ist Attention.
Beim Lesen passiert dasselbe in Mini-Form: Sobald du das Pronomen „sie" siehst, springt dein Blick zurück zu der Person, die vorher genannt wurde. Du gewichtest blitzschnell, welche der vorherigen Wörter relevant sind, und blendest den Rest aus.
Ein Transformer-Sprachmodell macht das für jedes einzelne Wort gleichzeitig — pro Schicht und pro Aufmerksamkeits-Kopf neu.
Beispiel: „Leonie gab dem Hund einen Knochen, weil er hungrig war."
Wer ist „er"? Du weißt sofort: der Hund — nicht Leonie, nicht der Knochen. Genau diese Entscheidung muss auch das Sprachmodell treffen, sonst wird die Übersetzung falsch oder die Antwort unsinnig. In einem trainierten Modell lernt ein einziger Attention-Kopf genau dieses Muster: Pronomen → richtiger Bezug.
Ohne Attention gäbe es heute kein ChatGPT, keinen Claude, keinen DeepL-Translator — sie alle stehen auf dieser einen Idee, die 2017 in dem Paper „Attention Is All You Need" zum ersten Mal in dieser Form formuliert wurde.
Definition:
Self-Attention berechnet pro Token eine gewichtete Summe der Value-Vektoren aller Tokens. Die Gewichte entstehen aus Skalarprodukten von Query- und Key-Vektoren, durch √d_k stabilisiert und mit Softmax normalisiert.
Attention(Q,K,V) = softmax(Q·Kᵀ / √d_k) · V
Schritt für Schritt
Hier ist das Bild dahinter. Stell dir vor, jedes Wort im Satz geht gleichzeitig in eine Bibliothek.
Es bringt einen Suchzettel mit (das ist die Query), liest reihum die Karteikarten aller anderen Bücher (die Keys), gewichtet, welche Karten am besten zur Suche passen, und nimmt sich von den passendsten den Inhalt (die Values) gewichtet mit nach Hause.
Diese Mischung ist die neue, kontextangereicherte Bedeutung des Worts. Technisch läuft das pro Schicht in fünf Schritten ab:
- Jedes Token wird in drei Vektoren projiziert: Query (Q), Key (K), Value (V).
- Aus Q·Kᵀ entsteht eine n×n-Score-Matrix — wie ähnlich ist jede Query zu jedem Key?
- Softmax pro Zeile macht daraus echte Aufmerksamkeits-Gewichte (jede Zeile summiert zu 1).
- Der Output eines Tokens ist die gewichtete Summe aller Value-Vektoren — die Information fließt von dort, wo das Token am stärksten hinschaut.
- Multi-Head-Attention: das Ganze parallel mit unterschiedlichen Projektionen — jeder Kopf lernt andere Beziehungstypen (syntaktisch, semantisch, positional).
Schicht 1 hört oft sehr lokal hin — „was steht direkt neben mir?" Schicht 2 baut die globaleren Beziehungen auf: Pronomen-Auflösung, Verb-Objekt-Bindung, Bedeutungs-Disambiguierung.
Echte Modelle wie GPT-4 oder Claude haben nicht 2, sondern 80 bis 100 Schichten mit jeweils 32 bis 128 Köpfen übereinander gestapelt.
Diese Demo ist eine bewusste Mini-Version mit nur 2 Schichten und 4 Köpfen — damit du das Prinzip im Kopf behältst, statt in einem Zahlenfeuerwerk zu ertrinken.
Query, Key, Value — die drei Rollen jedes Tokens
Bleibe kurz beim Bibliotheks-Bild von eben — es trägt erstaunlich weit.
Jedes Wort im Satz ist gleichzeitig Sucher, Karteikarte und Buchinhalt. Aus einem einzigen Wort-Embedding (einer Liste von Zahlen, die das Wort beschreibt) berechnet das Modell drei abgeleitete Vektoren — Q, K und V — durch drei gelernte Projektionsmatrizen.
Du kannst dir das wie drei verschiedene Brillen vorstellen, die das Modell auf jedes Wort setzt. Jede Brille hebt einen anderen Aspekt hervor:
- Query (Q) — der Suchzettel — „Was suche ich gerade?" Q ist der Suchzettel, den ein Wort an alle anderen herausreicht.
Wenn das Pronomen „er" drankommt, fragt seine Query sinngemäß: „Welches Wort weiter vorn ist männlich, Singular, ein Lebewesen, das hungrig sein könnte?"
Die Frage steht natürlich nicht in Worten auf dem Zettel — sie steckt als Richtung in einem Zahlenvektor. - Key (K) — die Karteikarte — „Was biete ich an?" K ist die Karteikarte, die jedes Wort gut sichtbar in der Bibliothek hochhält.
Bei „Hund" steht sinngemäß drauf: „Ich bin ein Nomen, männlich, Singular, ein Lebewesen."
Wenn der Suchzettel von „er" auf diese Karte trifft, passt es — das Skalarprodukt Q·K wird groß. Je besser Frage und Karte zusammenpassen, desto mehr Aufmerksamkeit fließt zu diesem Wort. - Value (V) — der Buchinhalt — „Was liefere ich, wenn ich ausgewählt werde?" V ist der Buchinhalt, den das Wort herausgibt, sobald es Aufmerksamkeit bekommt.
Sobald die Gewichte feststehen (jede Zeile summiert zu 100 %), werden alle Value-Vektoren gemäß ihrer Gewichte aufaddiert. Das Ergebnis ist die neue, kontextangereicherte Bedeutung des Query-Worts.
Merksatz: K entscheidet, wer gehört wird; V trägt, was gehört wird.
Warum „Self"-Attention? Weil jedes Wort im selben Satz gleichzeitig als Query und Key und Value für jedes andere Wort (und für sich selbst) auftritt. Der Satz schaut sich quasi selbst an — jedes Wort fragt jedes andere und vergleicht.
Im Bibliotheks-Bild: Jeder Leser ist gleichzeitig ein Buch mit eigener Karteikarte. Das unterscheidet Self-Attention von Cross-Attention, wo Q aus einer Sequenz kommt und K/V aus einer anderen (klassisch: Encoder→Decoder bei maschineller Übersetzung).
Warum ÷ √d_k? Ein Detail, das harmlos aussieht — und das Training rettet.
Bei hoher Vektor-Dimension (d_k = 64 oder 128 in echten Modellen) werden die Skalarprodukte Q·K von Natur aus groß. Softmax mit großen Eingangswerten wird extrem spitz: fast 100 % auf ein einziges Wort, alle anderen fast null, und der Gradient stirbt.
Die Skalierung durch √d_k hält die Eingangs-Varianz konstant, egal wie groß die Vektoren sind. Eine kleine Zahl mit großer Wirkung — genau deshalb heißt das Verfahren auch Scaled Dot-Product Attention.
Die Formel im Detail
Jetzt kommt die Mathe — aber keine Sorge. Du musst keine Linear Algebra können, um zu folgen.
Die Formel sieht erst kompakt aus, weil sie das, was du gerade kennengelernt hast — Suchzettel, Karteikarte, Buchinhalt — in mathematischer Kurzschrift schreibt. Lies sie Zeile für Zeile von oben nach unten.
Jeder Schritt bekommt einen Klartext-Satz daneben, der erklärt, was passiert. Wenn du nach den sechs Schritten den Schluss-Ausdruck siehst, hast du eigentlich nur ein gewichtetes Mittel mit Ähnlichkeits-Gewichten gelesen — viel mehr ist es nicht.
Q = X · W_QK = X · W_KV = X · W_VS = (Q · Kᵀ) / √d_kA = softmax(S, axis = -1)output = A · VAttention(Q, K, V) = softmax(QKᵀ / √d_k) · VEine Beobachtung zum Mitnehmen: Diese sechs Zeilen sind im Prinzip die gesamte Mechanik. Alles, was ein moderner Transformer macht, ist im Kern dieselbe Rechnung — nur mit gelernten Projektionsmatrizen, hunderten von Dimensionen, dutzenden Köpfen und dutzenden Schichten übereinander.
Q·K-Werkstatt — wie aus Vektoren Aufmerksamkeit entsteht
Wir benennen die Dimensionen bewusst: ref = Bezug, act = Handlung, mod = Modifikator, gen = generischer Inhalt. Das hilft dir, eine Intuition zu entwickeln, was eine Vektor-Dimension bedeuten könnte.
Klick ein Pronomen, Verb oder einen Artikel in der Heatmap weiter unten — die Werkstatt zeigt dann Schritt für Schritt: Frage-Vektor → Skalarprodukt mit den Kandidaten → Softmax.
Reale Modelle nutzen 64 oder 128 Dimensionen, die nicht so menschen-lesbar benannt sind. Das Prinzip ist exakt dasselbe — nur reicher und feiner.
0.90 · 0.90 + 0.00 · 0.00 + 0.00 · 0.00 + 0.10 · 0.10 = 0.8200.90 · 0.10 + 0.00 · 0.10 + 0.00 · 0.10 + 0.10 · 0.20 = 0.1100.90 · 0.10 + 0.00 · 0.10 + 0.00 · 0.10 + 0.10 · 0.20 = 0.1100.90 · 0.20 + 0.00 · 0.20 + 0.00 · 0.20 + 0.10 · 0.30 = 0.210- Hund32%
- Leonie22%
- gab22%
- er23%
Das gesamte Attention-Spiel ist im Kern ein Ähnlichkeits-Spiel im Zahlenraum. Im echten Modell sind die Vektor-Richtungen aus Daten gelernt und kodieren feinere Aspekte als unsere vier Demo-Dimensionen — aber wenn du verstanden hast, was hier mit 4 Zahlen passiert, hast du das Wesentliche verstanden, was in einem 128-dimensionalen GPT-Vektor passiert.
Echte Transformer wie GPT-4, Claude oder BERT lernen sehr ähnliche Muster — aber aus Milliarden Sätzen Trainingsdaten, ohne dass irgendjemand „er → Hund" hineinprogrammiert. Genau das ist der Wow-Effekt: die Muster emergieren von selbst aus den Daten.
Diese Demo zeigt dir also was dabei rauskommt — damit du es in einer echten Heatmap später wiedererkennen kannst — nicht wie das Training abläuft.
Interaktive Heatmap
Erweiterte Ansicht — 4 weitere Muster + Layer/Kopf-Auswahl
Der wichtigste Kopf für Sprachverständnis: Pronomen finden ihren Antecedent. "er" → "Hund", "sie" → "Aufgabe". Hier zeigt Attention echte Disambiguierung.
Du siehst Schicht L2, Kopf H1 — Muster: Pronomen→Bezug.
- Hund0.89
- er0.06
- Leonie0.006
- gab0.006
- dem0.006
- einen0.006
Kernaussagen — drei Dinge zum Mitnehmen
- Attention = gewichtete Summe: (das Cocktailparty-Prinzip): Jedes Wort aggregiert Information von allen anderen, gewichtet durch ein gelerntes Ähnlichkeitsmaß zwischen Query- und Key-Vektoren. Keine festen Regeln, keine einprogrammierte Grammatik — alles entsteht aus dem Vergleich von Zahlenvektoren.
- Multi-Head ist Arbeitsteilung: Verschiedene Köpfe lernen verschiedene Beziehungstypen, weil jeder Kopf seine eigenen Q/K/V-Projektionsmatrizen hat. Ein Kopf wird zum Pronomen-Spezialisten, ein anderer erkennt Verb-Objekt-Bindungen, ein dritter achtet auf lokale Nachbarschaften. Ein Modell wie GPT-4 hat 32 bis 128 solche Spezialisten pro Schicht — und 80 bis 100 Schichten übereinander.
- Tiefere Schichten = abstraktere Bezüge: In Schicht 1 dominieren positionale Muster (Vorgänger, lokales Fenster) — die Bibliothek macht erst Grobsortierung. Erst ab Schicht 2 (und in echten Modellen ab den mittleren Schichten) entstehen semantische Bezüge wie Pronomen-Auflösung und Bedeutungs-Disambiguierung.
- Warum das alles relevant ist: Dieser eine Mechanismus — Q·K-Ähnlichkeit, Softmax-Gewichtung, gewichtete Summe der Values — ist die Grundlage, auf der jedes große Sprachmodell der letzten Jahre steht. Wer Attention versteht, versteht den Motor von ChatGPT, Claude, Gemini und DeepL im Prinzip — und das ist mehr, als 95 % der Anwender:innen je sehen werden.
Hast du das verstanden?
- Ich kann erklären, was Query, Key und Value sind und wie sie kombiniert werden.
- Ich erkenne in einer Heatmap, dass ein Pronomen auf sein Bezugswort schaut.
- Ich kann beschreiben, warum mehrere Attention-Heads parallel laufen — und was sie jeweils lernen können.
Attention — wie Tokens aufeinander hören
Was Attention berechnet
Self-Attention erlaubt jedem Token, sich gewichtete Information von allen anderen Tokens des Satzes zu holen. Das passiert nicht durch Position oder feste Regeln, sondern durch ein gelerntes Ähnlichkeits-Spiel zwischen drei Projektionen:
- Query (Q): Was suche ich? — eine Projektion des Tokens als „Frage-Vektor"
- Key (K): Was biete ich an? — eine Projektion als „Schlüsselwort-Vektor"
- Value (V): Welche Info würde ich liefern? — die Inhalts-Projektion
Die Formel
Attention(Q, K, V) = softmax( Q · Kᵀ / √d_k ) · V
Schritt für Schritt: Q · Kᵀ erzeugt eine n×n-Score-Matrix — jeder Eintrag (i,j) ist das Skalarprodukt zwischen Query i und Key j, also „wie gut passen die zusammen?". Die Division durch √d_k stabilisiert die Softmax (Skalarprodukte wachsen mit der Dimension). Softmax pro Zeile macht aus rohen Scores echte Wahrscheinlichkeiten (jede Zeile summiert zu 1). Die Multiplikation mit V ergibt für jedes Token eine gewichtete Summe aller Value-Vektoren.
Multi-Head — viele Aufmerksamkeiten parallel
Ein einzelner Attention-Mechanismus kann nur eine Art von Beziehung gut lernen. Multi-Head Attention führt h Attention-Berechnungen parallel aus, jede mit eigenen Projektionsmatrizen W_Q, W_K, W_V. Die Outputs werden konkateniert und linear projiziert. So lernt ein Kopf vielleicht Pronomen-Auflösung, ein anderer Verb-Objekt-Bindungen, ein dritter positionale Muster.
Eigenschaften
- Parallel: alle Tokens werden gleichzeitig verarbeitet (Vorteil gegenüber RNNs)
- Distanz-unabhängig: ein Token kann mit dem ersten oder letzten Wort gleich stark interagieren
- Quadratisch: Komplexität O(n²·d) in der Sequenzlänge — Engpass für lange Texte
- Interpretierbar: Attention-Gewichte zeigen, „worauf das Modell schaut" (mit Vorsicht zu lesen)
Spiele in der Demo! Wähle einen Satz mit Pronomen und das Pattern „Pronomen→Bezug" (Schicht 2, Kopf 1). Du siehst den Aha-Moment direkt: das Pronomen schaut auf sein Bezugswort, nicht auf irgendein anderes Token.
1
# Self-Attention — Skalierter Dot-Product
2
funktion attention(X, W_Q, W_K, W_V):
3
# 1. Projektion in Q, K, V
4
Q = X · W_Q
5
K = X · W_K
6
V = X · W_V
7
8
# 2. Score-Matrix (n×n)
9
S = (Q · Kᵀ) / sqrt(d_k)
10
11
# 3. Softmax pro Zeile
12
A = softmax(S, achse = -1)
13
14
# 4. Gewichtete Summe der Values
15
output = A · V
16
gib output zurück
17
18
# Multi-Head — h parallele Attention-Berechnungen
19
funktion multihead(X, [W_Q_i, W_K_i, W_V_i für i in 1..h], W_O):
20
heads = [attention(X, W_Q_i, W_K_i, W_V_i) für i in 1..h]
21
H = konkateniere(heads)
22
gib H · W_O zurück
🎚️ Q, K, V projizieren
Jedes Token (als Vektor X) wird mit drei gelernten Matrizen W_Q, W_K, W_V multipliziert. Ergebnis: drei Sichten desselben Tokens — Query („Was suche ich?"), Key („Was biete ich an?") und Value („Welche Information liefere ich?").
# 1. Projektion in Q, K, V
Q = X · W_Q
K = X · W_K
V = X · W_V
🎚️ Projektion
X → Q, K, V über drei gelernte Matrizen.
🗂️ Scores
Q · Kᵀ / √d_k ergibt n×n-Matrix.
📊 Softmax
Zeilenweise Softmax → Aufmerksamkeits-Gewichte.
↔️ Gewichtete Summe
A · V mischt Value-Vektoren.
📚 Multi-Head
h Köpfe parallel, dann konkatenieren + projizieren.
Teste dein Wissen
Was berechnet Self-Attention pro Token?
1. Was berechnet Self-Attention pro Token?
- ☐ A) Nur das nächste Wort.
- ☐ B) Eine gewichtete Summe der Value-Vektoren aller Tokens.
- ☐ C) Eine Wahrscheinlichkeit für jede Klasse.
- ☐ D) Den Gradienten der Verlustfunktion.
2. Warum wird die Score-Matrix durch √d_k geteilt?
- ☐ A) Um die Softmax-Eingänge zu stabilisieren und Sättigung zu vermeiden.
- ☐ B) Um Speicher zu sparen.
- ☐ C) Damit die Werte negativ werden.
- ☐ D) Weil Tokens nicht durch 0 geteilt werden dürfen.
3. Was leisten verschiedene Attention-Heads?
- ☐ A) Sie sind reine Kopien voneinander.
- ☐ B) Sie speichern jeweils ein Beispiel.
- ☐ C) Sie lernen verschiedene Beziehungstypen (positional, syntaktisch, semantisch).
- ☐ D) Sie ersetzen die Tokenisierung.
4. In welcher Schicht erscheint Pronomen-Auflösung typischerweise am deutlichsten?
- ☐ A) In der Embedding-Schicht.
- ☐ B) In späteren Schichten (oft Schicht 2 oder höher).
- ☐ C) Nur im Decoder.
- ☐ D) Nur bei Inference, nicht beim Training.
Verwandte Inhalte
Artikel
Der Durchbruch — Transformers & Attention
Was "Attention Is All You Need" (2017) eigentlich änderte — und warum es seitdem kein Zurück gibt.
Tokenisierung: Das Alphabet der Maschinen
Wie aus Buchstaben Token werden, und warum LLMs die Welt durch diese Brille sehen.
Large Language Models
Das Modell, das im Grunde nur das nächste Wort schätzt — und dabei eine erstaunliche Karriere macht.
Embeddings & Latent Space
Der mathematische Raum, in dem ähnliche Wörter benachbart sind, ohne dass es ihnen jemand gesagt hat.
Zeit & Sequenzen (RNNs)
Die Architektur, die KI Gedächtnis gab — bevor jemand einen besseren Weg fand.
Sampling & Temperature
Das Mini-Roulette nach jedem Token — und die Knöpfe, an denen man drehen kann.
Transfer Learning & Fine-Tuning
Wie man ein KI-Modell für sich gewinnt, statt es selbst aufzuziehen — denn das Training von null ist unbezahlbar.
Demo
Word Embeddings
Interaktive Demo: 191 Wörter aus echten GloVe-Vektoren im 2D-Bedeutungsraum erkunden, Nachbarn nach Cosinus-Ähnlichkeit finden, Vektor-Arithmetik wie "König − Mann + Frau ≈ Königin" selbst durchrechnen und im Analogie-Quiz die richtige Antwort jagen.
ELIZA
Begegne ELIZA - dem charmanten Urahn aller Chatbots, der 1966 Menschen in MIT-Büros zum Schmunzeln und Nachdenken brachte. Ein köstlicher Einblick in die Kunst des cleveren Zuhörens.