Der Durchbruch — Transformers & Attention
Was "Attention Is All You Need" (2017) eigentlich änderte — und warum es seitdem kein Zurück gibt.
RNNs verarbeiten Sprache Wort für Wort. Bei einem 500-Wörter-Absatz muss Wort 1 ganze 499 Kompressionsschritte überleben, bevor es die Ausgabe beeinflusst — oft geht die Information verloren. 2017 schlugen Vaswani et al. eine radikale Alternative vor: Was, wenn jedes Wort direkt auf jedes andere Wort zugreifen könnte, alles gleichzeitig?
Attention Mechanism: Der Schlüssel zu modernen LLMs
September 2014: Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio veröffentlichten ein Paper, das die NLP-Welt nachhaltig verändern sollte. 'Neural Machine Translation by Jointly Learning to Align and Translate' löste ein grundlegendes Problem der Sequence-to-Sequence-Modelle. Bisherige Encoder-Decoder-Architekturen quetschten jeden Eingabesatz in einen einzigen Festlängen-Vektor - ein Informations-Flaschenhals bei langen Sätzen. Die Bahdanau-Attention war ein bedeutender Fortschritt: Statt einem fixen Vektor nutzte das Modell dynamische Aufmerksamkeit auf verschiedene Teile des Eingabesatzes. Wie das menschliche Auge beim Lesen springt die KI-Attention zwischen relevanten Wörtern hin und her. Diese 'Additive Attention' wurde zum konzeptionellen Wegbereiter moderner NLP-Systeme. Der spätere Transformer (2017) baute auf der Attention-Idee auf, ersetzte die additive Variante aber durch effizientere Scaled-Dot-Product-Attention. Ohne Bahdanaus Attention-Konzept keine Transformer, ohne Transformer keine GPT-Familie oder BERT. Dieser Durchbruch ereignete sich drei Jahre vor 'Attention Is All You Need.'
Diese Idee — nur noch Self-Attention, ganz ohne RNN — beseitigte den sequenziellen Flaschenhals und löste eine Welle der Skalierung aus, die GPT, BERT und praktisch jedes große KI-System von heute hervorgebracht hat.
Self-Attention — Jedes Token sieht jedes andere
Die zentrale Innovation von Transformers: parallele Verarbeitung, direkte Verbindungen, dynamische Gewichte. Warum das die RNN-Probleme löst:
Definition
Self-Attention
Analogie
Beispiel
Definition
Tokens werden nacheinander verarbeitet. Information von Token 1 muss durch 499 Hidden States, bevor sie Token 500 erreicht. Das Vanishing-Gradient-Problem lässt weit entfernte Abhängigkeiten verschwinden.
Jedes Token hat direkten Zugriff auf jedes andere — die Distanz ist immer genau ein Schritt. Kein Informationsverlust durch Weiterreichen über viele Schritte. Massive GPU-Parallelisierung möglich.
Merke
Das Wort "Bank" in zwei Sätzen: "Die Bank ist am Fluss" vs. "Die Bank ist insolvent." Ohne Attention hat "Bank" die gleiche Repräsentation. Mit Self-Attention: Im ersten Satz richtet "Bank" seine Aufmerksamkeit stark auf "Fluss" — die Repräsentation verschiebt sich Richtung "Sitzgelegenheit." Im zweiten Satz richtet "Bank" die Aufmerksamkeit auf "insolvent" — die Repräsentation verschiebt sich Richtung "Geldinstitut." Gleiches Wort, unterschiedliche Bedeutung — automatisch berechnet. So funktioniert es in Modellen wie BERT, die den ganzen Satz sehen. In GPT-artigen Modellen ist die Attention kausal maskiert: Jedes Token sieht nur sich selbst und die Tokens davor. Dort kann "Bank" noch nicht auf das später stehende "Fluss" oder "insolvent" schauen; die Bedeutung klärt sich erst an den späteren Positionen, die beide Wörter sehen.
Die Aufmerksamkeitsgewichte sind dynamisch: Sie werden für jede Eingabe neu berechnet — anders als statische CNN-Filter oder feste Dense-Layer-Gewichte.
Achtung: Transformers "verstehen" keine Sprache
Transformers berechnen statistische Muster, keine Bedeutung. Die Attention-Gewichte zeigen Korrelationen, nicht echtes Sprachverständnis. Die beeindruckenden Ergebnisse entstehen durch Mustererkennung auf massiven Datenmengen — nicht durch Kognition.
Ausprobieren: Self-Attention Schritt für Schritt
Sieh dir an, wie Self-Attention die Attention-Gewichte für das Token "Fuchs" im Beispielsatz "Der schlaue Fuchs" berechnet:
Drei Tokens stehen in der Sequenz. Self-Attention berechnet jetzt, wie viel Aufmerksamkeit jedes Token jedem anderen schenkt — alles gleichzeitig, parallel.
Query, Key, Value — Die Mechanik der Attention
Wie Attention tatsächlich berechnet wird — Schritt für Schritt:
Definition
Query, Key, Value
Analogie
Beispiel
Definition
Mini-Attention für "Der schlaue Fuchs" (3 Tokens, d_k = 4).
- 1. Dot ProductsQuery von "Fuchs": Q = [2, 0, 2, 0]. Keys: K_Der = [1, 0, 0, 0], K_schlaue = [2, 0, 2, 0], K_Fuchs = [1, 1, 0, 0]. Skalarprodukte: Q_Fuchs · K_Der = 2, Q_Fuchs · K_schlaue = 8, Q_Fuchs · K_Fuchs = 2
- 2. SkalierungGeteilt durch sqrt(d_k) = sqrt(4) = 2: Ergebnis [1, 4, 1]
- 3. SoftmaxSoftmax([1, 4, 1]) ≈ [0.05, 0.90, 0.05]
- 4. Gewichtete ValuesAngenommen, die Value-Vektoren sind: V_Der=[1,0], V_schlaue=[0,1], V_Fuchs=[1,1]. Gewichtete Summe: 0.05·[1,0] + 0.90·[0,1] + 0.05·[1,1] ≈ [0.10, 0.95]
- 5. Ergebnis"Fuchs" richtet seine Aufmerksamkeit hauptsächlich auf "schlaue" — seine neue Repräsentation trägt jetzt die Information, dass dieser Fuchs schlau ist.
Ohne die Division durch sqrt(d_k) werden die Dot Products bei hohen Dimensionen sehr groß. Große Werte drücken Softmax in extreme Werte (nahe 0 oder 1), was zu verschwindenden Gradienten führt — die sogenannte "Softmax-Sättigung". Division durch sqrt(d_k) hält die Werte in einem moderaten Bereich, sodass Softmax brauchbare Gradienten liefert und das Training stabil bleibt.
Interaktiv: Die Attention-Formel
Klicke auf Q, K oder V, um zu verstehen, was jeder Vektor in der Attention-Berechnung tut:
Attention-Formel
Der Query-Vektor kodiert, welche Information dieses Token sucht. Jedes Token erzeugt seine eigene Query durch Multiplikation seines Embeddings mit der gelernten Gewichtsmatrix W_Q. Die Query wird dann mit allen Keys verglichen, um die Relevanz zu bestimmen.
Konkretes Beispiel
Formel: Attention(Q, K, V) = softmax(Q·Kᵀ/√dₖ) · V
Komponenten: Q·Kᵀ (Relevanzwerte) , / √dₖ (numerische Stabilität)
Der Transformer-Block — Die Maschine zusammenbauen
Die drei Komponenten eines Transformer-Blocks im Detail:
Definition
Transformer-Block
Analogie
Beispiel
Definition
Transformer-Block: Datenfluss
Mehrere parallele Attention-Berechnungen — jeder Head lernt andere Muster (Grammatik, Semantik, Referenzen)
Residual Connection + Layer Normalization — stabilisiert den Gradientenfluss in tiefen Netzwerken
Zwei Dense Layers mit ReLU — verarbeitet die von Attention gesammelten Informationen pro Token
Zweite Residual Connection + Normalization — Ausgabe bereit für den nächsten Block
Moderne Modelle stapeln Dutzende bis über hundert solcher Blocks:
Transformer-Blocks
96 Blocks
GPT-3: 96 Blocks, je 96 Attention-Heads
Parameter
175 Mrd.
GPT-3: 175 Milliarden trainierbare Parameter
Das Paper
2017
"Attention Is All You Need" — Vaswani et al.
BERT verbessert Sprachverständnis erheblich
Ein wichtiger Fortschritt der bidirektionalen Sprachmodelle und die Geburt des modernen NLP. Im Oktober 2018 veröffentlichten Jacob Devlin und sein Team bei Google Research das Paper zu BERT – Bidirectional Encoder Representations from Transformers. Diese Innovation veränderte die Sprachverarbeitung erheblich, indem sie erstmals tiefe bidirektionale Repräsentationen aus unmarkierten Texten trainierte. Im Gegensatz zu vorherigen Modellen berücksichtigt BERT sowohl linken als auch rechten Kontext in allen Schichten gleichzeitig. Das Ergebnis war bemerkenswert: BERT erreichte neue Bestwerte in elf NLP-Aufgaben und verbesserte den GLUE-Score um beachtliche 7,7 Prozentpunkte auf 80,5%. Das eigentliche Pre-Training verschlang zwar mehrere Tage auf vielen TPUs — doch die Open-Source-Veröffentlichung demokratisierte Spitzentechnologie: Das fertig vortrainierte Modell ließ sich auf einer einzelnen Cloud-TPU in höchstens etwa einer Stunde an die eigene Aufgabe feinjustieren (Fine-Tuning). Kurz zuvor hatten ULMFiT und OpenAIs erstes GPT das Pre-Training-Fine-Tuning-Paradigma vorgemacht; BERT machte es zum Standard, und es bildet bis heute die Grundlage aller großen Sprachmodelle.
Achtung: Mehr Attention-Heads = nicht automatisch besser
Mehr Heads bedeuten mehr parallele Perspektiven, aber nicht zwangsläufig bessere Ergebnisse. Die Heads teilen sich die Gesamtdimension — bei gleicher Modellgröße werden die einzelnen Heads kleiner. Die optimale Head-Anzahl hängt von der Aufgabe und der Modellgröße ab.
Self-Attention vergleicht jedes Token mit jedem anderen — das sind n × n Vergleiche. Verdoppelt sich die Sequenzlänge, vervierfachen sich die Kosten. Bei 1.000 Tokens: 1 Million Vergleiche. Bei 10.000 Tokens: 100 Millionen. Das ist der Grund, warum Kontextlänge ein hartes Problem ist: GPT-3 war auf 2.048 Tokens begrenzt. Moderne Modelle nutzen verschiedene Optimierungen (Flash Attention, Sparse Attention), um längere Kontexte zu ermöglichen — aber bei voller Attention bleibt die quadratische Grundkomplexität. Einige neuere Modelle setzen volle Attention deshalb nur noch in einem Teil der Schichten ein und nutzen dazwischen Varianten, deren Aufwand nur linear mit der Länge wächst: Qwen3.5 etwa in jeder vierten Schicht, NVIDIAs Nemotron 3 in wenigen Schichten zwischen Mamba-Schichten. So kommen solche Modelle auf Kontexte von bis zu rund einer Million Tokens.
Merke
Das Wichtigste
- Self-Attention gibt jedem Token direkten Zugriff auf jedes andere Token — parallel, ohne sequenziellen Flaschenhals und ohne Vanishing Gradient über Distanz. Die Gewichte sind dynamisch (für jede Eingabe neu berechnet), nicht statisch wie CNN-Filter.
- Der QKV-Mechanismus strukturiert Attention als Informationsabrufsystem: Query fragt "was brauche ich?", Key bietet an "was habe ich?", Value liefert den eigentlichen Inhalt. Das Skalarprodukt Q·K misst Relevanz, Softmax normalisiert zu Wahrscheinlichkeiten.
- Ein Transformer-Block kombiniert Multi-Head Attention, Residual Connections mit Layer Normalization und ein Feed-Forward Network. GPT-3 stapelt 96 solcher Blocks mit je 96 Heads — 175 Milliarden Parameter insgesamt.
Prüfen
Checkpoint
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen
Prüfen
Quiz: Transformers & Attention
Welches fundamentale Problem von RNNs löst Self-Attention, indem es jedem Token direkten Zugriff auf jedes andere gibt?
Wähle eine Antwort
1. Welches fundamentale Problem von RNNs löst Self-Attention, indem es jedem Token direkten Zugriff auf jedes andere gibt?
2. In der QKV-Attention-Berechnung ist das Skalarprodukt Q·K für Token A und B gleich 12, und d_k = 64. Was ist der skalierte Score vor Softmax?
3. Ein Transformer-Modell hat 12 Blocks, jeder mit 12 Attention-Heads. Wie viele verschiedene Attention-Muster werden insgesamt über alle Blocks berechnet?
4. Self-Attention hat O(n²) Rechenkomplexität, wobei n die Sequenzlänge ist. Wenn ein 1.000-Token-Dokument X Rechenaufwand braucht, wie viel mehr braucht ein 10.000-Token-Dokument ungefähr?