Was "Attention Is All You Need" (2017) eigentlich änderte — und warum die Welt noch nicht zurück ist.
Architekturen 12 min Experte 15. Juni 2026
RNNs verarbeiten Sprache Wort für Wort. Bei einem 500-Wörter-Absatz muss Wort 1 ganze 499 Kompressionsschritte überleben, bevor es die Ausgabe beeinflusst — oft geht die Information verloren. 2017 schlugen Vaswani et al. eine radikale Alternative vor: Was, wenn jedes Wort direkt auf jedes andere Wort zugreifen könnte, alles gleichzeitig?
2014 Publikationen
Attention Mechanism: Der Schlüssel zu modernen LLMs
September 2014: Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio veröffentlichten ein Paper, das die NLP-Welt nachhaltig verändern sollte. 'Neural Machine Translation by Jointly Learning to Align and Translate' löste ein grundlegendes Problem der Sequence-to-Sequence-Modelle. Bisherige Encoder-Decoder-Architekturen quetschten jeden Eingabesatz in einen einzigen Festlängen-Vektor - ein Informations-Flaschenhals bei langen Sätzen. Die Bahdanau-Attention war ein bedeutender Fortschritt: Statt einem fixen Vektor nutzte das Modell dynamische Aufmerksamkeit auf verschiedene Teile des Eingabesatzes. Wie das menschliche Auge beim Lesen springt die KI-Attention zwischen relevanten Wörtern hin und her. Diese 'Additive Attention' wurde zum konzeptionellen Wegbereiter moderner NLP-Systeme. Der spätere Transformer (2017) baute auf der Attention-Idee auf, ersetzte die additive Variante aber durch effizientere Scaled-Dot-Product-Attention. Ohne Bahdanaus Attention-Konzept keine Transformer, ohne Transformer keine GPT-Familie oder BERT. Dieser Durchbruch ereignete sich drei Jahre vor 'Attention Is All You Need.'
Diese Idee — Self-Attention — beseitigte den sequenziellen Flaschenhals und löste eine Welle der Skalierung aus, die GPT, BERT und praktisch jedes große KI-System von heute hervorgebracht hat.
Self-Attention — Jedes Token sieht jedes andere
Die zentrale Innovation von Transformers: parallele Verarbeitung, direkte Verbindungen, dynamische Gewichte. Warum das die RNN-Probleme löst:
Self-Attention
AnalogieDefinition
Stell dir eine Klassendiskussion vor. Beim RNN-Ansatz sitzen die Schüler in einer langen Reihe und können nur ihrem direkten Nachbarn zuflüstern — eine Nachricht von Schüler 1 muss durch Schüler 2, 3, 4, ... wandern, bevor sie Schüler 30 erreicht. Information geht verloren. Beim Self-Attention-Ansatz kann jeder Schüler jeden anderen direkt sehen und hören. Jeder entscheidet selbstständig, wie viel Aufmerksamkeit er jedem Sprecher schenkt — basierend auf dem aktuellen Thema.
Beispiel
In einer echten Klassendiskussion haben Schüler begrenzte kognitive Kapazität und können nicht 30 Sprechern gleichzeitig folgen. Self-Attention berechnet die Aufmerksamkeit auf ALLE Tokens mechanisch und parallel — es gibt kein kognitives Limit, nur Rechenkosten.
Analogie:
Stell dir eine Klassendiskussion vor. Beim RNN-Ansatz sitzen die Schüler in einer langen Reihe und können nur ihrem direkten Nachbarn zuflüstern — eine Nachricht von Schüler 1 muss durch Schüler 2, 3, 4, ... wandern, bevor sie Schüler 30 erreicht. Information geht verloren. Beim Self-Attention-Ansatz kann jeder Schüler jeden anderen direkt sehen und hören. Jeder entscheidet selbstständig, wie viel Aufmerksamkeit er jedem Sprecher schenkt — basierend auf dem aktuellen Thema.
Beispiel
In einer echten Klassendiskussion haben Schüler begrenzte kognitive Kapazität und können nicht 30 Sprechern gleichzeitig folgen. Self-Attention berechnet die Aufmerksamkeit auf ALLE Tokens mechanisch und parallel — es gibt kein kognitives Limit, nur Rechenkosten.
Definition:
Self-Attention berechnet für jedes Token in einer Sequenz, wie relevant jedes andere Token dafür ist — alles gleichzeitig, parallel. Anders als RNNs, die alles in einen einzigen Hidden State komprimieren, hat jedes Token eine direkte Verbindung zu jedem anderen Token. Die Aufmerksamkeitsgewichte sind dynamisch: Sie werden für jede Eingabe neu berechnet.
RNN (sequenziell)
Tokens werden nacheinander verarbeitet. Information von Token 1 muss durch 499 Hidden States, bevor sie Token 500 erreicht. Das Vanishing-Gradient-Problem lässt weit entfernte Abhängigkeiten verschwinden.
Transformer (parallel)
Jedes Token hat direkten Zugriff auf jedes andere — die Distanz ist immer genau ein Schritt. Kein Informationsverlust über Distanz. Massive GPU-Parallelisierung möglich.
Das Wort "Bank" in zwei Sätzen: "Die Bank ist am Fluss" vs. "Die Bank ist insolvent." Ohne Attention hat "Bank" die gleiche Repräsentation. Mit Self-Attention: Im ersten Satz richtet "Bank" seine Aufmerksamkeit stark auf "Fluss" — die Repräsentation verschiebt sich Richtung "Sitzgelegenheit." Im zweiten Satz richtet "Bank" die Aufmerksamkeit auf "insolvent" — die Repräsentation verschiebt sich Richtung "Geldinstitut." Gleiches Wort, unterschiedliche Bedeutung — automatisch berechnet.
Die Aufmerksamkeitsgewichte sind dynamisch: Sie werden für jede Eingabe neu berechnet — anders als statische CNN-Filter oder feste Dense-Layer-Gewichte.
Achtung: Transformers "verstehen" keine Sprache
Transformers berechnen statistische Muster, keine Bedeutung. Die Attention-Gewichte zeigen Korrelationen, nicht echtes Sprachverständnis. Die beeindruckenden Ergebnisse entstehen durch Mustererkennung auf massiven Datenmengen — nicht durch Kognition.
Ausprobieren: Self-Attention Schritt für Schritt
Sieh dir an, wie Self-Attention die Attention-Gewichte für das Token "Fuchs" im Beispielsatz "Der schlaue Fuchs" berechnet:
Schritt 1 / 6Tokens bereit
Drei Tokens stehen in der Sequenz. Self-Attention berechnet jetzt, wie viel Aufmerksamkeit jedes Token jedem anderen schenkt — alles gleichzeitig, parallel.
Query, Key, Value — Die Mechanik der Attention
Wie Attention tatsächlich berechnet wird — Schritt für Schritt:
Query, Key, Value
AnalogieDefinition
Stell dir eine Bibliotheksrecherche vor. Du gehst mit einer konkreten Forschungsfrage (deine Query) in die Bibliothek. Jedes Buch hat eine Karteikarte, die seinen Inhalt beschreibt (sein Key). Du vergleichst deine Frage mit jeder Karteikarte — manche passen gut (hohes Skalarprodukt), andere nicht. Für die passenden Bücher liest du die relevanten Passagen (ihre Values). Das Endergebnis ist eine Mischung der Informationen aller relevanten Bücher, gewichtet danach, wie gut jede Karteikarte zu deiner Frage passte.
Beispiel
In einer echten Bibliothek wählt man typischerweise ein oder zwei am besten passende Bücher. Self-Attention berechnet eine gewichtete Kombination ALLER Values — jedes Token trägt etwas bei, auch wenn die meisten Beiträge nach Softmax nahe null sind.
Analogie:
Stell dir eine Bibliotheksrecherche vor. Du gehst mit einer konkreten Forschungsfrage (deine Query) in die Bibliothek. Jedes Buch hat eine Karteikarte, die seinen Inhalt beschreibt (sein Key). Du vergleichst deine Frage mit jeder Karteikarte — manche passen gut (hohes Skalarprodukt), andere nicht. Für die passenden Bücher liest du die relevanten Passagen (ihre Values). Das Endergebnis ist eine Mischung der Informationen aller relevanten Bücher, gewichtet danach, wie gut jede Karteikarte zu deiner Frage passte.
Beispiel
In einer echten Bibliothek wählt man typischerweise ein oder zwei am besten passende Bücher. Self-Attention berechnet eine gewichtete Kombination ALLER Values — jedes Token trägt etwas bei, auch wenn die meisten Beiträge nach Softmax nahe null sind.
Definition:
Jedes Token wird in drei Vektoren projiziert: Query (welche Information sucht dieses Token?), Key (welche Information bietet es an?) und Value (welcher Inhalt steckt drin?). Attention-Scores werden als skalierte Skalarprodukte berechnet: Score = (Q · K^T) / sqrt(d_k). Softmax wandelt die Scores in Wahrscheinlichkeiten um. Die Ausgabe ist eine gewichtete Summe aller Value-Vektoren.
Attention-Formel
Attention(Q, K, V) = softmax(Q · KT / √dk) · V
Mini-Attention für "Der schlaue Fuchs" (3 Tokens, d_k = 4).
Ergebnis "Fuchs" richtet seine Aufmerksamkeit hauptsächlich auf sich selbst — seine eigene Information dominiert.
Deep Dive: Der Skalierungsfaktor sqrt(d_k)
Ohne die Division durch sqrt(d_k) werden die Dot Products bei hohen Dimensionen sehr groß. Große Werte drücken Softmax in extreme Werte (nahe 0 oder 1), was zu verschwindenden Gradienten führt — die sogenannte "Softmax-Sättigung". Division durch sqrt(d_k) hält die Werte in einem moderaten Bereich, sodass Softmax differenzierbare Wahrscheinlichkeiten liefert und das Training stabil bleibt.
Interaktiv: Die Attention-Formel
Klicke auf Q, K oder V, um zu verstehen, was jeder Vektor in der Attention-Berechnung tut:
Attention-Formel
Q·Kᵀ→V
Q — Query
Der Query-Vektor kodiert, welche Information dieses Token sucht. Jedes Token erzeugt seine eigene Query durch Multiplikation seines Embeddings mit der gelernten Gewichtsmatrix W_Q. Die Query wird dann mit allen Keys verglichen, um die Relevanz zu bestimmen.
Konkretes Beispiel
Formel: Attention(Q, K, V) = softmax(Q·Kᵀ/√dₖ) · V
2Division durch √d_k verhindert Softmax-Sättigung → [1, 1, 4]
3Softmax normalisiert zu Wahrscheinlichkeiten → [0.05, 0.05, 0.90]
4Gewichtete Summe der V-Vektoren → Ausgabe [0.95, 0.95]
Der Transformer-Block — Die Maschine zusammenbauen
Die drei Komponenten eines Transformer-Blocks im Detail:
Transformer-Block
AnalogieDefinition
Stell dir einen Transformer-Block als Ausschuss-Sitzung in drei Phasen vor. Phase 1 (Multi-Head Attention): Mehrere Expertengremien diskutieren den Input gleichzeitig — eines analysiert Grammatik, ein anderes Bedeutung, ein weiteres verfolgt Referenzen. Phase 2 (Add & Norm): Jeder Teilnehmer schreibt eine Zusammenfassung, die die neuen Diskussionsergebnisse mit seinen ursprünglichen Notizen kombiniert (Residual Connection = "vergiss nicht, was du bereits wusstest"). Phase 3 (Feed-Forward): Jeder Teilnehmer verarbeitet und konsolidiert sein aktualisiertes Verständnis privat, bevor die nächste Diskussionsrunde beginnt.
Beispiel
Ausschuss-Mitglieder beeinflussen sich gegenseitig während der Diskussion. In Multi-Head Attention arbeiten die Heads komplett unabhängig und parallel — sie kommunizieren nicht miteinander innerhalb desselben Blocks.
Analogie:
Stell dir einen Transformer-Block als Ausschuss-Sitzung in drei Phasen vor. Phase 1 (Multi-Head Attention): Mehrere Expertengremien diskutieren den Input gleichzeitig — eines analysiert Grammatik, ein anderes Bedeutung, ein weiteres verfolgt Referenzen. Phase 2 (Add & Norm): Jeder Teilnehmer schreibt eine Zusammenfassung, die die neuen Diskussionsergebnisse mit seinen ursprünglichen Notizen kombiniert (Residual Connection = "vergiss nicht, was du bereits wusstest"). Phase 3 (Feed-Forward): Jeder Teilnehmer verarbeitet und konsolidiert sein aktualisiertes Verständnis privat, bevor die nächste Diskussionsrunde beginnt.
Beispiel
Ausschuss-Mitglieder beeinflussen sich gegenseitig während der Diskussion. In Multi-Head Attention arbeiten die Heads komplett unabhängig und parallel — sie kommunizieren nicht miteinander innerhalb desselben Blocks.
Definition:
Ein Transformer-Block hat drei Komponenten: (1) Multi-Head Attention — mehrere parallele Attention-Berechnungen, die verschiedene Beziehungsmuster lernen. (2) Add & Norm — eine Residual Connection addiert den Original-Input zum Attention-Output (verhindert Vanishing Gradients), gefolgt von Layer Normalization für Trainingsstabilität. (3) Feed-Forward Network — zwei Dense Layers mit ReLU, angewendet unabhängig auf jedes Token.
Transformer-Block: Datenfluss
Multi-Head Attention
Mehrere parallele Attention-Berechnungen — jeder Head lernt andere Muster (Grammatik, Semantik, Referenzen)
Add & Norm
Residual Connection + Layer Normalization — stabilisiert den Gradientenfluss in tiefen Netzwerken
Feed-Forward Network
Zwei Dense Layers mit ReLU — verarbeitet die von Attention gesammelten Informationen pro Token
Add & Norm
Zweite Residual Connection + Normalization — Ausgabe bereit für den nächsten Block
Moderne Modelle stapeln Dutzende bis Hunderte solcher Blocks:
96Blocks
Transformer-Blocks GPT-3: 96 Blocks, je 96 Attention-Heads
Das Paper "Attention Is All You Need" — Vaswani et al.
2018 Publikationen
BERT verbessert Sprachverständnis erheblich
Ein wichtiger Fortschritt der bidirektionalen Sprachmodelle und die Geburt des modernen NLP. Im Oktober 2018 veröffentlichten Jacob Devlin und sein Team bei Google Research das Paper zu BERT – Bidirectional Encoder Representations from Transformers. Diese Innovation veränderte die Sprachverarbeitung erheblich, indem sie erstmals tiefe bidirektionale Repräsentationen aus unmarkierten Texten trainierte. Im Gegensatz zu vorherigen Modellen berücksichtigt BERT sowohl linken als auch rechten Kontext in allen Schichten gleichzeitig. Das Ergebnis war bemerkenswert: BERT erreichte neue Bestwerte in elf NLP-Aufgaben und verbesserte den GLUE-Score um beachtliche 7,7 Prozentpunkte auf 80,5%. Das eigentliche Pre-Training verschlang zwar mehrere Tage auf vielen TPUs — doch die Open-Source-Veröffentlichung demokratisierte Spitzentechnologie: Das fertig vortrainierte Modell ließ sich auf einer einzelnen Cloud-TPU in rund 30 Minuten an die eigene Aufgabe feinjustieren (Fine-Tuning). BERT etablierte das Pre-Training-Fine-Tuning-Paradigma, das heute die Grundlage aller großen Sprachmodelle bildet.
Achtung: Mehr Attention-Heads = nicht automatisch besser
Mehr Heads bedeuten mehr parallele Perspektiven, aber nicht zwangsläufig bessere Ergebnisse. Die Heads teilen sich die Gesamtdimension — bei gleicher Modellgröße werden die einzelnen Heads kleiner. Die optimale Head-Anzahl hängt von der Aufgabe und der Modellgröße ab.
Deep Dive: O(n²) — Die quadratischen Kosten der Attention
Self-Attention vergleicht jedes Token mit jedem anderen — das sind n × n Vergleiche. Verdoppelt sich die Sequenzlänge, vervierfachen sich die Kosten. Bei 1.000 Tokens: 1 Million Vergleiche. Bei 10.000 Tokens: 100 Millionen. Das ist der Grund, warum Kontextlänge ein hartes Problem ist: GPT-3 war auf 2.048 Tokens begrenzt. Moderne Modelle nutzen verschiedene Optimierungen (Flash Attention, Sparse Attention), um längere Kontexte zu ermöglichen — aber die quadratische Grundkomplexität bleibt.
Das Wichtigste
Self-Attention gibt jedem Token direkten Zugriff auf jedes andere Token — parallel, ohne sequenziellen Flaschenhals und ohne Vanishing Gradient über Distanz. Die Gewichte sind dynamisch (für jede Eingabe neu berechnet), nicht statisch wie CNN-Filter.
Der QKV-Mechanismus strukturiert Attention als Informationsabrufsystem: Query fragt "was brauche ich?", Key bietet an "was habe ich?", Value liefert den eigentlichen Inhalt. Das Skalarprodukt Q·K misst Relevanz, Softmax normalisiert zu Wahrscheinlichkeiten.
Ein Transformer-Block kombiniert Multi-Head Attention, Residual Connections mit Layer Normalization und ein Feed-Forward Network. GPT-3 stapelt 96 solcher Blocks mit je 96 Heads — 175 Milliarden Parameter insgesamt.
Checkpoint
Welche beiden fundamentalen Probleme von RNNs löst Self-Attention, und wie genau tut es das?
Erkläre an einem einfachen Beispiel die einzelnen Schritte der QKV-Attention-Berechnung: Skalarprodukte, Skalierung, Softmax und gewichtete Ausgabe.
Aus welchen drei Komponenten besteht ein Transformer-Block, und warum ermöglicht diese Architektur massive GPU-Parallelisierung?
Quiz: Transformers & Attention
Frage 1 / 4
Noch offen
Welches fundamentale Problem von RNNs löst Self-Attention, indem es jedem Token direkten Zugriff auf jedes andere gibt?
1. Welches fundamentale Problem von RNNs löst Self-Attention, indem es jedem Token direkten Zugriff auf jedes andere gibt?
☐ A) RNNs sind zu langsam zum Trainieren auf GPUs.
☐ B) Information von frühen Tokens geht über lange Sequenzen verloren (Vanishing Gradient), weil sie durch jeden Hidden State durchlaufen muss.
☐ C) RNNs können nur Bilder verarbeiten, keinen Text.
☐ D) RNNs erzeugen zu viele Parameter.
2. In der QKV-Attention-Berechnung ist das Skalarprodukt Q·K für Token A und B gleich 12, und d_k = 64. Was ist der skalierte Score vor Softmax?
☐ A) 12
☐ B) 12/64 = 0,1875
☐ C) 12/8 = 1,5
☐ D) 12 × 8 = 96
3. Ein Transformer-Modell hat 12 Blocks, jeder mit 12 Attention-Heads. Wie viele verschiedene Attention-Muster werden insgesamt über alle Blocks berechnet?
☐ A) 12 (eins pro Block)
☐ B) 24 (12 Blocks + 12 Heads)
☐ C) 144 (12 Blocks × 12 Heads)
☐ D) 48 (12 Blocks × 4 Tokens)
4. Self-Attention hat O(n²) Rechenkomplexität, wobei n die Sequenzlänge ist. Wenn ein 1.000-Token-Dokument X Rechenaufwand braucht, wie viel mehr braucht ein 10.000-Token-Dokument ungefähr?
☐ A) 10-mal mehr (lineares Wachstum)
☐ B) 100-mal mehr (quadratisches Wachstum: 10² = 100)