Zeit & Sequenzen (RNNs)
Die Architektur, die KI Gedächtnis gab — bevor jemand einen besseren Weg fand.
Jede Architektur, die du bisher kennengelernt hast, sieht Daten als Momentaufnahme — alles auf einmal, eingefroren in der Zeit. Aber Sprache entfaltet sich Wort für Wort, Musik Note für Note, und Aktienkurse schwanken Tick für Tick. Ordne die Elemente um und die Bedeutung ändert sich.
Recurrent Neural Networks waren die erste Architektur, die neuronalen Netzen etwas wie ein Gedächtnis gab — eine Schleife, die Information von einem Schritt zum nächsten trägt. Dieser Artikel erklärt, wie diese Schleife funktioniert, warum sie bei langen Sequenzen unvermeidlich versagt und wie LSTMs ein Jahrzehnt lang die Lösung lieferten, bevor Transformer alles veränderten.
Warum Reihenfolge zählt — Das Problem sequenzieller Daten
Definition
Sequenzielle Daten & Rekurrenz
Analogie
Beispiel
Definition
Text, Zeitreihen und Audio — drei Domänen, die alle die gleiche Eigenschaft teilen: Die Reihenfolge der Elemente bestimmt die Bedeutung.
Sieht alle Eingaben gleichzeitig. Bekommt es die Wörter als Bag-of-Words, fehlt ihm jedes Konzept von Reihenfolge. Dann kann es „Der Hund beißt den Mann“ nicht von „Der Mann beißt den Hund“ unterscheiden.
Verarbeitet Eingaben Schritt für Schritt. Der Hidden State trägt den Kontext vorheriger Schritte weiter. Reihenfolge bleibt erhalten.
„Der Hund beißt den Mann“ vs. „Der Mann beißt den Hund“ — identisches Vokabular, umgekehrte Bedeutung. Ein Feedforward-Netz, das jedes Wort unabhängig behandelt, kann diese Sätze nicht unterscheiden, weil es denselben Bag-of-Words sieht. Ein RNN verarbeitet von links nach rechts: Wenn es „beißt“ erreicht, weiß es bereits, ob „Hund“ oder „Mann“ zuerst kam.
Achtung
Missverständnis: CNNs können auch Sequenzen verarbeiten
Teilweise richtig: 1D-CNNs erkennen lokale sequenzielle Muster effektiv. Aber ihr rezeptives Feld ist begrenzt. Für Langstrecken-Abhängigkeiten (Wort 1 mit Wort 200 verbinden) sind Rekurrenz oder Attention-Mechanismen nötig.
Die Rekurrenz-Schleife — Wie RNNs sich erinnern
Definition
Hidden State
Analogie
Beispiel
Definition
Die Kernidee eines RNN ist einfach: Nutze dieselben Gewichte bei jedem Zeitschritt und trage einen Hidden State von Schritt zu Schritt weiter. Das ermöglicht es, Sequenzen beliebiger Länge zu verarbeiten.
- 1. x₁ → h₁Erste Eingabe erzeugt ersten Hidden State
- 2. x₂ + h₁ → h₂Zweite Eingabe verschmilzt mit dem Gedächtnis aus Schritt 1 (das + bedeutet nicht einfaches Addieren — das Netz kombiniert beides durch gelernte Gewichte)
- 3. x₃ + h₂ → h₃Dritte Eingabe verschmilzt mit dem bisher angesammelten Kontext
- 4. hₜ → OutputFinaler Hidden State liefert die Vorhersage
Parameter Sharing: Dieselben Gewichtsmatrizen W_h und W_x werden bei JEDEM Zeitschritt wiederverwendet. Das bedeutet: Ein RNN kann Sequenzen beliebiger Länge verarbeiten, ohne dass die Parameterzahl wächst.
Das Vanishing-Gradient-Problem
Um ein RNN zu trainieren, wird es zeitlich „entrollt“ und die Gradienten werden durch die gesamte Kette rückwärts propagiert — Backpropagation Through Time (BPTT). Dabei wird die Kettenregel bei jedem Zeitschritt angewendet, was eine Multiplikation mit derselben Gewichtsmatrix bedeutet. Wenn die Beträge der Eigenwerte dieser Matrix unter 1 liegen, schrumpft der Gradient exponentiell gegen null.
„Ich bin in Frankreich aufgewachsen. [...100 Wörter...] Ich spreche fließend ___.“ Die korrekte Antwort ist „Französisch“, aber das Signal von „Frankreich“ muss 100+ Zeitschritte überleben. Bei einem Faktor von 0.9 pro Schritt: 0.9¹⁰⁰ ≈ 0.0000266 — praktisch null. Das Netz kann die Verbindung nicht lernen.
Achtung
Missverständnis: RNNs erinnern sich an alles
Nein! Der Hidden State ist ein Vektor fester Größe. Er komprimiert alle bisherigen Informationen in eine endliche Repräsentation. Mit jeder neuen Eingabe werden ältere Informationen progressiv überschrieben. Selbst ohne Vanishing Gradients ist der Hidden State eine verlustbehaftete Zusammenfassung, keine perfekte Aufzeichnung.
Der Gradient für den ersten Zeitschritt ergibt sich aus: ∂L/∂h₁ = ∂L/∂h_T · ∏(∂h_t/∂h_{t-1}) für t=2..T. Jeder Faktor enthält die Gewichtsmatrix W_h. Wenn die Beträge der Eigenwerte von W_h kleiner als 1 sind, konvergiert das Produkt exponentiell gegen null. Wenn sie größer als 1 sind, kann es explodieren — Gradient Clipping kappt dann den Gradienten bei einem Schwellenwert. LSTMs umgehen das Problem durch additive Updates auf dem Cell State statt multiplikativer Verkettung.
Interaktiv: RNN Schritt für Schritt
Klicke dich durch die einzelnen Zeitschritte eines entrollten RNN. Beobachte, wie der Hidden State von Zelle zu Zelle fließt und bei jedem Schritt neue Eingabeinformation aufnimmt. Achte besonders darauf, dass alle Zellen dieselben Gewichte verwenden.
Ein RNN wird zeitlich entrollt dargestellt: 4 Zeitschritte, jeder mit eigener Eingabe x. Der Hidden State h fließt von links nach rechts und trägt den Kontext weiter.
Gates zur Rettung — LSTM und GRU
Das Long Short-Term Memory (LSTM) Netzwerk, erfunden 1997 von Hochreiter und Schmidhuber (das Forget Gate kam 1999 durch Gers et al. dazu), ersetzt das einfache Hidden-State-Update durch eine Speicherzelle mit drei gelernten Gates.
LSTM-Zelle: Informationsfluss durch die Gates
Sigmoid: Entscheidet, was aus dem Langzeitgedächtnis gelöscht wird (0 = vergessen, 1 = behalten)
Sigmoid: Entscheidet, welche neuen Informationen in den Speicher geschrieben werden
Sigmoid: Entscheidet, welcher Teil des Speichers als aktueller Hidden State ausgegeben wird
Das Langzeitgedächtnis: Information fließt nahezu unverändert durch (Constant Error Carousel)
Stell dir die LSTM-Zelle als einen gesicherten Aktenschrank mit drei Schlössern vor. Das Forget Gate lässt dich alte, irrelevante Dokumente schreddern. Das Input Gate lässt dich neue, wichtige Dokumente ablegen. Das Output Gate kontrolliert, welche Dokumente du jetzt herausnimmst, um damit zu arbeiten. Der entscheidende Punkt: Du kannst Dokumente im Schrank lassen, solange sie relevant sind — sie verfallen nicht über die Zeit wie der Hidden State eines normalen RNN.
Der Constant Error Carousel — der Cell State — ermöglicht es, dass Gradienten nahezu unverändert durch die Zelle fließen. Weil das Forget Gate lernen kann, seine Werte nahe 1.0 zu halten, wird der Gradient nicht exponentiell abgeschwächt.
GRU: Die vereinfachte Alternative
Die Gated Recurrent Unit (GRU), eingeführt 2014 von Cho et al., vereinfacht die LSTM-Architektur auf zwei Gates (Update und Reset) und erreicht vergleichbare Leistung mit weniger Parametern.
RNN-Konzept
Rumelhart et al. zeigen, wie man rekurrente Netze in der Zeit entrollt und per Backpropagation trainiert
Vanishing Gradient identifiziert
Hochreiter zeigt in seiner Diplomarbeit, dass Gradienten in tiefen rekurrenten Netzen exponentiell verschwinden
LSTM
Hochreiter & Schmidhuber erfinden das Long Short-Term Memory — Gates kontrollieren den Informationsfluss
GRU
Cho et al. vereinfachen LSTM auf zwei Gates — vergleichbare Leistung mit weniger Parametern
Google NMT
Google Translate wechselt zu LSTM-basierter Neural Machine Translation — dramatische Qualitätsverbesserung
Transformer
Vaswani et al. ersetzen Rekurrenz durch Self-Attention — parallele Verarbeitung aller Positionen
Praxisbeispiel: Google Translate
Vor 2016 verwendete Google Translate phrase-basierte statistische Modelle, die Satzfragmente unabhängig übersetzten — oft mit grammatisch fehlerhafter Ausgabe. 2016 wechselte Google zu Neural Machine Translation auf Basis tiefer LSTMs, was dramatisch flüssigere Übersetzungen erzeugte. 2017 stellte ein Google-Team den Transformer vor; 2020 ersetzte Google Translate sein LSTM-System durch ein Modell mit Transformer-Encoder (der Decoder blieb ein RNN) und lieferte einen weiteren Qualitätssprung — ein Vorgeschmack auf den nächsten Artikel in deinem Lernpfad. Seit Dezember 2025 nutzt Google Translate zudem Gemini, ein großes Sprachmodell auf Transformer-Basis, für Textübersetzungen, zunächst in den USA und Indien zwischen Englisch und knapp 20 Sprachen.
Attention Mechanism: Der Schlüssel zu modernen LLMs
September 2014: Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio veröffentlichten ein Paper, das die NLP-Welt nachhaltig verändern sollte. 'Neural Machine Translation by Jointly Learning to Align and Translate' löste ein grundlegendes Problem der Sequence-to-Sequence-Modelle. Bisherige Encoder-Decoder-Architekturen quetschten jeden Eingabesatz in einen einzigen Festlängen-Vektor - ein Informations-Flaschenhals bei langen Sätzen. Die Bahdanau-Attention war ein bedeutender Fortschritt: Statt einem fixen Vektor nutzte das Modell dynamische Aufmerksamkeit auf verschiedene Teile des Eingabesatzes. Wie das menschliche Auge beim Lesen springt die KI-Attention zwischen relevanten Wörtern hin und her. Diese 'Additive Attention' wurde zum konzeptionellen Wegbereiter moderner NLP-Systeme. Der spätere Transformer (2017) baute auf der Attention-Idee auf, ersetzte die additive Variante aber durch effizientere Scaled-Dot-Product-Attention. Ohne Bahdanaus Attention-Konzept keine Transformer, ohne Transformer keine GPT-Familie oder BERT. Dieser Durchbruch ereignete sich drei Jahre vor 'Attention Is All You Need.'
Achtung
Missverständnis: LSTMs haben unendliches Gedächtnis
Nein! LSTMs vergessen auch — aber kontrolliert und gelernt, statt durch unkontrollierten exponentiellen Verfall wie bei normalen RNNs. Das Forget Gate entscheidet aktiv, was verworfen wird. Bei sehr langen Sequenzen stoßen auch LSTMs an ihre Grenzen.
Trotz ihres Erfolgs behalten beide Architekturen die fundamentale Einschränkung der sequenziellen Verarbeitung: Jeder Schritt muss auf den vorherigen warten, was Parallelisierung über die Zeitschritte auf GPUs unmöglich macht. Dieser sequenzielle Flaschenhals motivierte direkt die Transformer-Architektur — der nächste Artikel in deinem Lernpfad.
Transformer haben quadratische Kosten mit der Sequenzlänge (O(n²) Attention). State Space Models wie Mamba (2023) erreichen lineare Skalierung durch eine gelernte Rekurrenz. Streaming-Anwendungen (Echtzeit-Audio, Sensor-Monitoring), bei denen die Latenz entscheidend ist, profitieren von RNN-artigen Architekturen. Hybride Architekturen kombinieren Attention und Rekurrenz: Bei den Qwen3.5-Modellen (2026) folgt etwa auf je drei rekurrente Schichten (Gated DeltaNet) eine Attention-Schicht. Die Kernbotschaft: Das Rekurrenz-Prinzip ist nicht tot — es hat sich weiterentwickelt.
Merke
Kernaussagen
- Sequenzielle Daten tragen Bedeutung in ihrer Reihenfolge — Feedforward-Netze haben dafür kein eingebautes Konzept (als Bag-of-Words geht die Reihenfolge ganz verloren), während RNNs Schritt für Schritt mit einem Hidden State verarbeiten, der Kontext akkumuliert.
- Das Vanishing-Gradient-Problem ist kein Bug, sondern mathematische Unvermeidlichkeit: Wiederholte Multiplikation durch lange Ketten lässt Gradienten exponentiell schrumpfen und zerstört das Langzeitgedächtnis.
- LSTMs lösen das mit Gates, die lernen, WAS zu erinnern und zu vergessen — aber ihre strikt sequenzielle Verarbeitung macht sie langsam und bereitet den Weg für Transformer.
Prüfen
Überprüfe dein Verständnis
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen
Prüfen
Quiz: Recurrent Neural Networks
Was ist der Hauptzweck des Hidden State in einem Recurrent Neural Network?
Wähle eine Antwort
1. Was ist der Hauptzweck des Hidden State in einem Recurrent Neural Network?
2. Warum haben Standard-RNNs (Vanilla RNNs) Schwierigkeiten mit langen Sequenzen?
3. Ein RNN verarbeitet einen Satz mit 200 Wörtern. Bei jedem Zeitschritt wird der Gradient mit einem Faktor von 0.95 multipliziert. Wie groß ist ungefähr die Gradientenstärke, die das erste Wort erreicht (0.95²⁰⁰)?
4. In einer LSTM-Zelle gibt das Forget Gate den Vektor [0.1, 0.9, 0.0, 1.0] für einen vierdimensionalen Cell State aus. Was passiert mit jeder Dimension?
5. Google Translate wechselte 2016 von phrase-basierten Modellen zu LSTM-basierter Neural Machine Translation; 2017 stellte ein Google-Team den Transformer vor. Welche fundamentale RNN-Limitation motivierte diese neue Architektur?
6. Ein Kollege behauptet: „Da Transformer RNNs in der Sprachverarbeitung ersetzt haben, sind rekurrente Architekturen komplett veraltet.“ Warum ist diese Aussage eine Vereinfachung?