Zurück zum Lernbereich

Zeit & Sequenzen (RNNs)

Die Architektur, die KI Gedächtnis gab — bevor jemand einen besseren Weg fand.

  • Architekturen
  • 14 min
  • Experte

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: RNNs: Neuronale Netze mit Gedächtnis

Was ist ein RNN?

Ein RNN ist ein neuronales Netz mit Gedächtnis. RNN steht für Recurrent Neural Network. Es verarbeitet Daten der Reihe nach. Jeder Schritt nutzt das Ergebnis des vorigen Schritts.

Das Vergessen-Problem

RNNs haben ein Problem bei langen Texten. Das Problem heißt Vanishing Gradient. Das bedeutet: Frühe Informationen gehen verloren. Das Netz vergisst, was am Anfang stand.

LSTMs: Gedächtnis mit Kontrolle

LSTMs lösen das Problem. LSTM bedeutet: Gedächtniszellen mit Steuerung. Ein LSTM hat drei Schalter. Diese Schalter heißen Gates. Gates entscheiden: Was bleibt? Was wird vergessen?

Jede Architektur, die du bisher kennengelernt hast, sieht Daten als Momentaufnahme — alles auf einmal, eingefroren in der Zeit. Aber Sprache entfaltet sich Wort für Wort, Musik Note für Note, und Aktienkurse schwanken Tick für Tick. Ordne die Elemente um und die Bedeutung ändert sich.

Recurrent Neural Networks waren die erste Architektur, die neuronalen Netzen etwas wie ein Gedächtnis gab — eine Schleife, die Information von einem Schritt zum nächsten trägt. Dieser Artikel erklärt, wie diese Schleife funktioniert, warum sie bei langen Sequenzen unvermeidlich versagt und wie LSTMs ein Jahrzehnt lang die Lösung lieferten, bevor Transformer alles veränderten.

Warum Reihenfolge zählt — Das Problem sequenzieller Daten

Definition

Sequenzielle Daten & Rekurrenz

Analogie

Stell dir vor, jemand reißt alle Seiten eines Kriminalromans heraus und gibt sie dir in zufälliger Reihenfolge. Du hast alle Worte und Hinweise — aber das Rätsel ist unlösbar. Die Enthüllung auf Seite 200 ergibt nur Sinn, weil du Seiten 1 bis 199 vorher gelesen hast. Ein Feedforward-Netz liest den durchmischten Stapel. Ein RNN liest Seite für Seite, in der richtigen Reihenfolge.

Beispiel

Ein Krimi folgt einer von einem Autor geplanten Plotstruktur. Sequenzielle Daten in der realen Welt (z.B. Aktienkurse) haben keine geplante Handlung — aber die zeitliche Abhängigkeit ist real.

Text, Zeitreihen und Audio — drei Domänen, die alle die gleiche Eigenschaft teilen: Die Reihenfolge der Elemente bestimmt die Bedeutung.

Feedforward-Netz

Sieht alle Eingaben gleichzeitig. Bekommt es die Wörter als Bag-of-Words, fehlt ihm jedes Konzept von Reihenfolge. Dann kann es „Der Hund beißt den Mann“ nicht von „Der Mann beißt den Hund“ unterscheiden.

Recurrent Neural Network

Verarbeitet Eingaben Schritt für Schritt. Der Hidden State trägt den Kontext vorheriger Schritte weiter. Reihenfolge bleibt erhalten.

„Der Hund beißt den Mann“ vs. „Der Mann beißt den Hund“ — identisches Vokabular, umgekehrte Bedeutung. Ein Feedforward-Netz, das jedes Wort unabhängig behandelt, kann diese Sätze nicht unterscheiden, weil es denselben Bag-of-Words sieht. Ein RNN verarbeitet von links nach rechts: Wenn es „beißt“ erreicht, weiß es bereits, ob „Hund“ oder „Mann“ zuerst kam.

Achtung

Missverständnis: CNNs können auch Sequenzen verarbeiten

Teilweise richtig: 1D-CNNs erkennen lokale sequenzielle Muster effektiv. Aber ihr rezeptives Feld ist begrenzt. Für Langstrecken-Abhängigkeiten (Wort 1 mit Wort 200 verbinden) sind Rekurrenz oder Attention-Mechanismen nötig.

Die Rekurrenz-Schleife — Wie RNNs sich erinnern

Definition

Hidden State

Analogie

Stell dir ein Fabrik-Fließband vor, wo jede Station (Zeitschritt) ein Produkt empfängt und es basierend auf dem aktuellen Zustand UND dem, was die vorherige Station weitergab (der Hidden State), modifiziert. Die Arbeitsanweisungen (Gewichte) sind an jeder Station identisch. Vorwärts am Fließband bauen wir das Produkt Schritt für Schritt auf — das ist der Vorwärtspass. Wenn aber der Qualitätskontrolleur (Gradient) rückwärts einen Defekt durch 100 Stationen zurückverfolgt, verblasst sein Feedback-Signal bei jeder Station — wie bei Stille Post, wo die Nachricht bei jeder Weitergabe leiser wird.

Beispiel

Am Fließband wird das physische Produkt verändert. Im RNN bleibt die ursprüngliche Eingabe unverändert — der Hidden State ist eine mathematische Zusammenfassung, keine physische Kopie.

Die Kernidee eines RNN ist einfach: Nutze dieselben Gewichte bei jedem Zeitschritt und trage einen Hidden State von Schritt zu Schritt weiter. Das ermöglicht es, Sequenzen beliebiger Länge zu verarbeiten.

  1. 1. x₁ → h₁Erste Eingabe erzeugt ersten Hidden State
  2. 2. x₂ + h₁ → h₂Zweite Eingabe verschmilzt mit dem Gedächtnis aus Schritt 1 (das + bedeutet nicht einfaches Addieren — das Netz kombiniert beides durch gelernte Gewichte)
  3. 3. x₃ + h₂ → h₃Dritte Eingabe verschmilzt mit dem bisher angesammelten Kontext
  4. 4. hₜ → OutputFinaler Hidden State liefert die Vorhersage
hₜ = f(Wₕ · hₜ₋₁ + Wₓ · xₜ + b)
Hidden State Update-Gleichung

Parameter Sharing: Dieselben Gewichtsmatrizen W_h und W_x werden bei JEDEM Zeitschritt wiederverwendet. Das bedeutet: Ein RNN kann Sequenzen beliebiger Länge verarbeiten, ohne dass die Parameterzahl wächst.

Das Vanishing-Gradient-Problem

Um ein RNN zu trainieren, wird es zeitlich „entrollt“ und die Gradienten werden durch die gesamte Kette rückwärts propagiert — Backpropagation Through Time (BPTT). Dabei wird die Kettenregel bei jedem Zeitschritt angewendet, was eine Multiplikation mit derselben Gewichtsmatrix bedeutet. Wenn die Beträge der Eigenwerte dieser Matrix unter 1 liegen, schrumpft der Gradient exponentiell gegen null.

„Ich bin in Frankreich aufgewachsen. [...100 Wörter...] Ich spreche fließend ___.“ Die korrekte Antwort ist „Französisch“, aber das Signal von „Frankreich“ muss 100+ Zeitschritte überleben. Bei einem Faktor von 0.9 pro Schritt: 0.9¹⁰⁰ ≈ 0.0000266 — praktisch null. Das Netz kann die Verbindung nicht lernen.

Achtung

Missverständnis: RNNs erinnern sich an alles

Nein! Der Hidden State ist ein Vektor fester Größe. Er komprimiert alle bisherigen Informationen in eine endliche Repräsentation. Mit jeder neuen Eingabe werden ältere Informationen progressiv überschrieben. Selbst ohne Vanishing Gradients ist der Hidden State eine verlustbehaftete Zusammenfassung, keine perfekte Aufzeichnung.

Der Gradient für den ersten Zeitschritt ergibt sich aus: ∂L/∂h₁ = ∂L/∂h_T · ∏(∂h_t/∂h_{t-1}) für t=2..T. Jeder Faktor enthält die Gewichtsmatrix W_h. Wenn die Beträge der Eigenwerte von W_h kleiner als 1 sind, konvergiert das Produkt exponentiell gegen null. Wenn sie größer als 1 sind, kann es explodieren — Gradient Clipping kappt dann den Gradienten bei einem Schwellenwert. LSTMs umgehen das Problem durch additive Updates auf dem Cell State statt multiplikativer Verkettung.

Interaktiv: RNN Schritt für Schritt

Klicke dich durch die einzelnen Zeitschritte eines entrollten RNN. Beobachte, wie der Hidden State von Zelle zu Zelle fließt und bei jedem Schritt neue Eingabeinformation aufnimmt. Achte besonders darauf, dass alle Zellen dieselben Gewichte verwenden.

x₀x₁x₂x₃h₋₁h₀h₁h₂h₃RNNRNNRNNRNN
Schritt 1 / 7Übersicht: Entrolltes RNN

Ein RNN wird zeitlich entrollt dargestellt: 4 Zeitschritte, jeder mit eigener Eingabe x. Der Hidden State h fließt von links nach rechts und trägt den Kontext weiter.

Steuerung
Schritte

Gates zur Rettung — LSTM und GRU

Das Long Short-Term Memory (LSTM) Netzwerk, erfunden 1997 von Hochreiter und Schmidhuber (das Forget Gate kam 1999 durch Gers et al. dazu), ersetzt das einfache Hidden-State-Update durch eine Speicherzelle mit drei gelernten Gates.

LSTM-Zelle: Informationsfluss durch die Gates

Forget Gate

Sigmoid: Entscheidet, was aus dem Langzeitgedächtnis gelöscht wird (0 = vergessen, 1 = behalten)

Input Gate

Sigmoid: Entscheidet, welche neuen Informationen in den Speicher geschrieben werden

Output Gate

Sigmoid: Entscheidet, welcher Teil des Speichers als aktueller Hidden State ausgegeben wird

Cell State

Das Langzeitgedächtnis: Information fließt nahezu unverändert durch (Constant Error Carousel)

Stell dir die LSTM-Zelle als einen gesicherten Aktenschrank mit drei Schlössern vor. Das Forget Gate lässt dich alte, irrelevante Dokumente schreddern. Das Input Gate lässt dich neue, wichtige Dokumente ablegen. Das Output Gate kontrolliert, welche Dokumente du jetzt herausnimmst, um damit zu arbeiten. Der entscheidende Punkt: Du kannst Dokumente im Schrank lassen, solange sie relevant sind — sie verfallen nicht über die Zeit wie der Hidden State eines normalen RNN.

Der Constant Error Carousel — der Cell State — ermöglicht es, dass Gradienten nahezu unverändert durch die Zelle fließen. Weil das Forget Gate lernen kann, seine Werte nahe 1.0 zu halten, wird der Gradient nicht exponentiell abgeschwächt.

GRU: Die vereinfachte Alternative

Die Gated Recurrent Unit (GRU), eingeführt 2014 von Cho et al., vereinfacht die LSTM-Architektur auf zwei Gates (Update und Reset) und erreicht vergleichbare Leistung mit weniger Parametern.

1986

RNN-Konzept

Rumelhart et al. zeigen, wie man rekurrente Netze in der Zeit entrollt und per Backpropagation trainiert

1991

Vanishing Gradient identifiziert

Hochreiter zeigt in seiner Diplomarbeit, dass Gradienten in tiefen rekurrenten Netzen exponentiell verschwinden

1997

LSTM

Hochreiter & Schmidhuber erfinden das Long Short-Term Memory — Gates kontrollieren den Informationsfluss

2014

GRU

Cho et al. vereinfachen LSTM auf zwei Gates — vergleichbare Leistung mit weniger Parametern

2016

Google NMT

Google Translate wechselt zu LSTM-basierter Neural Machine Translation — dramatische Qualitätsverbesserung

2017

Transformer

Vaswani et al. ersetzen Rekurrenz durch Self-Attention — parallele Verarbeitung aller Positionen

Praxisbeispiel: Google Translate

Vor 2016 verwendete Google Translate phrase-basierte statistische Modelle, die Satzfragmente unabhängig übersetzten — oft mit grammatisch fehlerhafter Ausgabe. 2016 wechselte Google zu Neural Machine Translation auf Basis tiefer LSTMs, was dramatisch flüssigere Übersetzungen erzeugte. 2017 stellte ein Google-Team den Transformer vor; 2020 ersetzte Google Translate sein LSTM-System durch ein Modell mit Transformer-Encoder (der Decoder blieb ein RNN) und lieferte einen weiteren Qualitätssprung — ein Vorgeschmack auf den nächsten Artikel in deinem Lernpfad. Seit Dezember 2025 nutzt Google Translate zudem Gemini, ein großes Sprachmodell auf Transformer-Basis, für Textübersetzungen, zunächst in den USA und Indien zwischen Englisch und knapp 20 Sprachen.

Achtung

Missverständnis: LSTMs haben unendliches Gedächtnis

Nein! LSTMs vergessen auch — aber kontrolliert und gelernt, statt durch unkontrollierten exponentiellen Verfall wie bei normalen RNNs. Das Forget Gate entscheidet aktiv, was verworfen wird. Bei sehr langen Sequenzen stoßen auch LSTMs an ihre Grenzen.

Trotz ihres Erfolgs behalten beide Architekturen die fundamentale Einschränkung der sequenziellen Verarbeitung: Jeder Schritt muss auf den vorherigen warten, was Parallelisierung über die Zeitschritte auf GPUs unmöglich macht. Dieser sequenzielle Flaschenhals motivierte direkt die Transformer-Architektur — der nächste Artikel in deinem Lernpfad.

Transformer haben quadratische Kosten mit der Sequenzlänge (O(n²) Attention). State Space Models wie Mamba (2023) erreichen lineare Skalierung durch eine gelernte Rekurrenz. Streaming-Anwendungen (Echtzeit-Audio, Sensor-Monitoring), bei denen die Latenz entscheidend ist, profitieren von RNN-artigen Architekturen. Hybride Architekturen kombinieren Attention und Rekurrenz: Bei den Qwen3.5-Modellen (2026) folgt etwa auf je drei rekurrente Schichten (Gated DeltaNet) eine Attention-Schicht. Die Kernbotschaft: Das Rekurrenz-Prinzip ist nicht tot — es hat sich weiterentwickelt.

Merke

Kernaussagen

  • Sequenzielle Daten tragen Bedeutung in ihrer Reihenfolge — Feedforward-Netze haben dafür kein eingebautes Konzept (als Bag-of-Words geht die Reihenfolge ganz verloren), während RNNs Schritt für Schritt mit einem Hidden State verarbeiten, der Kontext akkumuliert.
  • Das Vanishing-Gradient-Problem ist kein Bug, sondern mathematische Unvermeidlichkeit: Wiederholte Multiplikation durch lange Ketten lässt Gradienten exponentiell schrumpfen und zerstört das Langzeitgedächtnis.
  • LSTMs lösen das mit Gates, die lernen, WAS zu erinnern und zu vergessen — aber ihre strikt sequenzielle Verarbeitung macht sie langsam und bereitet den Weg für Transformer.

Prüfen

Überprüfe dein Verständnis

Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.

0 von 3 sitzen

Prüfen

Quiz: Recurrent Neural Networks

Noch offen

Was ist der Hauptzweck des Hidden State in einem Recurrent Neural Network?

Wähle eine Antwort

Auflösung: 1) B · 2) C · 3) B · 4) B · 5) B · 6) C