Das Herzstück des Lernens
Wie ein neuronales Netz seine Fehler nach Hause schickt — und alles unterwegs ein bisschen besser macht.
Du kennst Neuronen, Aktivierungsfunktionen, Schichten, Loss-Funktionen und Gradient Descent. Du weißt, dass das Netz Gradienten braucht, um sich zu verbessern. Aber wie berechnet es den Gradienten für ein Gewicht, das 20 Schichten tief vergraben liegt? Die Antwort verbindet alles, was du gelernt hast, zu einem eleganten Mechanismus — und er basiert vollständig auf der Kettenregel aus dem Lernpfad „Lineare Algebra & Calculus“.
Backpropagation ist keine neue Mathematik. Es ist die systematische Anwendung der Kettenregel auf den Berechnungsgraphen eines neuronalen Netzes — eine Buchhaltungsmethode, die Gradient Descent erst für tiefe Netze praktikabel macht.
Backpropagation-Algorithmus
Die Geburt des modernen maschinellen Lernens durch einen eleganten Trainingsalgorithmus. Im Oktober 1986 veröffentlichten David Rumelhart, Geoffrey Hinton und Ronald Williams in Nature das Paper 'Learning representations by back-propagating errors'. Dieser Algorithmus veränderte das Training neuronaler Netzwerke erheblich, indem er eine effiziente Methode zur Gewichtsanpassung in mehrschichtigen Netzen bereitstellte. Das Verfahren passt wiederholt die Verbindungsgewichte an, um die Differenz zwischen tatsächlicher und gewünschter Ausgabe zu minimieren. Die entscheidende Innovation lag in der Fähigkeit, versteckte Schichten zu trainieren, die wichtige Merkmale der Aufgabe automatisch erkennen. Die mathematischen Grundlagen waren bereits zuvor hergeleitet worden – etwa von Paul Werbos (1974) und Seppo Linnainmaa (1970) –, doch erst dieses Paper machte Backpropagation breit bekannt und demonstrierte überzeugend ihre Wirkung. Backpropagation wurde zum Arbeitspferd des maschinellen Lernens und ermöglicht heute alle modernen Deep-Learning-Anwendungen.
Der vollständige Trainingsschritt
- 1. Forward PassEingabe fließt vorwärts durch alle Schichten, am Ende steht eine Vorhersage und der Loss
- 2. Backward PassDas Fehlersignal fließt rückwärts, die Kettenregel liefert den Gradienten für jedes Gewicht
- 3. UpdateGradient Descent passt jedes Gewicht an: w = w − lr · gradient
Definition
Backpropagation
Analogie
Beispiel
Definition
Ein Trainingsschritt besteht aus drei untrennbaren Phasen: Forward Pass (Vorhersage berechnen), Backward Pass (Gradienten berechnen) und Update (Gewichte anpassen). Backpropagation ist der Backward Pass — nicht mehr und nicht weniger.
Durchgerechnet: Ein Mini-Netz mit 2 Gewichten
Eingabe x = 2, Gewichte w₁ = 0.5 und w₂ = 3.0, Zielwert y_true = 5. Das Netz berechnet: h = x · w₁, dann y = h · w₂. Als Loss nehmen wir L = (y − y_true)².
Das Netz hat gelernt: Beide Gewichte wurden so angepasst, dass die Vorhersage beim nächsten Durchlauf näher am Zielwert liegt. Der Gradient für w₁ ist sechsmal größer als für w₂ — weil die Kettenregel die Faktoren w₂ und x hinzumultipliziert.
Achtung
Missverständnis: Backpropagation ist ein eigenständiger Lernalgorithmus
Nein! Backpropagation berechnet ausschließlich Gradienten — durch systematische Anwendung der Kettenregel auf den Berechnungsgraphen. Der eigentliche Lernalgorithmus ist Gradient Descent (oder eine Variante wie Adam), der diese Gradienten verwendet, um die Gewichte zu aktualisieren. Backpropagation ohne Gradient Descent lernt nichts; Gradient Descent ohne Backpropagation könnte die Gradienten nicht effizient berechnen.
Der Forward Pass berechnet die Vorhersage, der Backward Pass die Gradienten, das Update die neuen Gewichte. Dieses Dreierpaket wiederholt sich im Training oft Tausende Male — und genau so lernt ein neuronales Netz.
Interaktiv: Forward & Backward Pass
Du hast den Trainingsschritt am Mini-Netz durchgerechnet. Jetzt kannst du ihn Schritt für Schritt durchspielen: Beobachte, wie die Werte vorwärts durch das Netz fließen, wie die Gradienten rückwärts berechnet werden, und wie sich die Gewichte am Ende verändern.
Das Mini-Netz hat Eingabe x, zwei Gewichte w₁ und w₂, und einen Zielwert. Noch wurden keine Berechnungen durchgeführt.
Die Kettenregel in Aktion — Schicht für Schicht rückwärts
Von 2 Gewichten auf N Schichten: Das Prinzip bleibt identisch, die Kette wird nur länger. Für ein Gewicht in der ersten Schicht eines tiefen Netzes muss die Kettenregel durch ALLE Schichten hindurch angewendet werden.
Die Effizienz der Backpropagation entsteht durch Wiederverwendung: Wenn das Fehlersignal für Schicht 2 berechnet ist, wird es gespeichert. Schicht 1 multipliziert einfach mit ihrer lokalen Ableitung — keine Neuberechnung vom Loss aus. Jede partielle Ableitung wird genau einmal berechnet und gecacht.
Ableitung maximal ≈0.25. Bei 10 Schichten (und Gewichten mit Betrag unter 1) höchstens 0.25¹⁰ ≈ 0.00000095. Der Gradient verschwindet — die vorderen Schichten lernen kaum noch.
Ableitung ist 0 oder 1. Für positive Eingaben fließt der Gradient ungedämpft durch — kein exponentieller Verfall.
Achtung
Totes Neuron: Wenn der Gradient für immer verschwindet
Konkretes Beispiel: x = 1, w₁ = −2. Im Forward Pass: z₁ = 1 · (−2) = −2. ReLU(−2) = 0. Die lokale Ableitung der ReLU an der Stelle −2 ist exakt 0. Egal wie groß der Fehler am Ende des Netzes ist — sobald das Fehlersignal durch diesen ReLU-Knoten fließt, wird es mit 0 multipliziert. Der Gradient für w₁ wird 0, das Gewicht wird nie aktualisiert. Bleibt z₁ für alle Trainingseingaben negativ, ist das Neuron permanent tot.
Achtung
Missverständnis: Vanishing Gradients bedeuten, das Netz hat einen Bug
Nein! Vanishing Gradients sind eine mathematische Unvermeidlichkeit, wenn viele kleine Zahlen multipliziert werden. Bei 10 Sigmoid-Schichten wird der Gradient auf unter ein Millionstel reduziert — das ist kein Code-Fehler, sondern Mathematik. Die Lösung ist architektonisch (ReLU statt Sigmoid, Residual Connections, Batch Normalization), nicht Debugging.
ReLU-Familie: ReLU hat für positive Werte die Ableitung 1 und leitet Gradienten ungefiltert weiter. Leaky ReLU und ELU vermeiden zudem tote Neuronen, indem sie kleine Gradienten auch für negative Eingaben zulassen. Residual Connections: ResNet-Skip-Connections addieren die Eingabe einer Schicht direkt zur Ausgabe und schaffen so Abkürzungen für den Gradientenfluss — selbst durch Hunderte Schichten. Batch Normalization: Normalisiert die Aktivierungen jeder Schicht, stabilisiert die Verteilung der Gradienten und beschleunigt das Training. Gradient Clipping: Kappt Gradienten, die einen Schwellenwert überschreiten, und verhindert so numerische Instabilität bei explodierenden Gradienten.
Interaktiv: Die Kettenregel klickbar
Die Kettenregel zerlegt den Gradienten in lokale Ableitungen. Klicke auf die einzelnen Terme, um zu sehen, was jeder Faktor in der Kette bedeutet — und wie sie zusammen den Gradienten für w₁ im Mini-Netz ergeben.
Kettenregel für w₁
Der Gesamtgradient: Wie stark ändert sich der Loss, wenn w₁ sich ändert? Das ist das Produkt aller lokalen Ableitungen entlang des Pfades.
Konkretes Beispiel
Gegeben: h = x·w₁, ŷ = h·w₂, L = (ŷ−target)²
Zerlegung: L(ŷ) = (ŷ−target)² (Loss-Funktion) , ŷ(h) = h·w₂ (Ausgabefunktion) , h(w₁) = x·w₁ (Verborgene Schicht)
Selbst ausprobieren: die Backprop-Werkbank
Genug Theorie — leg selbst Hand an. Verschiebe die Gewichte, schick den Fehler Schritt für Schritt rückwärts durch das Netz und schau zu, wie Gradient Descent den Fehler kleiner macht. Dieses Netz hat eine ReLU-Aktivierung: treib sie unter null, und du siehst ein totes Neuron in Aktion.
Autograd — Warum du es nie von Hand machen musst
In der Praxis schreibst du Backpropagation nie manuell. Moderne Frameworks wie PyTorch, JAX und TensorFlow enthalten Autograd (so heißt es in PyTorch; TensorFlow nennt sein Werkzeug GradientTape) — ein System zur automatischen Differenzierung, das den gesamten Backward Pass für dich erledigt. TensorFlow wird seit März 2026 nur noch gewartet (Sicherheits- und Fehlerkorrekturen); für neue Arbeiten an generativer KI empfiehlt Google selbst Keras 3, JAX oder PyTorch.
Merke
PyTorch: Ein vollständiger Trainingsschritt
for epoch in range(100):
vorhersage = netz(X_train)
loss = criterion(vorhersage, y_train)
optimizer.zero_grad() # Alte Gradienten löschen
loss.backward() # Backpropagation in EINER Zeile
optimizer.step() # Gradient Descent UpdateWie funktioniert das? Während du den Forward Pass programmierst, baut das Framework im Hintergrund einen dynamischen Berechnungsgraphen auf. Jede mathematische Operation wird aufgezeichnet. Beim Aufruf von .backward() traversiert das Framework diesen Graphen automatisch rückwärts und wendet die Kettenregel an jedem Knoten an. Das funktioniert für jede differenzierbare Berechnung — nicht nur für neuronale Netze.
Doch Autograd bedeutet nicht, dass du die Mathematik ignorieren darfst. Drei konkrete Szenarien, in denen manuelles Verständnis unverzichtbar ist: (1) Debugging: Wenn dein Loss stagniert, musst du Vanishing Gradients diagnostizieren können. (2) Architektur-Design: Die Wahl der Aktivierungsfunktion und Skip Connections hängt vom Verständnis des Gradientenflusses ab. (3) Custom Layers: Eigene Autograd-Funktionen erfordern korrekte Ableitungen.
Achtung
Missverständnis: Autograd macht Mathe-Verständnis überflüssig
Nein! Autograd ist der Taschenrechner, aber du musst Arithmetik verstehen, um zu erkennen, ob das Ergebnis des Taschenrechners Sinn ergibt. Wer Backpropagation nicht versteht, programmiert im Blindflug — er merkt nicht, warum sein Modell nicht lernt.
Dynamische vs. statische Graphen: PyTorch baut den Berechnungsgraphen bei jedem Forward Pass neu auf (dynamisch). Das erlaubt Python-Kontrollfluss (if/else, Schleifen) direkt im Modell. Altes TensorFlow (v1) baute den Graphen einmal vor der Ausführung (statisch). Tape-basierte Aufzeichnung: Autograd "zeichnet" Operationen auf ein Band auf. .backward() spult das Band rückwärts ab. Das .grad-Attribut: Nach .backward() enthält tensor.grad bei Blatt-Tensoren wie den Gewichten den berechneten Gradienten. requires_grad=True aktiviert die Aufzeichnung für einen Tensor. optimizer.zero_grad(): Gradienten akkumulieren sich standardmäßig — ohne explizites Löschen addieren sich die Gradienten über Iterationen auf.
Merke
Kernaussagen
- Ein Trainingsschritt besteht immer aus Forward Pass → Backward Pass → Update. Backpropagation ist der Backward Pass.
- Backpropagation = Kettenregel auf dem Berechnungsgraphen. Jeder Knoten berechnet eine lokale Ableitung; das Produkt aller lokalen Ableitungen entlang eines Pfades ergibt den Gradienten für ein Gewicht.
- Effizienz durch Wiederverwendung: Jede partielle Ableitung wird genau einmal berechnet und gecacht.
- Tiefe Netze riskieren Vanishing oder Exploding Gradients. Moderne Lösungen: ReLU, Residual Connections, Gradient Clipping.
- Autograd automatisiert die Gradientenberechnung, aber das Verständnis der Mathematik bleibt essenziell für Debugging und Architektur-Design.
Prüfen
Lernziele
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen
Prüfen
Quiz: Backpropagation
Was sind die drei Phasen eines vollständigen Trainingsschritts in der korrekten Reihenfolge?
Wähle eine Antwort
1. Was sind die drei Phasen eines vollständigen Trainingsschritts in der korrekten Reihenfolge?
2. Im Mini-Netz-Beispiel (x=2, w₁=0.5, w₂=3.0, y_true=5) ist der Gradient für w₁ gleich −24. Warum ist dieser Gradient viel größer als der Gradient für w₂ (−4)?
3. Ein neuronales Netz mit 10 Schichten verwendet die Sigmoid-Aktivierungsfunktion (maximale Ableitung ≈0.25), alle Gewichte haben einen Betrag unter 1. Wie groß ist das Gradientensignal höchstens, das Schicht 1 von Schicht 10 erreicht, relativ zum Signal an Schicht 10?
4. Ein Kollege behauptet: "Da PyTorch alle Gradienten automatisch mit loss.backward() berechnet, ist das Verständnis der Kettenregel für Deep-Learning-Praktiker nicht mehr nötig." Welches der folgenden Szenarien widerlegt diese Behauptung direkt?
5. Ein ReLU-Neuron erhält im Forward Pass die Eingabe z = −3. Im Backward Pass kommt ein Fehlersignal von δ = 5.0 von der nächsten Schicht. Welchen Gradienten gibt dieses Neuron an seine Eingabegewichte weiter?
6. Ein Kollege möchte ein Sigmoid-basiertes Netzwerk, das bereits unter langsamem Training leidet, auf über hundert Schichten erweitern. Bewerte, ob dies die Situation verbessern oder verschlechtern würde, und wähle die beste architektonische Alternative für ein so tiefes Netzwerk.