Der Weg ins Tal: Gradientenabstieg
Wie Gradientenabstieg in einer Landschaft mit Millionen Hügeln den Tiefpunkt findet — meistens.
Jedes neuronale Netz startet mit zufälligen Gewichten — im Grunde zufällige Vermutungen. Der gesamte Trainingsprozess besteht darin, diese Vermutungen in nützliche Werte zu verwandeln. Aber wie? Die Antwort ist ein Algorithmus, den man in einem Satz erklären kann: Berechne, welche Richtung bergab führt, und mach einen Schritt.
Dieser Artikel erklärt den Gradientenabstieg — den Motor hinter praktisch jedem modernen KI-Training — und warum das scheinbar nebensächliche Detail der Schrittgröße über Erfolg und Misserfolg entscheidet.
Kernthese
Der Gradientenabstieg ist ein Optimierungsalgorithmus, der Modellparameter iterativ anpasst, indem er sich in die Richtung entgegengesetzt zum Gradienten der Verlustfunktion bewegt. Die Größe jedes Schritts wird durch die Lernrate gesteuert — in vielen Fällen den wichtigsten Hyperparameter im Deep Learning. Das Verhalten des Algorithmus in den komplexen, hochdimensionalen Verlustlandschaften realer neuronaler Netze wird durch das Zusammenspiel von Gradientenrichtung, Schrittgröße und Rauschen bestimmt.
Der Algorithmus — Bergab im Nebel
Definition
Gradientenabstieg
Analogie
Definition
Einschränkung: Auf einem echten Berg spürt man die Steigung perfekt. In hochdimensionalen Parameterräumen wird der Gradient aus verrauschten Datenstichproben berechnet, was die Messung ungenau macht. Außerdem haben echte Berge typischerweise ein Tal — Verlustlandschaften können viele trügerische Senken und Sattelgrate haben.
Die Aktualisierungsregel
Merke
Die Aktualisierungsregel
Der gesamte Algorithmus wird in einer einzigen Gleichung erfasst:
w_neu = w_alt - Lernrate × Gradient
Warum das Minuszeichen? Weil der Gradient bergauf zeigt (Richtung des steilsten Anstiegs). Wir wollen bergab (zu niedrigerem Verlust). Das Minus kehrt die Richtung um.
Durchgerechnetes Beispiel: Schritt für Schritt
Betrachte die Verlustfunktion L(w) = (w - 3)² + 1 mit Startgewicht w = 0 und Lernrate 0,1. Das Minimum liegt bei w = 3, wo L = 1. Der Gradient ist hier die erste Ableitung: dL/dw = 2(w - 3).
- 1. Schritt 1: Gradient = 2(0 - 3) = -6. Update: w = 0 - 0,1 × (-6) = 0,6. Verlust: 6,76
- 2. Schritt 2: Gradient = 2(0,6 - 3) = -4,8. Update: w = 0,6 - 0,1 × (-4,8) = 1,08. Verlust: 4,69
- 3. Schritt 3: Gradient = 2(1,08 - 3) = -3,84. Update: w = 1,08 - 0,1 × (-3,84) = 1,464. Verlust: 3,36
- 4. Schritt 4: Gradient = 2(1,464 - 3) = -3,07. Update: w = 1,464 - 0,1 × (-3,07) = 1,771. Verlust: 2,51
- 5. Schritt 5: Gradient = 2(1,771 - 3) = -2,46. Update: w = 1,771 - 0,1 × (-2,46) = 2,017. Verlust: 1,97
Drei Varianten des Gradientenabstiegs
Nutzt den GESAMTEN Datensatz zur Berechnung des Gradienten pro Schritt. Vorteil: stabil, exakter Gradient. Nachteil: langsam bei großen Datensätzen, bleibt an Sattelpunkten lange hängen, weil der Gradient dort gegen null geht.
Nutzt EINE einzige zufällige Stichprobe pro Schritt. Vorteil: schnell, verrauschte Updates helfen beim Entkommen aus Sattelpunkten (mehr dazu im Abschnitt Verlustlandschaft). Nachteil: sehr verrauscht — der Weg zum Minimum zickzackt stark.
In der Praxis ist Mini-Batch Gradientenabstieg der goldene Mittelweg und heutiger Standard: Er verwendet eine kleine Charge (typischerweise 32-256 Stichproben; große Sprachmodelle wie Llama 3 verarbeiten pro Schritt sogar 4 bis 16 Millionen Tokens) pro Schritt und kombiniert die Stabilität von Batch GD mit der Geschwindigkeit und den Rauschvorteilen von SGD.
Interaktiv: Gradientenabstieg Schritt für Schritt
Klicke dich durch die fünf Schritte und beobachte, wie der Ball die Verlustkurve hinabrollt. Achte darauf, wie die Schritte kleiner werden, je näher der Ball dem Minimum kommt — der Gradient wird flacher.
Der Ball startet bei w = 0, links vom Minimum bei w = 3. Der Verlust ist hoch: L = (0 - 3)² + 1 = 10. Der Gradient ist dort -6, bergab geht es also nach rechts. Der Pfeil zeigt jeweils den nächsten Schritt.
Der Regler — Lernrate
Die Lernrate ist eine Zahl, die vom Entwickler festgelegt wird und bestimmt, wie groß jeder Schritt ist. Sie ist oft der wichtigste Hyperparameter im Deep Learning. Sie wird NICHT vom Algorithmus gelernt — der Entwickler muss sie wählen.
Drei Szenarien — Gleiche Funktion, verschiedene Schrittgrößen
w = 0 → 9,0 → -9,0 → ... Die Gewichte oszillieren wild und divergieren. Der Verlust explodiert statt zu sinken. Das Modell hat nichts gelernt.
w = 0 → 0,06 → 0,12 → ... Die Gewichte bewegen sich kaum. Nach 100 Schritten steht w erst bei etwa 2,6. Das Training dauert viel länger als nötig.
Merke
Genau richtig (lr = 0,5)
Mit lr = 0,5: w = 0 - 0,5 × (-6) = 3,0 — das Minimum wird in einem einzigen Schritt erreicht. In der Praxis ist eine perfekte Lernrate selten, aber das zeigt, wie wirkungsvoll die richtige Wahl sein kann.
Probier es selbst aus: Der Ball startet wie im Rechenbeispiel bei w = 0 auf der Verlustkurve L(w) = (w − 3)² + 1. Stell die Lernrate lr ein oder wähle eines der drei Szenarien und sieh zu, ob der Ball ins Tal rollt, darüber hinausschießt oder davonfliegt.
Typische Mini-Batch-Größe
32
Die Standardanzahl an Trainingsbeispielen, die pro Gradientenabstiegsschritt verarbeitet werden.
Adam Standard-Lernrate
0.001
Die Standard-Lernrate des Adam-Optimierers (Kingma & Ba, 2014).
Adam-Optimierer veröffentlicht
2014
Adam kombiniert mehrere Optimierungstechniken und passt die Lernrate pro Parameter automatisch an (Kingma & Ba).
Achtung
Häufiger Irrtum
"Man muss die Lernrate immer manuell einstellen." — Nicht ganz richtig. Lernraten-Schedules reduzieren die Rate über die Zeit (große Schritte am Anfang, Feinabstimmung später); bei großen Modellen steigt sie davor meist in einer kurzen Aufwärmphase erst an. Der Adam-Optimierer (Kingma & Ba, 2014) passt die Lernrate pro Parameter automatisch an. Allerdings ist die anfängliche Lernrate immer noch wichtig — Adam vereinfacht die Entscheidung, eliminiert sie aber nicht.
Die Landschaft — Sattelpunkte, lokale Minima, Plateaus
Die Verlustfunktion eines realen neuronalen Netzes mit Millionen von Parametern erzeugt eine komplexe, hochdimensionale Landschaft. Diese Landschaft enthält drei Arten von Hindernissen, an denen der Gradient gegen null geht — aber aus sehr unterschiedlichen Gründen.
Landschaftstopologie
Zentrale Erkenntnis: In hochdimensionalen Räumen (Millionen von Parametern) erfordert ein echtes lokales Minimum, dass ALLE Dimensionen gleichzeitig nach oben krümmen. Das ist statistisch extrem unwahrscheinlich, außer der Verlust liegt dort schon fast so tief wie im globalen Minimum. Die lokalen Minima, die es gibt, sind deshalb meist fast so gut wie das globale. Sattelpunkte, bei denen manche Dimensionen nach oben und andere nach unten krümmen, sind weit häufiger — und praktisch gefährlicher.
Achtung
Häufiger Irrtum
"Der Gradientenabstieg findet immer das globale Minimum." — Falsch. Das ist nur bei konvexen Funktionen (Funktionen mit einem einzigen Tal und keinen anderen Senken) und passender Lernrate garantiert. Neuronale Netze haben nicht-konvexe Verlustlandschaften mit vielen Senken und Sattelpunkten. In der Praxis reicht es, ein "ausreichend gutes" Minimum zu finden — und genau das passiert in der Regel.
Achtung
Häufiger Irrtum
"SGD ist schlechter als Batch GD, weil es verrauschter ist." — Das Gegenteil ist oft der Fall. An einem Sattelpunkt berechnet Batch GD den exakten Gradienten, der null ist — also kann es dort extrem lange stecken bleiben. SGD berechnet eine verrauschte Näherung aus einer zufälligen Stichprobe — der Gradient ist an einem Sattelpunkt nie exakt null. Das schubst das Modell vom Sattel und lässt es den Abhang finden. Das Rauschen ist ein Feature, kein Fehler.
Adam (Adaptive Moment Estimation) führt für jeden Parameter zwei laufende exponentielle Mittelwerte: das erste Moment (Durchschnitt der letzten Gradienten) und das zweite Moment (Durchschnitt der letzten quadrierten Gradienten). Parameter, die konsistent große Gradienten erhalten, bekommen eine kleinere effektive Lernrate — so bleibt jeder Schritt ungefähr so groß wie die Lernrate. Parameter mit kleinen oder spärlichen Gradienten bekommen eine größere effektive Lernrate — sie brauchen stärkere Anstöße. Standard-Hyperparameter: lr = 0,001, beta1 = 0,9, beta2 = 0,999. Große Sprachmodelle wie Llama 3 und DeepSeek-V3 trainieren meist mit AdamW, einer Weiterentwicklung von Adam. Seit 2025 setzen einige Großmodelle wie Kimi K2 und DeepSeek-V4 auf den neueren Optimierer Muon.
Vollständige Berechnung für L(w) = (w - 3)² + 1, Start bei w = 0, lr = 0,1: Schritt 1: w = 0,00, Gradient = -6,00, neues w = 0,60, Verlust = 6,76 Schritt 2: w = 0,60, Gradient = -4,80, neues w = 1,08, Verlust = 4,69 ... die Schritte 3-8 folgen dem gleichen Muster — der Gradient wird mit jedem Schritt kleiner, die Fortschritte schrumpfen ... Schritt 9: w = 2,50, Gradient = -1,01, neues w = 2,60, Verlust = 1,16 Schritt 10: w = 2,60, Gradient = -0,81, neues w = 2,68, Verlust = 1,10 Wie du siehst: Am Anfang springt w in zwei Schritten von 0 auf 1,08 — ein Riesensprung. Am Ende bewegt es sich nur noch von 2,60 auf 2,68. Die Schritte werden winzig klein, weil das Tal flacher wird und der Gradient in der Nähe des Minimums schrumpft.
Wie es weitergeht
Der Gradientenabstieg sagt uns, WIE Gewichte aktualisiert werden — aber für ein Netz mit vielen Schichten müssen wir wissen, wie sich Fehler rückwärts durch das Netz ausbreiten, um den Gradienten für jedes einzelne Gewicht zu berechnen. Das ist Backpropagation — das Thema des nächsten Artikels, der auf der Kettenregel aufbaut.
Backpropagation-Algorithmus
Die Geburt des modernen maschinellen Lernens durch einen eleganten Trainingsalgorithmus. Im Oktober 1986 veröffentlichten David Rumelhart, Geoffrey Hinton und Ronald Williams in Nature das Paper 'Learning representations by back-propagating errors'. Dieser Algorithmus veränderte das Training neuronaler Netzwerke erheblich, indem er eine effiziente Methode zur Gewichtsanpassung in mehrschichtigen Netzen bereitstellte. Das Verfahren passt wiederholt die Verbindungsgewichte an, um die Differenz zwischen tatsächlicher und gewünschter Ausgabe zu minimieren. Die entscheidende Innovation lag in der Fähigkeit, versteckte Schichten zu trainieren, die wichtige Merkmale der Aufgabe automatisch erkennen. Die mathematischen Grundlagen waren bereits zuvor hergeleitet worden – etwa von Paul Werbos (1974) und Seppo Linnainmaa (1970) –, doch erst dieses Paper machte Backpropagation breit bekannt und demonstrierte überzeugend ihre Wirkung. Backpropagation wurde zum Arbeitspferd des maschinellen Lernens und ermöglicht heute alle modernen Deep-Learning-Anwendungen.
Merke
Kernaussagen
- Der Gradientenabstieg passt Gewichte an, indem er entgegengesetzt zum Gradienten schreitet — das Minuszeichen in der Aktualisierungsregel ist der springende Punkt.
- Die Lernrate ist oft der einflussreichste Hyperparameter: zu groß verursacht Divergenz, zu klein verursacht Stagnation, und adaptive Methoden wie Adam helfen, eliminieren aber nicht die Notwendigkeit einer guten Anfangswahl.
- In realen neuronalen Netzen sind Sattelpunkte (nicht lokale Minima) das Haupthindernis, und das Rauschen in SGD ist ein Feature, das beim Entkommen hilft.
Prüfen
Wissenstest: Gradientenabstieg
In der Gradientenabstiegs-Aktualisierungsregel w_neu = w_alt - lr × dL/dw — warum wird der Gradient subtrahiert statt addiert?
Wähle eine Antwort
1. In der Gradientenabstiegs-Aktualisierungsregel w_neu = w_alt - lr × dL/dw — warum wird der Gradient subtrahiert statt addiert?
2. Du trainierst ein neuronales Netz und beobachtest: Der Verlust sinkt in den ersten 10 Epochen, steigt dann aber rapide an und erreicht schließlich Werte, die höher sind als der Anfangsverlust. Welches Lernraten-Szenario erklärt das am wahrscheinlichsten?
3. Ein Kollege argumentiert: "Wir sollten Batch Gradientenabstieg statt SGD verwenden, weil er den exakten Gradienten berechnet, was besser sein muss." Wie würdest du mit deinem Wissen über Sattelpunkte antworten?
4. Gegeben: L(w) = (w - 3)² + 1, aktuelles Gewicht w = 1,0, Lernrate lr = 0,1. Was ist das neue Gewicht nach einem Gradientenabstiegsschritt?
5. Warum sind lokale Minima in der Praxis WENIGER problematisch als Sattelpunkte beim Training neuronaler Netze mit Millionen von Parametern?
Prüfen
Selbstcheck
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen