Der Weg ins Tal: Gradientenabstieg
Wie Gradientenabstieg in einer Landschaft mit Millionen Hügeln den Tiefpunkt findet — meistens.
Jedes neuronale Netz startet mit zufälligen Gewichten — im Grunde zufällige Vermutungen. Der gesamte Trainingsprozess besteht darin, diese Vermutungen in nützliche Werte zu verwandeln. Aber wie? Die Antwort ist ein Algorithmus, den man in einem Satz erklären kann: Berechne, welche Richtung bergab führt, und mach einen Schritt.
Dieser Artikel erklärt den Gradientenabstieg — den Motor hinter praktisch jedem modernen KI-Training — und warum das scheinbar nebensächliche Detail der Schrittgröße über Erfolg und Misserfolg entscheidet.
Kernthese
Der Gradientenabstieg ist ein Optimierungsalgorithmus, der Modellparameter iterativ anpasst, indem er sich in die Richtung entgegengesetzt zum Gradienten der Verlustfunktion bewegt. Die Größe jedes Schritts wird durch die Lernrate gesteuert — dem wichtigsten Hyperparameter im Deep Learning. Das Verhalten des Algorithmus in den komplexen, hochdimensionalen Verlustlandschaften realer neuronaler Netze wird durch das Zusammenspiel von Gradientenrichtung, Schrittgröße und Rauschen bestimmt.
Der Algorithmus — Bergab im Nebel
Gradientenabstieg
Einschränkung: Auf einem echten Berg spürt man die Steigung perfekt. In hochdimensionalen Parameterräumen wird der Gradient aus verrauschten Datenstichproben berechnet, was die Messung ungenau macht. Außerdem haben echte Berge typischerweise ein Tal — Verlustlandschaften können viele trügerische Senken und Sattelgrate haben.
Die Aktualisierungsregel
Die Aktualisierungsregel
Durchgerechnetes Beispiel: Schritt für Schritt
Betrachte die Verlustfunktion L(w) = (w - 3)² + 1 mit Startgewicht w = 0 und Lernrate 0,1. Das Minimum liegt bei w = 3, wo L = 1. Der Gradient ist hier die erste Ableitung: dL/dw = 2(w - 3).
Drei Varianten des Gradientenabstiegs
Nutzt den GESAMTEN Datensatz zur Berechnung des Gradienten pro Schritt. Vorteil: stabil, exakter Gradient. Nachteil: langsam bei großen Datensätzen, bleibt an Sattelpunkten hängen, weil der Gradient dort exakt null ist.
Nutzt EINE einzige zufällige Stichprobe pro Schritt. Vorteil: schnell, verrauschte Updates helfen beim Entkommen aus Sattelpunkten (mehr dazu im Abschnitt Verlustlandschaft). Nachteil: sehr verrauscht — der Weg zum Minimum zickzackt stark.
In der Praxis ist Mini-Batch Gradientenabstieg der goldene Mittelweg und heutiger Standard: Er verwendet eine kleine Charge (typischerweise 32-256 Stichproben) pro Schritt und kombiniert die Stabilität von Batch GD mit der Geschwindigkeit und den Rauschvorteilen von SGD.
Interaktiv: Gradientenabstieg Schritt für Schritt
Klicke dich durch die fünf Schritte und beobachte, wie der Ball die Verlustkurve hinabrollt. Achte darauf, wie die Schritte kleiner werden, je näher der Ball dem Minimum kommt — der Gradient wird flacher.
Der Ball startet weit links vom Minimum. Der Loss ist hoch (L=105.8). Der Gradient zeigt steil bergab nach rechts — der Algorithmus weiß, in welche Richtung es geht.
Der Regler — Lernrate
Die Lernrate ist eine Zahl, die vom Entwickler festgelegt wird und bestimmt, wie groß jeder Schritt ist. Sie ist der wichtigste Hyperparameter im Deep Learning. Sie wird NICHT vom Algorithmus gelernt — der Entwickler muss sie wählen.
Drei Szenarien — Gleiche Funktion, verschiedene Schrittgrößen
w = 0 → 9,0 → -9,0 → ... Die Gewichte oszillieren wild und divergieren. Der Verlust explodiert statt zu sinken. Das Modell hat nichts gelernt.
w = 0 → 0,06 → 0,12 → ... Die Gewichte bewegen sich kaum. Nach Hunderten von Schritten ist das Modell noch weit vom Minimum entfernt. Das Training dauert ewig.
Genau richtig (lr = 0,5)
Häufiger Irrtum
Interaktiv: Rechenkosten pro Gradient-Schritt
Bewege den Schieberegler, um die Datensatzgröße zu ändern. Beobachte, wie sich der Rechenaufwand pro Schritt bei SGD (ein Sample), Mini-batch und Full-batch GD unterscheidet. Das erklärt, warum Mini-batch der Standard ist.
Bei n=100 wird der Unterschied sichtbar: O(n²) braucht 10.000 Operationen, während O(n) nur 100 braucht. O(log n) braucht nur 6.6 — das ist 15x weniger als O(n).
Verhältnis zu O(n)
| Komplexität | Operationen | Faktor vs. O(n) |
|---|---|---|
| SGD (1 Sample) | 1 | 100x schneller |
| Mini-batch | 6.6 | 15x schneller |
| Full-batch GD | 100 | 1x (Referenz) |
Die Landschaft — Sattelpunkte, lokale Minima, Plateaus
Die Verlustfunktion eines realen neuronalen Netzes mit Millionen von Parametern erzeugt eine komplexe, hochdimensionale Landschaft. Diese Landschaft enthält drei Arten von Hindernissen, an denen der Gradient gegen null geht — aber aus sehr unterschiedlichen Gründen.
Landschaftstopologie
Zentrale Erkenntnis: In hochdimensionalen Räumen (Millionen von Parametern) erfordert ein echtes lokales Minimum, dass ALLE Dimensionen gleichzeitig nach oben krümmen. Das ist statistisch extrem unwahrscheinlich. Sattelpunkte, bei denen manche Dimensionen nach oben und andere nach unten krümmen, sind weit häufiger — und praktisch gefährlicher.
Häufiger Irrtum
Häufiger Irrtum
Vertiefung: Der Adam-Optimierer
Vertiefung: 10-Schritt-Berechnung
Wie es weitergeht
Der Gradientenabstieg sagt uns, WIE Gewichte aktualisiert werden — aber für ein Netz mit vielen Schichten müssen wir wissen, wie sich Fehler rückwärts durch das Netz ausbreiten, um den Gradienten für jedes einzelne Gewicht zu berechnen. Das ist Backpropagation — das Thema des nächsten Artikels, der auf der Kettenregel aufbaut.
Backpropagation-Algorithmus
Die Geburt des modernen maschinellen Lernens durch einen eleganten Trainingsalgorithmus. Im Oktober 1986 veröffentlichten David Rumelhart, Geoffrey Hinton und Ronald Williams in Nature das Paper 'Learning representations by back-propagating errors'. Dieser Algorithmus veränderte das Training neuronaler Netzwerke erheblich, indem er eine effiziente Methode zur Gewichtsanpassung in mehrschichtigen Netzen bereitstellte. Das Verfahren passt wiederholt die Verbindungsgewichte an, um die Differenz zwischen tatsächlicher und gewünschter Ausgabe zu minimieren. Die entscheidende Innovation lag in der Fähigkeit, versteckte Schichten zu trainieren, die wichtige Merkmale der Aufgabe automatisch erkennen. Die mathematischen Grundlagen waren bereits zuvor hergeleitet worden – etwa von Paul Werbos (1974) und Seppo Linnainmaa (1970) –, doch erst dieses Paper machte Backpropagation breit bekannt und demonstrierte überzeugend ihre Wirkung. Backpropagation wurde zum Arbeitspferd des maschinellen Lernens und ermöglicht heute alle modernen Deep Learning-Anwendungen.
Kernaussagen
Wissenstest: Gradientenabstieg
Selbstcheck
- Warum steht ein Minus in der Aktualisierungsregel — und was würde passieren, wenn man stattdessen addieren würde?
- Warum führt eine zu große Lernrate nicht einfach nur zu einem etwas ungenaueren Ergebnis, sondern lässt das Modell im schlimmsten Fall komplett divergieren?
- Stell dir vor, dein Algorithmus steckt auf einem Sattelpunkt fest. Warum ist es in dieser Situation ein großer Vorteil, wenn dein Kompass (der Gradient) leicht zittert?