Zurück zum Lernbereich

Der Weg ins Tal: Gradientenabstieg

Wie Gradientenabstieg in einer Landschaft mit Millionen Hügeln den Tiefpunkt findet — meistens.

  • Grundlagen
  • 10 min
  • Fortgeschritten

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: Der Weg zum besten Ergebnis

Was ist Gradientenabstieg?

Ein neuronales Netz ist ein KI-Programm. Es startet mit zufälligen Werten. Der Computer muss bessere Werte finden. Das nennt man Gradientenabstieg. Gradientenabstieg bedeutet: Schritt für Schritt bergab gehen.

Die Lernrate

Die Lernrate bestimmt, wie groß jeder Schritt ist. Eine zu große Lernrate ist gefährlich. Das Programm springt am Ziel vorbei. Eine zu kleine Lernrate macht das Training langsam. Die Lernrate muss man sorgfältig wählen.

Drei Varianten

Es gibt drei Varianten.
Alle Daten auf einmal: Das ist genau, aber langsam. Das heißt Batch. Ein Beispiel auf einmal: Das ist schnell, aber ungenau. Das heißt SGD. Kleine Gruppen: Das ist der Standard. Das heißt Mini-Batch.

Jedes neuronale Netz startet mit zufälligen Gewichten — im Grunde zufällige Vermutungen. Der gesamte Trainingsprozess besteht darin, diese Vermutungen in nützliche Werte zu verwandeln. Aber wie? Die Antwort ist ein Algorithmus, den man in einem Satz erklären kann: Berechne, welche Richtung bergab führt, und mach einen Schritt.

Dieser Artikel erklärt den Gradientenabstieg — den Motor hinter praktisch jedem modernen KI-Training — und warum das scheinbar nebensächliche Detail der Schrittgröße über Erfolg und Misserfolg entscheidet.

Kernthese

Der Gradientenabstieg ist ein Optimierungsalgorithmus, der Modellparameter iterativ anpasst, indem er sich in die Richtung entgegengesetzt zum Gradienten der Verlustfunktion bewegt. Die Größe jedes Schritts wird durch die Lernrate gesteuert — in vielen Fällen den wichtigsten Hyperparameter im Deep Learning. Das Verhalten des Algorithmus in den komplexen, hochdimensionalen Verlustlandschaften realer neuronaler Netze wird durch das Zusammenspiel von Gradientenrichtung, Schrittgröße und Rauschen bestimmt.

Der Algorithmus — Bergab im Nebel

Definition

Gradientenabstieg

Analogie

Stell dir vor, du stehst auf einem Berghang in dichtem Nebel. Du kannst das Tal nicht sehen, aber du spürst, in welche Richtung der Boden unter deinen Füßen am steilsten abfällt. Du machst einen Schritt in diese Richtung. Dann spürst du erneut. Schritt für Schritt steigst du ins Tal hinab. Genau das macht der Gradientenabstieg — er spürt die Steigung der Verlustfunktion und geht bergab.

Einschränkung: Auf einem echten Berg spürt man die Steigung perfekt. In hochdimensionalen Parameterräumen wird der Gradient aus verrauschten Datenstichproben berechnet, was die Messung ungenau macht. Außerdem haben echte Berge typischerweise ein Tal — Verlustlandschaften können viele trügerische Senken und Sattelgrate haben.

Die Aktualisierungsregel

Merke

Die Aktualisierungsregel

Der gesamte Algorithmus wird in einer einzigen Gleichung erfasst:

w_neu = w_alt - Lernrate × Gradient

Warum das Minuszeichen? Weil der Gradient bergauf zeigt (Richtung des steilsten Anstiegs). Wir wollen bergab (zu niedrigerem Verlust). Das Minus kehrt die Richtung um.

Durchgerechnetes Beispiel: Schritt für Schritt

Betrachte die Verlustfunktion L(w) = (w - 3)² + 1 mit Startgewicht w = 0 und Lernrate 0,1. Das Minimum liegt bei w = 3, wo L = 1. Der Gradient ist hier die erste Ableitung: dL/dw = 2(w - 3).

  1. 1. Schritt 1: Gradient = 2(0 - 3) = -6. Update: w = 0 - 0,1 × (-6) = 0,6. Verlust: 6,76
  2. 2. Schritt 2: Gradient = 2(0,6 - 3) = -4,8. Update: w = 0,6 - 0,1 × (-4,8) = 1,08. Verlust: 4,69
  3. 3. Schritt 3: Gradient = 2(1,08 - 3) = -3,84. Update: w = 1,08 - 0,1 × (-3,84) = 1,464. Verlust: 3,36
  4. 4. Schritt 4: Gradient = 2(1,464 - 3) = -3,07. Update: w = 1,464 - 0,1 × (-3,07) = 1,771. Verlust: 2,51
  5. 5. Schritt 5: Gradient = 2(1,771 - 3) = -2,46. Update: w = 1,771 - 0,1 × (-2,46) = 2,017. Verlust: 1,97

Drei Varianten des Gradientenabstiegs

Batch Gradientenabstieg

Nutzt den GESAMTEN Datensatz zur Berechnung des Gradienten pro Schritt. Vorteil: stabil, exakter Gradient. Nachteil: langsam bei großen Datensätzen, bleibt an Sattelpunkten lange hängen, weil der Gradient dort gegen null geht.

Stochastischer Gradientenabstieg (SGD)

Nutzt EINE einzige zufällige Stichprobe pro Schritt. Vorteil: schnell, verrauschte Updates helfen beim Entkommen aus Sattelpunkten (mehr dazu im Abschnitt Verlustlandschaft). Nachteil: sehr verrauscht — der Weg zum Minimum zickzackt stark.

In der Praxis ist Mini-Batch Gradientenabstieg der goldene Mittelweg und heutiger Standard: Er verwendet eine kleine Charge (typischerweise 32-256 Stichproben; große Sprachmodelle wie Llama 3 verarbeiten pro Schritt sogar 4 bis 16 Millionen Tokens) pro Schritt und kombiniert die Stabilität von Batch GD mit der Geschwindigkeit und den Rauschvorteilen von SGD.

Interaktiv: Gradientenabstieg Schritt für Schritt

Klicke dich durch die fünf Schritte und beobachte, wie der Ball die Verlustkurve hinabrollt. Achte darauf, wie die Schritte kleiner werden, je näher der Ball dem Minimum kommt — der Gradient wird flacher.

1
2
3
4
5
6
Parameter wLoss L(w)Minimum
Schritt 1 / 6Startposition

Der Ball startet bei w = 0, links vom Minimum bei w = 3. Der Verlust ist hoch: L = (0 - 3)² + 1 = 10. Der Gradient ist dort -6, bergab geht es also nach rechts. Der Pfeil zeigt jeweils den nächsten Schritt.

Steuerung
Schritte

Der Regler — Lernrate

Die Lernrate ist eine Zahl, die vom Entwickler festgelegt wird und bestimmt, wie groß jeder Schritt ist. Sie ist oft der wichtigste Hyperparameter im Deep Learning. Sie wird NICHT vom Algorithmus gelernt — der Entwickler muss sie wählen.

Drei Szenarien — Gleiche Funktion, verschiedene Schrittgrößen

Zu groß (lr = 1,5)

w = 0 → 9,0 → -9,0 → ... Die Gewichte oszillieren wild und divergieren. Der Verlust explodiert statt zu sinken. Das Modell hat nichts gelernt.

Zu klein (lr = 0,01)

w = 0 → 0,06 → 0,12 → ... Die Gewichte bewegen sich kaum. Nach 100 Schritten steht w erst bei etwa 2,6. Das Training dauert viel länger als nötig.

Merke

Genau richtig (lr = 0,5)

Mit lr = 0,5: w = 0 - 0,5 × (-6) = 3,0 — das Minimum wird in einem einzigen Schritt erreicht. In der Praxis ist eine perfekte Lernrate selten, aber das zeigt, wie wirkungsvoll die richtige Wahl sein kann.

Probier es selbst aus: Der Ball startet wie im Rechenbeispiel bei w = 0 auf der Verlustkurve L(w) = (w − 3)² + 1. Stell die Lernrate lr ein oder wähle eines der drei Szenarien und sieh zu, ob der Ball ins Tal rollt, darüber hinausschießt oder davonfliegt.

Typische Mini-Batch-Größe

32

Die Standardanzahl an Trainingsbeispielen, die pro Gradientenabstiegsschritt verarbeitet werden.

Adam Standard-Lernrate

0.001

Die Standard-Lernrate des Adam-Optimierers (Kingma & Ba, 2014).

Adam-Optimierer veröffentlicht

2014

Adam kombiniert mehrere Optimierungstechniken und passt die Lernrate pro Parameter automatisch an (Kingma & Ba).

Achtung

Häufiger Irrtum

"Man muss die Lernrate immer manuell einstellen." — Nicht ganz richtig. Lernraten-Schedules reduzieren die Rate über die Zeit (große Schritte am Anfang, Feinabstimmung später); bei großen Modellen steigt sie davor meist in einer kurzen Aufwärmphase erst an. Der Adam-Optimierer (Kingma & Ba, 2014) passt die Lernrate pro Parameter automatisch an. Allerdings ist die anfängliche Lernrate immer noch wichtig — Adam vereinfacht die Entscheidung, eliminiert sie aber nicht.

Die Landschaft — Sattelpunkte, lokale Minima, Plateaus

Die Verlustfunktion eines realen neuronalen Netzes mit Millionen von Parametern erzeugt eine komplexe, hochdimensionale Landschaft. Diese Landschaft enthält drei Arten von Hindernissen, an denen der Gradient gegen null geht — aber aus sehr unterschiedlichen Gründen.

Landschaftstopologie

Lokales Minimum Alle Dimensionen krümmen sich nach oben — der Gradient ist null und der Verlust ist niedriger als die unmittelbare Umgebung. In hochdimensionalen Räumen weit seltener als Sattelpunkte, weil ALLE Dimensionen gleichzeitig nach oben krümmen müssen.
Sattelpunkt Gemischte Krümmung — manche Dimensionen krümmen sich nach oben, andere nach unten. Wie ein Bergpass: Tal vor und hinter dir, Berge links und rechts. Der Gradient ist null, aber es ist KEIN Minimum. Weit häufiger als lokale Minima.
Plateau Nahezu flache Region, in der der Gradient fast null ist. Das Training stagniert, weil der Algorithmus kaum ein Signal erhält, in welche Richtung er sich bewegen soll.

Zentrale Erkenntnis: In hochdimensionalen Räumen (Millionen von Parametern) erfordert ein echtes lokales Minimum, dass ALLE Dimensionen gleichzeitig nach oben krümmen. Das ist statistisch extrem unwahrscheinlich, außer der Verlust liegt dort schon fast so tief wie im globalen Minimum. Die lokalen Minima, die es gibt, sind deshalb meist fast so gut wie das globale. Sattelpunkte, bei denen manche Dimensionen nach oben und andere nach unten krümmen, sind weit häufiger — und praktisch gefährlicher.

Achtung

Häufiger Irrtum

"Der Gradientenabstieg findet immer das globale Minimum." — Falsch. Das ist nur bei konvexen Funktionen (Funktionen mit einem einzigen Tal und keinen anderen Senken) und passender Lernrate garantiert. Neuronale Netze haben nicht-konvexe Verlustlandschaften mit vielen Senken und Sattelpunkten. In der Praxis reicht es, ein "ausreichend gutes" Minimum zu finden — und genau das passiert in der Regel.

Achtung

Häufiger Irrtum

"SGD ist schlechter als Batch GD, weil es verrauschter ist." — Das Gegenteil ist oft der Fall. An einem Sattelpunkt berechnet Batch GD den exakten Gradienten, der null ist — also kann es dort extrem lange stecken bleiben. SGD berechnet eine verrauschte Näherung aus einer zufälligen Stichprobe — der Gradient ist an einem Sattelpunkt nie exakt null. Das schubst das Modell vom Sattel und lässt es den Abhang finden. Das Rauschen ist ein Feature, kein Fehler.

Adam (Adaptive Moment Estimation) führt für jeden Parameter zwei laufende exponentielle Mittelwerte: das erste Moment (Durchschnitt der letzten Gradienten) und das zweite Moment (Durchschnitt der letzten quadrierten Gradienten). Parameter, die konsistent große Gradienten erhalten, bekommen eine kleinere effektive Lernrate — so bleibt jeder Schritt ungefähr so groß wie die Lernrate. Parameter mit kleinen oder spärlichen Gradienten bekommen eine größere effektive Lernrate — sie brauchen stärkere Anstöße. Standard-Hyperparameter: lr = 0,001, beta1 = 0,9, beta2 = 0,999. Große Sprachmodelle wie Llama 3 und DeepSeek-V3 trainieren meist mit AdamW, einer Weiterentwicklung von Adam. Seit 2025 setzen einige Großmodelle wie Kimi K2 und DeepSeek-V4 auf den neueren Optimierer Muon.

Vollständige Berechnung für L(w) = (w - 3)² + 1, Start bei w = 0, lr = 0,1: Schritt 1: w = 0,00, Gradient = -6,00, neues w = 0,60, Verlust = 6,76 Schritt 2: w = 0,60, Gradient = -4,80, neues w = 1,08, Verlust = 4,69 ... die Schritte 3-8 folgen dem gleichen Muster — der Gradient wird mit jedem Schritt kleiner, die Fortschritte schrumpfen ... Schritt 9: w = 2,50, Gradient = -1,01, neues w = 2,60, Verlust = 1,16 Schritt 10: w = 2,60, Gradient = -0,81, neues w = 2,68, Verlust = 1,10 Wie du siehst: Am Anfang springt w in zwei Schritten von 0 auf 1,08 — ein Riesensprung. Am Ende bewegt es sich nur noch von 2,60 auf 2,68. Die Schritte werden winzig klein, weil das Tal flacher wird und der Gradient in der Nähe des Minimums schrumpft.

Wie es weitergeht

Der Gradientenabstieg sagt uns, WIE Gewichte aktualisiert werden — aber für ein Netz mit vielen Schichten müssen wir wissen, wie sich Fehler rückwärts durch das Netz ausbreiten, um den Gradienten für jedes einzelne Gewicht zu berechnen. Das ist Backpropagation — das Thema des nächsten Artikels, der auf der Kettenregel aufbaut.

Merke

Kernaussagen

  1. Der Gradientenabstieg passt Gewichte an, indem er entgegengesetzt zum Gradienten schreitet — das Minuszeichen in der Aktualisierungsregel ist der springende Punkt.
  2. Die Lernrate ist oft der einflussreichste Hyperparameter: zu groß verursacht Divergenz, zu klein verursacht Stagnation, und adaptive Methoden wie Adam helfen, eliminieren aber nicht die Notwendigkeit einer guten Anfangswahl.
  3. In realen neuronalen Netzen sind Sattelpunkte (nicht lokale Minima) das Haupthindernis, und das Rauschen in SGD ist ein Feature, das beim Entkommen hilft.

Prüfen

Wissenstest: Gradientenabstieg

Noch offen

In der Gradientenabstiegs-Aktualisierungsregel w_neu = w_alt - lr × dL/dw — warum wird der Gradient subtrahiert statt addiert?

Wähle eine Antwort

Auflösung: 1) B · 2) B · 3) B · 4) B · 5) C

Prüfen

Selbstcheck

Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.

0 von 3 sitzen