Partielle Ableitungen & Der Gradient

Der vorherige Artikel gab dir eine Superkraft: Die Ableitung verrät, ob ein winziges Drehen an EINEM Gewicht den Fehler steigen oder sinken lässt. Aber ein echtes neuronales Netz hat Millionen von Gewichten — nicht nur eines. Wie findest du heraus, welchen der Millionen Regler du drehen sollst — und in welche Richtung?

Du brauchst zwei neue Werkzeuge: Partielle Ableitungen isolieren den Effekt jedes einzelnen Gewichts. Der Gradient bündelt all diese Informationen in einem einzigen Vektor — einem Kompass, der in Richtung des steilsten Anstiegs zeigt. Diesem Kompass umgekehrt zu folgen ist der Motor hinter jedem KI-Trainingsschritt weltweit.

Die mehrdimensionale Landschaft — Von der Kurve zum Gebirge

Im vorherigen Artikel war die Loss-Funktion L(w) eine Kurve — eine Dimension, zwei Richtungen: vorwärts oder rückwärts. Jetzt heben wir den Blick: Was passiert, wenn der Loss von zwei, drei oder Millionen Variablen abhängt?

Betrachte die einfache Schüsselfunktion f(x, y) = x² + y²:

Am Punkt (3, 4): f = 9 + 16 = 25. Die Steigung in x-Richtung: ∂f/∂x = 2·3 = 6. Die Steigung in y-Richtung: ∂f/∂y = 2·4 = 8. Zwei Zahlen statt einer — das ist der Sprung von 1D auf 2D. Im realen Maßstab: GPT-4 hat Berichten zufolge ~1,8 Billionen Parameter (Mixture-of-Experts, 16 Experten-Netzwerke mit je ~111 Milliarden Parametern, 2 aktiv pro Forward-Pass). Seine Loss-Landschaft lebt in einem Raum mit 1,8 Billionen Dimensionen.

Jede Kombination von Gewichten (w₁, ..., wₙ) ist ein Punkt in der Loss-Landschaft. Training bedeutet: einen tiefen Talgrund in dieser Landschaft finden. Die partiellen Ableitungen verraten die Steilheit in jeder Richtung — der Gradient kombiniert sie zu einem einzigen Kompass.

Partielle Ableitungen — Eine Variable nach der anderen

Du kennst die Ableitung einer Funktion mit einer Variablen. Die neue Fähigkeit: Eine Funktion mit vielen Variablen differenzieren, indem du alle anderen einfrierst.

Beispiel: Lineares Modell mit zwei Gewichten

Vorhersage = w₁·x + w₂, mit Trainingspunkt (x=2, y_true=7), aktuelle Gewichte w₁=1, w₂=3. Vorhersage: 1·2 + 3 = 5. Loss: (5-7)² = 4. Partielle Ableitung ∂L/∂w₁ = 2·(5-7)·2 = -8 (stark negativ: w₁ erhöhen senkt den Loss deutlich). ∂L/∂w₂ = 2·(5-7) = -4 (schwächer negativ: w₂ erhöhen hilft weniger). Warum der Faktor x=2 bei ∂L/∂w₁? Der Loss hängt von der Vorhersage ab, und die Vorhersage hängt von w₁ über das Produkt w₁·x ab. Jede Änderung von w₁ wird durch x=2 verstärkt — deshalb taucht x als Faktor auf. (Diese Verschachtelung hat einen Namen — die Kettenregel — die der nächste Artikel behandelt.)

Warum hat w₁ mehr Hebel? Weil es mit dem Input x=2 multipliziert wird. Ein Gewicht, das mit einem größeren Eingabewert multipliziert wird, hat mehr Einfluss auf die Vorhersage — und damit auf den Loss.

Beim Training verrät die partielle Ableitung des Loss nach jedem Gewicht dem Optimizer, wie empfindlich der Loss auf genau dieses Gewicht reagiert. Gewichte mit großen partiellen Ableitungen bekommen größere Updates; Gewichte mit fast-null partiellen Ableitungen ändern sich kaum. So lernt das Netz, welche Verbindungen am wichtigsten sind.

Der Gradient — Dein Kompass im Nebel

Du hast jetzt einzelne partielle Ableitungen. Der nächste Schritt: Alle zu einem Vektor zusammenfügen — dem Gradienten.

Gradient Descent in Aktion

Für f(x, y) = x² + y², Start bei (3, 4) mit Lernrate η = 0.1:

def f(x, y):
    return x**2 + y**2

def grad_f(x, y):
    return (2*x, 2*y)

x, y = 3.0, 4.0
lr = 0.1

for step in range(20):
    gx, gy = grad_f(x, y)
    x = x - lr * gx
    y = y - lr * gy
    if step % 5 == 0:
        print(f"Schritt {step:2d}: ({x:.2f}, {y:.2f})  f={f(x,y):.2f}")

# Schritt  0: (2.40, 3.20)  f=16.00
# Schritt  5: (0.79, 1.05)  f=1.73
# Schritt 10: (0.26, 0.35)  f=0.19
# Schritt 15: (0.08, 0.11)  f=0.02
# -> konvergiert gegen (0, 0), das Minimum

Cauchy beschrieb 1847 die Methode des steilsten Abstiegs für astronomische Berechnungen (Comptes rendus, Band 25, S. 536-538). 1986 zeigten Rumelhart, Hinton und Williams, wie man den Gradienten des Loss durch ein mehrschichtiges neuronales Netz effizient berechnet — Backpropagation (Nature, Band 323, S. 533-536). Heute berechnet jeder Trainingsschritt jedes neuronalen Netzes den Gradienten und folgt ihm bergab.

Interaktiv: Partielle Ableitungen erkunden

Klicke auf die einzelnen Terme der Formel und beobachte, was jeder Teil bedeutet. Wechsle zwischen den Tabs, um die Ableitung nach x und nach y zu vergleichen — und verfolge im Beispiel Schritt für Schritt, wie der Gradient entsteht.