Veränderung messen: Ableitungen
Ableitungen in der Differentialrechnung, erklärt für Menschen, die Mathematik überlebt haben.
Wenn ein neuronales Netz trainiert, passt es Millionen von Gewichten an — aber woher weiß es, in WELCHE Richtung? Die Antwort: Es berechnet die Ableitung der Loss-Funktion. Die Ableitung misst, wie stark sich der Fehler ändert, wenn ein Gewicht sich um einen winzigen Betrag ändert.
Positive Ableitung: Fehler steigt — Gewicht verringern. Negative Ableitung: Fehler sinkt — Gewicht erhöhen. Dieser einfache Vorzeichen-Check, milliardenfach wiederholt, ist die Art, wie KI lernt.
Steigung: Vom Durchschnitt zum Moment
Definition
Ableitung (Derivative)
Analogie
Beispiel
Definition
Schauen wir uns an, wie der Grenzwert funktioniert. Für f(x) = x² an der Stelle x = 3: die exakte Ableitung ist f'(3) = 6. Beobachte, wie die Näherung konvergiert:
- 1. h = 1[f(4) - f(3)] / 1 = [16 - 9] / 1 = 7,0
- 2. h = 0,1[f(3,1) - f(3)] / 0,1 = [9,61 - 9] / 0,1 = 6,1
- 3. h = 0,01[f(3,01) - f(3)] / 0,01 = [9,0601 - 9] / 0,01 = 6,01
- 4. h → 0Grenzwert = 6,0 — die exakte Ableitung f'(3) = 2·3 = 6
def f(x):
return x ** 2
x = 3
for h in [1, 0.1, 0.01, 0.001, 0.0001]:
slope = (f(x + h) - f(x)) / h
print(f"h = {h:8.4f} -> Steigung = {slope:.4f}")
# h = 1.0000 -> Steigung = 7.0000
# h = 0.1000 -> Steigung = 6.1000
# h = 0.0100 -> Steigung = 6.0100
# h = 0.0010 -> Steigung = 6.0010
# h = 0.0001 -> Steigung = 6.0001 (konvergiert gegen 6)Achtung
Missverständnis: Die Ableitung IST die Steigung
Fast: Die Ableitung ist eine FUNKTION f'(x), die dir die Steigung an jedem Punkt liefert. An einer bestimmten Stelle x = 3 ist f'(3) = 6 die Steigung dort. Die Ableitung bildet jeden Eingabewert auf seine zugehörige Steigung ab.
Die Loss-Funktion L hängt von Gewichten w ab. Die Ableitung dL/dw sagt dir: "Wenn ich dieses Gewicht um einen winzigen Betrag erhöhe, steigt oder sinkt der Fehler — und um wie viel?" Genau diese Information nutzt Gradient Descent.
Interaktiv: Von der Sekante zur Tangente
Probier den Grenzwert selbst aus. Der Regler schiebt den Punkt P über die Parabel f(x) = x², die Tangente zeigt die Steigung genau in P. Die gestrichelte Sekante durch P und Q misst die durchschnittliche Steigung über den Abstand h. Mach h kleiner: Bei x = 3 sinkt die Sekantensteigung von 7 über 6,1 auf 6,001 und nähert sich f'(3) = 6. Und such die Stelle, an der die Tangente waagrecht liegt.
Ableitungsregeln: Der Werkzeugkasten
Statt jedes Mal den Grenzwert von Hand zu berechnen, gibt es vier Regeln, mit denen du jedes Polynom ableiten kannst — und damit viele einfache Loss-Funktionen. Wie Rezepte: Du greifst zum fertigen Mehl statt Korn zu mahlen.
Beispiel: Loss-Funktion L(w) = (w-3)² + 1
Ausmultipliziert: L(w) = w² - 6w + 10. Regeln anwenden: (w²)' = 2w (Potenz), (-6w)' = -6 (Skalierung), (10)' = 0 (Konstante). Summenregel: L'(w) = 2w - 6.
def L(w):
return (w - 3) ** 2 + 1
def L_prime(w):
return 2 * w - 6
for w in [0, 1, 2, 3, 4, 5]:
print(f"w={w} L(w)={L(w):5.1f} L'(w)={L_prime(w):+.1f}")
# w=0 L(w)= 10.0 L'(w)=-6.0 (fallend -> w erhoehen)
# w=1 L(w)= 5.0 L'(w)=-4.0 (fallend -> w erhoehen)
# w=2 L(w)= 2.0 L'(w)=-2.0 (fallend -> w erhoehen)
# w=3 L(w)= 1.0 L'(w)=+0.0 (flach -> Minimum!)
# w=4 L(w)= 2.0 L'(w)=+2.0 (steigend -> w verringern)
# w=5 L(w)= 5.0 L'(w)=+4.0 (steigend -> w verringern)Loss steigt bei größerem w
Loss sinkt bei größerem w
L'(5) = +4: Loss steigt steil
+4
L'(3) = 0: Minimum erreicht
0
L'(1) = -4: Loss fällt steil
-4
Die Ableitung hat viele Schreibweisen: f'(x) (Lagrange), dy/dx bzw. df/dx (Leibniz), ∂f/∂x (partielle Ableitung). Alle meinen dasselbe bei Funktionen mit einer Variablen. Die ∂-Notation brauchst du ab dem nächsten Artikel (Partielle Ableitungen), wenn Funktionen von mehreren Variablen abhängen.
PyTorch und TensorFlow berechnen alle Ableitungen automatisch via Autograd. Du definierst eine Funktion, rufst .backward() auf (PyTorch; TensorFlow nutzt tf.GradientTape und wird seit März 2026 nur noch gewartet), und das Framework liefert die Gradienten. Trotzdem ist das Verständnis essentiell: Wenn das Training nicht konvergiert, musst du wissen, WARUM der Gradient zu groß, zu klein oder null ist.
import torch
# Gewicht mit Gradientenverfolgung
w = torch.tensor([5.0], requires_grad=True)
# Loss berechnen
loss = (w - 3) ** 2 + 1 # L(5) = 5
# Gradient automatisch berechnen
loss.backward()
print(w.grad) # tensor([4.]) -> L'(5) = 4Minima finden: Warum Ableitungen KI antreiben
Du weißt jetzt, wie man Ableitungen berechnet und was ihr Vorzeichen bedeutet. Die entscheidende Frage: Wo ist der Fehler am kleinsten?
Definition
Minimum einer Funktion
Analogie
Beispiel
Definition
Achtung
Missverständnis: f'(x) = 0 bedeutet immer Minimum
Nicht unbedingt. f'(x) = 0 heißt nur, dass die Tangente horizontal ist — das Gelände ist hier flach. Das kann ein Tal (Minimum), eine Hügelkuppe (Maximum) oder ein Sattelpunkt sein. In tiefen neuronalen Netzen sind Sattelpunkte häufiger als echte lokale Minima — sie können das Training verlangsamen oder zum Stillstand bringen.
Vorschau: Gradient Descent
Die einfachste Form des Trainings: Starte bei einem zufälligen Gewicht, berechne die Ableitung, gehe einen kleinen Schritt in die Gegenrichtung. Wiederhole.
# Einfachster Gradient Descent
def L(w):
return (w - 3) ** 2 + 1
def L_prime(w):
return 2 * w - 6
w = 0.0
lr = 0.1 # Lernrate
for step in range(20):
grad = L_prime(w)
w = w - lr * grad
if step % 5 == 0:
print(f"Schritt {step:2d}: w={w:.4f} L={L(w):.4f} L'(w_alt)={grad:+.4f}")
# Schritt 0: w=0.6000 L=6.7600 L'(w_alt)=-6.0000
# Schritt 5: w=2.2136 L=1.6185 L'(w_alt)=-1.9661
# Schritt 10: w=2.7423 L=1.0664 L'(w_alt)=-0.6442
# Schritt 15: w=2.9156 L=1.0071 L'(w_alt)=-0.2111
# -> w konvergiert gegen 3.0 (das echte Minimum)Ein neuronales Netz zu trainieren bedeutet: die Loss-Funktion minimieren, indem die Gewichte angepasst werden. Die Ableitung des Loss bezüglich jedes Gewichts zeigt, in welche Richtung es zum Minimum geht. Gradient Descent formalisiert das: w_neu = w_alt - Lernrate × Gradient. Die nächsten Artikel (Gradient, Kettenregel) vervollständigen das Bild für echte Netze.
Merke
Kernaussagen
- Die Ableitung f'(x) gibt die momentane Änderungsrate — wie steil die Funktion an einem bestimmten Punkt steigt oder fällt. Die Grenzwertdefinition (h → 0) verwandelt die durchschnittliche Steigung in die exakte Steigung.
- Vier einfache Regeln (Potenz, Konstante, Summe, Skalierung) reichen aus, um jedes Polynom abzuleiten. In der KI sagt dir die Ableitung der Loss-Funktion, ob du ein Gewicht erhöhen oder verringern sollst.
- f'(x) = 0 findet Kandidaten für Extrema — aber nicht jede Nullstelle von f' ist ein Minimum. Es könnte auch ein Maximum oder ein Sattelpunkt sein. Echte neuronale Netze haben viele lokale Minima und Sattelpunkte — nicht nur ein sauberes Tal.
Prüfen
Lernziele
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen
Prüfen
Quiz: Ableitungen
Was sagt das Vorzeichen der Ableitung L'(w) über die Loss-Funktion aus?
Wähle eine Antwort
1. Was sagt das Vorzeichen der Ableitung L'(w) über die Loss-Funktion aus?
2. Du trainierst ein Netz. Beim aktuellen Gewicht w ist L'(w) = -3. Was sollte Gradient Descent tun?
3. Gegeben f(x) = x² - 6x + 10. Wende die Ableitungsregeln an. Wie lautet f'(x)?
4. Gradient Descent landet bei einem Punkt mit L'(w) = 0, aber der Loss ist nicht der kleinstmögliche Wert. Was ist passiert?