Ableitungen in der Differentialrechnung, erklärt für Menschen, die Mathematik überlebt haben.
Grundlagen 13 min Fortgeschritten 11. Mai 2026
Wenn ein neuronales Netz trainiert, passt es Millionen von Gewichten an — aber woher weiß es, in WELCHE Richtung? Die Antwort: Es berechnet die Ableitung der Loss-Funktion. Die Ableitung misst, wie stark sich der Fehler ändert, wenn ein Gewicht sich um einen winzigen Betrag ändert.
Positive Ableitung: Fehler steigt — Gewicht verringern. Negative Ableitung: Fehler sinkt — Gewicht erhöhen. Dieser einfache Vorzeichen-Check, milliardenfach wiederholt, ist die Art, wie KI lernt.
Steigung: Vom Durchschnitt zum Moment
Ableitung (Derivative)
AnalogieDefinition
Dein Auto fährt durch die Berge. Die Durchschnittsgeschwindigkeit über 100 km (100 km / 2 h = 50 km/h) ist die durchschnittliche Steigung der Weg-Zeit-Kurve — die Sekante. Der Tacho zeigt die Geschwindigkeit JETZT — die Tangentensteigung, die Ableitung.
Beispiel
Ein echter Tacho misst über ein kleines, aber endliches Zeitfenster (Millisekunden). Die mathematische Ableitung idealisiert das: h geht auf exakt null — physisch unmöglich, aber mathematisch präzise.
Analogie:
Dein Auto fährt durch die Berge. Die Durchschnittsgeschwindigkeit über 100 km (100 km / 2 h = 50 km/h) ist die durchschnittliche Steigung der Weg-Zeit-Kurve — die Sekante. Der Tacho zeigt die Geschwindigkeit JETZT — die Tangentensteigung, die Ableitung.
Beispiel
Ein echter Tacho misst über ein kleines, aber endliches Zeitfenster (Millisekunden). Die mathematische Ableitung idealisiert das: h geht auf exakt null — physisch unmöglich, aber mathematisch präzise.
Definition:
Die Ableitung f'(x) = lim(h\u21920) [(f(x+h) - f(x)) / h] misst die momentane Änderungsrate einer Funktion an einer Stelle. Sie ist die Steigung der Tangente an den Graphen.
Schauen wir uns an, wie der Grenzwert funktioniert. Für f(x) = x\u00B2 an der Stelle x = 3: die exakte Ableitung ist f'(3) = 6. Beobachte, wie die Näherung konvergiert:
h \u2192 0 Grenzwert = 6.0 — die exakte Ableitung f'(3) = 2\u00B73 = 6
def f(x):
return x ** 2
x = 3
for h in [1, 0.1, 0.01, 0.001, 0.0001]:
slope = (f(x + h) - f(x)) / h
print(f"h = {h:8.4f} -> Steigung = {slope:.4f}")
# h = 1.0000 -> Steigung = 7.0000
# h = 0.1000 -> Steigung = 6.1000
# h = 0.0100 -> Steigung = 6.0100
# h = 0.0010 -> Steigung = 6.0010
# h = 0.0001 -> Steigung = 6.0001 (konvergiert gegen 6)
Missverständnis: Die Ableitung IST die Steigung
Fast: Die Ableitung ist eine FUNKTION f'(x), die dir die Steigung an jedem Punkt liefert. An einer bestimmten Stelle x = 3 ist f'(3) = 6 die Steigung dort. Die Ableitung bildet jeden Eingabewert auf seine zugehörige Steigung ab.
Die Loss-Funktion L hängt von Gewichten w ab. Die Ableitung dL/dw sagt dir: "Wenn ich dieses Gewicht um einen winzigen Betrag erhöhe, steigt oder sinkt der Fehler — und um wie viel?" Genau diese Information nutzt Gradient Descent.
Ableitungsregeln: Der Werkzeugkasten
Statt jedes Mal den Grenzwert von Hand zu berechnen, gibt es vier Regeln, die fast alle KI-relevanten Ableitungen abdecken. Wie Rezepte: Du greifst zum fertigen Mehl statt Korn zu mahlen.
def L(w):
return (w - 3) ** 2 + 1
def L_prime(w):
return 2 * w - 6
for w in [0, 1, 2, 3, 4, 5]:
print(f"w={w} L(w)={L(w):5.1f} L'(w)={L_prime(w):+.1f}")
# w=0 L(w)= 10.0 L'(w)=-6.0 (fallend -> w erhoehen)
# w=1 L(w)= 5.0 L'(w)=-4.0 (fallend -> w erhoehen)
# w=2 L(w)= 2.0 L'(w)=-2.0 (fallend -> w erhoehen)
# w=3 L(w)= 1.0 L'(w)=+0.0 (flach -> Minimum!)
# w=4 L(w)= 2.0 L'(w)=+2.0 (steigend -> w verringern)
# w=5 L(w)= 5.0 L'(w)=+4.0 (steigend -> w verringern)
L'(w) > 0
Loss steigt bei größerem w
L'(w) < 0
Loss sinkt bei größerem w
+4
L'(5) = +4: Loss steigt steil
0
L'(3) = 0: Minimum erreicht
-4
L'(1) = -4: Loss fällt steil
Deep Dive: Der Notations-Zoo
Die Ableitung hat viele Schreibweisen: f'(x) (Lagrange), dy/dx (Leibniz), df/dx (explizit), \u2202f/\u2202x (partielle Ableitung). Alle meinen dasselbe bei Funktionen mit einer Variablen. Die \u2202-Notation brauchst du ab dem nächsten Artikel (Partielle Ableitungen), wenn Funktionen von mehreren Variablen abhängen.
Deep Dive: Autograd — Warum du Ableitungen nicht von Hand rechnest
PyTorch und TensorFlow berechnen alle Ableitungen automatisch via Autograd. Du definierst eine Funktion, rufst .backward() auf, und das Framework liefert die Gradienten. Trotzdem ist das Verständnis essentiell: Wenn das Training nicht konvergiert, musst du wissen, WARUM der Gradient zu groß, zu klein oder null ist.
import torch
# Gewicht mit Gradientenverfolgung
w = torch.tensor([5.0], requires_grad=True)
# Loss berechnen
loss = (w - 3) ** 2 + 1 # L(5) = 5
# Gradient automatisch berechnen
loss.backward()
print(w.grad) # tensor([4.]) -> L'(5) = 4
Interaktiv: Funktionswachstum vergleichen
Die Potenzregel verrät: Je höher der Exponent, desto schneller wächst die Funktion. Bewege den Slider und beobachte, wie sich f(x) = x² und f(x) = x³ bei wachsendem x von f(x) = x abheben. Die Ableitung misst genau diesen Wachstumsunterschied — f'(x) = 2x für x² wächst doppelt so schnell wie f'(x) = 1 für x.
150
f(x) = 11
f(x) = x100
f(x) = x²10.000
f(x) = x³1.000.000
Moderater Input
Bei n=100 wird der Unterschied sichtbar: O(n²) braucht 10.000 Operationen, während O(n) nur 100 braucht. O(log n) braucht nur 6.6 — das ist 15x weniger als O(n).
Verhältnis zu O(n)
Komplexität
Operationen
Faktor vs. O(n)
f(x) = 1
1
100x schneller
f(x) = x
100
1x (Referenz)
f(x) = x²
10.000
100x langsamer
f(x) = x³
1.000.000
10000x langsamer
Minima finden: Warum Ableitungen KI antreiben
Du weißt jetzt, wie man Ableitungen berechnet und was ihr Vorzeichen bedeutet. Die entscheidende Frage: Wo ist der Fehler am kleinsten?
Minimum einer Funktion
AnalogieDefinition
Du stehst auf einem Hügel bei dichtem Nebel und willst ins Tal (Minimum). Du kannst das Tal nicht sehen, aber du kannst fühlen, in welche Richtung der Boden unter deinen Füßen abfällt (= Ableitung). Du gehst in Richtung des steilsten Abstiegs. Schritt für Schritt näherst du dich dem Tal.
Beispiel
Ein realer Hügel hat vielleicht 3 Täler. Die Loss-Landschaft eines neuronalen Netzes hat Millionen von Dimensionen mit unzähligen Tälern unterschiedlicher Tiefe — unvorstellbar komplex.
Analogie:
Du stehst auf einem Hügel bei dichtem Nebel und willst ins Tal (Minimum). Du kannst das Tal nicht sehen, aber du kannst fühlen, in welche Richtung der Boden unter deinen Füßen abfällt (= Ableitung). Du gehst in Richtung des steilsten Abstiegs. Schritt für Schritt näherst du dich dem Tal.
Beispiel
Ein realer Hügel hat vielleicht 3 Täler. Die Loss-Landschaft eines neuronalen Netzes hat Millionen von Dimensionen mit unzähligen Tälern unterschiedlicher Tiefe — unvorstellbar komplex.
Definition:
Ein lokales Minimum liegt vor, wenn f'(x) = 0 (Tangente ist horizontal) und die Kurve dort nach oben gewölbt ist (Schüsselform). f'(x) = 0 allein reicht nicht — es könnte auch ein Maximum (Hügelkuppe) oder ein Sattelpunkt sein.
Missverständnis: f'(x) = 0 bedeutet immer Minimum
Nicht unbedingt. f'(x) = 0 heißt nur, dass die Tangente horizontal ist — das Gelände ist hier flach. Das kann ein Tal (Minimum), eine Hügelkuppe (Maximum) oder ein Sattelpunkt sein. In tiefen neuronalen Netzen sind Sattelpunkte häufiger als echte lokale Minima — sie können das Training verlangsamen oder zum Stillstand bringen.
Vorschau: Gradient Descent
Die einfachste Form des Trainings: Starte bei einem zufälligen Gewicht, berechne die Ableitung, gehe einen kleinen Schritt in die Gegenrichtung. Wiederhole.
Gradient-Descent-Regel
w_new = w_old - learning_rate × L'(w_old)
# Einfachster Gradient Descent
def L(w):
return (w - 3) ** 2 + 1
def L_prime(w):
return 2 * w - 6
w = 0.0
lr = 0.1 # Lernrate
for step in range(20):
grad = L_prime(w)
w = w - lr * grad
if step % 5 == 0:
print(f"Schritt {step:2d}: w={w:.4f} L={L(w):.4f} L'={grad:+.4f}")
# Schritt 0: w=0.6000 L=6.7600 L'=-6.0000
# Schritt 5: w=2.8024 L=1.0390 L'=-0.3277
# Schritt 10: w=2.9893 L=1.0001 L'=-0.0178
# Schritt 15: w=2.9994 L=1.0000 L'=-0.0010
# -> w konvergiert gegen 3.0 (das echte Minimum)
Ein neuronales Netz zu trainieren bedeutet: die Loss-Funktion minimieren, indem die Gewichte angepasst werden. Die Ableitung des Loss bezüglich jedes Gewichts zeigt die Richtung zum Minimum. Gradient Descent formalisiert das: w_neu = w_alt - Lernrate \u00D7 Gradient. Die nächsten Artikel (Gradient, Kettenregel) vervollständigen das Bild für echte Netze.
Kernaussagen
Die Ableitung f'(x) gibt die momentane Änderungsrate — wie steil die Funktion an einem bestimmten Punkt steigt oder fällt. Die Grenzwertdefinition (h \u2192 0) verwandelt die durchschnittliche Steigung in die exakte Steigung.
Vier einfache Regeln (Potenz, Konstante, Summe, Skalierung) reichen aus, um jedes Polynom abzuleiten. In der KI sagt dir die Ableitung der Loss-Funktion, ob du ein Gewicht erhöhen oder verringern sollst.
f'(x) = 0 findet Kandidaten für Extrema — aber nicht jede Nullstelle ist ein Minimum. Es könnte auch ein Maximum oder ein Sattelpunkt sein. Echte neuronale Netze haben viele lokale Minima und Sattelpunkte — nicht nur ein sauberes Tal.
Lernziele
Gegeben f(x) = 3x\u00B2 + 2. Wie lautet f'(4)?
Für L(w) = w\u00B2 - 4w + 5: Wo liegt das Minimum?
Warum garantiert f'(x) = 0 kein Minimum?
Quiz: Ableitungen
Frage 1 / 4
Noch offen
Was sagt das Vorzeichen der Ableitung L'(w) über die Loss-Funktion aus?
1. Was sagt das Vorzeichen der Ableitung L'(w) über die Loss-Funktion aus?
☐ A) Ob die Funktion ein Minimum hat
☐ B) Ob der Fehler steigt oder sinkt, wenn w größer wird
☐ C) Den exakten Wert des Minimums
☐ D) Wie viele Parameter das Netz hat
2. Du trainierst ein Netz. Beim aktuellen Gewicht w ist L'(w) = -3. Was sollte Gradient Descent tun?
☐ A) w unverändert lassen
☐ B) w verringern (dem negativen Vorzeichen folgen)
☐ C) w erhöhen (negative Ableitung heißt: Loss fällt, also weiter in diese Richtung)
☐ D) w auf 3 setzen
3. Gegeben f(x) = x\u00B2 - 6x + 10. Wende Potenz- und Summenregel an. Wie lautet f'(x)?
☐ A) x\u00B2 - 6
☐ B) 2x - 6
☐ C) 2x + 10
☐ D) x - 6
4. Gradient Descent landet bei einem Punkt mit L'(w) = 0, aber der Loss ist nicht der kleinstmögliche Wert. Was ist passiert?
☐ A) Die Lernrate war zu hoch
☐ B) Der Algorithmus hat ein lokales Minimum oder einen Sattelpunkt statt des globalen Minimums gefunden