Zurück zum Lernbereich

Wie KI ihre Fehler misst: Loss-Funktionen

Loss-Funktionen sind die Schmerzgrenze eines Modells — ohne sie kein Lernen.

  • Grundlagen
  • 11 min
  • Fortgeschritten

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: Wie KI ihre Fehler misst

Was ist eine Loss-Funktion?

Eine KI macht Vorhersagen. Manchmal liegen diese daneben. Eine Loss-Funktion misst den Fehler. Loss-Funktion bedeutet: ein Maß für den Fehler. Ein kleiner Loss bedeutet gute Vorhersagen.

Zwei wichtige Loss-Arten

Es gibt zwei wichtige Loss-Arten.
MSE ist für Zahlenvorhersagen. MSE heißt: mittlerer Quadrat-Fehler. Cross-Entropy ist für Ja/Nein-Entscheidungen. Cross-Entropy bedeutet: sichere Fehler kosten viel.

Wozu dient der Loss?

Das Netz verkleinert den Loss beim Lernen. Ein kleiner Loss bedeutet: Das Netz liegt richtig. Ein Loss von null ist kein gutes Zeichen. Das Netz hat dann auswendig gelernt.

Nach dem Forward Pass (der Vorwärtsrechnung durch das Netz) hat das Netzwerk eine Vorhersage. Aber eine Vorhersage ohne Bewertung ist nutzlos — das Modell kann sich nicht verbessern, wenn es nicht weiß, wie weit es daneben liegt.

Die Loss-Funktion schließt diese Lücke. Sie nimmt die Ausgabe des Modells und die richtige Antwort und verdichtet ihren Unterschied zu einer einzigen Zahl. Diese Zahl ist das Startsignal für alles, was folgt: Gradientenberechnung, Gewichtsupdates und letztlich das Lernen.

Mean Squared Error: Abstand messen bei Regression

Definition

Loss-Funktion

Analogie

Stell dir vor, du bewertest Bogenschießen: Wie weit vom Zentrum entfernt trifft jeder Pfeil? Strategie A (absoluter Abstand): 2 cm daneben = 2 Punkte, 10 cm daneben = 10 Punkte. Strategie B (quadrierter Abstand): 2 cm = 4 Punkte, aber 10 cm = 100 Punkte. Bei Strategie B dominiert ein einziger wilder Schuss die Gesamtpunktzahl. MSE nutzt Strategie B — die größten Fehler werden am stärksten korrigiert.

Beispiel

In der Realität will man manchmal KEINE Überempfindlichkeit gegenüber Ausreißern. Alternativen wie Mean Absolute Error oder Huber Loss existieren für solche Fälle — MSEs Ausreißer-Verstärkung ist ein bewusster Kompromiss.
MSE = (1/n) · ∑(ypred − ytrue)²
Mean Squared Error (MSE)

Warum quadrieren? Erstens: Positive und negative Fehler heben sich ohne Quadrierung gegenseitig auf — eine Überschätzung von +5 und eine Unterschätzung von -5 ergäben im Durchschnitt einen Fehler von null. Zweitens: Quadrierung verstärkt große Fehler überproportional — ein Fehler von 10 trägt 100 zur Summe bei, ein Fehler von 1 nur 1.

  1. 1. Fehler berechnenFür 5 Häuser: Wahre Preise (in 100.000 €) [3.0, 4.0, 5.0, 6.0, 7.0] vs. Vorhersagen [2.5, 4.2, 5.0, 7.5, 6.0] → Fehler: [-0.5, +0.2, 0.0, +1.5, -1.0]
  2. 2. Fehler quadrieren[-0.5, +0.2, 0.0, +1.5, -1.0] → [0.25, 0.04, 0.00, 2.25, 1.00]
  3. 3. Quadrate summieren0,25 + 0,04 + 0,00 + 2,25 + 1,00 = 3,54
  4. 4. Durch n teilenMSE = 3,54 / 5 = 0,708 — Haus 4 (Fehler 1,5, quadriert 2,25) trägt allein fast 64 % des Gesamtfehlers bei!

MSE zwingt das Netzwerk, seine schlimmsten Vorhersagen am stärksten zu korrigieren. Die quadratische Bestrafung macht große Fehler überproportional teuer.

Achtung

Missverständnis: Rohe Fehler einfach mitteln reicht

Ohne Quadrierung würden sich Fehler von +1,5 und −1,0 teilweise aufheben. Der einfache Durchschnitt der Rohfehler beträgt hier nur 0,04 — das suggeriert ein fast perfektes Modell, obwohl es bei Haus 4 völlig daneben liegt. Quadrierung verhindert diese Täuschung.

Cross-Entropy: Der Preis für selbstsichere Fehler

Definition

Cross-Entropy

Analogie

Stell dir einen Wettervorhersager vor, der öffentlich Wahrscheinlichkeiten verkündet. An einem Tag, an dem es tatsächlich regnet: "90% Regenwahrscheinlichkeit" — kaum Rufschädigung. "10% Regenwahrscheinlichkeit" bei echtem Regen — peinlich, spürbarer Schaden. "1% Regenwahrscheinlichkeit" bei Sturm — karrierebeendend, katastrophaler Schaden. Der Logarithmus in Cross-Entropy funktioniert genauso: Die Strafe wächst nicht linear, sondern beschleunigt.

Beispiel

Echte Wettervorhersager unterliegen sozialer Dynamik, nicht reinem Log-Loss. Außerdem nimmt Cross-Entropy an, dass die wahren Labels korrekt sind — bei falsch beschrifteten Trainingsdaten wird das Modell zu Unrecht bestraft.
L = −(1/n) · ∑[y · log(p) + (1−y) · log(1−p)]
Binary Cross-Entropy

Strafunterschied: −log(0,99) = 0,01 vs. −log(0,01) = 4,61

460 ×

Konkretes Beispiel: Ein Spam-Klassifizierer bewertet eine E-Mail, die tatsächlich Spam ist (wahres Label = 1):

Spam-Wahrscheinlichkeit  |  Loss: −log(p)  |  Interpretation
0,99                     |  0,01           |  Richtig und sicher — winziger Loss
0,80                     |  0,22           |  Richtig aber unsicher — kleiner Loss
0,50                     |  0,69           |  Münzwurf — mittlerer Loss
0,10                     |  2,30           |  Falsch und ziemlich sicher — hoher Loss
0,01                     |  4,61           |  Falsch und sehr sicher — enormer Loss

Für Probleme mit mehr als zwei Klassen gibt es die Categorical Cross-Entropy, die meist mit Softmax kombiniert wird. Das Prinzip bleibt dasselbe: Selbstsichere falsche Antworten werden überproportional bestraft.

Interaktiv: Wie unterschiedlich Fehler bestraft werden

Probier es selbst aus: Verschieb die Vorhersage für Haus 4 aus dem Rechenbeispiel und sieh, wie der absolute und der quadrierte Fehler wachsen und was das mit dem MSE aller fünf Häuser macht. Unter „Klassifikation“ stellst du die Spam-Wahrscheinlichkeit der Spam-E-Mail aus der Tabelle ein: Je selbstsicherer das Modell danebenliegt, desto steiler steigt die Cross-Entropy, während der quadrierte Fehler nie über 1 kommt.

Die Loss-Landschaft: Fehler und Optimierung verbinden

Mean Squared Error (MSE)

Aufgabe: Regression (kontinuierliche Werte). Bestraft große Fehler quadratisch. Glatte Gradienten überall. Ideal für: Preisvorhersage, Temperatur, Scores.

Cross-Entropy (CE)

Aufgabe: Klassifikation (Wahrscheinlichkeiten). Bestraft selbstsichere Fehler logarithmisch. Steile Gradienten bei Extremwerten. Ideal für: Spam-Erkennung, Bilderkennung, Diagnose.

Jede mögliche Kombination der Netzwerk-Gewichte erzeugt einen bestimmten Loss-Wert. Plottet man all diese Werte, entsteht eine weite mathematische Landschaft — eine Oberfläche, auf der die horizontalen Dimensionen Gewichtswerte repräsentieren und die vertikale Dimension die Loss-Höhe.

Stell dir vor, du stehst mit verbundenen Augen auf einem Berghang. Dein einziger Sinneseindruck ist die Neigung unter deinen Füßen (der Gradient). Du willst das Tal erreichen (minimaler Loss). Mit jedem Schritt spürst du, welche Richtung bergab führt, und gehst dorthin.

Ein glattes, schüsselförmiges Tal (eine gute Loss-Landschaft) macht das unkompliziert — jeder Schritt bringt dich näher. Eine Landschaft mit vielen kleinen Mulden und Graten (eine schlechte Loss-Landschaft) bedeutet, dass du in einer flachen Mulde landen könntest und denkst, du bist am Ziel — während das echte Tal weit weg ist.

Achtung: Loss = 0 ist kein Sieg

Ein Training-Loss nahe null beweist nur, dass das Modell die Trainingsdaten trifft — vielleicht, weil es sie auswendig gelernt hat, statt generalisierbare Muster zu erkennen (Overfitting). Ob es wirklich gelernt hat, zeigt erst der Loss auf ungesehenen Daten, dem Validierungs- oder Testdatensatz: Liegt er deutlich höher als der Training-Loss, hat das Modell auswendig gelernt.

Die Loss-Funktion liefert die Höhe, der Gradient die Richtung. Im nächsten Artikel erfährst du, wie Gradient Descent diese Landschaft tatsächlich navigiert.

MSE erzeugt bei Funktionen, die Ergebnisse auf Werte zwischen 0 und 1 quetschen (wie der sogenannten Sigmoid-Funktion), nahe 0 oder 1 flache Gradientenzonen. Das Modell erhält kaum noch ein Lernsignal, obwohl es völlig falsch liegt. Cross-Entropy hingegen produziert gerade in diesen Bereichen steile Gradienten — das Modell lernt schneller und zuverlässiger. MSE für Klassifikation zu verwenden ist wie Bergwandern mit einer fast flachen Karte — man kann kaum erkennen, welche Richtung bergab führt.

Merke

Kernaussagen

  • Eine Loss-Funktion verdichtet Vorhersagefehler in eine einzige Zahl, die sich nach den Gewichten ableiten lässt — diese Zahl ist das einzige Feedback, das das Netzwerk über seine Leistung erhält.
  • MSE quadriert Fehler und macht große Irrtümer überproportional teuer — ideal für Regression. Cross-Entropy nutzt Logarithmen und macht selbstsichere Fehler katastrophal teuer — ideal für Klassifikation.
  • Der Loss-Wert definiert einen Punkt in einer weiten mathematischen Landschaft. Training bedeutet, diese Landschaft zum tiefsten Tal zu navigieren — und die Form dieser Landschaft hängt stark von der gewählten Loss-Funktion ab.

Prüfen

Lernziele

Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.

0 von 3 sitzen

Prüfen

Wissen testen

Noch offen

Was ist die Hauptaufgabe einer Loss-Funktion in einem neuronalen Netz?

Wähle eine Antwort

Auflösung: 1) B · 2) B · 3) C · 4) C · 5) B