Zurück zum Lernbereich

Wenn das Modell auswendig lernt (Overfitting)

Wie man bemerkt, dass das Modell nicht gelernt, sondern auswendig gepaukt hat.

  • Grundlagen
  • 7 min
  • Einsteiger

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: Wenn das Modell auswendig lernt

Was ist Overfitting?

Ein KI-Modell lernt aus Daten. KI-Modell bedeutet: ein Computerprogramm. Es lernt aus vielen Beispielen. Manchmal lernt es zu genau. Bei neuen Aufgaben macht es Fehler. Das heißt Overfitting.

Trainings-Fehler allein reicht nicht

Das Modell kann 99 Prozent der Beispiele richtig lösen. Trotzdem kann es schlechte Ergebnisse liefern. Die echte Probe sind neue Daten. Bei neuen Daten steigt der Fehler. Das ist ein Zeichen für Overfitting.

Was hilft gegen Overfitting?

Es gibt Wege gegen Overfitting.
Mehr Daten sammeln hilft dem Modell. Eine Technik heißt Regularisierung. Das Modell muss dann einfach bleiben. Eine andere Technik heißt Early Stopping. Man stoppt das Training früher.

Dein ML-Modell erreicht 99 % auf den Trainingsdaten — stürzt aber auf 55 % bei neuen Daten ab. Das Modell hat nicht gelernt, das Problem zu lösen. Es hat die Antworten auswendig gelernt. Dieses Phänomen heißt Overfitting und ist einer der häufigsten Fehler im Machine Learning.

In diesem Artikel lernst du, warum Overfitting passiert, wie du es erkennst und welche Werkzeuge es gibt, um es zu vermeiden.

Der auswendig lernende Schüler — Was ist Overfitting?

Definition

Overfitting

Analogie

Stell dir einen Schüler vor, der sich auf eine Matheprüfung vorbereitet — aber nur die exakten Lösungen aller Übungsaufgaben auswendig lernt, ohne die Methode zu verstehen. Sobald in der echten Prüfung leicht veränderte Aufgaben auftauchen, versagt er, weil er nie gelernt hat, Probleme zu lösen, sondern nur, Antworten abzurufen.

Anders als ein Schüler hat ein ML-Modell kein "Verständnis" — es optimiert eine Verlustfunktion. Die Analogie funktioniert für die Intuition, sollte aber nicht nahelegen, dass Modelle kognitive Prozesse haben.

Beispiel: Polynomanpassung

Stell dir 16 Datenpunkte vor, die mit leichtem Rauschen einem quadratischen Trend folgen.

  • Grad 1 (gerade Linie): Verfehlt die Kurve komplett. Das ist Underfitting — das Modell ist zu einfach.
  • Grad 3: Erfasst den Trend gut. Die Kurve folgt dem Muster, ohne jede Schwankung mitzunehmen.
  • Grad 15: Geht durch jeden einzelnen Punkt, schwingt aber wild dazwischen. Das Modell hat das Rauschen auswendig gelernt. Der Trainingsfehler ist null — aber für neue Punkte liefert es oft absurde Vorhersagen.

Achtung

Irrtum: Hohe Trainingsgenauigkeit = gutes Modell

Das ist der gefährlichste Trugschluss im Machine Learning. Ein Modell mit 99,9 % Trainingsgenauigkeit kann schwer overfittet sein. Die EINZIG aussagekräftige Metrik für die Verallgemeinerung ist die Leistung auf den Validierungs- oder Testdaten. Trainingsgenauigkeit sagt nur, dass das Modell auswendig lernen kann — nicht, dass es verallgemeinern kann.

Jedes sehr komplexe Modell kann Daten einfach auswendig lernen. Deshalb überwachen Entwickler sowohl den Trainings- als auch den Validierungsfehler. Wenn der Validierungsfehler steigt, während der Trainingsfehler weiter sinkt, overfittet dein Modell — und genau dann solltest du aufhören zu trainieren (Early Stopping).

Definition

Underfitting

Analogie

Neben dem Auswendiglernen gibt es noch ein zweites Extrem — ein Schüler, der nur die Kapitelüberschriften liest und dann zur Prüfung geht. Zu wenig investiert, um auch nur die Grundmuster zu erkennen.
Overfitting

Symptom: Niedriger Trainingsfehler, hoher Testfehler. Ursache: Modell zu komplex oder zu lange trainiert. Lösung: Modell vereinfachen, mehr Daten, Regularisierung, frühes Stoppen.

Underfitting

Symptom: Hoher Trainingsfehler UND hoher Testfehler. Ursache: Modell zu einfach oder zu wenig trainiert. Lösung: Komplexeres Modell, mehr Features, länger trainieren.

Interaktiv: Underfitting vs. Overfitting

Bewege den Schieberegler, um zu sehen, wie sich eine zu einfache Modellanpassung (links) von einer zu komplexen Anpassung (rechts) unterscheidet. In der Mitte liegt der Sweet Spot — das Modell erfasst die echten Muster, ohne das Rauschen auswendig zu lernen.

Underfitting vs. Overfitting

Verschiebe den Regler, um zwischen Underfitting (links) und Overfitting (rechts) zu wechseln. Die blauen Punkte sind Trainingsdaten. Die Kurve zeigt, wie das Modell die Daten interpretiert.

UnderfittingOverfitting
‹ ›
Steuerung
📉

Underfitting

Das Modell ist zu einfach. Es erkennt nicht einmal die offensichtlichen Muster in den Trainingsdaten. Wie ein Schüler, der die Aufgabe nicht verstanden hat.

Modell-KomplexitätZu niedrig
TrainingsfehlerHoch
TestfehlerHoch
📈

Overfitting

Das Modell ist zu komplex. Es lernt jeden einzelnen Datenpunkt auswendig, inklusive Rauschen. Wie ein Schüler, der die Antworten auswendig lernt statt zu verstehen.

Modell-KomplexitätZu hoch
TrainingsfehlerSehr niedrig
TestfehlerHoch
🎯
Sweet Spot: Good Fit

In der Mitte liegt der optimale Kompromiss: komplex genug, um echte Muster zu erkennen, aber einfach genug, um auf neue Daten zu generalisieren. Techniken wie Regularisierung, Kreuzvalidierung und Early Stopping helfen, diesen Punkt zu finden.

Die U-Kurve — Den Sweet Spot finden

Stell dir eine Grafik vor: Auf der X-Achse die Modellkomplexität (z. B. den Polynomgrad), auf der Y-Achse den Fehler. Was entsteht?

Der Trainingsfehler sinkt stetig mit wachsender Komplexität — das Modell passt sich immer besser an die Trainingsdaten an. Der Testfehler aber verhält sich anders: Er sinkt zunächst (weil das Modell besser wird), steigt dann aber wieder an (weil das Modell anfängt, Rauschen zu lernen).

Diese U-förmige Testkurve ist das zentrale Diagnosewerkzeug. Am tiefsten Punkt der U-Kurve liegt der optimale Punkt — die beste Balance zwischen zu einfach (Underfitting, links) und zu komplex (Overfitting, rechts).

Der Bias-Varianz-Tradeoff erklärt, WARUM die U-Kurve existiert.

Bias (Verzerrung) = der systematische Fehler durch eine zu starke Vereinfachung des Modells. Hoher Bias bedeutet, das Modell verpasst die echten Muster (Underfitting).

Varianz = die Empfindlichkeit des Modells gegenüber Schwankungen in den Trainingsdaten. Hohe Varianz bedeutet, das Modell reagiert auf Rauschen statt auf Muster (Overfitting).

Erwarteter quadratischer Fehler = Bias² + Varianz + irreduzibler Rauschanteil

Stell dir das Bogenschießen vor: Hoher Bias = du triffst konsistent die falsche Stelle (Pfeile eng zusammen, aber neben der Mitte). Hohe Varianz = Pfeile überall verstreut (selbst wenn sie im Durchschnitt die Mitte treffen). Du willst beides niedrig: einen engen Cluster genau im Bullseye.

Anders als beim echten Bogenschießen kann man im ML nicht einfach "besser zielen". Einen stärkeren Bogen (komplexeres Modell) zu verwenden kann die Pfeile stärker streuen (höhere Varianz).

Wenn du den Bias reduzierst (komplexeres Modell), steigt bei klassischen Modellen meist die Varianz. Wenn du die Varianz reduzierst (einfacheres Modell), steigt der Bias. Der optimale Punkt minimiert die Summe. Bei sehr großen Modellen wie tiefen neuronalen Netzen zeigt sich manchmal zusätzlich ein „Double Descent“: Wächst die Komplexität über den Punkt hinaus, an dem das Modell die Trainingsdaten exakt trifft, kann der Testfehler ein zweites Mal sinken.

Interaktiv: Der Sweet Spot der U-Kurve

Oben hast du die U-Kurve als Idee gesehen — hier erzeugst du sie selbst. Schiebe den Polynomgrad hoch und beobachte, wie der Trainingsfehler immer weiter sinkt, der Testfehler aber erst fällt und dann wieder steigt. Das Tal dazwischen ist der Sweet Spot.

Train, Validate, Test — Das Drei-Prüfungs-System

Woher weißt du, ob dein Modell verallgemeinern kann? Du testest es an Daten, die es noch nie gesehen hat. Dafür wird der Datensatz in drei disjunkte Teile aufgeteilt:

  1. 1. Training (60-80 %): Tägliche Hausaufgaben. Das Modell lernt aus diesen Daten.
  2. 2. Validation (10-20 %): Probeklausur. Du justierst Hyperparameter und überwachst Overfitting.
  3. 3. Test (10-20 %): Abschlussprüfung. Genau EINMAL am Ende verwendet.

Wie in der Schule: Die Hausaufgaben sind zum Üben, die Probeklausur zeigt, wo du stehst, und die Abschlussprüfung darfst du nur einmal schreiben. Wer vorher die echte Prüfung sieht und damit übt, hat kein valides Ergebnis mehr.

Achtung

Die goldene Regel: Testdaten nur EINMAL verwenden

Wenn du den Testdatensatz verwendest, um Entscheidungen zu treffen (z. B. Modellauswahl oder Hyperparameter-Tuning), verliert er seine Aussagekraft. Er wird dann faktisch zum zweiten Validierungsdatensatz, und du hast keine unvoreingenommene Schätzung der realen Leistung mehr.

Merke

Praxis: Daten aufteilen mit scikit-learn

from sklearn.model_selection import train_test_split

# Schritt 1: 70 % Training, 30 % temporär
X_train, X_temp, y_train, y_temp = train_test_split(
    X, y, test_size=0.3, random_state=42
)

# Schritt 2: Temporär aufteilen in 15 % Validation + 15 % Test
X_val, X_test, y_val, y_test = train_test_split(
    X_temp, y_temp, test_size=0.5, random_state=42
)

Bei kleinen Datensätzen reicht eine einzelne Aufteilung nicht aus. Hier hilft die Kreuzvalidierung (Cross-Validation): Der Datensatz wird in k Teile ("Folds") aufgeteilt, und das Training wird k-mal wiederholt, wobei jedes Fold einmal als Validierung dient.

Was kannst du tun?

Overfitting ist kein Schicksal. Diese vier Strategien helfen:

Mehr Daten Mehr Trainingsdaten machen es dem Modell schwerer, Rauschen zu lernen. Wenn möglich, die effektivste Strategie.
Einfacheres Modell Weniger Parameter = weniger Freiheitsgrade zum Auswendiglernen. Z. B. Polynomgrad 3 statt 15.
Regularisierung Bestraft extreme Parametergrößen (L1/L2). Zwingt das Modell, einfachere Lösungen zu bevorzugen.
Early Stopping Stoppe das Training, sobald der Validierungsfehler nicht mehr sinkt. Verhindert, dass das Modell sich an Rauschen anpasst.

Regularisierung zum Ausprobieren: Ein Polynom vom Grad 15 schlängelt sich durch die Trainingspunkte – wie im Beispiel oben. Erhöhe λ, die Stärke der L2-Regularisierung, und beobachte, wie die Kurve glatter wird. Der Testfehler sinkt erst und steigt dann wieder: Zu starke Regularisierung macht das Modell zu einfach.

Merke

Zusammenfassung

  1. Overfitting = Rauschen auswendig lernen statt Muster erkennen. Symptom: niedriger Trainingsfehler + hoher Testfehler.
  2. Der Sweet Spot liegt zwischen Underfitting (zu einfach) und Overfitting (zu komplex) — sichtbar an der U-förmigen Testkurve.
  3. Immer aufteilen: Training zum Lernen, Validation zum Justieren, Test zum Bewerten — und den Testdatensatz genau einmal verwenden.

Prüfen

Quiz: Overfitting

Noch offen

Was ist Overfitting?

Wähle eine Antwort

Auflösung: 1) B · 2) C · 3) C · 4) B

Prüfen

Verständnis-Check

Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.

0 von 3 sitzen