Wenn das Modell auswendig lernt (Overfitting)
Wie man bemerkt, dass das Modell nicht gelernt, sondern auswendig gepaukt hat.
Dein ML-Modell erreicht 99 % auf den Trainingsdaten — stürzt aber auf 55 % bei neuen Daten ab. Das Modell hat nicht gelernt, das Problem zu lösen. Es hat die Antworten auswendig gelernt. Dieses Phänomen heißt Overfitting und ist einer der häufigsten Fehler im Machine Learning.
In diesem Artikel lernst du, warum Overfitting passiert, wie du es erkennst und welche Werkzeuge es gibt, um es zu vermeiden.
Der auswendig lernende Schüler — Was ist Overfitting?
Definition
Overfitting
Analogie
Definition
Anders als ein Schüler hat ein ML-Modell kein "Verständnis" — es optimiert eine Verlustfunktion. Die Analogie funktioniert für die Intuition, sollte aber nicht nahelegen, dass Modelle kognitive Prozesse haben.
Beispiel: Polynomanpassung
Stell dir 16 Datenpunkte vor, die mit leichtem Rauschen einem quadratischen Trend folgen.
- Grad 1 (gerade Linie): Verfehlt die Kurve komplett. Das ist Underfitting — das Modell ist zu einfach.
- Grad 3: Erfasst den Trend gut. Die Kurve folgt dem Muster, ohne jede Schwankung mitzunehmen.
- Grad 15: Geht durch jeden einzelnen Punkt, schwingt aber wild dazwischen. Das Modell hat das Rauschen auswendig gelernt. Der Trainingsfehler ist null — aber für neue Punkte liefert es oft absurde Vorhersagen.
Achtung
Irrtum: Hohe Trainingsgenauigkeit = gutes Modell
Das ist der gefährlichste Trugschluss im Machine Learning. Ein Modell mit 99,9 % Trainingsgenauigkeit kann schwer overfittet sein. Die EINZIG aussagekräftige Metrik für die Verallgemeinerung ist die Leistung auf den Validierungs- oder Testdaten. Trainingsgenauigkeit sagt nur, dass das Modell auswendig lernen kann — nicht, dass es verallgemeinern kann.
Jedes sehr komplexe Modell kann Daten einfach auswendig lernen. Deshalb überwachen Entwickler sowohl den Trainings- als auch den Validierungsfehler. Wenn der Validierungsfehler steigt, während der Trainingsfehler weiter sinkt, overfittet dein Modell — und genau dann solltest du aufhören zu trainieren (Early Stopping).
Definition
Underfitting
Analogie
Definition
Symptom: Niedriger Trainingsfehler, hoher Testfehler. Ursache: Modell zu komplex oder zu lange trainiert. Lösung: Modell vereinfachen, mehr Daten, Regularisierung, frühes Stoppen.
Symptom: Hoher Trainingsfehler UND hoher Testfehler. Ursache: Modell zu einfach oder zu wenig trainiert. Lösung: Komplexeres Modell, mehr Features, länger trainieren.
Interaktiv: Underfitting vs. Overfitting
Bewege den Schieberegler, um zu sehen, wie sich eine zu einfache Modellanpassung (links) von einer zu komplexen Anpassung (rechts) unterscheidet. In der Mitte liegt der Sweet Spot — das Modell erfasst die echten Muster, ohne das Rauschen auswendig zu lernen.
Underfitting vs. Overfitting
Verschiebe den Regler, um zwischen Underfitting (links) und Overfitting (rechts) zu wechseln. Die blauen Punkte sind Trainingsdaten. Die Kurve zeigt, wie das Modell die Daten interpretiert.
Underfitting
Das Modell ist zu einfach. Es erkennt nicht einmal die offensichtlichen Muster in den Trainingsdaten. Wie ein Schüler, der die Aufgabe nicht verstanden hat.
Overfitting
Das Modell ist zu komplex. Es lernt jeden einzelnen Datenpunkt auswendig, inklusive Rauschen. Wie ein Schüler, der die Antworten auswendig lernt statt zu verstehen.
In der Mitte liegt der optimale Kompromiss: komplex genug, um echte Muster zu erkennen, aber einfach genug, um auf neue Daten zu generalisieren. Techniken wie Regularisierung, Kreuzvalidierung und Early Stopping helfen, diesen Punkt zu finden.
Die U-Kurve — Den Sweet Spot finden
Stell dir eine Grafik vor: Auf der X-Achse die Modellkomplexität (z. B. den Polynomgrad), auf der Y-Achse den Fehler. Was entsteht?
Der Trainingsfehler sinkt stetig mit wachsender Komplexität — das Modell passt sich immer besser an die Trainingsdaten an. Der Testfehler aber verhält sich anders: Er sinkt zunächst (weil das Modell besser wird), steigt dann aber wieder an (weil das Modell anfängt, Rauschen zu lernen).
Diese U-förmige Testkurve ist das zentrale Diagnosewerkzeug. Am tiefsten Punkt der U-Kurve liegt der optimale Punkt — die beste Balance zwischen zu einfach (Underfitting, links) und zu komplex (Overfitting, rechts).
Der Bias-Varianz-Tradeoff erklärt, WARUM die U-Kurve existiert.
Bias (Verzerrung) = der systematische Fehler durch eine zu starke Vereinfachung des Modells. Hoher Bias bedeutet, das Modell verpasst die echten Muster (Underfitting).
Varianz = die Empfindlichkeit des Modells gegenüber Schwankungen in den Trainingsdaten. Hohe Varianz bedeutet, das Modell reagiert auf Rauschen statt auf Muster (Overfitting).
Erwarteter quadratischer Fehler = Bias² + Varianz + irreduzibler Rauschanteil
Stell dir das Bogenschießen vor: Hoher Bias = du triffst konsistent die falsche Stelle (Pfeile eng zusammen, aber neben der Mitte). Hohe Varianz = Pfeile überall verstreut (selbst wenn sie im Durchschnitt die Mitte treffen). Du willst beides niedrig: einen engen Cluster genau im Bullseye.
Anders als beim echten Bogenschießen kann man im ML nicht einfach "besser zielen". Einen stärkeren Bogen (komplexeres Modell) zu verwenden kann die Pfeile stärker streuen (höhere Varianz).
Wenn du den Bias reduzierst (komplexeres Modell), steigt bei klassischen Modellen meist die Varianz. Wenn du die Varianz reduzierst (einfacheres Modell), steigt der Bias. Der optimale Punkt minimiert die Summe. Bei sehr großen Modellen wie tiefen neuronalen Netzen zeigt sich manchmal zusätzlich ein „Double Descent“: Wächst die Komplexität über den Punkt hinaus, an dem das Modell die Trainingsdaten exakt trifft, kann der Testfehler ein zweites Mal sinken.
Interaktiv: Der Sweet Spot der U-Kurve
Oben hast du die U-Kurve als Idee gesehen — hier erzeugst du sie selbst. Schiebe den Polynomgrad hoch und beobachte, wie der Trainingsfehler immer weiter sinkt, der Testfehler aber erst fällt und dann wieder steigt. Das Tal dazwischen ist der Sweet Spot.
Train, Validate, Test — Das Drei-Prüfungs-System
Woher weißt du, ob dein Modell verallgemeinern kann? Du testest es an Daten, die es noch nie gesehen hat. Dafür wird der Datensatz in drei disjunkte Teile aufgeteilt:
- 1. Training (60-80 %): Tägliche Hausaufgaben. Das Modell lernt aus diesen Daten.
- 2. Validation (10-20 %): Probeklausur. Du justierst Hyperparameter und überwachst Overfitting.
- 3. Test (10-20 %): Abschlussprüfung. Genau EINMAL am Ende verwendet.
Wie in der Schule: Die Hausaufgaben sind zum Üben, die Probeklausur zeigt, wo du stehst, und die Abschlussprüfung darfst du nur einmal schreiben. Wer vorher die echte Prüfung sieht und damit übt, hat kein valides Ergebnis mehr.
Achtung
Die goldene Regel: Testdaten nur EINMAL verwenden
Wenn du den Testdatensatz verwendest, um Entscheidungen zu treffen (z. B. Modellauswahl oder Hyperparameter-Tuning), verliert er seine Aussagekraft. Er wird dann faktisch zum zweiten Validierungsdatensatz, und du hast keine unvoreingenommene Schätzung der realen Leistung mehr.
Merke
Praxis: Daten aufteilen mit scikit-learn
from sklearn.model_selection import train_test_split
# Schritt 1: 70 % Training, 30 % temporär
X_train, X_temp, y_train, y_temp = train_test_split(
X, y, test_size=0.3, random_state=42
)
# Schritt 2: Temporär aufteilen in 15 % Validation + 15 % Test
X_val, X_test, y_val, y_test = train_test_split(
X_temp, y_temp, test_size=0.5, random_state=42
)Bei kleinen Datensätzen reicht eine einzelne Aufteilung nicht aus. Hier hilft die Kreuzvalidierung (Cross-Validation): Der Datensatz wird in k Teile ("Folds") aufgeteilt, und das Training wird k-mal wiederholt, wobei jedes Fold einmal als Validierung dient.
Was kannst du tun?
Overfitting ist kein Schicksal. Diese vier Strategien helfen:
Regularisierung zum Ausprobieren: Ein Polynom vom Grad 15 schlängelt sich durch die Trainingspunkte – wie im Beispiel oben. Erhöhe λ, die Stärke der L2-Regularisierung, und beobachte, wie die Kurve glatter wird. Der Testfehler sinkt erst und steigt dann wieder: Zu starke Regularisierung macht das Modell zu einfach.
Dropout-Regularisierung
Geoffrey Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever und Ruslan Salakhutdinov verändern im Juli 2012 das Training neuronaler Netzwerke erheblich mit der Erfindung der Dropout-Regularisierung. Diese elegante Technik verhindert Overfitting durch zufälliges Ausschalten etwa der Hälfte aller Neuronen während des Trainings, wodurch komplexe Ko-Adaptationen vermieden werden. Statt spezifischer Feature-Kombinationen lernt jedes Neuron robuste, allgemein nützliche Erkennungsmuster. Die am 3. Juli 2012 auf arXiv veröffentlichte Methode wurde wenige Monate später zu einem der Bausteine von AlexNets ImageNet-Triumph bei der ILSVRC 2012, deren Ergebnisse im Oktober 2012 vorgestellt wurden — neben GPU-Training, ReLU-Aktivierung und der Netztiefe — und wurde über Jahre zum Standard in vielen Deep-Learning-Architekturen; beim Vortraining großer Sprachmodelle verzichtet man heute meist darauf. Dropout setzt neue Rekorde in Sprach- und Objekterkennung und entschärft das zentrale Overfitting-Problem tiefer Netzwerke.
Merke
Zusammenfassung
- Overfitting = Rauschen auswendig lernen statt Muster erkennen. Symptom: niedriger Trainingsfehler + hoher Testfehler.
- Der Sweet Spot liegt zwischen Underfitting (zu einfach) und Overfitting (zu komplex) — sichtbar an der U-förmigen Testkurve.
- Immer aufteilen: Training zum Lernen, Validation zum Justieren, Test zum Bewerten — und den Testdatensatz genau einmal verwenden.
Prüfen
Quiz: Overfitting
Was ist Overfitting?
Wähle eine Antwort
1. Was ist Overfitting?
2. Ein Modell erreicht 98 % Trainingsgenauigkeit, aber nur 52 % Testgenauigkeit. Was ist das wahrscheinlichste Problem?
3. Du hast 5 verschiedene Modelle trainiert und den Testdatensatz verwendet, um das beste auszuwählen. Dann meldest du die Testgenauigkeit des Gewinners. Was ist das Problem?
4. Du beobachtest, dass sowohl der Trainingsfehler als auch der Testfehler hoch sind. Was deutet das am ehesten an?
Prüfen
Verständnis-Check
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen