Wie gut ist dein Modell? Metriken, die wirklich zählen
Modelle bewerten ohne Selbstbetrug — Metriken, die nicht nur schmücken.
Grundlagen 10 min Fortgeschritten 18. Mai 2026
Ein Modell sagt für jeden Patienten "gesund" voraus und erreicht 99% Accuracy. Beeindruckend? Nicht, wenn die 1%, die es übersieht, genau die Patienten sind, die tatsächlich krank sind. Accuracy allein kann eine gefährliche Lüge sein — und die Confusion Matrix deckt die Wahrheit auf.
Eine einzelne Kennzahl erzählt nie die ganze Geschichte. In diesem Artikel lernst du die Confusion Matrix als Diagnosewerkzeug kennen und leitest daraus Accuracy, Precision, Recall und den F1-Score ab. Welche Metrik am wichtigsten ist, ist keine Mathematikfrage, sondern eine Designentscheidung.
Die Confusion Matrix: Das Fundament
Confusion Matrix
AnalogieDefinition
Stell dir einen COVID-Test vor. "Positiv" bedeutet: Der Test sagt, du bist krank. "Negativ" bedeutet: Der Test sagt, du bist gesund. Der Test kann auf zwei Arten richtig liegen (True Positive, True Negative) und auf zwei Arten falsch (False Positive = Fehlalarm, False Negative = übersehener Fall). Die Confusion Matrix ist das Zeugnis dieses Tests.
Analogie:
Stell dir einen COVID-Test vor. "Positiv" bedeutet: Der Test sagt, du bist krank. "Negativ" bedeutet: Der Test sagt, du bist gesund. Der Test kann auf zwei Arten richtig liegen (True Positive, True Negative) und auf zwei Arten falsch (False Positive = Fehlalarm, False Negative = übersehener Fall). Die Confusion Matrix ist das Zeugnis dieses Tests.
Definition:
Die Confusion Matrix ist eine 2x2-Tabelle, die jede Vorhersage in vier Kategorien einordnet: True Positive (korrekt als positiv erkannt), True Negative (korrekt als negativ erkannt), False Positive (fälschlich als positiv erkannt — Typ-I-Fehler), False Negative (fälschlich als negativ erkannt — Typ-II-Fehler). Alle Standard-Klassifikationsmetriken werden aus diesen vier Zahlen abgeleitet.
Stell dir vor: 1.000 Patienten werden getestet. 50 sind tatsächlich krank, 950 sind gesund. Der Test liefert folgende Ergebnisse:
Die COVID-Test-Analogie zeigt präzise, wie Fehler in zwei grundverschiedene Richtungen gehen können. Die Grenze: Reale Klassifikationsprobleme können mehr als zwei Klassen haben, und die medizinische Rahmung kann suggerieren, dass beide Fehlerarten gleich schwer wiegen — was oft nicht der Fall ist.
45
True Positive (TP) Krank und korrekt als krank erkannt — 45 Patienten
5
False Negative (FN) Krank, aber fälschlich als gesund eingestuft — 5 Patienten
47
False Positive (FP) Gesund, aber fälschlich als krank eingestuft — 47 Patienten
903
True Negative (TN) Gesund und korrekt als gesund erkannt — 903 Patienten
Alle Standardmetriken — Accuracy, Precision, Recall, F1-Score — sind nur verschiedene Blickwinkel auf diese vier Zahlen. Die Confusion Matrix ist die diagnostische Oberfläche deines Modells.
Häufiger Irrtum: "Bei hoher Accuracy brauche ich keine Confusion Matrix"
Zwei Modelle mit identischer Accuracy können völlig unterschiedliche Fehlerprofile haben. Eines produziert viele Fehlalarme, das andere übersieht viele echte Fälle. Nur die Confusion Matrix zeigt, WIE dein Modell falsch liegt — nicht nur WIE OFT.
Drei Blickwinkel: Accuracy, Precision und Recall
1
Vorhersagen sammeln
2
Confusion Matrix füllen
3
Metriken berechnen
Accuracy = (TP + TN) / Gesamt = (45 + 903) / 1.000 = 94,8%. Die Accuracy fragt: "Welcher Anteil ALLER Vorhersagen war korrekt?" Klingt gut — aber sie versteckt ein Problem.
Precision = TP / (TP + FP) = 45 / 92 ≈ 48,9%. Die Precision fragt: "Von allen POSITIVEN Vorhersagen — wie viele waren tatsächlich korrekt?" Weniger als die Hälfte der positiven Testergebnisse stimmen tatsächlich.
Recall = TP / (TP + FN) = 45 / 50 = 90%. Der Recall fragt: "Von allen TATSÄCHLICH Kranken — wie viele hat der Test gefunden?" 90% der kranken Patienten werden erkannt — das ist gut.
Precision: 48,9%
Von 92 positiven Testergebnissen waren nur 45 tatsächlich krank. Mehr als die Hälfte sind Fehlalarme.
Recall: 90%
Von 50 tatsächlich kranken Patienten hat der Test 45 gefunden. Nur 5 wurden übersehen.
Analogie: Das Fischernetz
Ein Netz, das gezielt nur Fische fängt und keinen Beifang mitnimmt, hat eine hohe Precision. Ein riesiges Netz, das garantiert alle Fische im See erwischt (hoher Recall), zieht dafür auch viel Beifang mit an Bord (niedrigere Precision).
Wo die Analogie bricht: Sie suggeriert, dass Precision und Recall mechanisch gekoppelt sind (dasselbe Netz). In Wirklichkeit kann ein Modell manchmal beide gleichzeitig verbessern — etwa durch bessere Features.
Warnung: Das Accuracy-Paradoxon
Auf einem Datensatz mit 99% Klasse A und 1% Klasse B erreicht ein Modell, das IMMER "A" vorhersagt, 99% Accuracy. Beeindruckend? Das Modell hat null Recall für Klasse B — es ist für die Minderheitsklasse völlig nutzlos.
Das Accuracy-Paradoxon ist der Grund, warum in echten ML-Publikationen selten nur Accuracy berichtet wird. Bei unbalancierten Datensätzen lügt die Accuracy.
Interaktiv: Metriken zuordnen
Du kennst jetzt TP, FP, FN, TN sowie Accuracy, Precision und Recall. Teste dein Wissen mit diesem Memory-Spiel — ordne die Begriffe ihren Definitionen zu.
0/ 8 Paare
0Versuche
0:00Zeit
Der F1-Score: Balance zwischen Precision und Recall
F1-Score
AnalogieDefinition
Stell dir ein Schulzeugnis vor: Ein Schüler hat 100% in Mathe und 0% in Deutsch. Der arithmetische Durchschnitt ist 50% — bestanden. Aber würdest du diesen Schüler als gut ausgebildet bezeichnen? Das harmonische Mittel ergibt 0% und zeigt korrekt: Eine Dimension fehlt komplett. Der F1-Score funktioniert genauso — er bestraft einseitige Schwächen gnadenlos.
Analogie:
Stell dir ein Schulzeugnis vor: Ein Schüler hat 100% in Mathe und 0% in Deutsch. Der arithmetische Durchschnitt ist 50% — bestanden. Aber würdest du diesen Schüler als gut ausgebildet bezeichnen? Das harmonische Mittel ergibt 0% und zeigt korrekt: Eine Dimension fehlt komplett. Der F1-Score funktioniert genauso — er bestraft einseitige Schwächen gnadenlos.
Definition:
Der F1-Score ist das harmonische Mittel von Precision und Recall: F1 = 2 × (Precision × Recall) / (Precision + Recall). Anders als das arithmetische Mittel bestraft das harmonische Mittel extreme Ungleichgewichte. Wenn Precision oder Recall nahe null liegt, fällt der F1-Score auf nahe null.
Extrembeispiel: Modell A hat Precision = 99% und Recall = 1%. Arithmetisches Mittel = 50% — sieht akzeptabel aus. F1-Score = 2 × 0,99 × 0,01 / (0,99 + 0,01) ≈ 2%. Der F1-Score entlarvt die einseitige Schwäche sofort.
Unser COVID-Test: Precision = 48,9%, Recall = 90%, F1-Score ≈ 63,4%. Deutlich niedriger als die 94,8% Accuracy — der F1-Score zeigt das wahre Bild.
Deep Dive: Der Schwellenwert-Regler
Viele Klassifikatoren geben Wahrscheinlichkeiten aus, nicht direkte Vorhersagen. Erst ein Schwellenwert entscheidet: Über 50%? → "positiv". Unter 50%? → "negativ".
Den Schwellenwert senken: Mehr Vorhersagen werden positiv → Recall steigt, Precision sinkt. Den Schwellenwert anheben: Weniger Vorhersagen werden positiv → Precision steigt, Recall sinkt. Es ist wie am Lautstärkeregler einer Stereoanlage — nur dreht man hier an der Balance zwischen zwei Fehlerarten.
Deep Dive: Welche Metrik wann?
Die richtige Metrik hängt von den realen Fehlerkosten ab:
Medizinisches Screening → Recall maximieren. Einen kranken Patienten übersehen (FN) kann tödlich sein.
Spam-Filter → Precision maximieren. Eine echte E-Mail im Spam-Ordner (FP) ist ein teurer Fehler.
Balancierte Datensätze mit ähnlichen Fehlerkosten → Accuracy ist in Ordnung.
Allgemein → F1-Score als ausgewogener Standard, wenn Precision und Recall gleich wichtig sind.
Häufiger Irrtum: "Der F1-Score ist immer die beste Metrik"
Der F1-Score gewichtet Precision und Recall gleich. Aber beim medizinischen Screening ist ein übersehener Krankheitsfall (niedriger Recall) viel schlimmer als ein Fehlalarm (niedrige Precision). In solchen Fällen ist die direkte Optimierung auf Recall passender als der F1-Score.
Schwellwert-Labor: Confusion-Matrix & ROC
Den Schwellenwert senken: Mehr Vorhersagen werden positiv → Recall steigt, Precision sinkt. Den Schwellenwert anheben: Weniger Vorhersagen werden positiv → Precision steigt, Recall sinkt. Es ist wie am Lautstärkeregler einer Stereoanlage — nur dreht man hier an der Balance zwischen zwei Fehlerarten.
Interaktive Demo wird geladen ...
Interaktiv: Metriken ausprobieren
Verändere die Parameter und beobachte, wie sich die Confusion-Matrix-Werte und die Metriken verändern. Wie wirkt sich eine niedrige Vortestwahrscheinlichkeit auf die Precision aus?
Szenario: Medizinischer Test
Eine Krankheit betrifft einen bestimmten Anteil der Bevölkerung. Ein Test erkennt die Krankheit mit einer bestimmten Trefferquote, erzeugt aber auch falsch-positive Ergebnisse bei Gesunden. Wie wahrscheinlich ist die Krankheit bei positivem Testergebnis wirklich?
Eingabewerte
%
%
%
Beispiele:
Berechnung nach Bayes
P(B)= P(B|A) × P(A) + P(B|¬A) × P(¬A)
P(B)= 0.9500 × 0.0100 + 0.0500 × 0.9900 = 0.0590
P(A|B)= P(B|A) × P(A) / P(B)
P(A|B)= 0.9500 × 0.0100 / 0.0590 = 0.1610
Ergebnis
16.1%
P(A|B) — Wahrscheinlichkeit der Krankheit bei positivem Test
Vorher (Prior)
1%
Nachher (Posterior)
16.1%
Bayes-Faktor: Der Test hat die Wahrscheinlichkeit um das 16.1-Fache erhöht (von 1% auf 16.1%).
Das Bayes-Paradoxon
Obwohl der Test 95% Sensitivität hat, liegt die Wahrscheinlichkeit bei positivem Ergebnis nur bei 16.1%. Das liegt an der niedrigen Grundwahrscheinlichkeit (1%): Bei 1.000 Getesteten gibt es 50 Fehlalarme, aber nur 10 echte Treffer. Die Falsch-Positiven überschwemmen die echten Fälle.
Anschaulich: 1.000 Personen getestet
10
Krank & positiv getestet
(Richtig-Positiv)
1
Krank & negativ getestet
(Falsch-Negativ)
50
Gesund & positiv getestet
(Falsch-Positiv)
941
Gesund & negativ getestet
(Richtig-Negativ)
Von 60 positiv Getesteten sind nur 10 tatsächlich krank. Das ergibt P(A|B) = 10/60 = 16.1%.
Die wichtigsten Erkenntnisse
Die Confusion Matrix ist die diagnostische Oberfläche deines Modells — sie zeigt nicht nur, wie oft das Modell falsch liegt, sondern WIE es falsch liegt.
Accuracy kann bei unbalancierten Datensätzen in die Irre führen. Precision und Recall zeigen, was die Accuracy versteckt: den Charakter der Fehler.
Der F1-Score balanciert Precision und Recall. Welche Metrik am wichtigsten ist, hängt von den realen Kosten von False Positives vs. False Negatives in deiner konkreten Anwendung ab.
Quiz: Modell-Evaluation
Frage 1 / 4
Noch offen
Ein medizinischer Test stuft eine gesunde Person als krank ein. Welcher Fehlertyp ist das?
1. Ein medizinischer Test stuft eine gesunde Person als krank ein. Welcher Fehlertyp ist das?
☐ A) True Positive
☐ B) True Negative
☐ C) False Positive
☐ D) False Negative
2. Eine Confusion Matrix zeigt: TP=80, FN=20, FP=10, TN=890. Wie hoch ist die Precision?
☐ A) 97%
☐ B) 80%
☐ C) 88,9%
☐ D) 90%
3. Ein Betrugserkennung-Datensatz enthält 0,1% Betrugsfälle. Ein Modell sagt für jede Transaktion "kein Betrug" voraus und erreicht 99,9% Accuracy. Wie hoch ist sein Recall für die Betrugsklasse?
☐ A) 99,9%
☐ B) 50%
☐ C) 0%
☐ D) Kann nicht bestimmt werden
4. Ein Krankenhaus setzt ein Screening-Modell ein. Ein übersehener Krankheitsfall (False Negative) ist weit gefährlicher als ein Fehlalarm (False Positive). Welche Optimierungsstrategie ist am sinnvollsten?
☐ A) Accuracy maximieren
☐ B) Precision maximieren
☐ C) Recall maximieren
☐ D) F1-Score maximieren
Auflösung: 1) C · 2) C · 3) C · 4) C
Verständnischeck
Ein COVID-Test hat Accuracy = 94,8%, aber Precision = 48,9%. Erkläre, warum die Accuracy hier ein irreführendes Bild zeichnet.
Berechne den F1-Score für ein Modell mit Precision = 80% und Recall = 40%. Vergleiche das Ergebnis mit dem arithmetischen Mittel — warum unterscheiden sich die beiden Werte?
Nenne ein konkretes Szenario, in dem du Recall gegenüber Precision priorisieren würdest, und erkläre warum.