Entscheidungsbaum
Wie ein Algorithmus durch Ja/Nein-Fragen klassifiziert – und warum zu viele Fragen ihn dumm machen.
Klick auf die Fläche, um Punkte zu setzen. Verändere die Tiefe und sieh zu, wie der Baum die Ebene immer feiner zerlegt – bis er sich an jedes Rauschen erinnert.
Klassifikations-Fläche
Setz mindestens 4 Punkte oder lade einen Datensatz.
Helle Linien = alle vom Algorithmus geprüften Schnitte (heller = mehr Information Gain). Amber = der gewählte Gewinner. Fahr über einen Knoten oder spiel den Aufbau ab.
Gelernter Baum
Keine Daten – setze ein paar Punkte oder wähle einen Datensatz.
Neu beim Thema? Folge der Tour Schritt für Schritt – oder spring direkt ins freie Experimentieren.
Was diese Demo zeigt
Zwei Ansichten nebeneinander machen sichtbar, wie ein Baum aus Fragen eine Fläche in Bereiche zerlegt. Hier steht, was auf dem Bild zu sehen ist.
- Was du siehst
- Links ein quadratisches Feld mit blauen und roten Punkten, das durch gerade waagerechte und senkrechte Linien in rechteckige Blöcke zerfällt — jeder Block in der Farbe der Klasse, die dort überwiegt. Rechts daneben ein Baum-Diagramm aus Kästchen, das von einem einzigen Kasten oben nach unten in immer neue Äste verzweigt.
- Was passiert
- Mit jeder neuen Frage kommt links ein gerader Schnitt dazu und teilt einen Block in zwei kleinere; rechts wächst der Baum eine Stufe tiefer und gabelt sich in einen Ja- und einen Nein-Ast. So werden die Blöcke Schritt für Schritt einfarbiger und der Baum breiter und tiefer.
- Was du tun kannst
- Setz Punkte per Klick ins Feld, wähle ein fertiges Muster als Datensatz, zieh an den Reglern für Tiefe und Mindestgröße, lass den Baum per ▶ wachsen oder geh Schnitt für Schnitt vor. Im Test-Modus schickst du einen Punkt von oben durch den Baum.
- Worauf du achtest
- Achte auf die Form der Grenze zwischen den Farben: Sie besteht immer aus geraden Stufen, nie aus schrägen oder runden Linien. Und jeder farbige Block lässt sich von oben durch den Baum zurückverfolgen — als Kette einfacher Ja/Nein-Fragen.
Definition
Was ist ein Entscheidungsbaum?
Analogie
Stell dir eine Ärztin in der Notaufnahme vor: "Fieber, ja oder nein?" — wenn ja, dann "Husten?". Jede Frage trennt die Patienten in zwei Gruppen, bis die Diagnose feststeht. Niemand muss alle Symptome auf einmal verarbeiten — der Pfad durch die Fragen ergibt das Ergebnis.
Ein Entscheidungsbaum macht genau das. Er stellt eine Reihe einfacher Ja/Nein-Fragen über die Eigenschaften der Datenpunkte und teilt sie Schritt für Schritt in immer reinere Gruppen auf. Das Resultat: ein Baum aus Fragen, den ein Mensch tatsächlich nachlesen kann.
Definition
Ein binärer Entscheidungsbaum lernt aus markierten Daten, an welchen Stellen welche Merkmale (Features) die Klassen am besten trennen. Pro Knoten wählt ein Greedy-Algorithmus den Split, der die Unreinheit der Tochtermengen am stärksten senkt — gemessen mit Gini-Impurity oder Entropie.
Der Information Gain ist die Differenz zwischen der Unreinheit des Vaterknotens und der gewichteten Unreinheit der beiden Kinder. Die Rekursion endet, wenn ein Knoten rein ist, die Maximaltiefe erreicht oder zu wenige Beispiele übrig sind. Vorhersagen entstehen, indem ein neuer Punkt den Baum von der Wurzel bis zu einem Blatt durchläuft.
Der Baum wird Knoten für Knoten gebaut — jeder Schritt ist erschreckend einfach. Aus dieser Wiederholung entsteht das, was du in der Demo siehst:
Split — der beste Schnitt
Für jeden Knoten testet der Algorithmus alle möglichen Schwellwerte in jedem Feature und sucht den Schnitt mit dem höchsten Information Gain. Der Knoten merkt sich "Feature x ≤ Schwellwert" und teilt die Daten in zwei Hälften.
Reinheit — Gini oder Entropie
Gini-Impurity misst die Wahrscheinlichkeit, ein zufällig gezogenes Sample falsch zu raten: bei reinen Knoten 0, bei 50/50-Mischung 0,5. Entropie misst dasselbe in Bit. Beide treiben den Baum dazu, möglichst homogene Gruppen zu bilden.
Stopp — wann hört der Baum auf?
Ohne Bremse würde der Baum jeden einzelnen Punkt in ein eigenes Blatt stecken — und sich damit jedes Rauschen merken. Deshalb stoppt er bei Maximaltiefe, bei zu wenigen Samples pro Knoten oder wenn ein Knoten schon rein ist.
Genau hier liegt der Kompromiss: zu wenige Splits — der Baum kann das Muster nicht trennen (Underfitting); zu viele — er memorisiert das Rauschen statt zu generalisieren (Overfitting). In der Demo siehst du beides direkt: der Overfitting-Gap zwischen Trainings- und Test-Accuracy verrät, wann du zu weit gegangen bist.
Ein Baum aus Ja/Nein-Fragen
Ein binärer Entscheidungsbaum klassifiziert Datenpunkte über eine Folge einfacher Schwellwert-Tests. Pro Knoten wird ein Feature gewählt und ein Schwellwert: alles unterhalb geht nach links, alles oberhalb nach rechts. So zerteilt der Baum den Featureraum in achsparallele Rechtecke — jedes Blatt steht für eine Vorhersage.
Information Gain — der beste Schnitt
Damit der Baum nicht beliebig wächst, sucht ein Greedy-Algorithmus in jedem Knoten den Split, der die Unreinheit am stärksten senkt. Maße für Unreinheit sind:
- Gini-Impurity: 1 − Σ p_k² — Wahrscheinlichkeit, ein zufällig gezogenes Sample falsch zu raten
- Entropie: −Σ p_k · log₂ p_k — Informationsgehalt der Klassenverteilung in Bit
Information Gain = Unreinheit(Vater) − (n_L/n)·Unreinheit(links) − (n_R/n)·Unreinheit(rechts). Der Algorithmus probiert alle Features und alle möglichen Schwellwerte und nimmt den mit dem höchsten Gain.
Stop-Kriterien
Die Rekursion endet, wenn einer dieser Fälle eintritt:
- Der Knoten ist rein (alle Punkte gehören zur selben Klasse)
- Die Maximaltiefe ist erreicht
- Im Knoten sind weniger Samples als das Minimum, das ein Split fordert
- Es gibt keinen Split mit positivem Gain (kein Schnitt verbessert die Reinheit)
Bias-Variance-Trade-off
- Flach (Tiefe 1–3): hoher Bias, der Baum kann das Muster nicht trennen → Underfitting
- Mittel (Tiefe 4–6): gute Balance, Trainings- und Test-Accuracy nah beieinander
- Tief (Tiefe ≥ 8): hohe Varianz, der Baum memorisiert das Rauschen → Overfitting
Spiele in der Demo! Ziehe die Max. Tiefe hoch — der Overfitting-Gap zwischen Trainings- und Test-Accuracy verrät, ab wann der Baum nur noch auswendig lernt.
1
# Entscheidungsbaum — rekursiver Aufbau
2
funktion baue_baum(daten, tiefe):
3
# 1. Stop-Kriterien prüfen
4
wenn tiefe == maxTiefe oder rein(daten) oder |daten| < minSamples:
5
return blatt(mehrheitsklasse(daten))
6
7
# 2. Besten Split suchen (höchster Information Gain)
8
bester = argmax über (feature, schwelle) von gain(daten, feature, schwelle)
9
wenn bester.gain <= 0:
10
return blatt(mehrheitsklasse(daten))
11
12
# 3. Daten am Split partitionieren
13
links = { d ∈ daten | d.feature <= bester.schwelle }
14
rechts = { d ∈ daten | d.feature > bester.schwelle }
15
16
# 4. Rekursion: Kinder bauen
17
return knoten(bester, baue_baum(links, tiefe+1), baue_baum(rechts, tiefe+1))
🛑 Stop-Kriterien prüfen
Bevor irgendetwas getan wird: passt das aktuelle Datenset auf ein Blatt? Wenn die Tiefe maximal ist, der Knoten rein ist oder zu wenige Samples übrig sind, gibt der Algorithmus ein Blatt mit der Mehrheitsklasse zurück. Keine weitere Rekursion.
# 1. Stop-Kriterien prüfen
wenn tiefe == maxTiefe oder rein(daten) oder |daten| < minSamples:
return blatt(mehrheitsklasse(daten))
🛑 Stop-Kriterien
Tiefe maximal? Knoten rein? Wenige Samples? → Blatt
🔍 Bester Split
Suche (feature, schwelle) mit maximalem Information Gain.
⛔ Kein Gain?
Wenn kein Split etwas verbessert → ebenfalls Blatt.
↔️ Partition
Daten in linke und rechte Teilmenge aufspalten.
🔄 Rekursion
baue_baum für links und rechts mit tiefe+1 aufrufen.
Entscheidungsbäume sind nicht nur ein Lehrbeispiel – sie laufen überall dort, wo Entscheidungen nachvollziehbar sein müssen:
Kreditvergabe
Banken bewerten anhand von Einkommen, Schulden und Historie, ob ein Kredit gewährt wird. Der Baum liefert die Begründung gleich mit – wichtig, weil Ablehnungen rechtlich erklärbar sein müssen.
Medizinische Triage & Diagnose
Eine Kette von Symptom-Fragen führt zu einer Verdachtsdiagnose oder Dringlichkeitsstufe – ein Pfad, den auch Ärztinnen ohne KI-Wissen nachlesen können.
Kundenanalyse
Welche Kunden kündigen wahrscheinlich? Welche Zielgruppe reagiert auf ein Angebot? Bäume segmentieren Tabellendaten schnell und erklärbar.
Random Forests & Gradient Boosting
Hunderte Bäume gemittelt ergeben Random Forests und XGBoost – bis heute die stärksten Modelle für strukturierte Tabellendaten und ständige Sieger in Data-Science-Wettbewerben.
Je tiefer der Baum, desto besser das Modell.
Mehr Tiefe steigert nur die Trainings-Genauigkeit. Ab einem Punkt memoriert der Baum Rauschen (Overfitting) – entscheidend ist die Test-Genauigkeit, nicht die Tiefe.
Ein Entscheidungsbaum ist immer gut interpretierbar.
Nur solange er klein bleibt. Ein Baum mit hunderten Knoten ist für Menschen praktisch genauso undurchschaubar wie ein neuronales Netz.
Vor dem Training müssen die Merkmale normalisiert werden.
Nicht nötig: Bäume vergleichen pro Merkmal einzelne Schwellwerte und sind dadurch skaleninvariant – anders als etwa Perzeptron oder k-Means.
Ein Baum kann jede beliebige Grenze ziehen.
Splits stehen immer senkrecht zu einer Achse. Schräge oder runde Grenzen (siehe Datensatz "Spirale") werden nur treppenförmig angenähert – mit vielen kleinen Schnitten.
Prüfen
Teste dein Verständnis
Was misst die Gini-Impurity in einem Knoten?
Wähle eine Antwort
1. Was misst die Gini-Impurity in einem Knoten?
2. Was passiert in dieser Demo, wenn du die Max. Tiefe sehr hoch drehst (z. B. 10) und genug Punkte gesetzt hast?
3. Warum gelten Entscheidungsbäume als interpretierbar, anders als z. B. neuronale Netze?
4. Wie verbessert ein Random Forest einen einzelnen Decision Tree?
Definition
Das Wichtigste in fünf Punkten
- Fragen statt Formeln Ein Entscheidungsbaum klassifiziert über eine Kette einfacher Ja/Nein-Schwellwert-Fragen; jeder Pfad von der Wurzel zum Blatt ist als Wenn-Dann-Regel lesbar.
- Reinheit treibt die Splits An jedem Knoten wählt der Greedy-Algorithmus den Schnitt mit dem höchsten Information Gain, also dem größten Abfall der Unreinheit (Gini oder Entropie).
- Tiefe ist ein Kompromiss Zu flach unterfittet, zu tief overfittet. Der Abstand zwischen Trainings- und Test-Genauigkeit (der Overfitting-Gap) zeigt, wann du zu weit gegangen bist.
- Achsenparallel & skaleninvariant Schnitte stehen senkrecht zu einer Achse; krumme Grenzen werden nur treppenförmig approximiert. Dafür braucht es keine Feature-Normalisierung.
- Im Verbund am stärksten Random Forests und Gradient Boosting mitteln viele Bäume und gehören zu den besten Verfahren für Tabellendaten überhaupt.