Entscheidungsbaum

Wie ein Algorithmus durch Ja/Nein-Fragen klassifiziert – und warum zu viele Fragen ihn dumm machen.

Stell dir eine Ärztin in der Notaufnahme vor: "Fieber, ja oder nein?" — wenn ja, dann "Husten?". Jede Frage trennt die Patienten in zwei Gruppen, bis die Diagnose feststeht. Niemand muss alle Symptome auf einmal verarbeiten — der Pfad durch die Fragen ergibt das Ergebnis.

Ein Entscheidungsbaum macht genau das. Er stellt eine Reihe einfacher Ja/Nein-Fragen über die Eigenschaften der Datenpunkte und teilt sie Schritt für Schritt in immer reinere Gruppen auf. Das Resultat: ein Baum aus Fragen, den ein Mensch tatsächlich nachlesen kann.

Analogie:

Definition:

Ein binärer Entscheidungsbaum lernt aus markierten Daten, an welchen Stellen welche Merkmale (Features) die Klassen am besten trennen. Pro Knoten wählt ein Greedy-Algorithmus den Split, der die Unreinheit der Tochtermengen am stärksten senkt — gemessen mit Gini-Impurity oder Entropie.

Der Information Gain ist die Differenz zwischen der Unreinheit des Vaterknotens und der gewichteten Unreinheit der beiden Kinder. Die Rekursion endet, wenn ein Knoten rein ist, die Maximaltiefe erreicht oder zu wenige Beispiele übrig sind. Vorhersagen entstehen, indem ein neuer Punkt den Baum von der Wurzel bis zu einem Blatt durchläuft.

Der Baum wird Knoten für Knoten gebaut — jeder Schritt ist erschreckend einfach. Aus dieser Wiederholung entsteht das, was du in der Demo siehst:

Split — der beste Schnitt
Für jeden Knoten testet der Algorithmus alle möglichen Schwellwerte in jedem Feature und sucht den Schnitt mit dem höchsten Information Gain. Der Knoten merkt sich "Feature x ≤ Schwellwert" und teilt die Daten in zwei Hälften.
Reinheit — Gini oder Entropie
Gini-Impurity misst die Wahrscheinlichkeit, ein zufällig gezogenes Sample falsch zu raten: bei reinen Knoten 0, bei 50/50-Mischung 0,5. Entropie misst dasselbe in Bit. Beide treiben den Baum dazu, möglichst homogene Gruppen zu bilden.
Stopp — wann hört der Baum auf?
Ohne Bremse würde der Baum jeden einzelnen Punkt in ein eigenes Blatt stecken — und sich damit jedes Rauschen merken. Deshalb stoppt er bei Maximaltiefe, bei zu wenigen Samples pro Knoten oder wenn ein Knoten schon rein ist.

Genau hier liegt der Kompromiss: zu wenige Splits — der Baum kann das Muster nicht trennen (Underfitting); zu viele — er memorisiert das Rauschen statt zu generalisieren (Overfitting). In der Demo siehst du beides direkt: der Overfitting-Gap zwischen Trainings- und Test-Accuracy verrät, wann du zu weit gegangen bist.

Klick auf die Fläche, um Punkte zu setzen. Verändere die Tiefe und sieh zu, wie der Baum die Ebene immer feiner zerlegt – bis er sich an jedes Rauschen erinnert.

Geführte Tour

Neu beim Thema? Folge der Tour Schritt für Schritt – oder spring direkt ins freie Experimentieren.

Was diese Demo zeigt

Zwei Ansichten nebeneinander machen sichtbar, wie ein Baum aus Fragen eine Fläche in Bereiche zerlegt. Hier steht, was auf dem Bild zu sehen ist.

Klassifikations-Fläche

Setz mindestens 4 Punkte oder lade einen Datensatz.

Klasse AKlasse BEntscheidungsgrenzeTestpunkt

Gelernter Baum

Der vollständige Baum ist zu sehen. Drück ▶, um ihn Schnitt für Schnitt wachsen zu sehen.

Keine Daten – setze ein paar Punkte oder wähle einen Datensatz.

Punkte

Blätter

Tiefe

–

Trainings-Accuracy

–

Test-Accuracy

Overfitting-Gap

Datensatz

Max. Tiefe: 4

Min. Samples / Split: 2

Split-Kriterium

Gini

Entropie

Beide messen, wie „gemischt" ein Knoten noch ist – Gini rechnet schneller, Entropie misst in Bit. Welche Splits der Baum wählt, ist fast immer identisch. Schalt um und vergleiche. Trainings-Anteil: 80%

Theorie

Pseudocode

Schritt für Schritt

Flussdiagramm

Ein Baum aus Ja/Nein-Fragen

Ein binärer Entscheidungsbaum klassifiziert Datenpunkte über eine Folge einfacher Schwellwert-Tests. Pro Knoten wird ein Feature gewählt und ein Schwellwert: alles unterhalb geht nach links, alles oberhalb nach rechts. So zerteilt der Baum den Featureraum in achsparallele Rechtecke — jedes Blatt steht für eine Vorhersage.

Information Gain — der beste Schnitt

Damit der Baum nicht beliebig wächst, sucht ein Greedy-Algorithmus in jedem Knoten den Split, der die Unreinheit am stärksten senkt. Maße für Unreinheit sind:

Gini-Impurity: 1 − Σ p_k² — Wahrscheinlichkeit, ein zufällig gezogenes Sample falsch zu raten
Entropie: −Σ p_k · log₂ p_k — Informationsgehalt der Klassenverteilung in Bit

Information Gain = Unreinheit(Vater) − (n_L/n)·Unreinheit(links) − (n_R/n)·Unreinheit(rechts). Der Algorithmus probiert alle Features und alle möglichen Schwellwerte und nimmt den mit dem höchsten Gain.

Stop-Kriterien

Die Rekursion endet, wenn einer dieser Fälle eintritt:

Der Knoten ist rein (alle Punkte gehören zur selben Klasse)
Die Maximaltiefe ist erreicht
Im Knoten sind weniger Samples als das Minimum, das ein Split fordert
Es gibt keinen Split mit positivem Gain (kein Schnitt verbessert die Reinheit)

Bias-Variance-Trade-off

Flach (Tiefe 1–3): hoher Bias, der Baum kann das Muster nicht trennen → Underfitting
Mittel (Tiefe 4–6): gute Balance, Trainings- und Test-Accuracy nah beieinander
Tief (Tiefe ≥ 8): hohe Varianz, der Baum memorisiert das Rauschen → Overfitting

Spiele in der Demo! Ziehe die Max. Tiefe hoch — der Overfitting-Gap zwischen Trainings- und Test-Accuracy verrät, ab wann der Baum nur noch auswendig lernt.

Deutsch

                      
                        
                          1
                          # Entscheidungsbaum — rekursiver Aufbau
                        
                      
                        
                          2
                          funktion baue_baum(daten, tiefe):
                        
                      
                        
                          3
                              # 1. Stop-Kriterien prüfen
                        
                      
                        
                          4
                              wenn tiefe == maxTiefe oder rein(daten) oder |daten| < minSamples:
                        
                      
                        
                          5
                                  return blatt(mehrheitsklasse(daten))
                        
                      
                        
                          6
                           
                        
                      
                        
                          7
                              # 2. Besten Split suchen (höchster Information Gain)
                        
                      
                        
                          8
                              bester = argmax über (feature, schwelle) von gain(daten, feature, schwelle)
                        
                      
                        
                          9
                              wenn bester.gain <= 0:
                        
                      
                        
                          10
                                  return blatt(mehrheitsklasse(daten))
                        
                      
                        
                          11
                           
                        
                      
                        
                          12
                              # 3. Daten am Split partitionieren
                        
                      
                        
                          13
                              links  = { d ∈ daten | d.feature <= bester.schwelle }
                        
                      
                        
                          14
                              rechts = { d ∈ daten | d.feature  > bester.schwelle }
                        
                      
                        
                          15
                           
                        
                      
                        
                          16
                              # 4. Rekursion: Kinder bauen
                        
                      
                        
                          17
                              return knoten(bester, baue_baum(links, tiefe+1), baue_baum(rechts, tiefe+1))

1 / 5

🛑 Stop-Kriterien prüfen

Bevor irgendetwas getan wird: passt das aktuelle Datenset auf ein Blatt? Wenn die Tiefe maximal ist, der Knoten rein ist oder zu wenige Samples übrig sind, gibt der Algorithmus ein Blatt mit der Mehrheitsklasse zurück. Keine weitere Rekursion.

    # 1. Stop-Kriterien prüfen
    wenn tiefe == maxTiefe oder rein(daten) oder |daten| < minSamples:
        return blatt(mehrheitsklasse(daten))

Entscheidungsbäume sind nicht nur ein Lehrbeispiel – sie laufen überall dort, wo Entscheidungen nachvollziehbar sein müssen:

Kreditvergabe

Banken bewerten anhand von Einkommen, Schulden und Historie, ob ein Kredit gewährt wird. Der Baum liefert die Begründung gleich mit – wichtig, weil Ablehnungen rechtlich erklärbar sein müssen.

Medizinische Triage & Diagnose

Eine Kette von Symptom-Fragen führt zu einer Verdachtsdiagnose oder Dringlichkeitsstufe – ein Pfad, den auch Ärztinnen ohne KI-Wissen nachlesen können.

Kundenanalyse

Welche Kunden kündigen wahrscheinlich? Welche Zielgruppe reagiert auf ein Angebot? Bäume segmentieren Tabellendaten schnell und erklärbar.

Random Forests & Gradient Boosting

Hunderte Bäume gemittelt ergeben Random Forests und XGBoost – bis heute die stärksten Modelle für strukturierte Tabellendaten und ständige Sieger in Data-Science-Wettbewerben.

Je tiefer der Baum, desto besser das Modell.

Mehr Tiefe steigert nur die Trainings-Genauigkeit. Ab einem Punkt memoriert der Baum Rauschen (Overfitting) – entscheidend ist die Test-Genauigkeit, nicht die Tiefe.

Ein Entscheidungsbaum ist immer gut interpretierbar.

Nur solange er klein bleibt. Ein Baum mit hunderten Knoten ist für Menschen praktisch genauso undurchschaubar wie ein neuronales Netz.

Vor dem Training müssen die Merkmale normalisiert werden.

Nicht nötig: Bäume vergleichen pro Merkmal einzelne Schwellwerte und sind dadurch skaleninvariant – anders als etwa Perzeptron oder k-Means.

Ein Baum kann jede beliebige Grenze ziehen.

Splits stehen immer senkrecht zu einer Achse. Schräge oder runde Grenzen (siehe Datensatz "Spirale") werden nur treppenförmig angenähert – mit vielen kleinen Schnitten.

Was misst die Gini-Impurity in einem Knoten?

Die Tiefe des Knotens im Baum.

Die Wahrscheinlichkeit, ein zufällig gezogenes Sample falsch zu klassifizieren — also wie gemischt die Klassen im Knoten sind.

Die Anzahl Datenpunkte, die dem Knoten zugeordnet sind.

Den Schwellwert, an dem der Knoten teilt.

1. Was misst die Gini-Impurity in einem Knoten?

☐ A) Die Tiefe des Knotens im Baum.
☐ B) Die Wahrscheinlichkeit, ein zufällig gezogenes Sample falsch zu klassifizieren — also wie gemischt die Klassen im Knoten sind.
☐ C) Die Anzahl Datenpunkte, die dem Knoten zugeordnet sind.
☐ D) Den Schwellwert, an dem der Knoten teilt.

2. Was passiert in dieser Demo, wenn du die Max. Tiefe sehr hoch drehst (z. B. 10) und genug Punkte gesetzt hast?

☐ A) Die Trainings-Accuracy steigt fast auf 100 %, die Test-Accuracy fällt — der Baum memorisiert das Rauschen.
☐ B) Beide Accuracy-Werte steigen gleichmäßig auf 100 %.
☐ C) Der Baum bricht ab, weil er an die maximale Knotenzahl stößt.
☐ D) Die Entscheidungsgrenze wird glatter, weil der Baum mehr Daten sieht.

3. Warum gelten Entscheidungsbäume als interpretierbar, anders als z. B. neuronale Netze?

☐ A) Sie nutzen nur ganze Zahlen als Schwellwerte.
☐ B) Sie sind immer 100 % genau auf neuen Daten.
☐ C) Jede Vorhersage entspricht einem nachvollziehbaren Pfad aus Wenn-Dann-Fragen, den ein Mensch tatsächlich nachlesen kann.
☐ D) Sie brauchen keine Trainingsdaten.

4. Wie verbessert ein Random Forest einen einzelnen Decision Tree?

☐ A) Er macht den einzelnen Baum tiefer.
☐ B) Er trainiert viele Bäume auf zufälligen Daten- und Feature-Stichproben und mittelt deren Vorhersagen — das senkt die Varianz.
☐ C) Er entfernt alle Blätter mit nur einer Klasse.
☐ D) Er ersetzt Gini durch ein neuronales Netz pro Knoten.

Auflösung: 1) B · 2) A · 3) C · 4) B

Fragen statt FormelnEin Entscheidungsbaum klassifiziert über eine Kette einfacher Ja/Nein-Schwellwert-Fragen; jeder Pfad von der Wurzel zum Blatt ist als Wenn-Dann-Regel lesbar.
Reinheit treibt die SplitsAn jedem Knoten wählt der Greedy-Algorithmus den Schnitt mit dem höchsten Information Gain, also dem größten Abfall der Unreinheit (Gini oder Entropie).
Tiefe ist ein KompromissZu flach unterfittet, zu tief overfittet. Der Abstand zwischen Trainings- und Test-Genauigkeit (der Overfitting-Gap) zeigt, wann du zu weit gegangen bist.
Achsenparallel & skaleninvariantSchnitte stehen senkrecht zu einer Achse; krumme Grenzen werden nur treppenförmig approximiert. Dafür braucht es keine Feature-Normalisierung.
Im Verbund am stärkstenRandom Forests und Gradient Boosting mitteln viele Bäume und gehören zu den besten Verfahren für Tabellendaten überhaupt.

Entscheidungsbaum

Was ist ein Entscheidungsbaum?

Analogie:

Definition:

Frage für Frage zur Klasse

Split — der beste Schnitt

Reinheit — Gini oder Entropie

Stopp — wann hört der Baum auf?

Interaktive Demo

Was diese Demo zeigt

Klassifikations-Fläche

Gelernter Baum