k-Nächste-Nachbarn (k-NN)

Form die Nachbarschaft: ein Datenpunkt fragt seine k nächsten Bekannten – und stimmt ab.

LevelWechselt den Datensatz. Jedes Level isoliert genau einen Effekt – von einfachen Blobs bis zur Spirale, wo nur ein mittleres k gewinnt.
Ziel: Mach alle Ringe grün 0 / 0 Ringe korrekt

Interaktives Klassifikations-Feld. Mit Pfeiltasten links und rechts änderst du k. Mit Pfeiltasten hoch und runter wählst du nacheinander einen Test-Ring aus und hörst seine Nachbar-Abstimmung. Escape hebt die Auswahl auf. Mit der Maus oder per Touch kannst du Punkte malen, löschen und Test-Ringe greifen.

0 / 0 Ringe korrekt. k ist 1

Tippe einen Ring an: Seine Nachbarn stimmen ab.
Steuerung
Nachbarn
Wie viele Nachbarn abstimmen dürfen. Kleines k folgt jedem Ausreißer (zackig), großes k glättet – nimmt aber auch echte Strukturen mit.
Wie viele Nachbarn abstimmen. Nur ungerade Werte – so gibt es keinen Gleichstand.

Zwei saubere Gruppen, aber ein verirrter roter Punkt kippt bei k=1 einen Ring. Schieb k ein Stück hoch (k=3) – schon glättet die Mehrheit die Grenze.

Ringe korrekt0 / 0Sterne0Serie0
WerkzeugVier Werkzeuge fürs Feld: blaue oder rote Trainingspunkte malen, einen löschen, oder einen Test-Ring greifen, um seine k Nachbarn samt Abstimmung zu sehen.
Distanz-MetrikWie der Abstand gemessen wird. Euklid ist die Luftlinie (runde Gebiete), Manhattan der Häuserblock-Weg (rautige Gebiete) – dadurch werden andere Punkte „nah“.
Level
Blau (Klasse A)Rot (Klasse B)Test-Ringfalsch klassifiziertDie eingefärbte Fläche ist die Decision-Boundary: k-NN klassifiziert jeden Punkt des Felds nach seinen Nachbarn. Sie hat kein Training – sie entsteht live aus den gemalten Punkten.

Jeder Ring ist ein Test-Punkt, der richtig klassifiziert werden will. Färbe das Feld so, dass alle Ringe grün leuchten – mit drei Werkzeugen: k schieben, Punkte malen und einen Test-Punkt greifen, um seine Nachbarn zu sehen.

Was auf dem Feld passiert

Diese Demo sortiert Punkte nach ihren Nachbarn. Hier steht, was du auf dem Bild siehst — die räumliche Aussage hinter den Zahlen.

Was du siehst
Ein quadratisches Feld voller bekannter Punkte in zwei Farben, Blau und Rot. Der eingefärbte Hintergrund teilt das Feld in eine blaue und eine rote Gegend, dazwischen verläuft eine geschwungene Grenze. Punkte mit einem Ring drumherum sind Testpunkte, die noch auf ihr Urteil warten.
Was passiert
Greifst du einen Ring, ziehen kurze Linien zu seinen k nächsten Nachbarn, und der Punkt nimmt die Farbe an, die unter diesen Nachbarn überwiegt. Schiebst du k hoch, wird die Grenze zwischen den Farbgegenden glatter; ziehst du k herunter, wird sie zackiger und schmiegt sich um einzelne Ausreißer.
Was du tun kannst
Wähle eine Aufgabe, stelle k mit dem Schieber ein, male neue Punkte in Blau oder Rot oder radiere sie weg, greife einen Ring zum Nachschauen und wechsle das Abstandsmaß.
Worauf du achtest
k-NN rechnet keine Formel aus. Es schaut nur, was in der Nähe liegt, und stimmt ab. Die Grenze zwischen den Farben zeichnen allein die Nachbarn — und k entscheidet, wie ruhig oder nervös sie verläuft.

Definition

k-NN in einem Satz

Analogie

Du ziehst in eine neue Stadt und willst wissen, ob deine Straße eher ruhig oder lebhaft ist. Du fragst einfach die k nächsten Nachbarn – und übernimmst, was die Mehrheit sagt.

Genau so klassifiziert k-NN: Für einen neuen Punkt sucht es die k ähnlichsten Beispiele und lässt sie abstimmen. Kein Training, keine Formel – nur Nachbarschaft.

k-NN klassifiziert einen neuen Punkt in vier Schritten – ohne jedes Training, allein durch den Vergleich mit den nächsten Beispielen:

  1. Distanzen messen: Berechne den Abstand vom neuen Punkt zu jedem Trainingspunkt (z. B. euklidisch – Luftlinie – oder Manhattan – Häuserblock-Weg).
  2. Die k nächsten auswählen: Sortiere nach Abstand und behalte die k nächsten Nachbarn. k ist der einzige echte Regler.
  3. Abstimmen lassen: Zähle, welche Klasse unter diesen k Nachbarn am häufigsten vorkommt.
  4. Mehrheit gewinnt: Die häufigste Klasse wird die Vorhersage. Bei Gleichstand hilft ein ungerades k.

Genau das siehst du unten: Greif einen Ring und die k Nachbarn, ihre Distanz-Linien und die laufende Abstimmung leuchten auf. Schiebst du k, ändert sich die Mehrheit live.

Lazy Learning

k-NN trainiert nie. Die farbige Grenze entsteht erst in dem Moment, in dem du klassifizierst – jeder Punkt befragt einfach seine nächsten Nachbarn.

Mehrheits-Abstimmung

Greif einen Ring: die k nächsten Nachbarn leuchten auf, die Linien zeigen die Distanzen, und die Mehrheit gewinnt. Das ist die ganze Entscheidung.

Der k-Hebel = Bias-Varianz

Kleines k bügelt nichts aus und folgt jedem Ausreißer (Varianz). Großes k glättet alles, auch echte Struktur (Bias). Du hast es gerade selbst gespürt: zu klein bricht hier, zu groß bricht dort.

Prüfen

Kurzes Quiz – sitzt k-NN?

Noch offen

Warum nennt man k-NN einen „Lazy Learner"?

Wähle eine Antwort

Auflösung: 1) B · 2) C · 3) A · 4) B · 5) C

TheorieGeschichtePseudocodeSchritt für SchrittFlussdiagramm

Die Idee: frag deine Nachbarn

k-Nearest-Neighbors (k-NN) ist einer der einfachsten Klassifikationsalgorithmen überhaupt. Ein neuer, unbekannter Punkt bekommt einfach die Klasse, die unter seinen k nächsten Nachbarn in der Mehrheit ist. Es gibt keine Formel, kein Modell, keine Gewichte, die trainiert werden. Der Algorithmus verlässt sich allein auf die Annahme, dass Punkte, die nah beieinander liegen, meist zur selben Klasse gehören.

Lazy Learning: kein Training

k-NN ist ein Lazy Learner (fauler Lerner): In der Trainingsphase passiert nichts weiter, als dass alle Trainingspunkte gespeichert werden. Die gesamte Arbeit wird erst bei der Vorhersage getan. Deshalb ist das Training extrem schnell, jede einzelne Vorhersage aber vergleichsweise teuer, weil dafür der Abstand zu allen gespeicherten Punkten berechnet werden muss.

So läuft eine Vorhersage ab

  1. Abstände messen: Berechne die Distanz vom neuen Punkt zu jedem gespeicherten Punkt.
  2. k Nächste wählen: Sortiere nach Abstand und nimm die k dichtesten Nachbarn.
  3. Abstimmen: Jeder Nachbar gibt eine Stimme für seine Klasse ab; die Mehrheit gewinnt.

Das Distanzmaß (Metrik)

Was nah bedeutet, legt die Metrik fest. Die euklidische Distanz misst die Luftlinie (wurzel aus der Summe der quadrierten Differenzen), die Manhattan-Distanz nur die Wege entlang der Achsen. Die Wahl der Metrik verändert die Form der Entscheidungsgrenze sichtbar. Wichtig: Merkmale sollten vorher auf eine ähnliche Skala gebracht werden, sonst dominiert eine Achse mit großen Zahlenwerten die Distanz.

Die Rolle von k

Der Parameter k steuert, wie glatt die Entscheidungsgrenze wird. Ein kleines k (etwa k=1) folgt jedem Detail und reagiert empfindlich auf Ausreißer und Rauschen (hohe Varianz). Ein großes k mittelt über viele Nachbarn und glättet die Grenze, kann aber feine Strukturen verwischen (hoher Bias). Es gibt kein universell bestes k; der passende Wert hängt von den Daten ab und wird meist durch Ausprobieren oder Kreuzvalidierung gefunden. Ein ungerades k vermeidet bei zwei Klassen ein Unentschieden.

Eigenschaften

  • Nicht-parametrisch: keine Annahme über die Form der Daten
  • Instanzbasiert: die Trainingsdaten selbst sind das Modell
  • Intuitiv: die Entscheidung lässt sich direkt an den Nachbarn ablesen
  • Aufwändig zur Laufzeit: jede Vorhersage prüft alle gespeicherten Punkte

Spiele mit der Demo! Greif einen Test-Ring und schieb den k-Regler: Bei k=1 kann ein einzelner Ausreißer den Ring in die falsche Klasse kippen, bei einem größeren k überstimmt die Mehrheit den Störer. Auf der Spiral-Ebene siehst du das Gegenteil, ein zu großes k verwischt die feinen Arme, hier hilft nur ein mittleres k. Wechsle auch zwischen euklidisch und Manhattan und beobachte, wie sich die Grenze verformt.

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: Punkte fragen ihre Nachbarn

Was zeigt die Demo?

Auf einem Feld liegen blaue und rote Punkte. Punkte mit einem Ring sind Testpunkte. Ein Testpunkt fragt seine k nächsten Nachbarn. Die Zahl k wählst du selbst. Die Mehrheit bestimmt seine Farbe.

Wie du die Demo benutzt

Schiebe k höher oder tiefer. Male neue Punkte in Blau oder Rot. Greife einen Ring. Dann siehst du Linien zu seinen Nachbarn. Dein Ziel: Alle Ringe leuchten grün.

Was du lernst

Bei kleinem k folgt die Grenze jedem Ausreißer. Ausreißer heißt: Ein Punkt liegt mitten im falschen Farbgebiet. Bei großem k wird die Grenze glatter. Das Verfahren heißt k-NN. Das steht für k nächste Nachbarn.