Perceptron (Neuronale Netze)
1957 für tot erklärt, heute Grundbaustein jedes Deep-Learning-Modells. Hier in Aktion.
Klassifikationsebene
Klassifikationsebene: 1/4 Richtig klassifiziert, Genauigkeit 25%. w₁=0.50, w₂=0.50, Das Neuron bias=0.00.
Das Neuron
- w₁, w₂
Gewichte gewichten jede Eingabe. Je größer das Gewicht, desto stärker beeinflusst diese Eingabe die Entscheidung — sie bestimmen die Neigung der Trennlinie. - b
Der Bias verschiebt die Trennlinie. Er entscheidet, wie leicht das Neuron eine 1 ausgibt — unabhängig von den Eingaben. - Σ
Σ summiert alle gewichteten Eingaben plus den Bias: w₁·x₁ + w₂·x₂ + b. Dieser eine Wert (z) steuert die Entscheidung. - σ
σ ist die Aktivierung: Ist die Summe z > 0, feuert das Neuron (1), sonst gibt es 0 aus. Hier eine harte Stufenfunktion.
Schau dir rechts das Neuron an: Eingaben fließen rein, werden gewichtet und summiert.
Was auf dem Feld passiert
Ein einzelnes künstliches Neuron lernt, zwei Gruppen von Punkten zu trennen — allein indem es eine Grenze verschiebt. Hier steht, was du dabei auf dem Bild siehst.
- Was du siehst
- Ein quadratisches Feld mit Punkten in zwei Sorten: leere Kreise (○) und volle Kreise (●). Quer durch das Feld läuft eine gerade Linie — die Trennlinie. Sie teilt das Feld in zwei Hälften, eine für jede Sorte.
- Was passiert
- Bei jedem Lernschritt kippt und verschiebt sich die Linie ein Stück. Liegt ein Punkt auf der falschen Seite, dreht sie sich in seine Richtung. Nach und nach wandert die Linie in die Lage, in der beide Sorten sauber getrennt sind.
- Was du tun kannst
- Zieh die Linie mit der Maus an ihren beiden Griffen, oder lass das Neuron selbst lernen: Schritt für Schritt oder automatisch. Über den Regler stellst du das Tempo ein, und du kannst zwischen den Aufgaben AND, OR und XOR wechseln.
- Worauf du achtest
- So lernt das einfachste künstliche Neuron — nicht durch Nachdenken, sondern nur durch das Verschieben einer einzigen Grenze. Bei XOR gelingt das nie: keine gerade Linie kann diese Punkte trennen.
Definition
Was ist ein Perceptron?
Analogie
Stell dir einen Türsteher vor einem exklusiven Club vor. Er schaut auf eine Checkliste mit verschiedenen Kriterien: Ist die Person auf der Gästeliste? Trägt sie angemessene Kleidung? Hat sie eine Einladung?
Jedes Kriterium hat eine unterschiedliche Wichtigkeit (Gewicht). Die Gästeliste zählt vielleicht mehr als die Kleidung. Der Türsteher addiert alle gewichteten Punkte zusammen und wenn die Summe über einem bestimmten Schwellenwert liegt, sagt er 'JA, rein!' - sonst 'NEIN, draußen bleiben!'. Genau so funktioniert ein Perceptron.
Definition
Das Perceptron ist ein binärer linearer Klassifikator, der 1957 von Frank Rosenblatt entwickelt wurde. Es nimmt mehrere Eingaben entgegen, multipliziert jede mit einem Gewicht, addiert diese Produkte zusammen mit einem Bias-Term und wendet eine Schwellenwert-Funktion an.
Mathematisch: y = σ(Σ wᵢxᵢ + b), wobei σ die Aktivierungsfunktion ist (typischerweise eine Stufenfunktion, die 1 zurückgibt wenn die Eingabe > 0 ist, sonst 0).
Das Perceptron ist das einfachste neuronale Netz - ein einzelnes künstliches Neuron. Es nimmt Eingaben entgegen, gewichtet sie, summiert sie auf und entscheidet dann: Ja (1) oder Nein (0).
Die Gewichte (w₁, w₂)
Gewichte bestimmen, wie wichtig jede Eingabe ist. Positive Gewichte verstärken, negative schwächen den Einfluss. Die Kombination der Gewichte bestimmt die Richtung der Trennlinie.
Der Bias (b)
Der Bias verschiebt die Trennlinie. Ein positiver Bias macht es leichter, 1 auszugeben; ein negativer macht es schwerer. Er ist wie ein 'Grundeinstellung' des Neurons.
Die Aktivierungsfunktion (σ)
Die Aktivierungsfunktion entscheidet final: Ist die gewichtete Summe größer als 0, gibt das Neuron 1 aus (feuert). Ist sie kleiner oder gleich 0, gibt es 0 aus (feuert nicht).
Das erste künstliche Neuron
Das Perceptron ist der Urahn aller neuronalen Netze. Es ist ein mathematisches Modell eines einzelnen Neurons, das 1957 von Frank Rosenblatt erfunden wurde. Trotz seiner Einfachheit enthält es alle fundamentalen Konzepte des maschinellen Lernens: Eingaben, Gewichte, Summation und Aktivierung.
Mathematische Grundlage
Das Perceptron berechnet eine gewichtete Summe seiner Eingaben: z = w₁x₁ + w₂x₂ + ... + wₙxₙ + b. Dabei sind x die Eingabewerte, w die Gewichte (die bestimmen, wie wichtig jede Eingabe ist), und b der Bias (eine Verschiebungskonstante). Die Ausgabe ist 1, wenn z > 0, sonst 0.
Was kann das Perceptron?
- Lineare Klassifikation: Trennung von zwei Klassen durch eine gerade Linie (oder Hyperebene)
- Logische Funktionen: AND und OR können perfekt dargestellt werden
- Einfache Mustererkennung: Kann zwischen zwei einfachen Mustern unterscheiden
Die fundamentale Grenze
Das Perceptron kann nur linear trennbare Probleme lösen. Das XOR-Problem (Exklusives Oder) ist das klassische Gegenbeispiel: Die Punkte liegen diagonal und können nicht durch eine einzelne gerade Linie getrennt werden. Diese Erkenntnis führte 1969 zum KI-Winter.
Lernregel
Das Perceptron lernt durch den Perceptron-Lernalgorithmus: Für jeden falsch klassifizierten Punkt werden die Gewichte angepasst: w_neu = w_alt + η × (y - ŷ) × x, wobei η die Lernrate ist, y das erwartete und ŷ das vorhergesagte Ergebnis.
Probiere es selbst aus! Bewege die Trennlinie in der Demo und beobachte, wie sich die Klassifikation ändert.
1943: Das McCulloch-Pitts-Neuron
Warren McCulloch und Walter Pitts legten mit ihrem Artikel "A Logical Calculus of Ideas Immanent in Nervous Activity" den Grundstein. Sie zeigten, dass Netzwerke aus einfachen Neuronen beliebige logische Funktionen berechnen können.
1957: Das Perceptron wird geboren
Frank Rosenblatt am Cornell Aeronautical Laboratory entwickelte das Perceptron. Die Mark I Perceptron-Maschine war ein Hardware-Gerät mit 400 Photozellen, das Buchstaben erkennen lernte. Die New York Times titelte enthusiastisch: "Embryo eines elektronischen Computers, der laufen, sprechen, sehen und schreiben wird."
1969: Das Buch "Perceptrons"
Marvin Minsky und Seymour Papert veröffentlichten ihr einflussreiches Buch "Perceptrons", das die fundamentalen Grenzen des Perceptrons mathematisch bewies. Die XOR-Unmöglichkeit war ein Schock für die KI-Forschung. Die Finanzierung wurde gekürzt - der KI-Winter begann.
Das Erbe des Perceptrons
Erst mit der Entwicklung von mehrschichtigen Netzwerken und dem Backpropagation-Algorithmus in den 1980er Jahren wurde die XOR-Grenze überwunden. Jedes moderne neuronale Netzwerk baut auf den Prinzipien des Perceptrons auf - es ist der Baustein aller tiefen Lernarchitekturen.
1
# Das Perceptron - Einfachstes neuronales Netz
2
funktion perceptron(eingaben):
3
# Zwei Eingabewerte: x₁ und x₂
4
gewichte = [w1, w2] # Wie wichtig ist jede Eingabe?
5
bias = b # Verschiebungswert (Schwellenwert)
6
7
für jede eingabe i in eingaben:
8
# Berechne gewichtete Summe
9
summe = summe + gewichte[i] * eingaben[i]
10
11
# Aktivierungsfunktion (Stufenfunktion)
12
wenn summe + bias > 0:
13
ausgabe = 1 # Neuron "feuert"
14
sonst:
15
ausgabe = 0 # Neuron "feuert nicht"
16
17
return ausgabe
18
19
# Lernregel: Gewichte anpassen
20
funktion trainiere(x, erwartete_ausgabe, lernrate):
21
für jedes trainingsbeispiel:
22
vorhersage = perceptron(x)
23
fehler = erwartete_ausgabe - vorhersage
24
# Gewichte in Richtung des Fehlers anpassen
25
gewichte[i] = gewichte[i] + lernrate * fehler * x[i]
26
bias = bias + lernrate * fehler
⚙️ Gewichte initialisieren
Starte mit zufälligen Gewichten (w₁, w₂) und einem Bias (b). Die Gewichte bestimmen, wie stark jede Eingabe die Entscheidung beeinflusst. Der Bias verschiebt die Entscheidungsgrenze.
gewichte = [w1, w2] # Wie wichtig ist jede Eingabe?
bias = b # Verschiebungswert (Schwellenwert)
📥 Eingabe
Das Perceptron erhält Eingabewerte (x₁, x₂). In der Demo sind das die Koordinaten eines Punktes. Jede Eingabe repräsentiert ein Merkmal (Feature).
⚖️ Gewichtung
Jede Eingabe wird mit einem Gewicht multipliziert. Positive Gewichte verstärken, negative schwächen den Einfluss. Die Gewichte werden beim Lernen angepasst.
➕ Summation
Alle gewichteten Eingaben werden zusammen mit dem Bias addiert: z = Σ(wᵢ × xᵢ) + b. Diese Summe ist der Netto-Input für das Neuron.
⚡ Aktivierung
Die Stufenfunktion (Heaviside) erzeugt eine binäre Ausgabe: 1 wenn z > 0, sonst 0. Dies entspricht der Entscheidung: Klasse 1 oder Klasse 0.
📤 Ausgabe
Die finale Klassifikation: 0 oder 1. In der Demo bedeutet das: blauer Bereich (○) oder orangener Bereich (●). Eine binäre Entscheidung.
Prüfen
Teste dein Wissen
Was macht ein Perceptron?
Wähle eine Antwort
1. Was macht ein Perceptron?
2. Was bewirken die Gewichte (w₁, w₂) im Perceptron?
3. Warum kann ein einzelnes Perceptron das XOR-Problem nicht lösen?
4. In der Demo hast du die Trennlinie verschoben. Was passiert mit der Klassifikation, wenn du die Linie drehst?
5. Was war die historische Bedeutung der XOR-Entdeckung?