Das künstliche Neuron
Frank Rosenblatts 1958er Idee, die Jahrzehnte später zum Fundament des Deep Learning wurde.
Jedes neuronale Netz — egal wie groß — baut auf Abwandlungen eines einzigen Grundbausteins auf. Bevor GPT-3 175 Milliarden Parameter hatte, bevor AlexNet ImageNet gewann, gab es ein einzelnes künstliches Neuron: das Perceptron. Es tut eine Sache: multiplizieren, summieren, entscheiden.
Dieser Artikel führt dich in das Atom des Deep Learning ein. Du wirst verstehen, wie es berechnet, wie es lernt und wo es scheitert — und warum genau dieses Scheitern die gesamte Geschichte der KI verändert hat.
Kernthese
Das Perceptron ist die atomare Einheit neuronaler Netze: Es berechnet eine gewichtete Summe seiner Eingaben, addiert einen Bias und feuert, wenn das Ergebnis einen Schwellenwert überschreitet. Diese minimale Architektur kann jedes linear separierbare Muster lernen — versagt aber vollständig an nichtlinearen Grenzen. Diese Einschränkung hat die gesamte Geschichte der KI geprägt.
Das Perceptron-Modell
1943 modellierten Warren McCulloch und Walter Pitts das biologische Neuron mathematisch: Signale empfangen und summieren — wenn die Summe einen Schwellenwert überschreitet, feuert das Neuron. 1958 machte Frank Rosenblatt daraus mit verstellbaren Gewichten eine lernfähige Maschine: das Perceptron.
Achtung
Häufiges Missverständnis
"Neuronale Netze funktionieren wie Gehirne." — Falsch. Sie sind von der Biologie lediglich lose inspiriert. Echte biologische Neuronen sind durch chemische, räumliche und zeitliche Prozesse massiv komplexer als unser mathematisches Modell.
Definition
Perceptron
Analogie
Definition
Hinweis: Die Analogie nutzt diskrete Stimmen — in Wirklichkeit sind die Eingaben kontinuierliche Werte.
Durchgerechnetes Beispiel: AND-Gatter
Ein AND-Gatter gibt nur dann 1 aus, wenn beide Eingaben 1 sind. Mit w₁ = 1, w₂ = 1 und Bias = −1,5:
Eingabe (0,0): 0*1 + 0*1 - 1.5 = -1.5 < 0 -> Output 0 Eingabe (0,1): 0*1 + 1*1 - 1.5 = -0.5 < 0 -> Output 0 Eingabe (1,0): 1*1 + 0*1 - 1.5 = -0.5 < 0 -> Output 0 Eingabe (1,1): 1*1 + 1*1 - 1.5 = 0.5 > 0 -> Output 1
Das Perceptron berechnet das AND-Problem perfekt.
Achtung
Häufiges Missverständnis
"Bias ist nur ein Detail und kann weggelassen werden." — Falsch! Ohne Bias muss die Entscheidungsgrenze zwingend durch den Ursprung (0,0) verlaufen. Das macht es dem Modell unmöglich, sich an reale Datenverteilungen anzupassen, bei denen die Trennlinie versetzt ist.
Kommt dir diese Formel bekannt vor? Die logistische Regression aus dem Artikel „Lineare & Logistische Regression“ ist im Grunde ein Perceptron — der entscheidende Unterschied: statt einer harten Schwelle nutzt sie die weiche Sigmoid-Funktion für Wahrscheinlichkeiten.
Perceptron vs. Logistische Regression
Formel: z = w * x + b. Aktivierung: Stufenfunktion (hart: 0 oder 1). Ausgabe: binäre Entscheidung. Einsatz: Klassifikation mit scharfer Grenze.
Formel: z = w * x + b. Aktivierung: Sigmoid-Funktion (weich: 0.0 bis 1.0). Ausgabe: Wahrscheinlichkeit. Einsatz: Klassifikation mit Konfidenzwert.
Der Vergleich ist aufschlussreich: Perceptron und logistische Regression teilen exakt dieselbe Kernformel (z = w * x + b). In der Berechnung liegt der entscheidende Unterschied in der Ausgabefunktion. Das Perceptron nutzt eine harte Stufenfunktion (0 oder 1), die logistische Regression eine weiche Sigmoid-Funktion (kontinuierliche Wahrscheinlichkeit zwischen 0 und 1). Auch das Training unterscheidet sich: Das Perceptron korrigiert sich nur nach Fehlern, die logistische Regression minimiert den Log-Loss über alle Beispiele. Wenn du die logistische Regression beherrschst, kennst du bereits die fundamentale Architektur des Deep Learning.
Die Lernregel
Definition
Perceptron-Lernregel
Analogie
Definition
Hinweis: Darts ist ein kontinuierliches Spiel — das Perceptron trifft nur binäre Entscheidungen (0 oder 1).
- 1. Vorhersage: Berechne die gewichtete Summe und wende die Schwellenfunktion an.
- 2. Fehler berechnen: Fehler = wahres Label - Vorhersage.
- 3. Gewichte aktualisieren: Passe Gewichte und Bias proportional zum Fehler an.
AND-Gatter Training von Null
Start: w1=0, w2=0, b=0, Lernrate=1. Reihenfolge (0,0), (0,1), (1,0), (1,1); Schritte mit Input (1,0) ohne Fehler sind ausgelassen.
Schritt 1: Input (0,0), Label 0 Summe: 0*0 + 0*0 + 0 = 0 (da 0 >= 0: feuert), Vorhersage: 1 Fehler: 0-1 = -1, Update: b = -1 Schritt 2: Input (0,1), Label 0 Summe: 0*0 + 0*1 - 1 = -1, Vorhersage: 0 Fehler: 0, kein Update Schritt 3: Input (1,1), Label 1 Summe: 0*1 + 0*1 - 1 = -1, Vorhersage: 0 Fehler: 1, Update: w1=1, w2=1, b=0 Schritt 4: Input (0,0), Label 0 Summe: 1*0 + 1*0 + 0 = 0, Vorhersage: 1 Fehler: -1, Update: b=-1 Schritt 5: Input (0,1), Label 0 Summe: 1*0 + 1*1 - 1 = 0, Vorhersage: 1 Fehler: -1, Update: w2=0, b=-2
Ab dem sechsten Durchlauf ändern sich die Gewichte nicht mehr (w1=2, w2=1, b=-3), alle vier Eingaben stimmen — das Perceptron hat gelernt!
Achtung
Häufiges Missverständnis
"Ein Perceptron kann jedes Muster lernen, wenn man lange genug trainiert." — Falsch! Das Konvergenz-Theorem garantiert Konvergenz nur für linear separierbare Daten. Bei nicht linear separierbaren Daten oszillieren die Gewichte unendlich.
Das Perceptron-Konvergenz-Theorem besagt: Wenn die Trainingsdaten linear separierbar sind, findet der Algorithmus garantiert in endlich vielen Schritten eine fehlerfreie Lösung. Die Gewichte konvergieren zu einem Zustand, in dem alle Datenpunkte korrekt klassifiziert werden. Sind die Daten jedoch nicht linear separierbar, konvergiert der Algorithmus niemals — die Gewichte oszillieren unendlich ohne Lösung. Diese Garantie macht das Perceptron für separierbare Daten vertrauenswürdig, zeigt aber gleichzeitig seine fundamentale Grenze.
Interaktiv: Gewichte und Bias verschieben die Linie
Das AND-Beispiel von oben als Bild: Jede Ecke ist eine Eingabe (x₁, x₂), die Linie markiert z = 0, auf der getönten Seite feuert das Neuron. Die Gewichte kippen die Linie, der Bias verschiebt sie. Schalte danach auf XOR: Findest du eine Lage, bei der alle vier Ecken stimmen?
Die XOR-Mauer
Definition
Lineare Separierbarkeit
Analogie
Definition
XOR-Wahrheitstabelle
XOR gibt 1 aus, wenn genau eine Eingabe 1 ist:
(0,0) -> 0 (0,1) -> 1 (1,0) -> 1 (1,1) -> 0 Die beiden 1-Ausgaben sitzen an diagonalen Ecken. Keine gerade Linie kann sie von den 0-Ausgaben trennen.
McCulloch & Pitts
1943
McCulloch & Pitts modellieren das biologische Neuron mathematisch
Rosenblatt
1958
Frank Rosenblatt stellt das erste lernfähige Perceptron vor
Minsky & Papert
1969
Minsky & Papert beweisen mathematisch: XOR ist für ein Perceptron unmöglich
Minsky und Paperts Beweis von 1969 war verheerend: Dass mehrschichtige Netze XOR berechnen können, war zwar bekannt, doch es fehlte ein verbreitetes Verfahren, sie zu trainieren, und die Forschungsgelder wurden gekürzt. Für neuronale Netze begann ein Winter, der die Entwicklung für fast 15 Jahre lähmte.
Perceptrons: Das Buch, das den KI-Winter mitauslöste
1969 veröffentlichten die MIT-Forscher Marvin Minsky und Seymour Papert das Buch Perceptrons. Mit mathematischer Strenge zeigten sie, was ein einlagiges Perzeptron — die einfachste Form eines neuronalen Netzes — kann und was nicht. Ihr berühmtestes Ergebnis: Ein solches Netz kann nicht einmal die simple XOR-Funktion lernen, weil sie sich nicht durch eine einzige Linie trennen lässt. Die Wirkung war enorm: Das Vertrauen in neuronale Netze brach ein, die Förderung versiegte für über ein Jahrzehnt — ein wichtiger Beitrag zum ersten KI-Winter. Zur ehrlichen Einordnung: Minsky und Papert widerlegten neuronale Netze keineswegs. Sie analysierten nur die einlagige Variante; mehrlagige Netze lösen XOR problemlos — was später, ab 1986, mit dem Backpropagation-Verfahren praktisch nutzbar wurde. Die Erzählung, das Buch habe die Forschung im Alleingang getötet, ist teils ein Mythos. Der Einbruch bei Geld und Aufmerksamkeit war aber sehr real.
Backpropagation-Algorithmus
Die Geburt des modernen maschinellen Lernens durch einen eleganten Trainingsalgorithmus. Im Oktober 1986 veröffentlichten David Rumelhart, Geoffrey Hinton und Ronald Williams in Nature das Paper 'Learning representations by back-propagating errors'. Dieser Algorithmus veränderte das Training neuronaler Netzwerke erheblich, indem er eine effiziente Methode zur Gewichtsanpassung in mehrschichtigen Netzen bereitstellte. Das Verfahren passt wiederholt die Verbindungsgewichte an, um die Differenz zwischen tatsächlicher und gewünschter Ausgabe zu minimieren. Die entscheidende Innovation lag in der Fähigkeit, versteckte Schichten zu trainieren, die wichtige Merkmale der Aufgabe automatisch erkennen. Die mathematischen Grundlagen waren bereits zuvor hergeleitet worden – etwa von Paul Werbos (1974) und Seppo Linnainmaa (1970) –, doch erst dieses Paper machte Backpropagation breit bekannt und demonstrierte überzeugend ihre Wirkung. Backpropagation wurde zum Arbeitspferd des maschinellen Lernens und ermöglicht heute alle modernen Deep-Learning-Anwendungen.
Achtung
Häufiges Missverständnis
"Das XOR-Problem beweist, dass Perceptrons nutzlos sind." — Falsch! Minsky & Paperts Beweis galt nur für einzelne Neuronen. Das Stapeln mehrerer Neuronen in versteckten Schichten löst XOR problemlos. Das Feld hat überreagiert: Für solche Schichten fehlte noch ein verbreitetes Trainingsverfahren, doch die Finanzierung wurde weitgehend gestrichen.
Die Lösung: mehrere Neuronen zu Schichten stapeln — trainierbar wurden solche Netze aber erst mit Backpropagation (1986). Genau das ist Deep Learning — und genau dort geht es in den nächsten Artikeln dieses Deep-Learning-Pfads weiter.
Merke
Zusammenfassung
- Ein Perceptron berechnet eine gewichtete Summe plus Bias und feuert oder schweigt — mathematisch identisch zur logistischen Regression mit harter Schwelle.
- Die Lernregel garantiert Konvergenz für linear separierbare Daten — aber die Garantie verschwindet sofort, wenn die Daten nicht separierbar sind.
- Ein einzelnes Perceptron kann nur gerade Linien ziehen — deshalb ist XOR unmöglich, und deshalb war das Stapeln zu Schichten (Deep Learning) der Durchbruch.
Prüfen
Wissenscheck: Das Perceptron
Welche Rolle spielt der Bias-Term in einem Perceptron?
Wähle eine Antwort
1. Welche Rolle spielt der Bias-Term in einem Perceptron?
2. Ein Perceptron hat Gewichte w1=3, w2=-2 und Bias b=1. Für Eingaben x1=1, x2=2: Was ist die Ausgabe?
3. Das Perceptron sagt 0 vorher, aber das wahre Label ist 1. Lernrate 0.5, Eingabe x=[4,2], Gewichte w=[0,0], Bias b=0. Was sind die neuen Gewichte?
4. Warum kann ein einzelnes Perceptron AND lösen, aber nicht XOR?
5. Was passiert, wenn man ein Perceptron auf nicht linear separierbare Daten trainiert?
6. Ein Kollege sagt: "Logistische Regression und Perceptron haben nichts gemeinsam." Wie korrigierst du das?
Prüfen
Selbstcheck
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen