Der eine kleine Knick in der Linie, ohne den neuronale Netze gar nichts lernen würden.
Grundlagen 10 min Fortgeschritten 1. Juni 2026
Eine Neuronenschicht multipliziert Eingaben mit Gewichten und addiert einen Bias — eine rein lineare Operation. Stapele beliebig viele davon und du hast immer noch ein lineares Modell: unfähig, Kurven, Ecken oder das XOR-Muster zu lernen.
Aktivierungsfunktionen sind die Lösung. Indem sie eine nichtlineare Transformation zwischen die Schichten setzen, geben sie dem Netz die Fähigkeit, Entscheidungsgrenzen zu krümmen und letztlich jede stetige Funktion zu approximieren.
Die lineare Falle
Aktivierungsfunktion
AnalogieDefinition
Stelle dir vor, du stapelst getönte Glasfilter vor einer Lampe. Jeder Filter tönt das Licht linear (multipliziert jeden Farbkanal mit einem Faktor). Stapele zehn Filter und das Ergebnis ist immer noch ein einziger kombinierter Farbton — du findest immer einen einzelnen Filter mit demselben Effekt. Setze aber ein Prisma (ein nichtlineares Element) dazwischen, und plötzlich entstehen Regenbogen — Strukturen, die kein einzelner linearer Filter erzeugen kann.
Beispiel
Echte Glasfilter haben kleine Nichtlinearitäten (Absorptionsspektren, Streuung). Die Analogie ist idealisiert, aber der mathematische Punkt gilt exakt für neuronale Netze.
Analogie:
Stelle dir vor, du stapelst getönte Glasfilter vor einer Lampe. Jeder Filter tönt das Licht linear (multipliziert jeden Farbkanal mit einem Faktor). Stapele zehn Filter und das Ergebnis ist immer noch ein einziger kombinierter Farbton — du findest immer einen einzelnen Filter mit demselben Effekt. Setze aber ein Prisma (ein nichtlineares Element) dazwischen, und plötzlich entstehen Regenbogen — Strukturen, die kein einzelner linearer Filter erzeugen kann.
Beispiel
Echte Glasfilter haben kleine Nichtlinearitäten (Absorptionsspektren, Streuung). Die Analogie ist idealisiert, aber der mathematische Punkt gilt exakt für neuronale Netze.
Definition:
Eine nichtlineare Funktion, die elementweise nach der gewichteten Summe eines Neurons angewandt wird. Ohne sie können gestapelte Schichten nur lineare Entscheidungsgrenzen erzeugen; mit ihr kann jede Schicht den Eingaberaum in zunehmend komplexe Regionen unterteilen.
Warum Tiefe ohne Aktivierung eine Illusion ist: Berechnet Schicht 1 y = W₁x + b₁ und Schicht 2 z = W₂y + b₂, dann gilt:
Linearer Kollaps
z = W₂(W₁x + b₁) + b₂ = (W₂·W₁)x + (W₂·b₁ + b₂)
Die zwei Gewichtsmatrizen kollabieren in ein einziges Produkt. Egal wie viele Schichten du hinzufügst — das Netz kann nur gerade Entscheidungsgrenzen ziehen.
Das XOR-Problem ist der klassische Beweis: Die korrekte Ausgabe lässt sich durch keine einzelne Gerade trennen. Reine Linearität reicht nicht aus.
Missverständnis: Mehr Schichten = mehr Fähigkeit
Mehr Schichten erhöhen die Repräsentationsfähigkeit NUR, wenn nichtlineare Aktivierungsfunktionen sie trennen. Ein 100-Schichten-Netz ohne Aktivierung ist mathematisch identisch mit einem 1-Schichten-Netz — mit anderen, aber ebenso linearen Gewichten.
Sigmoid, Tanh und der verschwindende Gradient
Sigmoid (σ(z) = 1/(1+e⁻ᶻ)) presst jede Eingabe in den Bereich (0, 1) — keine Sorge, du musst diese Formel nie selbst ausrechnen. Tanh presst in (-1, 1) und ist um Null zentriert. Beide sind glatt, differenzierbar (also weiche Kurven ohne abrupte Sprünge) und historisch bedeutsam.
Das eigentliche Problem liegt in ihren Ableitungen — also dem Lernsignal, das beim Training durch das Netz zurückgeschickt wird: Die maximale Ableitung von Sigmoid beträgt nur 0,25 (bei z = 0). Bei der Backpropagation werden Gradienten Schicht für Schicht multipliziert.
Die Flüsterkette: Stell dir vor, eine Nachricht wird durch eine Kette von Personen weitergegeben, aber jede Person kann nur mit einem Viertel der Lautstärke flüstern. Nach der ersten Person: 25 % Lautstärke. Nach der zweiten: 6,25 %. Beim zehnten: 0,0001 % — praktisch unhörbar. Im Sigmoid-Netz ist die "Nachricht" der Gradient, und jede Schicht wirkt als Lautstärkereduzierer.
0,25¹⁰≈ 10⁻⁶
Gradient nach 10 Sigmoid-Schichten des Originalsignals — effektiv null. Frühe Schichten hören auf zu lernen.
Missverständnis: Sigmoid ist schlecht
Sigmoid ist eine schlechte Wahl für Hidden Layers in tiefen Netzen wegen des verschwindenden Gradienten. Aber es bleibt die RICHTIGE Wahl für den Output-Layer bei binärer Klassifikation, wo man eine Wahrscheinlichkeit zwischen 0 und 1 braucht. Die Funktion selbst ist nicht fehlerhaft — sie wird nur falsch eingesetzt, wenn man sie im gesamten tiefen Netz verwendet.
ReLU und das moderne Werkzeugset
ReLU (Rectified Linear Unit) ist fast absurd einfach: f(z) = max(0, z). Für positive Eingaben ist die Ausgabe gleich der Eingabe und die Ableitung exakt 1. Für negative Eingaben sind Ausgabe und Ableitung null.
Denke an ein Einwegventil in einer Wasserleitung. Positiver Druck (z > 0) fließt unverändert — kein Widerstand, kein Verlust. Negativer Druck (z < 0) wird komplett blockiert. In einer langen Pipeline mit 50 Ventilen bleibt der Druck am Ende gleich (bei positivem Fluss). Mit 50 Sigmoid-Reglern, die jeweils auf 25 % drosseln, kommt nichts mehr an.
Form: Knick bei null • Bereich: [0, ∞) • Ableitung: 1 (z>0) oder 0 • KEIN systematisches Gradient-Schrumpfen • Verwendung: Standard für Hidden Layers
2012 zeigte sich bei der Bilderkennung, dass ein Netz mit ReLU etwa sechsmal schneller lernte als mit Tanh. Dieser Geschwindigkeitsvorteil war eine der Schlüsselentscheidungen, die das Training tiefer Netze in großem Maßstab ermöglichten.
2012 Durchbrüche
AlexNet-Erfolg
Der Wendepunkt für Deep Learning und moderne KI. Am 30. September 2012 wurden die Ergebnisse der ImageNet-Challenge veröffentlicht, die AlexNet mit einem derartigen Vorsprung für sich entschied, dass die Computer Vision nachhaltig verändert wurde. Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton von der Universität Toronto entwickelten eine CNN-Architektur, die ihre Konkurrenz um beachtliche 10,9 Prozentpunkte schlug – eine Verbesserung, die in der Wissenschaft als außergewöhnlich gilt. Mit 60 Millionen Parametern und innovativen Techniken wie ReLU-Aktivierungen und Dropout-Layern führte AlexNet die praktische Überlegenheit des Deep Learning eindrucksvoll vor Augen. Das war der Moment, als aus einer interessanten Theorie eine dominante Technologie wurde. Yann LeCun nannte es einen 'unzweifelhaften Wendepunkt in der Computer Vision-Geschichte'. Die GPU-basierte Implementierung ebnete den Weg für die moderne KI-Entwicklung.
Trotzdem hat ReLU eine Schwäche: Wenn die Eingaben eines Neurons dauerhaft negativ werden (z. B. durch einen großen Gradient-Update), gibt es permanent null aus — ein "totes ReLU". Leaky ReLU (f(z) = max(0,01z, z)) löst das durch eine kleine Reststeigung für negative Werte.
In Transformer-Architekturen hat sich GELU als Standard durchgesetzt — eine glattere Variante von ReLU, die den Übergang bei null sanfter gestaltet statt hart abzuschneiden.
Signalfluss durch ein Neuron
1
Eingabe x
2
Gewichtete Summe z = Wx + b
3
Aktivierung f(z)
4
Ausgabe a
Missverständnis: ReLU ist immer die beste Wahl
ReLU ist der Standard für Hidden Layers, aber der Output-Layer braucht aufgabenspezifische Aktivierungen. Binäre Klassifikation: Sigmoid (Ausgabe in [0,1] als Wahrscheinlichkeit). Multi-Klassen: Softmax (Ausgaben summieren sich zu 1). Regression: Oft keine Aktivierung (lineare Ausgabe).
Interaktiv: Aktivierungsfunktionen vergleichen
Bewege den Schieberegler, um verschiedene Eingabewerte x zu testen. Wechsle zwischen ReLU, Sigmoid und Tanh und beobachte, wie jede Funktion denselben Input transformiert. Achte besonders auf die Ableitung: Bei Sigmoid schrumpft sie auf maximal 0,25 — genau das Problem des verschwindenden Gradienten.
x = 1.0
Formelmax(0, 1.0) = 1.0000
1.0000Ausgabe f(x)
1.0000Ableitung f'(x)
f(x)
1.00
f'(x)
1.00
Deep Dive: Der Universelle Approximationssatz
Cybenko zeigte 1989, dass ein Feedforward-Netz mit einer einzigen Hidden Layer und Sigmoid-Aktivierung jede stetige Funktion beliebig genau approximieren kann. Hornik verallgemeinerte 1991, dass dies für breite Klassen von Aktivierungsfunktionen gilt. Aber Vorsicht: Das ist eine reine Existenzaussage — sie sagt, DASS ein solches Netz existiert, nicht wie groß es sein muss. In der Praxis braucht ein flaches Netz möglicherweise unpraktisch viele Neuronen. Tiefere Netze erreichen dieselbe Approximation oft mit weniger Parametern, weil jede Schicht zunehmend abstrakte Merkmale extrahiert.
Lernkarten: Die wichtigsten Aktivierungsfunktionen
Klicke auf eine Karte, um sie umzudrehen. Vorderseite: Name und Kurzbeschreibung. Rückseite: Formel und typischer Einsatzbereich.
Karte 1 von 5
Begriff
ReLU
Der Standard in Hidden Layers seit 2012
Klicken zum Umdrehen
Erklärung
Gibt positive Werte unverändert weiter, blockiert negative komplett. Gradient = 1 bei positiven Eingaben, daher kein verschwindender Gradient.
Formel
f(x) = max(0, x)
Beispiel
Standard-Aktivierung in CNNs und MLPs seit AlexNet (2012)
Klicken zum Zurückdrehen
Kernaussagen
Ohne Aktivierungsfunktionen ist ein neuronales Netz beliebiger Tiefe mathematisch identisch mit einer einzelnen linearen Transformation — Tiefe ohne Nichtlinearität verschwendet Parameter.
Sigmoid und Tanh sättigen an ihren Extremen und multiplizieren Gradienten mit Brüchen, die sich über Schichten katastrophal aufstauen — das ist das Problem des verschwindenden Gradienten.
ReLU leitet positive Werte unverändert weiter (Gradient = 1), was das Gradient-Problem in Hidden Layers weitgehend löst. Der Output-Layer braucht jedoch aufgabenspezifische Aktivierungen (Sigmoid für Wahrscheinlichkeiten, Softmax für Multi-Klassen).
Lernziele
Warum ist ein Netz ohne Aktivierungsfunktionen trotz vieler Schichten nicht mächtiger als ein einzelner linearer Layer?
Warum führt Sigmoid in tiefen Netzen leicht zu einem verschwindenden Gradienten, und weshalb ist das für das Lernen problematisch?
Warum hilft ReLU beim Training tiefer Netze, und warum ist sie trotzdem nicht automatisch die richtige Wahl für den Output-Layer?
Quiz: Aktivierungsfunktionen
Frage 1 / 5
Noch offen
Was passiert, wenn man mehrere Neuronenschichten stapelt, die jeweils nur eine lineare Transformation (y = Wx + b) ohne Aktivierungsfunktion berechnen?
1. Was passiert, wenn man mehrere Neuronenschichten stapelt, die jeweils nur eine lineare Transformation (y = Wx + b) ohne Aktivierungsfunktion berechnen?
☐ A) Das Netz wird mit jeder Schicht mächtiger.
☐ B) Das Netz ist mathematisch gleichwertig mit einem einzelnen linearen Layer.
☐ C) Das Netz kann nichtlineare Muster lernen, trainiert aber langsamer.
☐ D) Das Netz entwickelt automatisch nichtlineares Verhalten durch Gewichts-Interaktionen.
2. Warum ist das Problem des verschwindenden Gradienten bei Sigmoid-Aktivierung in tiefen Netzen besonders schwerwiegend?
☐ A) Sigmoid-Ausgaben sind immer nahe null, daher verschwinden alle Signale.
☐ B) Sigmoid ist rechnerisch aufwendig, was zu numerischem Unterlauf in tiefen Netzen führt.
☐ C) Die maximale Ableitung von Sigmoid ist 0,25, und diese kleinen Faktoren multiplizieren sich über Schichten, was zu exponentiellem Zerfall des Lernsignals führt.
☐ D) Sigmoid funktioniert nur mit positiven Eingaben, was den Gradientenbereich einschränkt.
3. Du baust ein neuronales Netz, das vorhersagen soll, ob eine E-Mail Spam ist (ja/nein). Welche Aktivierungsfunktion verwendest du in den Hidden Layers und welche im Output-Layer?
☐ A) ReLU in den Hidden Layers, Sigmoid im Output-Layer.
☐ B) Sigmoid in beiden — Hidden und Output Layers.
☐ C) ReLU in den Hidden Layers, Softmax im Output-Layer.
☐ D) Sigmoid in den Hidden Layers, ReLU im Output-Layer.
4. Was ist ein "totes ReLU", und warum ist es problematisch?
☐ A) Ein Neuron, das bei positiven Eingaben zu große Werte ausgibt und das Netz instabil macht.
☐ B) Ein Neuron, das dauerhaft null ausgibt, weil seine Eingaben immer negativ sind — es lernt nicht mehr.
☐ C) Ein Neuron, das aufhört zu rechnen, weil der Bias zu groß wird.
☐ D) Ein Neuron, das nur bei sehr großen Eingaben aktiv wird und kleine Signale ignoriert.
5. Ein Kollege behauptet: "Wir sollten ReLU überall im Netz verwenden — Hidden Layers UND Output-Layer — weil es verschwindende Gradienten vermeidet." Bewerte diese Aussage für einen Multi-Klassen-Bildklassifikator mit 10 Kategorien.
☐ A) Korrekt — ReLUs Gradient von 1 ist immer optimal, unabhängig von der Aufgabe.
☐ B) Teilweise richtig — ReLU ist gut für Hidden Layers, aber der Output-Layer braucht Softmax, um eine gültige Wahrscheinlichkeitsverteilung über 10 Klassen zu erzeugen.
☐ C) Falsch — ReLU verursacht explodierende Gradienten in allen Schichten und sollte nie verwendet werden.
☐ D) Teilweise richtig — ReLU funktioniert für den Output-Layer, aber Sigmoid ist besser für Hidden Layers.