Das Netzwerk
Was die mittleren Schichten eines neuronalen Netzes lernen — und niemandem erklären können.
Ein einzelnes Neuron kann eine Trennlinie ziehen. Aber die Welt besteht nicht aus geraden Linien — sie besteht aus Gesichtern auf Fotos, Bedeutung in Texten und Mustern in Klängen. Um von einem Neuron zu intelligenter Mustererkennung zu gelangen, braucht man Schichten von Neuronen, die zusammenarbeiten und aufeinander aufbauen.
Diese Hidden Layers sind der Ort, an dem die eigentliche Berechnung stattfindet — unsichtbar von außen, aber unverzichtbar für alles, was ein neuronales Netz leisten kann.
Definition
Hidden Layer
Analogie
Definition
Vom Neuron zum Netzwerk
Ein neuronales Netz organisiert Neuronen in Schichten. Der Input Layer nimmt die Rohdaten entgegen — hier findet keine Berechnung statt. Die Hidden Layers führen die eigentliche Verarbeitung durch. Der Output Layer liefert das Endergebnis.
MNIST Netzwerk-Architektur
Handschrifterkennung: 784 Pixel → 10 Ziffern
Sobald ein Netzwerk mehr als einen Hidden Layer besitzt, gilt es als "tief" — daher der Name Deep Learning. Große Sprachmodelle treiben diese Tiefe auf die Spitze: Metas Llama 3.1 405B besteht laut Hersteller aus 126 Transformer-Blöcken, die als gewaltige Folge von Hidden Layers fungieren.
Deep Belief Networks: Renaissance des Deep Learning
Geoffrey Hinton veränderte 2006 die KI-Welt mit seinem wichtigen Paper über Deep Belief Networks. Nach jahrelanger Unpopularität neuronaler Netze zeigte er, wie tiefe neuronale Netzwerke effizient trainiert werden können. Seine Innovation: Layer-by-Layer Pre-Training mit Restricted Boltzmann Machines (RBMs). Diese 'gierige' Lernstrategie löste das Problem der Gewichtsinitialisierung und machte Deep Learning praktisch anwendbar. Die Methode stapelt RBMs übereinander und trainiert jede Schicht einzeln, bevor das gesamte Netzwerk verfeinert wird. Hintons Arbeit beendete das jahrelange Schattendasein neuronaler Netze und leitete deren Renaissance ein. Bereits 2009 reduzierten DBNs Fehlerraten in der Spracherkennung erheblich. 2012 gewann Hintons Team die ImageNet-Challenge (ILSVRC) mit AlexNet - einem tiefen Convolutional Neural Network, das mit GPU-Training, ReLU und Dropout arbeitete und nicht mehr auf das RBM-Pre-Training der DBNs angewiesen war. AlexNet erreichte eine top-5-Fehlerrate von 15,3% gegenüber 26,2% beim zweitbesten Team - eine deutliche Verbesserung. Dieser Moment markiert die Wiedergeburt der neuronalen Netzwerke und den Beginn des heutigen KI-Booms.
Input-Neuronen
784
28×28 Pixel eines MNIST-Bildes
Parameter
~109.000
Trainierbare Gewichte und Biases
Transformer-Blöcke
126
Llama 3.1 405B (Meta, 2024)
Woher kommen die ~109.000 Parameter? Jede Verbindung zwischen zwei Neuronen hat ein Gewicht, und jedes Neuron hat einen Bias:
- Input → Hidden 1: 784 × 128 Gewichte + 128 Biases = 100.480
- Hidden 1 → Hidden 2: 128 × 64 Gewichte + 64 Biases = 8.256
- Hidden 2 → Output: 64 × 10 Gewichte + 10 Biases = 650
Gesamt: 100.480 + 8.256 + 650 = 109.386 Parameter
Der Forward Pass
Wie fließen die Daten durch das Netzwerk? Der Forward Pass ist der Berechnungsschritt, bei dem Eingabedaten Schicht für Schicht nach vorne gereicht werden, bis am Ende eine Vorhersage steht.
In jeder Schicht passiert immer dasselbe: Erst wird der Eingabevektor mit der Gewichtsmatrix multipliziert und der Bias addiert (z = Wx + b). Keine Panik: Ein Vektor ist hier einfach eine Liste von Zahlen, eine Matrix eine Tabelle aus Zahlen. Dann wird eine Aktivierungsfunktion angewandt (a = ReLU(z)). Die Ausgabe einer Schicht wird zur Eingabe der nächsten — mathematisch eine Funktionskomposition.
Anders als beim Staffellauf, wo der Stab unverändert weitergereicht wird, werden die Daten bei jedem Übergang aktiv transformiert.
Batch-Verarbeitung
Im Training werden praktisch nie einzelne Datenpunkte verarbeitet, sondern ganze Stapel (Batches). Hunderte Beispiele fließen gleichzeitig durch das Netz. Da es sich im Kern um Matrizenmultiplikationen handelt, können GPUs diese Berechnungen extrem effizient parallelisieren.
So definiert man diesen Forward Pass in PyTorch. Ein Aufruf von netz(batch) jagt die Daten durch alle Schichten:
netz = nn.Sequential(
nn.Flatten(),
nn.Linear(784, 128),
nn.ReLU(),
nn.Linear(128, 64),
nn.ReLU(),
nn.Linear(64, 10)
)Feature-Hierarchien — Was Hidden Layers lernen
Die spannende Frage: Was speichern all diese Parameter eigentlich? Tiefe Netze lernen automatisch sogenannte Feature-Hierarchien — sie zerlegen die Welt in verschiedene Abstraktionsebenen.
- 1. PixelRohe Eingabedaten: Farbwerte und Helligkeit
- 2. KantenLayer 1 erkennt Kanten und einfache Texturen
- 3. FormenMittlere Layer kombinieren Kanten zu geometrischen Mustern
- 4. ObjekteTiefe Layer erkennen komplexe Konzepte: Gesichter, Hunderassen, Gebäude
Zeiler und Fergus (2014) haben CNN-Schichten visualisiert und genau dies gezeigt: Layer 1 erkennt Kanten in allen Richtungen. Layer 2 reagiert auf Ecken und Kanten-Kombinationen, Layer 3 auf Texturen. Layer 4 reagiert auf klassentypische Teile wie Hundegesichter, Layer 5 auf ganze Objekte wie Tastaturen oder Hunde. Diese Visualisierungen widerlegen teilweise den Mythos, Hidden Layers seien eine "Black Box". Heute geht die Forschung viel weiter: Mechanistic Interpretability verfolgt Merkmale und ihre Verbindungen sogar in großen Sprachmodellen. MIT Technology Review zählte sie 2026 zu den zehn Durchbruch-Technologien.
Der entscheidende Vorteil gegenüber klassischem Machine Learning: Statt mühsam Merkmale per Hand zu definieren (Feature Engineering), entdeckt das Netzwerk die relevanten Features automatisch.
Interaktiv: Netzwerkarchitektur erkunden
Klicke auf die einzelnen Layer des MNIST-Netzwerks und beobachte, wie die Neuronenanzahl von 784 Eingangspixeln über die Hidden Layer auf 10 Ausgabe-Klassen schrumpft. Achte auf die enormen Verbindungszahlen zwischen den Layern — sie erklären, warum das Training eines Netzwerks so rechenintensiv ist.
"Tiefer ist immer besser" — Nicht so schnell
Ein verbreiteter Irrtum: Mehr Layer bedeuten ein besseres Modell. Die Realität ist komplexer.
Schnell trainiert. Wenige Parameter. Gut für tabellarische Daten und kleine Datensätze. Random Forest und Gradient Boosting sind oft besser.
Lernt komplexe Muster. Braucht viele Daten und Rechenleistung. Risiko: Vanishing Gradient und Overfitting.
Achtung
Falsche Annahme: "Mehr Layer = besseres Modell"
Zu tiefe Netze leiden unter zwei Problemen: Erstens dem Vanishing Gradient — die Gradienten schrumpfen beim Training durch viele Schichten, sodass die ersten Layer aufhören zu lernen. Zweitens dem Overfitting — zu viele Parameter lernen die Trainingsdaten auswendig, statt zu generalisieren. Gegenmittel wie ReLU und Residual Connections machen sehr tiefe Netze heute trotzdem trainierbar — Tiefe lohnt sich aber nur, wenn Daten und Aufgabe sie brauchen. Für viele Aufgaben mit tabellarischen Daten sind baumbasierte Modelle wie Random Forest oder Gradient Boosting die bessere Wahl. Eine Ausnahme sind vortrainierte Tabellen-Modelle wie TabPFN (2025 in Nature): Dieser Transformer wurde vorab auf Millionen synthetischer Tabellen trainiert und schlägt auf kleinen Datensätzen (bis 10.000 Zeilen) sogar getunte Baum-Verfahren. Ein tiefes Netz, das du selbst von Grund auf mit wenigen hundert Zeilen trainierst, bleibt dagegen die schlechtere Wahl.
Merke
Das Wichtigste
- Ein neuronales Netz hat drei Schichttypen: Input (Rohdaten), Hidden (Berechnung), Output (Ergebnis). Hidden Layers heißen so, weil ihre Ausgaben nie direkt sichtbar sind.
- "Deep" bedeutet mehr als ein Hidden Layer. Große moderne Netze haben hunderte Schichten (Llama 3.1 405B: 126 Transformer-Blöcke mit je mehreren Schichten).
- Der Forward Pass wiederholt in jeder Schicht: Matrizenmultiplikation (z = Wx + b), dann Aktivierung (a = ReLU(z)). Die Ausgabe einer Schicht wird zur Eingabe der nächsten.
- Hidden Layers lernen automatisch Feature-Hierarchien: Kanten → Formen → Objekte. Das ersetzt manuelles Feature Engineering.
- Mehr Tiefe ist nicht immer besser — Vanishing Gradient und Overfitting setzen Grenzen. Für viele Probleme sind einfachere Modelle angemessener.
Prüfen
Quiz: Hidden Layers
Warum heißen Hidden Layers "hidden"?
Wähle eine Antwort
1. Warum heißen Hidden Layers "hidden"?
2. Ein Netzwerk hat die Architektur: 100 Inputs → 50 Hidden-Neuronen → 10 Outputs. Alle Schichten sind Dense. Wie viele trainierbare Gewichtsparameter hat es (ohne Biases)?
3. Du baust ein Modell zur Vorhersage von Hauspreisen aus 5 numerischen Features (Größe, Zimmer, Alter, Lage, Zustand). Du hast 500 Trainingsbeispiele. Welcher Ansatz ist geeigneter?
4. Ein Kollege behauptet: "Hidden Layers sind eine komplette Black Box — wir haben absolut keine Ahnung, was in ihnen passiert." Bewerte diese Aussage.
5. In einem CNN für Bilderkennung erkennt Layer 1 Kanten und Layer 5 Gesichter. Was passiert, wenn du die Layer 2-4 entfernst und Layer 1 direkt mit Layer 5 verbindest, ohne neu zu trainieren?
Prüfen
Checkpoint: Hidden Layers
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen