Das Netzwerk

Ein einzelnes Neuron kann eine Trennlinie ziehen. Aber die Welt besteht nicht aus geraden Linien — sie besteht aus Gesichtern auf Fotos, Bedeutung in Texten und Mustern in Klängen. Um von einem Neuron zu intelligenter Mustererkennung zu gelangen, braucht man Schichten von Neuronen, die zusammenarbeiten und aufeinander aufbauen.

Diese Hidden Layers sind der Ort, an dem die eigentliche Berechnung stattfindet — unsichtbar von außen, aber unverzichtbar für alles, was ein neuronales Netz leisten kann.

Vom Neuron zum Netzwerk

Ein neuronales Netz organisiert Neuronen in Schichten. Der Input Layer nimmt die Rohdaten entgegen — hier findet keine Berechnung statt. Die Hidden Layers führen die eigentliche Verarbeitung durch. Der Output Layer liefert das Endergebnis.

Sobald ein Netzwerk mehr als einen Hidden Layer besitzt, gilt es als "tief" — daher der Name Deep Learning. Moderne Architekturen treiben diese Tiefe auf die Spitze: GPT-4 besteht aus rund 120 Transformer-Blöcken, die als gewaltige Folge von Hidden Layers fungieren.

Der Forward Pass

Wie fließen die Daten durch das Netzwerk? Der Forward Pass ist der Berechnungsschritt, bei dem Eingabedaten Schicht für Schicht nach vorne gereicht werden, bis am Ende eine Vorhersage steht.

In jeder Schicht passiert immer dasselbe: Erst wird der Eingabevektor mit der Gewichtsmatrix multipliziert und der Bias addiert (z = Wx + b). Keine Panik: Ein Vektor ist hier einfach eine Liste von Zahlen, eine Matrix eine Tabelle aus Zahlen. Dann wird eine Aktivierungsfunktion angewandt (a = ReLU(z)). Die Ausgabe einer Schicht wird zur Eingabe der nächsten — mathematisch eine Funktionskomposition.

Anders als beim Staffellauf, wo der Stab unverändert weitergereicht wird, werden die Daten bei jedem Übergang aktiv transformiert.

Batch-Verarbeitung

In der Praxis werden nie einzelne Datenpunkte verarbeitet, sondern ganze Stapel (Batches). Hunderte Beispiele fließen gleichzeitig durch das Netz. Da es sich im Kern um Matrizenmultiplikationen handelt, können GPUs diese Berechnungen extrem effizient parallelisieren.

netz = nn.Sequential(
    nn.Linear(784, 128),
    nn.ReLU(),
    nn.Linear(128, 64),
    nn.ReLU(),
    nn.Linear(64, 10)
)

Feature-Hierarchien — Was Hidden Layers lernen

Die spannende Frage: Was speichern die Millionen von Parametern eigentlich? Tiefe Netze lernen automatisch sogenannte Feature-Hierarchien — sie zerlegen die Welt in verschiedene Abstraktionsebenen.

Zeiler und Fergus (2014) haben CNN-Schichten visualisiert und genau dies gezeigt: Layer 1 erkennt Kanten in allen Richtungen. Layer 2 reagiert auf Texturen und Muster. Layer 5 identifiziert hochspezifische Konzepte wie Gesichter oder Kirchtürme. Diese Visualisierungen widerlegen teilweise den Mythos, Hidden Layers seien eine "Black Box".

Der entscheidende Vorteil gegenüber klassischem Machine Learning: Statt mühsam Merkmale per Hand zu definieren (Feature Engineering), entdeckt das Netzwerk die relevanten Features automatisch.

Interaktiv: Netzwerkarchitektur erkunden

Klicke auf die einzelnen Layer des MNIST-Netzwerks und beobachte, wie die Neuronenanzahl von 784 Eingangspixeln über die Hidden Layer auf 10 Ausgabe-Klassen schrumpft. Achte auf die enormen Verbindungszahlen zwischen den Layern — sie erklären, warum das Training eines Netzwerks so rechenintensiv ist.

"Tiefer ist immer besser" — Nicht so schnell

Ein verbreiteter Irrtum: Mehr Layer bedeuten ein besseres Modell. Die Realität ist komplexer.