Zurück zum Lernbereich

Das Netzwerk

Was die mittleren Schichten eines neuronalen Netzes lernen — und niemandem erklären können.

  • Architekturen
  • 14 min
  • Fortgeschritten

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: Schichten im neuronalen Netz

Was sind Hidden Layers?

Ein neuronales Netz ist ein lernfähiges Computerprogramm. Neuronale Netze haben mehrere Schichten. Die mittleren Schichten heißen Hidden Layers. Hidden Layers bedeutet: verborgene Schichten. Dort findet die eigentliche Berechnung statt.

Wie Deep Learning funktioniert

Viele Mittelschichten zusammen heißen Deep Learning. Deep Learning bedeutet: tiefes Lernen mit vielen Schichten. Jede Schicht lernt etwas anderes. Die erste Schicht sieht einfache Muster. Die letzte Schicht erkennt komplexe Objekte.

Vom Pixel zum Gesicht

Die Schichten bauen aufeinander auf. Die erste Schicht erkennt Linien und Kanten. Die nächste Schicht erkennt Formen. Später erkennt das Netz ganze Gesichter.

Ein einzelnes Neuron kann eine Trennlinie ziehen. Aber die Welt besteht nicht aus geraden Linien — sie besteht aus Gesichtern auf Fotos, Bedeutung in Texten und Mustern in Klängen. Um von einem Neuron zu intelligenter Mustererkennung zu gelangen, braucht man Schichten von Neuronen, die zusammenarbeiten und aufeinander aufbauen.

Diese Hidden Layers sind der Ort, an dem die eigentliche Berechnung stattfindet — unsichtbar von außen, aber unverzichtbar für alles, was ein neuronales Netz leisten kann.

Definition

Hidden Layer

Analogie

Stell dir eine Fabrik vor. Rohstoffe kommen am Eingang an (Input Layer). An jeder Station im Inneren verändern Arbeiter das Material — schneiden, formen, lackieren. Diese Stationen sind die Hidden Layers. Du siehst von außen nie die Zwischenprodukte. Am Ende rollt das fertige Produkt heraus (Output Layer). Jeder Arbeiter hat ein Geschick (Gewicht), das durch Übung verfeinert wird (Training).

Vom Neuron zum Netzwerk

Ein neuronales Netz organisiert Neuronen in Schichten. Der Input Layer nimmt die Rohdaten entgegen — hier findet keine Berechnung statt. Die Hidden Layers führen die eigentliche Verarbeitung durch. Der Output Layer liefert das Endergebnis.

MNIST Netzwerk-Architektur

Handschrifterkennung: 784 Pixel → 10 Ziffern

Input Layer 784 Neuronen (28×28 Pixel)
784
Hidden Layer 1 128 Neuronen (Dense)
128
Hidden Layer 2 64 Neuronen (Dense)
64
Output Layer 10 Neuronen (Ziffern 0-9)
10

Sobald ein Netzwerk mehr als einen Hidden Layer besitzt, gilt es als "tief" — daher der Name Deep Learning. Große Sprachmodelle treiben diese Tiefe auf die Spitze: Metas Llama 3.1 405B besteht laut Hersteller aus 126 Transformer-Blöcken, die als gewaltige Folge von Hidden Layers fungieren.

Input-Neuronen

784

28×28 Pixel eines MNIST-Bildes

Parameter

~109.000

Trainierbare Gewichte und Biases

Transformer-Blöcke

126

Llama 3.1 405B (Meta, 2024)

Woher kommen die ~109.000 Parameter? Jede Verbindung zwischen zwei Neuronen hat ein Gewicht, und jedes Neuron hat einen Bias:

  • Input → Hidden 1: 784 × 128 Gewichte + 128 Biases = 100.480
  • Hidden 1 → Hidden 2: 128 × 64 Gewichte + 64 Biases = 8.256
  • Hidden 2 → Output: 64 × 10 Gewichte + 10 Biases = 650

Gesamt: 100.480 + 8.256 + 650 = 109.386 Parameter

Der Forward Pass

Wie fließen die Daten durch das Netzwerk? Der Forward Pass ist der Berechnungsschritt, bei dem Eingabedaten Schicht für Schicht nach vorne gereicht werden, bis am Ende eine Vorhersage steht.

z = W · x + b
Schritt 1: Lineare Kombination
a = ReLU(z) = max(0, z)
Schritt 2: Aktivierung
output = f3(f2(f1(input)))
Gesamtes Netzwerk

In jeder Schicht passiert immer dasselbe: Erst wird der Eingabevektor mit der Gewichtsmatrix multipliziert und der Bias addiert (z = Wx + b). Keine Panik: Ein Vektor ist hier einfach eine Liste von Zahlen, eine Matrix eine Tabelle aus Zahlen. Dann wird eine Aktivierungsfunktion angewandt (a = ReLU(z)). Die Ausgabe einer Schicht wird zur Eingabe der nächsten — mathematisch eine Funktionskomposition.

Anders als beim Staffellauf, wo der Stab unverändert weitergereicht wird, werden die Daten bei jedem Übergang aktiv transformiert.

Batch-Verarbeitung

Im Training werden praktisch nie einzelne Datenpunkte verarbeitet, sondern ganze Stapel (Batches). Hunderte Beispiele fließen gleichzeitig durch das Netz. Da es sich im Kern um Matrizenmultiplikationen handelt, können GPUs diese Berechnungen extrem effizient parallelisieren.

So definiert man diesen Forward Pass in PyTorch. Ein Aufruf von netz(batch) jagt die Daten durch alle Schichten:

netz = nn.Sequential(
    nn.Flatten(),
    nn.Linear(784, 128),
    nn.ReLU(),
    nn.Linear(128, 64),
    nn.ReLU(),
    nn.Linear(64, 10)
)

Feature-Hierarchien — Was Hidden Layers lernen

Die spannende Frage: Was speichern all diese Parameter eigentlich? Tiefe Netze lernen automatisch sogenannte Feature-Hierarchien — sie zerlegen die Welt in verschiedene Abstraktionsebenen.

  1. 1. PixelRohe Eingabedaten: Farbwerte und Helligkeit
  2. 2. KantenLayer 1 erkennt Kanten und einfache Texturen
  3. 3. FormenMittlere Layer kombinieren Kanten zu geometrischen Mustern
  4. 4. ObjekteTiefe Layer erkennen komplexe Konzepte: Gesichter, Hunderassen, Gebäude

Zeiler und Fergus (2014) haben CNN-Schichten visualisiert und genau dies gezeigt: Layer 1 erkennt Kanten in allen Richtungen. Layer 2 reagiert auf Ecken und Kanten-Kombinationen, Layer 3 auf Texturen. Layer 4 reagiert auf klassentypische Teile wie Hundegesichter, Layer 5 auf ganze Objekte wie Tastaturen oder Hunde. Diese Visualisierungen widerlegen teilweise den Mythos, Hidden Layers seien eine "Black Box". Heute geht die Forschung viel weiter: Mechanistic Interpretability verfolgt Merkmale und ihre Verbindungen sogar in großen Sprachmodellen. MIT Technology Review zählte sie 2026 zu den zehn Durchbruch-Technologien.

Der entscheidende Vorteil gegenüber klassischem Machine Learning: Statt mühsam Merkmale per Hand zu definieren (Feature Engineering), entdeckt das Netzwerk die relevanten Features automatisch.

Interaktiv: Netzwerkarchitektur erkunden

Klicke auf die einzelnen Layer des MNIST-Netzwerks und beobachte, wie die Neuronenanzahl von 784 Eingangspixeln über die Hidden Layer auf 10 Ausgabe-Klassen schrumpft. Achte auf die enormen Verbindungszahlen zwischen den Layern — sie erklären, warum das Training eines Netzwerks so rechenintensiv ist.

⋯784⋯128⋯64⋯10

Klicke auf einen Layer, um Details zu sehen.

"Tiefer ist immer besser" — Nicht so schnell

Ein verbreiteter Irrtum: Mehr Layer bedeuten ein besseres Modell. Die Realität ist komplexer.

Flach (1 Hidden Layer)

Schnell trainiert. Wenige Parameter. Gut für tabellarische Daten und kleine Datensätze. Random Forest und Gradient Boosting sind oft besser.

Tief (viele Hidden Layers)

Lernt komplexe Muster. Braucht viele Daten und Rechenleistung. Risiko: Vanishing Gradient und Overfitting.

Achtung

Falsche Annahme: "Mehr Layer = besseres Modell"

Zu tiefe Netze leiden unter zwei Problemen: Erstens dem Vanishing Gradient — die Gradienten schrumpfen beim Training durch viele Schichten, sodass die ersten Layer aufhören zu lernen. Zweitens dem Overfitting — zu viele Parameter lernen die Trainingsdaten auswendig, statt zu generalisieren. Gegenmittel wie ReLU und Residual Connections machen sehr tiefe Netze heute trotzdem trainierbar — Tiefe lohnt sich aber nur, wenn Daten und Aufgabe sie brauchen. Für viele Aufgaben mit tabellarischen Daten sind baumbasierte Modelle wie Random Forest oder Gradient Boosting die bessere Wahl. Eine Ausnahme sind vortrainierte Tabellen-Modelle wie TabPFN (2025 in Nature): Dieser Transformer wurde vorab auf Millionen synthetischer Tabellen trainiert und schlägt auf kleinen Datensätzen (bis 10.000 Zeilen) sogar getunte Baum-Verfahren. Ein tiefes Netz, das du selbst von Grund auf mit wenigen hundert Zeilen trainierst, bleibt dagegen die schlechtere Wahl.

Merke

Das Wichtigste

  1. Ein neuronales Netz hat drei Schichttypen: Input (Rohdaten), Hidden (Berechnung), Output (Ergebnis). Hidden Layers heißen so, weil ihre Ausgaben nie direkt sichtbar sind.
  2. "Deep" bedeutet mehr als ein Hidden Layer. Große moderne Netze haben hunderte Schichten (Llama 3.1 405B: 126 Transformer-Blöcke mit je mehreren Schichten).
  3. Der Forward Pass wiederholt in jeder Schicht: Matrizenmultiplikation (z = Wx + b), dann Aktivierung (a = ReLU(z)). Die Ausgabe einer Schicht wird zur Eingabe der nächsten.
  4. Hidden Layers lernen automatisch Feature-Hierarchien: Kanten → Formen → Objekte. Das ersetzt manuelles Feature Engineering.
  5. Mehr Tiefe ist nicht immer besser — Vanishing Gradient und Overfitting setzen Grenzen. Für viele Probleme sind einfachere Modelle angemessener.

Prüfen

Quiz: Hidden Layers

Noch offen

Warum heißen Hidden Layers "hidden"?

Wähle eine Antwort

Auflösung: 1) B · 2) C · 3) B · 4) C · 5) B

Prüfen

Checkpoint: Hidden Layers

Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.

0 von 3 sitzen