Die Knöpfe der Maschine — Parameter vs. Hyperparameter

Die feine Linie zwischen "von der Maschine gelernt" und "von dir geraten".

Wenn Schlagzeilen verkünden, GPT-4 habe "Billionen Parameter", stellen sich die meisten einen Entwickler vor, der an Billionen Reglern dreht. Die Wahrheit ist das genaue Gegenteil: Diese Parameter sind Werte, die die Maschine vollständig selbst herausgefunden hat. Die tatsächlichen Regler, die der Entwickler einstellt — die Hyperparameter — zählen höchstens ein paar Dutzend.

Das Verwechseln dieser beiden Kategorien ist der häufigste Anfängerfehler im Machine Learning. In diesem Artikel lernst du, was der Unterschied ist, warum er entscheidend ist, und wie man die richtigen Einstellungen systematisch findet.

Parameter — Die interne Verdrahtung der Maschine

Stell dir die internen Schaltkreise einer hochwertigen Hi-Fi-Anlage während der automatischen Kalibrierung vor. Hunderte Widerstände, Kondensatoren und Verstärkerstufen justieren sich selbst, wenn das System seinen Kalibrierungslauf startet. Du öffnest das Gehäuse nie und berührst diese Bauteile nicht — sie sind das interne Ergebnis der Optimierung.

Analogie:

Definition:

Parameter sind die internen numerischen Werte, die ein ML-Modell während des Trainings selbstständig entdeckt und anpasst, typischerweise durch Algorithmen wie Gradient Descent (ein mathematisches Suchverfahren, das schrittweise den besten Wert findet). Die bekanntesten Parameter sind Gewichte (Weights) und der Bias. In einem einfachen linearen Modell y = mx + b sind sowohl m als auch b Parameter. Nach dem Training werden die Parameter eingefroren und für Vorhersagen verwendet. Die Gesamtanzahl der Parameter definiert die Kapazität eines Modells — Llama 3 hat 70 Milliarden davon.

Die Hi-Fi-Analogie bricht an drei Stellen: Eine Anlage hat hunderte Bauteile — Llama 3 hat 70 Milliarden Parameter. Die Kalibrierung dauert Sekunden — LLM-Training dauert Monate. Ein Techniker könnte die Anlage theoretisch öffnen und manuell justieren — der Parameterraum eines neuronalen Netzes ist so hochdimensional, dass jede manuelle Intervention unmöglich ist.

Ein Spam-Filter mit logistischer Regression nutzt 5 Features (Ausrufezeichen, Links, Großbuchstabenanteil, Absender-Reputation, Wortanzahl). Das Modell lernt automatisch 5 Gewichte (eines pro Feature) plus 1 Bias = exakt 6 Parameter. Nach dem Training mit 1.000 E-Mails könnte das Gewicht für Ausrufezeichen bei 0,8 liegen (starkes Spam-Signal), das für Absender-Reputation bei -0,3 (negativ = vertrauenswürdiger Absender) und der Bias bei -0,5. Diese 6 Zahlen SIND das trainierte Modell.

"Die Milliarden Parameter in den Nachrichten sind Einstellungen, die der Entwickler gewählt hat." — Falsch. Es sind Gewichte, die das Modell selbst gelernt hat. Ein Entwickler von GPT-4 hat vielleicht 50 bis 100 Hyperparameter gewählt. Die Billionen Parameter hat der Trainingsalgorithmus über Monate hinweg gefunden.

Hyperparameter — Das Mischpult des Entwicklers

Die äußeren Knöpfe und Regler an einem Radio — Lautstärke, Bass, Höhen, Empfangsmodus. Der Ingenieur stellt diese Regler ein, bevor er anfängt zu hören. Das Radio operiert dann innerhalb dieser Vorgaben. Du kannst die Knöpfe ändern und neu starten, aber das Radio wird sie niemals von selbst drehen.

Analogie:

Definition:

Hyperparameter sind die algorithmischen Vorgaben, die feststehen müssen, bevor das Training beginnt. Sie steuern, WIE das Modell lernt, nicht WAS es lernt. Sie bleiben während eines gesamten Trainingslaufs konstant. Die wichtigsten Hyperparameter sind: (1) Learning Rate — wie große Schritte die Optimierung macht. (2) Epochs — wie oft das Modell den gesamten Trainingsdatensatz sieht. (3) Batch Size — wie viele Datenpunkte verarbeitet werden, bevor ein Parameter-Update stattfindet.

Auch diese Analogie bricht: Ein Radio hat etwa 5 Knöpfe mit sofort hörbarem Effekt — ein ML-Modell hat Dutzende Hyperparameter mit komplexen, oft nicht-intuitiven Wechselwirkungen. Am Radio hörst du das Ergebnis sofort — nach einer Hyperparameter-Änderung wartest du Stunden oder Tage auf den Trainingslauf.

Die Learning Rate bestimmt die Schrittgröße der Optimierung. Zu hoch: Das Modell springt über das Optimum hinweg und verliert völlig die Orientierung. Zu niedrig: Das Training dauert ewig und bleibt in einem guten, aber nicht dem besten Tal hängen (einem sogenannten lokalen Minimum). Die Epochs legen fest, wie oft das Modell alle Trainingsdaten durcharbeitet. Die Batch Size bestimmt, wie viele Datenpunkte pro Update-Schritt verarbeitet werden.

Versuch	Learning Rate	Epochs	Ergebnis
1	0,1	10	LR 0,01 · 10 Epochs → 85 % — Solider Basis-Lauf
2	0,001	10	LR 0,0001 · 10 Epochs → 72 % — Learning Rate zu niedrig, Modell lernt kaum
3	0,1	100	LR 0,01 · 50 Epochs → 92 % — Mehr Durchläufe finden tiefere Muster
4	10,0	10	LR 10,0 · 10 Epochs → 50 % — Viel zu hoch, Modell hat die Orientierung verloren (50 % bei Spam-oder-nicht bedeutet: blindes Raten)

"Mehr Epochs erzeugen immer ein besseres Modell." Falsch — ab einem bestimmten Punkt fängt das Modell an, die Trainingsdaten auswendig zu lernen, statt generalisierbarer Muster zu finden. Das ist Overfitting (Thema des nächsten Artikels). Ebenso falsch: "Eine höhere Learning Rate bedeutet schnelleres, besseres Lernen." Zu hohe Werte lassen das Modell über das Optimum hinwegspringen — es verliert die Orientierung.

Parameter vs. Hyperparameter — Innen vs. Außen

Parameter (intern)

Vom Modell selbst gelernt (Gewichte, Bias). Milliarden in großen Modellen. Automatisch durch Gradient Descent optimiert. Nicht manuell einstellbar. Analog: Die innere Schaltung der Hi-Fi-Anlage.

Hyperparameter (extern)

Vom Entwickler vor dem Training festgelegt (Learning Rate, Epochs, Batch Size). Dutzende, nicht Milliarden. Müssen manuell oder per Suche gefunden werden. Analog: Die äußeren Knöpfe am Radio.

Die richtigen Einstellungen finden

Es gibt keine Formel, die die perfekten Hyperparameter berechnet. ML-Ingenieure verbringen einen großen Teil ihrer Arbeitszeit mit dem systematischen Ausprobieren verschiedener Kombinationen — dem Hyperparameter-Tuning.

Suchraum definieren Welche Hyperparameter sollen getestet werden? Welche Wertebereiche sind sinnvoll?

Strategie wählen Grid Search (alle Kombinationen), Random Search (zufällige Stichproben) oder AutoML (automatisiert)

Experimente durchführen Jeden Kandidaten trainieren und auf einem Validierungsdatensatz bewerten

Ergebnisse vergleichen Genauigkeit, Trainingszeit und Ressourcenverbrauch gegeneinander abwägen

Beste Konfiguration auswählen Das Modell mit den besten Hyperparametern final trainieren und einsetzen

Grid Search definiert ein festes Raster an Werten und testet jede Kombination. Garantiert das Optimum innerhalb des Rasters — aber teuer.

Random Search zieht zufällige Kombinationen aus dem Suchraum. Bergstra und Bengio zeigten 2012, dass Random Search oft effizienter ist als Grid Search, besonders wenn nur wenige Hyperparameter den eigentlichen Einfluss haben.

AutoML geht noch weiter: Hier nutzt ein sekundäres ML-System die Suche nach den besten Hyperparametern des primären Modells. KI optimiert KI — Meta-Learning. Google stellte 2018 AutoML prominent vor.

Die passende Analogie: Ein Koch, der ein neues Rezept entwickelt. Er weiß nicht, ob der Kuchen bei 180 °C oder 200 °C besser gelingt, und ob 30 oder 45 Minuten die richtige Backzeit sind. Grid Search: systematisch alle Kombinationen probieren. Random Search: zufällige Temperatur-Zeit-Paare testen. AutoML: einen autonomen Sous-Chef engagieren.

18 Exp. / 36 Std.

Grid Search 3 × 3 × 2 = 18 Kombinationen — Bestes Ergebnis: 94,2 %

8 Exp. / 16 Std.

Random Search 8 zufällige Versuche — Bestes Ergebnis: 93,8 % — fast gleich gut in weniger als der Hälfte der Zeit

"Einfach alle Kombinationen durchprobieren, dann findet man garantiert das Beste." — In der Theorie ja, in der Praxis unmöglich. Schon ein bescheidenes Setup mit 5 Werten für jeweils 6 Hyperparameter ergibt 5⁶ = 15.625 Experimente. Bei 2 Stunden pro Experiment sind das 3,6 Jahre Rechenzeit.

Interaktiv: Warum Grid Search explodiert

Grid Search testet alle Kombinationen. Bei n Werten pro Hyperparameter wächst die Zahl der Experimente mit der Anzahl der Hyperparameter: 1 HP = n Versuche, 2 HP = n², 3 HP = n³. Verschiebe den Regler und beobachte, wie schnell die Kosten explodieren — und warum Random Search oder Bayesian Optimization (O(log n)) attraktiv werden.

Eingabegröße n = 100

220

O(log n)6.6

O(n)100

O(n²)10.000

O(n³)1.000.000

Moderater Input

Bei n=100 wird der Unterschied sichtbar: O(n²) braucht 10.000 Operationen, während O(n) nur 100 braucht. O(log n) braucht nur 6.6 — das ist 15x weniger als O(n).

Verhältnis zu O(n)

Komplexität	Operationen	Faktor vs. O(n)
O(log n)	6.6	15x schneller
O(n)	100	1x (Referenz)
O(n²)	10.000	100x langsamer
O(n³)	1.000.000	10000x langsamer

Zusammenfassung

Parameter werden vom Modell während des Trainings gelernt (Gewichte, Bias) — der Entwickler berührt sie nie. Wenn jemand sagt, ein Modell habe "70 Milliarden Parameter", meint er gelernte Gewichte.
Hyperparameter werden vom Entwickler vor dem Training festgelegt (Learning Rate, Epochs, Batch Size). Sie steuern, WIE das Modell lernt, nicht WAS es lernt.
Die richtigen Hyperparameter zu finden ist Experimentieren, nicht Berechnen. Grid Search testet alle Kombinationen; Random Search stichprobt und ist oft schneller. AutoML automatisiert die Suche vollständig.

Ein neuronales Netz hat 1.000 Gewichte und 50 Bias-Werte. Wie viele Parameter hat es?

1.000

1.050

Das hängt von der Learning Rate ab

1. Ein neuronales Netz hat 1.000 Gewichte und 50 Bias-Werte. Wie viele Parameter hat es?

☐ A) 50
☐ B) 1.000
☐ C) 1.050
☐ D) Das hängt von der Learning Rate ab

2. Ein Entwickler trainiert einen Spam-Filter mit Learning Rate 0,1 und erreicht 85 % Genauigkeit. Dann trainiert er erneut mit Learning Rate 10,0 und erreicht nur noch 50 %. Was ist am wahrscheinlichsten passiert?

☐ A) Das Modell brauchte mehr Epochs
☐ B) Das Modell hat das Optimum übersprungen und ist divergiert
☐ C) Die Trainingsdaten waren zu klein
☐ D) Die Batch Size war falsch

3. Ein Forscher hat 4 Hyperparameter, jeweils mit 5 Kandidatenwerten. Er nutzt Grid Search. Wie viele Experimente muss er durchführen?

☐ A) 20
☐ B) 25
☐ C) 125
☐ D) 625

4. Zwei Teams trainieren dieselbe Netzwerk-Architektur auf demselben Datensatz. Team A erreicht 94 % Genauigkeit, Team B nur 72 %. Architektur und Daten sind identisch. Was ist die wahrscheinlichste Erklärung?

☐ A) Team A hat einen schnelleren Computer
☐ B) Team A hat bessere Hyperparameter verwendet
☐ C) Team Bs Modell hat weniger Parameter
☐ D) Die zufällige Initialisierung bestimmt immer das Endergebnis

Auflösung: 1) C · 2) B · 3) D · 4) B

Checkpoint

Lernziele

Wenn jemand sagt, Llama 3 habe 70 Milliarden Parameter — sind das Einstellungen des Entwicklers oder Werte, die das Modell selbst gelernt hat?
Was passiert, wenn du die Learning Rate extrem hoch setzt, und warum ist das Gegenteil (extrem niedrig) ebenfalls problematisch?
Warum probiert ein Entwickler beim Hyperparameter-Tuning nicht einfach alle möglichen Kombinationen per Grid Search durch?

Die Knöpfe der Maschine — Parameter vs. Hyperparameter

Parameter — Die interne Verdrahtung der Maschine

Parameter

Analogie:

Definition:

Konkretes Beispiel: Spam-Filter

Häufiger Irrtum

Hyperparameter — Das Mischpult des Entwicklers

Hyperparameter

Analogie:

Definition:

Experiment: Gleiche Daten, andere Einstellungen

Häufiger Irrtum

Parameter vs. Hyperparameter — Innen vs. Außen

Die richtigen Einstellungen finden

Häufiger Irrtum

Interaktiv: Warum Grid Search explodiert

Verhältnis zu O(n)

Zusammenfassung

Das Wichtigste

Quiz: Parameter vs. Hyperparameter

Ein neuronales Netz hat 1.000 Gewichte und 50 Bias-Werte. Wie viele Parameter hat es?

Checkpoint

Lernziele

Parameter — Die interne Verdrahtung der Maschine

Parameter

Analogie:

Definition:

Konkretes Beispiel: Spam-Filter

Häufiger Irrtum

Hyperparameter — Das Mischpult des Entwicklers

Hyperparameter

Analogie:

Definition:

Experiment: Gleiche Daten, andere Einstellungen

Häufiger Irrtum

Parameter vs. Hyperparameter — Innen vs. Außen

Die richtigen Einstellungen finden

Häufiger Irrtum

Interaktiv: Warum Grid Search explodiert

Verhältnis zu O(n)

Zusammenfassung

Das Wichtigste

Quiz: Parameter vs. Hyperparameter

Ein neuronales Netz hat 1.000 Gewichte und 50 Bias-Werte. Wie viele Parameter hat es?

Checkpoint

Lernziele

Verwandte Inhalte

Artikel

Wie gut ist dein Modell? Metriken, die wirklich zählen

Wenn das Modell auswendig lernt (Overfitting)

Programmieren vs. Trainieren

Das Rohmaterial: Data Engineering für Machine Learning

Der Zündfunke: Aktivierungsfunktionen

Das Herzstück des Lernens

Kontrolle & Finetuning

Der Weg ins Tal: Gradientenabstieg

Das Netzwerk

Lineare & Logistische Regression

Wie KI ihre Fehler misst: Loss-Funktionen

Supervised Learning — Lernen mit Lehrer

Transfer Learning & Fine-Tuning

Demo

Evolution (Optimierung)

Gradient Descent

K-Means Clustering

Neuroevolution

Perceptron (Neuronale Netze)

Q-Learning

Überwachtes Lernen

Glossar

Timeline