Die Knöpfe der Maschine — Parameter vs. Hyperparameter
Die feine Linie zwischen "von der Maschine gelernt" und "von dir geraten".
Grundlagen 8 min Einsteiger 18. Mai 2026
Wenn Schlagzeilen verkünden, GPT-4 habe "Billionen Parameter", stellen sich die meisten einen Entwickler vor, der an Billionen Reglern dreht. Die Wahrheit ist das genaue Gegenteil: Diese Parameter sind Werte, die die Maschine vollständig selbst herausgefunden hat. Die tatsächlichen Regler, die der Entwickler einstellt — die Hyperparameter — zählen höchstens ein paar Dutzend.
Das Verwechseln dieser beiden Kategorien ist der häufigste Anfängerfehler im Machine Learning. In diesem Artikel lernst du, was der Unterschied ist, warum er entscheidend ist, und wie man die richtigen Einstellungen systematisch findet.
Parameter — Die interne Verdrahtung der Maschine
Parameter
AnalogieDefinition
Stell dir die internen Schaltkreise einer hochwertigen Hi-Fi-Anlage während der automatischen Kalibrierung vor. Hunderte Widerstände, Kondensatoren und Verstärkerstufen justieren sich selbst, wenn das System seinen Kalibrierungslauf startet. Du öffnest das Gehäuse nie und berührst diese Bauteile nicht — sie sind das interne Ergebnis der Optimierung.
Analogie:
Stell dir die internen Schaltkreise einer hochwertigen Hi-Fi-Anlage während der automatischen Kalibrierung vor. Hunderte Widerstände, Kondensatoren und Verstärkerstufen justieren sich selbst, wenn das System seinen Kalibrierungslauf startet. Du öffnest das Gehäuse nie und berührst diese Bauteile nicht — sie sind das interne Ergebnis der Optimierung.
Definition:
Parameter sind die internen numerischen Werte, die ein ML-Modell während des Trainings selbstständig entdeckt und anpasst, typischerweise durch Algorithmen wie Gradient Descent (ein mathematisches Suchverfahren, das schrittweise den besten Wert findet). Die bekanntesten Parameter sind Gewichte (Weights) und der Bias. In einem einfachen linearen Modell y = mx + b sind sowohl m als auch b Parameter. Nach dem Training werden die Parameter eingefroren und für Vorhersagen verwendet. Die Gesamtanzahl der Parameter definiert die Kapazität eines Modells — Llama 3 hat 70 Milliarden davon.
Die Hi-Fi-Analogie bricht an drei Stellen: Eine Anlage hat hunderte Bauteile — Llama 3 hat 70 Milliarden Parameter. Die Kalibrierung dauert Sekunden — LLM-Training dauert Monate. Ein Techniker könnte die Anlage theoretisch öffnen und manuell justieren — der Parameterraum eines neuronalen Netzes ist so hochdimensional, dass jede manuelle Intervention unmöglich ist.
Konkretes Beispiel: Spam-Filter
Ein Spam-Filter mit logistischer Regression nutzt 5 Features (Ausrufezeichen, Links, Großbuchstabenanteil, Absender-Reputation, Wortanzahl). Das Modell lernt automatisch 5 Gewichte (eines pro Feature) plus 1 Bias = exakt 6 Parameter. Nach dem Training mit 1.000 E-Mails könnte das Gewicht für Ausrufezeichen bei 0,8 liegen (starkes Spam-Signal), das für Absender-Reputation bei -0,3 (negativ = vertrauenswürdiger Absender) und der Bias bei -0,5. Diese 6 Zahlen SIND das trainierte Modell.
Häufiger Irrtum
"Die Milliarden Parameter in den Nachrichten sind Einstellungen, die der Entwickler gewählt hat." — Falsch. Es sind Gewichte, die das Modell selbst gelernt hat. Ein Entwickler von GPT-4 hat vielleicht 50 bis 100 Hyperparameter gewählt. Die Billionen Parameter hat der Trainingsalgorithmus über Monate hinweg gefunden.
Hyperparameter — Das Mischpult des Entwicklers
Hyperparameter
AnalogieDefinition
Die äußeren Knöpfe und Regler an einem Radio — Lautstärke, Bass, Höhen, Empfangsmodus. Der Ingenieur stellt diese Regler ein, bevor er anfängt zu hören. Das Radio operiert dann innerhalb dieser Vorgaben. Du kannst die Knöpfe ändern und neu starten, aber das Radio wird sie niemals von selbst drehen.
Analogie:
Die äußeren Knöpfe und Regler an einem Radio — Lautstärke, Bass, Höhen, Empfangsmodus. Der Ingenieur stellt diese Regler ein, bevor er anfängt zu hören. Das Radio operiert dann innerhalb dieser Vorgaben. Du kannst die Knöpfe ändern und neu starten, aber das Radio wird sie niemals von selbst drehen.
Definition:
Hyperparameter sind die algorithmischen Vorgaben, die feststehen müssen, bevor das Training beginnt. Sie steuern, WIE das Modell lernt, nicht WAS es lernt. Sie bleiben während eines gesamten Trainingslaufs konstant. Die wichtigsten Hyperparameter sind: (1) Learning Rate — wie große Schritte die Optimierung macht. (2) Epochs — wie oft das Modell den gesamten Trainingsdatensatz sieht. (3) Batch Size — wie viele Datenpunkte verarbeitet werden, bevor ein Parameter-Update stattfindet.
Auch diese Analogie bricht: Ein Radio hat etwa 5 Knöpfe mit sofort hörbarem Effekt — ein ML-Modell hat Dutzende Hyperparameter mit komplexen, oft nicht-intuitiven Wechselwirkungen. Am Radio hörst du das Ergebnis sofort — nach einer Hyperparameter-Änderung wartest du Stunden oder Tage auf den Trainingslauf.
Die Learning Rate bestimmt die Schrittgröße der Optimierung. Zu hoch: Das Modell springt über das Optimum hinweg und verliert völlig die Orientierung. Zu niedrig: Das Training dauert ewig und bleibt in einem guten, aber nicht dem besten Tal hängen (einem sogenannten lokalen Minimum). Die Epochs legen fest, wie oft das Modell alle Trainingsdaten durcharbeitet. Die Batch Size bestimmt, wie viele Datenpunkte pro Update-Schritt verarbeitet werden.
Experiment: Gleiche Daten, andere Einstellungen
Versuch
Learning Rate
Epochs
Ergebnis
1
0,1
10
LR 0,01 · 10 Epochs → 85 % — Solider Basis-Lauf
2
0,001
10
LR 0,0001 · 10 Epochs → 72 % — Learning Rate zu niedrig, Modell lernt kaum
3
0,1
100
LR 0,01 · 50 Epochs → 92 % — Mehr Durchläufe finden tiefere Muster
4
10,0
10
LR 10,0 · 10 Epochs → 50 % — Viel zu hoch, Modell hat die Orientierung verloren (50 % bei Spam-oder-nicht bedeutet: blindes Raten)
Häufiger Irrtum
"Mehr Epochs erzeugen immer ein besseres Modell." Falsch — ab einem bestimmten Punkt fängt das Modell an, die Trainingsdaten auswendig zu lernen, statt generalisierbarer Muster zu finden. Das ist Overfitting (Thema des nächsten Artikels). Ebenso falsch: "Eine höhere Learning Rate bedeutet schnelleres, besseres Lernen." Zu hohe Werte lassen das Modell über das Optimum hinwegspringen — es verliert die Orientierung.
Parameter vs. Hyperparameter — Innen vs. Außen
Parameter (intern)
Vom Modell selbst gelernt (Gewichte, Bias). Milliarden in großen Modellen. Automatisch durch Gradient Descent optimiert. Nicht manuell einstellbar. Analog: Die innere Schaltung der Hi-Fi-Anlage.
Hyperparameter (extern)
Vom Entwickler vor dem Training festgelegt (Learning Rate, Epochs, Batch Size). Dutzende, nicht Milliarden. Müssen manuell oder per Suche gefunden werden. Analog: Die äußeren Knöpfe am Radio.
Die richtigen Einstellungen finden
Es gibt keine Formel, die die perfekten Hyperparameter berechnet. ML-Ingenieure verbringen einen großen Teil ihrer Arbeitszeit mit dem systematischen Ausprobieren verschiedener Kombinationen — dem Hyperparameter-Tuning.
1
Suchraum definieren Welche Hyperparameter sollen getestet werden? Welche Wertebereiche sind sinnvoll?
2
Strategie wählen Grid Search (alle Kombinationen), Random Search (zufällige Stichproben) oder AutoML (automatisiert)
3
Experimente durchführen Jeden Kandidaten trainieren und auf einem Validierungsdatensatz bewerten
4
Ergebnisse vergleichen Genauigkeit, Trainingszeit und Ressourcenverbrauch gegeneinander abwägen
5
Beste Konfiguration auswählen Das Modell mit den besten Hyperparametern final trainieren und einsetzen
Grid Search definiert ein festes Raster an Werten und testet jede Kombination. Garantiert das Optimum innerhalb des Rasters — aber teuer.
Random Search zieht zufällige Kombinationen aus dem Suchraum. Bergstra und Bengio zeigten 2012, dass Random Search oft effizienter ist als Grid Search, besonders wenn nur wenige Hyperparameter den eigentlichen Einfluss haben.
AutoML geht noch weiter: Hier nutzt ein sekundäres ML-System die Suche nach den besten Hyperparametern des primären Modells. KI optimiert KI — Meta-Learning. Google stellte 2018 AutoML prominent vor.
Die passende Analogie: Ein Koch, der ein neues Rezept entwickelt. Er weiß nicht, ob der Kuchen bei 180 °C oder 200 °C besser gelingt, und ob 30 oder 45 Minuten die richtige Backzeit sind. Grid Search: systematisch alle Kombinationen probieren. Random Search: zufällige Temperatur-Zeit-Paare testen. AutoML: einen autonomen Sous-Chef engagieren.
Random Search 8 zufällige Versuche — Bestes Ergebnis: 93,8 % — fast gleich gut in weniger als der Hälfte der Zeit
Häufiger Irrtum
"Einfach alle Kombinationen durchprobieren, dann findet man garantiert das Beste." — In der Theorie ja, in der Praxis unmöglich. Schon ein bescheidenes Setup mit 5 Werten für jeweils 6 Hyperparameter ergibt 5⁶ = 15.625 Experimente. Bei 2 Stunden pro Experiment sind das 3,6 Jahre Rechenzeit.
Interaktiv: Warum Grid Search explodiert
Grid Search testet alle Kombinationen. Bei n Werten pro Hyperparameter wächst die Zahl der Experimente mit der Anzahl der Hyperparameter: 1 HP = n Versuche, 2 HP = n², 3 HP = n³. Verschiebe den Regler und beobachte, wie schnell die Kosten explodieren — und warum Random Search oder Bayesian Optimization (O(log n)) attraktiv werden.
220
O(log n)6.6
O(n)100
O(n²)10.000
O(n³)1.000.000
Moderater Input
Bei n=100 wird der Unterschied sichtbar: O(n²) braucht 10.000 Operationen, während O(n) nur 100 braucht. O(log n) braucht nur 6.6 — das ist 15x weniger als O(n).
Verhältnis zu O(n)
Komplexität
Operationen
Faktor vs. O(n)
O(log n)
6.6
15x schneller
O(n)
100
1x (Referenz)
O(n²)
10.000
100x langsamer
O(n³)
1.000.000
10000x langsamer
Zusammenfassung
Das Wichtigste
Parameter werden vom Modell während des Trainings gelernt (Gewichte, Bias) — der Entwickler berührt sie nie. Wenn jemand sagt, ein Modell habe "70 Milliarden Parameter", meint er gelernte Gewichte.
Hyperparameter werden vom Entwickler vor dem Training festgelegt (Learning Rate, Epochs, Batch Size). Sie steuern, WIE das Modell lernt, nicht WAS es lernt.
Die richtigen Hyperparameter zu finden ist Experimentieren, nicht Berechnen. Grid Search testet alle Kombinationen; Random Search stichprobt und ist oft schneller. AutoML automatisiert die Suche vollständig.
Quiz: Parameter vs. Hyperparameter
Frage 1 / 4
Noch offen
Ein neuronales Netz hat 1.000 Gewichte und 50 Bias-Werte. Wie viele Parameter hat es?
1. Ein neuronales Netz hat 1.000 Gewichte und 50 Bias-Werte. Wie viele Parameter hat es?
☐ A) 50
☐ B) 1.000
☐ C) 1.050
☐ D) Das hängt von der Learning Rate ab
2. Ein Entwickler trainiert einen Spam-Filter mit Learning Rate 0,1 und erreicht 85 % Genauigkeit. Dann trainiert er erneut mit Learning Rate 10,0 und erreicht nur noch 50 %. Was ist am wahrscheinlichsten passiert?
☐ A) Das Modell brauchte mehr Epochs
☐ B) Das Modell hat das Optimum übersprungen und ist divergiert
☐ C) Die Trainingsdaten waren zu klein
☐ D) Die Batch Size war falsch
3. Ein Forscher hat 4 Hyperparameter, jeweils mit 5 Kandidatenwerten. Er nutzt Grid Search. Wie viele Experimente muss er durchführen?
☐ A) 20
☐ B) 25
☐ C) 125
☐ D) 625
4. Zwei Teams trainieren dieselbe Netzwerk-Architektur auf demselben Datensatz. Team A erreicht 94 % Genauigkeit, Team B nur 72 %. Architektur und Daten sind identisch. Was ist die wahrscheinlichste Erklärung?
☐ A) Team A hat einen schnelleren Computer
☐ B) Team A hat bessere Hyperparameter verwendet
☐ C) Team Bs Modell hat weniger Parameter
☐ D) Die zufällige Initialisierung bestimmt immer das Endergebnis
Auflösung: 1) C · 2) B · 3) D · 4) B
Checkpoint
Lernziele
Wenn jemand sagt, Llama 3 habe 70 Milliarden Parameter — sind das Einstellungen des Entwicklers oder Werte, die das Modell selbst gelernt hat?
Was passiert, wenn du die Learning Rate extrem hoch setzt, und warum ist das Gegenteil (extrem niedrig) ebenfalls problematisch?
Warum probiert ein Entwickler beim Hyperparameter-Tuning nicht einfach alle möglichen Kombinationen per Grid Search durch?