Die Knöpfe der Maschine — Parameter vs. Hyperparameter
Die feine Linie zwischen "von der Maschine gelernt" und "von dir geraten".
Wenn Schlagzeilen verkünden, GPT-4 habe "Billionen Parameter", stellen sich die meisten einen Entwickler vor, der an Billionen Reglern dreht. Die Wahrheit ist das genaue Gegenteil: Diese Parameter sind Werte, die die Maschine vollständig selbst herausgefunden hat. Die tatsächlichen Regler, die der Entwickler einstellt — die Hyperparameter — zählen höchstens ein paar Dutzend.
Das Verwechseln dieser beiden Kategorien ist ein häufiger Anfängerfehler im Machine Learning. In diesem Artikel lernst du, was der Unterschied ist, warum er entscheidend ist, und wie man die richtigen Einstellungen systematisch findet.
Parameter — Die interne Verdrahtung der Maschine
Definition
Parameter
Analogie
Definition
Die Hi-Fi-Analogie bricht an drei Stellen: Eine Anlage hat hunderte Bauteile — Llama 3 70B hat 70 Milliarden Parameter. Die Kalibrierung dauert Sekunden — LLM-Training dauert Wochen bis Monate. Ein Techniker könnte die Anlage theoretisch öffnen und manuell justieren — der Parameterraum eines neuronalen Netzes ist so hochdimensional, dass jede manuelle Intervention unmöglich ist.
Konkretes Beispiel: Spam-Filter
Ein Spam-Filter mit logistischer Regression nutzt 5 Features (Ausrufezeichen, Links, Großbuchstabenanteil, Absender-Reputation, Wortanzahl). Das Modell lernt automatisch 5 Gewichte (eines pro Feature) plus 1 Bias = exakt 6 Parameter. Nach dem Training mit 1.000 E-Mails könnte das Gewicht für Ausrufezeichen bei 0,8 liegen (starkes Spam-Signal), das für Absender-Reputation bei -0,3 (negativ: gute Reputation senkt den Spam-Verdacht) und der Bias bei -0,5. Diese 6 Zahlen SIND das trainierte Modell.
Achtung
Häufiger Irrtum
"Die Milliarden Parameter in den Nachrichten sind Einstellungen, die der Entwickler gewählt hat." — Falsch. Es sind Gewichte, die das Modell selbst gelernt hat. Ein Entwickler von GPT-4 hat vielleicht ein paar Dutzend Hyperparameter gewählt. Die Parameter — laut Schätzungen Billionen — hat der Trainingsalgorithmus über Monate hinweg gefunden.
Hyperparameter — Das Mischpult des Entwicklers
Definition
Hyperparameter
Analogie
Definition
Auch diese Analogie bricht: Ein Radio hat etwa 5 Knöpfe mit sofort hörbarem Effekt — ein ML-Modell hat Dutzende Hyperparameter mit komplexen, oft nicht-intuitiven Wechselwirkungen. Am Radio hörst du das Ergebnis sofort — nach einer Hyperparameter-Änderung wartest du Stunden oder Tage auf den Trainingslauf.
Die Learning Rate bestimmt die Schrittgröße der Optimierung. Zu hoch: Das Modell springt über das Optimum hinweg und verliert völlig die Orientierung. Zu niedrig: Das Training dauert ewig und bleibt in einem guten, aber nicht dem besten Tal hängen (einem sogenannten lokalen Minimum). Die Epochs legen fest, wie oft das Modell alle Trainingsdaten durcharbeitet. Die Batch Size bestimmt, wie viele Datenpunkte pro Update-Schritt verarbeitet werden.
| Versuch | Learning Rate | Epochs | Ergebnis |
|---|---|---|---|
| 1 | 0,1 | 10 | 85 % — Solider Basis-Lauf |
| 2 | 0,001 | 10 | 72 % — Learning Rate zu niedrig, Modell lernt kaum |
| 3 | 0,1 | 100 | 92 % — Mehr Durchläufe finden tiefere Muster |
| 4 | 10,0 | 10 | 50 % — Viel zu hoch, Modell hat die Orientierung verloren (50 % bei Spam-oder-nicht bedeutet: blindes Raten) |
Achtung
Häufiger Irrtum
"Mehr Epochs erzeugen immer ein besseres Modell." Falsch — ab einem bestimmten Punkt fängt das Modell an, die Trainingsdaten auswendig zu lernen, statt generalisierbarer Muster zu finden. Das ist Overfitting (Thema des nächsten Artikels). Ebenso falsch: "Eine höhere Learning Rate bedeutet schnelleres, besseres Lernen." Zu hohe Werte lassen das Modell über das Optimum hinwegspringen — es verliert die Orientierung.
Parameter vs. Hyperparameter — Innen vs. Außen
Vom Modell selbst gelernt (Gewichte, Bias). Milliarden in großen Modellen. Automatisch durch Gradient Descent optimiert. Nicht manuell einstellbar. Analog: Die innere Schaltung der Hi-Fi-Anlage.
Vom Entwickler vor dem Training festgelegt (Learning Rate, Epochs, Batch Size). Dutzende, nicht Milliarden. Müssen manuell oder per Suche gefunden werden. Analog: Die äußeren Knöpfe am Radio.
Die richtigen Einstellungen finden
Es gibt keine Formel, die die perfekten Hyperparameter berechnet. ML-Ingenieure verbringen einen großen Teil ihrer Arbeitszeit mit dem systematischen Ausprobieren verschiedener Kombinationen — dem Hyperparameter-Tuning.
- 1. Suchraum definierenWelche Hyperparameter sollen getestet werden? Welche Wertebereiche sind sinnvoll?
- 2. Strategie wählenGrid Search (alle Kombinationen), Random Search (zufällige Stichproben), bayessche Optimierung (lernt aus den bisherigen Versuchen) oder AutoML (automatisiert)
- 3. Experimente durchführenJeden Kandidaten trainieren und auf einem Validierungsdatensatz (zurückgehaltene Daten, die das Modell beim Training nicht sieht) bewerten
- 4. Ergebnisse vergleichenGenauigkeit, Trainingszeit und Ressourcenverbrauch gegeneinander abwägen
- 5. Beste Konfiguration auswählenDas Modell mit den besten Hyperparametern final trainieren und einsetzen
Grid Search definiert ein festes Raster an Werten und testet jede Kombination. Garantiert das Optimum innerhalb des Rasters — aber teuer.
Random Search zieht zufällige Kombinationen aus dem Suchraum. Bergstra und Bengio zeigten 2012, dass Random Search oft effizienter ist als Grid Search, besonders wenn nur wenige Hyperparameter den eigentlichen Einfluss haben. Bayessche Optimierung geht einen Schritt weiter: Sie wertet die bisherigen Versuche aus und probiert als Nächstes dort, wo es am vielversprechendsten aussieht. Verbreitete Werkzeuge wie Optuna arbeiten standardmäßig mit so einem Verfahren.
AutoML geht noch weiter: Hier übernimmt ein sekundäres ML-System die Suche nach den besten Hyperparametern des primären Modells. KI optimiert KI. Google stellte seinen Ansatz „AutoML“ 2017 vor und bot ihn ab 2018 als Cloud-Dienst für Unternehmen an.
Die passende Analogie: Ein Koch, der ein neues Rezept entwickelt. Er weiß nicht, ob der Kuchen bei 180 °C oder 200 °C besser gelingt, und ob 30 oder 45 Minuten die richtige Backzeit sind. Grid Search: systematisch alle Kombinationen probieren. Random Search: zufällige Temperatur-Zeit-Paare testen. AutoML: einen autonomen Sous-Chef engagieren.
Grid Search
18 Exp. / 36 Std.
3 Learning Rates × 3 Batch Sizes × 2 Epoch-Werte = 18 Kombinationen — Bestes Ergebnis: 94,2 %
Random Search
8 Exp. / 16 Std.
8 zufällige Versuche — Bestes Ergebnis: 93,8 % — fast gleich gut in weniger als der Hälfte der Zeit
Achtung
Häufiger Irrtum
"Einfach alle Kombinationen durchprobieren, dann findet man garantiert das Beste." — In der Theorie ja, in der Praxis unmöglich. Schon ein bescheidenes Setup mit 5 Werten für jeweils 6 Hyperparameter ergibt 5⁶ = 15.625 Experimente. Bei 2 Stunden pro Experiment sind das 3,6 Jahre Rechenzeit.
Interaktiv: Warum Grid Search explodiert
Grid Search testet alle Kombinationen. Bei n Werten pro Hyperparameter wächst die Zahl der Experimente mit jedem weiteren Hyperparameter: 1 Hyperparameter = n Versuche, 2 = n², 3 = n³. Verschiebe den Regler und beobachte, wie schnell die Kosten explodieren — und warum Random Search mit einer festen Zahl an Versuchen attraktiv wird.
Zusammenfassung
Merke
Das Wichtigste
- Parameter werden vom Modell während des Trainings gelernt (Gewichte, Bias) — der Entwickler berührt sie nie. Wenn jemand sagt, ein Modell habe "70 Milliarden Parameter", meint er gelernte Gewichte.
- Hyperparameter werden vom Entwickler vor dem Training festgelegt (Learning Rate, Epochs, Batch Size). Sie steuern, WIE das Modell lernt, nicht WAS es lernt.
- Die richtigen Hyperparameter zu finden ist Experimentieren, nicht Berechnen. Grid Search testet alle Kombinationen; Random Search stichprobt und ist oft schneller. AutoML automatisiert die Suche vollständig.
Prüfen
Quiz: Parameter vs. Hyperparameter
Ein neuronales Netz hat 1.000 Gewichte und 50 Bias-Werte. Wie viele Parameter hat es?
Wähle eine Antwort
1. Ein neuronales Netz hat 1.000 Gewichte und 50 Bias-Werte. Wie viele Parameter hat es?
2. Ein Entwickler trainiert einen Spam-Filter mit Learning Rate 0,1 und erreicht 85 % Genauigkeit. Dann trainiert er erneut mit Learning Rate 10,0 und erreicht nur noch 50 %. Was ist am wahrscheinlichsten passiert?
3. Ein Forscher hat 4 Hyperparameter, jeweils mit 5 Kandidatenwerten. Er nutzt Grid Search. Wie viele Experimente muss er durchführen?
4. Zwei Teams trainieren dieselbe Netzwerk-Architektur auf demselben Datensatz. Team A erreicht 94 % Genauigkeit, Team B nur 72 %. Architektur und Daten sind identisch. Was ist die wahrscheinlichste Erklärung?
Checkpoint
Prüfen
Lernziele
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen