Zurück zum Lernbereich

Die Knöpfe der Maschine — Parameter vs. Hyperparameter

Die feine Linie zwischen "von der Maschine gelernt" und "von dir geraten".

  • Grundlagen
  • 8 min
  • Einsteiger

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: Parameter und Hyperparameter

Was sind Parameter?

KI-Modelle lernen aus Daten. KI bedeutet Künstliche Intelligenz. Dabei lernt das Modell viele Zahlen. Diese Zahlen heißen Parameter. Das Modell findet sie selbst. Der Mensch stellt sie nicht ein.

Was sind Hyperparameter?

Hyperparameter sind Einstellungen für das Modell. Der Mensch wählt sie. Zum Beispiel die Lernrate. Lernrate heißt: Wie schnell lernt das Modell? Oder die Anzahl der Trainings-Runden.

Der Unterschied

Parameter lernt die KI selbst. Hyperparameter wählt der Entwickler. GPT-4 hat Billionen Parameter. Aber nur wenige Dutzend Hyperparameter.

Wenn Schlagzeilen verkünden, GPT-4 habe "Billionen Parameter", stellen sich die meisten einen Entwickler vor, der an Billionen Reglern dreht. Die Wahrheit ist das genaue Gegenteil: Diese Parameter sind Werte, die die Maschine vollständig selbst herausgefunden hat. Die tatsächlichen Regler, die der Entwickler einstellt — die Hyperparameter — zählen höchstens ein paar Dutzend.

Das Verwechseln dieser beiden Kategorien ist ein häufiger Anfängerfehler im Machine Learning. In diesem Artikel lernst du, was der Unterschied ist, warum er entscheidend ist, und wie man die richtigen Einstellungen systematisch findet.

Parameter — Die interne Verdrahtung der Maschine

Definition

Parameter

Analogie

Stell dir die internen Schaltkreise einer hochwertigen Hi-Fi-Anlage während der automatischen Kalibrierung vor. Hunderte Widerstände, Kondensatoren und Verstärkerstufen justieren sich selbst, wenn das System seinen Kalibrierungslauf startet. Du öffnest das Gehäuse nie und berührst diese Bauteile nicht — sie sind das interne Ergebnis der Optimierung.

Die Hi-Fi-Analogie bricht an drei Stellen: Eine Anlage hat hunderte Bauteile — Llama 3 70B hat 70 Milliarden Parameter. Die Kalibrierung dauert Sekunden — LLM-Training dauert Wochen bis Monate. Ein Techniker könnte die Anlage theoretisch öffnen und manuell justieren — der Parameterraum eines neuronalen Netzes ist so hochdimensional, dass jede manuelle Intervention unmöglich ist.

Konkretes Beispiel: Spam-Filter

Ein Spam-Filter mit logistischer Regression nutzt 5 Features (Ausrufezeichen, Links, Großbuchstabenanteil, Absender-Reputation, Wortanzahl). Das Modell lernt automatisch 5 Gewichte (eines pro Feature) plus 1 Bias = exakt 6 Parameter. Nach dem Training mit 1.000 E-Mails könnte das Gewicht für Ausrufezeichen bei 0,8 liegen (starkes Spam-Signal), das für Absender-Reputation bei -0,3 (negativ: gute Reputation senkt den Spam-Verdacht) und der Bias bei -0,5. Diese 6 Zahlen SIND das trainierte Modell.

Achtung

Häufiger Irrtum

"Die Milliarden Parameter in den Nachrichten sind Einstellungen, die der Entwickler gewählt hat." — Falsch. Es sind Gewichte, die das Modell selbst gelernt hat. Ein Entwickler von GPT-4 hat vielleicht ein paar Dutzend Hyperparameter gewählt. Die Parameter — laut Schätzungen Billionen — hat der Trainingsalgorithmus über Monate hinweg gefunden.

Hyperparameter — Das Mischpult des Entwicklers

Definition

Hyperparameter

Analogie

Die äußeren Knöpfe und Regler an einem Radio — Lautstärke, Bass, Höhen, Empfangsmodus. Der Ingenieur stellt diese Regler ein, bevor er anfängt zu hören. Das Radio operiert dann innerhalb dieser Vorgaben. Du kannst die Knöpfe ändern und neu starten, aber das Radio wird sie niemals von selbst drehen.

Auch diese Analogie bricht: Ein Radio hat etwa 5 Knöpfe mit sofort hörbarem Effekt — ein ML-Modell hat Dutzende Hyperparameter mit komplexen, oft nicht-intuitiven Wechselwirkungen. Am Radio hörst du das Ergebnis sofort — nach einer Hyperparameter-Änderung wartest du Stunden oder Tage auf den Trainingslauf.

Die Learning Rate bestimmt die Schrittgröße der Optimierung. Zu hoch: Das Modell springt über das Optimum hinweg und verliert völlig die Orientierung. Zu niedrig: Das Training dauert ewig und bleibt in einem guten, aber nicht dem besten Tal hängen (einem sogenannten lokalen Minimum). Die Epochs legen fest, wie oft das Modell alle Trainingsdaten durcharbeitet. Die Batch Size bestimmt, wie viele Datenpunkte pro Update-Schritt verarbeitet werden.

VersuchLearning RateEpochsErgebnis
10,11085 % — Solider Basis-Lauf
20,0011072 % — Learning Rate zu niedrig, Modell lernt kaum
30,110092 % — Mehr Durchläufe finden tiefere Muster
410,01050 % — Viel zu hoch, Modell hat die Orientierung verloren (50 % bei Spam-oder-nicht bedeutet: blindes Raten)

Achtung

Häufiger Irrtum

"Mehr Epochs erzeugen immer ein besseres Modell." Falsch — ab einem bestimmten Punkt fängt das Modell an, die Trainingsdaten auswendig zu lernen, statt generalisierbarer Muster zu finden. Das ist Overfitting (Thema des nächsten Artikels). Ebenso falsch: "Eine höhere Learning Rate bedeutet schnelleres, besseres Lernen." Zu hohe Werte lassen das Modell über das Optimum hinwegspringen — es verliert die Orientierung.

Parameter vs. Hyperparameter — Innen vs. Außen

Parameter (intern)

Vom Modell selbst gelernt (Gewichte, Bias). Milliarden in großen Modellen. Automatisch durch Gradient Descent optimiert. Nicht manuell einstellbar. Analog: Die innere Schaltung der Hi-Fi-Anlage.

Hyperparameter (extern)

Vom Entwickler vor dem Training festgelegt (Learning Rate, Epochs, Batch Size). Dutzende, nicht Milliarden. Müssen manuell oder per Suche gefunden werden. Analog: Die äußeren Knöpfe am Radio.

Die richtigen Einstellungen finden

Es gibt keine Formel, die die perfekten Hyperparameter berechnet. ML-Ingenieure verbringen einen großen Teil ihrer Arbeitszeit mit dem systematischen Ausprobieren verschiedener Kombinationen — dem Hyperparameter-Tuning.

  1. 1. Suchraum definierenWelche Hyperparameter sollen getestet werden? Welche Wertebereiche sind sinnvoll?
  2. 2. Strategie wählenGrid Search (alle Kombinationen), Random Search (zufällige Stichproben), bayessche Optimierung (lernt aus den bisherigen Versuchen) oder AutoML (automatisiert)
  3. 3. Experimente durchführenJeden Kandidaten trainieren und auf einem Validierungsdatensatz (zurückgehaltene Daten, die das Modell beim Training nicht sieht) bewerten
  4. 4. Ergebnisse vergleichenGenauigkeit, Trainingszeit und Ressourcenverbrauch gegeneinander abwägen
  5. 5. Beste Konfiguration auswählenDas Modell mit den besten Hyperparametern final trainieren und einsetzen

Grid Search definiert ein festes Raster an Werten und testet jede Kombination. Garantiert das Optimum innerhalb des Rasters — aber teuer.

Random Search zieht zufällige Kombinationen aus dem Suchraum. Bergstra und Bengio zeigten 2012, dass Random Search oft effizienter ist als Grid Search, besonders wenn nur wenige Hyperparameter den eigentlichen Einfluss haben. Bayessche Optimierung geht einen Schritt weiter: Sie wertet die bisherigen Versuche aus und probiert als Nächstes dort, wo es am vielversprechendsten aussieht. Verbreitete Werkzeuge wie Optuna arbeiten standardmäßig mit so einem Verfahren.

AutoML geht noch weiter: Hier übernimmt ein sekundäres ML-System die Suche nach den besten Hyperparametern des primären Modells. KI optimiert KI. Google stellte seinen Ansatz „AutoML“ 2017 vor und bot ihn ab 2018 als Cloud-Dienst für Unternehmen an.

Die passende Analogie: Ein Koch, der ein neues Rezept entwickelt. Er weiß nicht, ob der Kuchen bei 180 °C oder 200 °C besser gelingt, und ob 30 oder 45 Minuten die richtige Backzeit sind. Grid Search: systematisch alle Kombinationen probieren. Random Search: zufällige Temperatur-Zeit-Paare testen. AutoML: einen autonomen Sous-Chef engagieren.

Grid Search

18  Exp. / 36 Std.

3 Learning Rates × 3 Batch Sizes × 2 Epoch-Werte = 18 Kombinationen — Bestes Ergebnis: 94,2 %

Random Search

8  Exp. / 16 Std.

8 zufällige Versuche — Bestes Ergebnis: 93,8 % — fast gleich gut in weniger als der Hälfte der Zeit

Achtung

Häufiger Irrtum

"Einfach alle Kombinationen durchprobieren, dann findet man garantiert das Beste." — In der Theorie ja, in der Praxis unmöglich. Schon ein bescheidenes Setup mit 5 Werten für jeweils 6 Hyperparameter ergibt 5⁶ = 15.625 Experimente. Bei 2 Stunden pro Experiment sind das 3,6 Jahre Rechenzeit.

Interaktiv: Warum Grid Search explodiert

Grid Search testet alle Kombinationen. Bei n Werten pro Hyperparameter wächst die Zahl der Experimente mit jedem weiteren Hyperparameter: 1 Hyperparameter = n Versuche, 2 = n², 3 = n³. Verschiebe den Regler und beobachte, wie schnell die Kosten explodieren — und warum Random Search mit einer festen Zahl an Versuchen attraktiv wird.

Zusammenfassung

Merke

Das Wichtigste

  1. Parameter werden vom Modell während des Trainings gelernt (Gewichte, Bias) — der Entwickler berührt sie nie. Wenn jemand sagt, ein Modell habe "70 Milliarden Parameter", meint er gelernte Gewichte.
  2. Hyperparameter werden vom Entwickler vor dem Training festgelegt (Learning Rate, Epochs, Batch Size). Sie steuern, WIE das Modell lernt, nicht WAS es lernt.
  3. Die richtigen Hyperparameter zu finden ist Experimentieren, nicht Berechnen. Grid Search testet alle Kombinationen; Random Search stichprobt und ist oft schneller. AutoML automatisiert die Suche vollständig.

Prüfen

Quiz: Parameter vs. Hyperparameter

Noch offen

Ein neuronales Netz hat 1.000 Gewichte und 50 Bias-Werte. Wie viele Parameter hat es?

Wähle eine Antwort

Auflösung: 1) C · 2) B · 3) D · 4) B

Checkpoint

Prüfen

Lernziele

Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.

0 von 3 sitzen