RLHF: Wie LLMs Höflichkeit lernen
Wie aus einem reinen Sprachvorhersager etwas wird, mit dem man sinnvoll reden kann.
GPT-3, der Vorläufer des Modells hinter ChatGPT, kostete Millionen, um es auf 300 Milliarden Tokens (Wort-Bausteinen) zu trainieren. Aber der Schritt, der es tatsächlich nützlich machte, kostete nur einen Bruchteil — und es waren weder mehr Daten noch eine smartere Architektur.
Es waren 40 Menschen, die für rund 33.000 Prompts Antworten von gut nach schlecht sortierten. Dieser Artikel erklärt die dreistufige Pipeline, die aus einem rohen Sprachmodell einen KI-Assistenten macht.
InstructGPT: Die Brücke zu ChatGPT
Zwischen der Methode und dem Welterfolg lag ein entscheidender Zwischenschritt — und der hieß InstructGPT. Anfang 2022 zeigte OpenAI im Paper Training language models to follow instructions with human feedback, wie man GPT-3 dazu bringt, tatsächlich das zu tun, was Nutzer wollen: durch Reinforcement Learning aus menschlichem Feedback (RLHF). Das verblüffende Ergebnis: Ein InstructGPT mit nur 1,3 Milliarden Parametern wurde von Menschen den Antworten des hundertmal größeren GPT-3 (175 Milliarden) vorgezogen. Nicht rohe Größe, sondern die Ausrichtung auf die Absicht machte den Unterschied. InstructGPT war die direkte technische Brücke zwischen der RLHF-Idee (2017) und ChatGPT, das Ende 2022 dieselbe Methode populär machte. Zur ehrlichen Einordnung: InstructGPT erfand RLHF nicht — das tat ein Paper von 2017 — aber es zeigte erstmals im großen Maßstab, wie sehr Ausrichtung ein Sprachmodell nützlicher macht.
Das Alignment-Problem
Alignment
Prompt: "Was ist die Hauptstadt von Frankreich?" → Antwort: "Was ist die Hauptstadt von Deutschland? Was ist die Hauptstadt von Italien?" — setzt das Fragemuster fort statt zu antworten.
Prompt: "Was ist die Hauptstadt von Frankreich?" → Antwort: "Die Hauptstadt von Frankreich ist Paris." — antwortet direkt und hilfreich.
Warum man keine Loss-Funktion für "höflich" schreiben kann: Menschliche Präferenzen sind subtil, kontextabhängig und oft widersprüchlich. Was in einem akademischen Kontext als gute Antwort gilt, wäre in einem Alltagsgespräch zu komplex. Die Lösung: Menschen zeigen dem Modell direkt, welche Antworten besser sind.
Der erste Schritt ist Supervised Fine-Tuning (SFT): Das Modell wird mit etwa 13.000 Prompts mit handgeschriebenen Musterantworten trainiert, Instruktionen zu befolgen.
Missverständnis: Mehr Trainingsdaten lösen das Problem
Interaktiv: Die RLHF-Pipeline
Die drei Trainingsphasen eines modernen LLM — als animiertes Diagramm. Klicke auf Abspielen und beobachte, wie jede Phase auf der vorherigen aufbaut: vom rohen Textvorhersager über den instruktionsfolgenden Assistenten bis zum aligned Modell.
Drei aufeinander aufbauende Phasen verwandeln ein rohes Sprachmodell in einen hilfreichen, ehrlichen und harmlosen KI-Assistenten.
Klicke auf "Abspielen", um den Ablauf Schritt für Schritt zu sehen.
Pretraining gibt dem Modell Sprachwissen. SFT bringt ihm bei, Anweisungen zu befolgen. RLHF richtet es auf menschliche Präferenzen aus. Jede Phase allein reicht nicht — erst die Kombination ergibt ein Modell wie ChatGPT.
Das Reward Model
Reward Model
Der Trainingsablauf: Menschlichen Bewertern werden systematisch Antwortpaare gezeigt. Der Labeler entscheidet: "Welche Antwort ist besser?" Nach solchen Vergleichen zu rund 33.000 Prompts kann das Reward Model jede Antwort selbstständig bewerten.
Prompt: "Wie knacke ich ein Schloss?" Antwort A liefert eine detaillierte Anleitung. Antwort B lehnt höflich ab. Der Labeler wählt B — bei gefährlichen Anfragen ist Sicherheit wichtiger als Hilfsbereitschaft.
Ein Mensch schafft einige Hundert Bewertungen am Tag. Das Reward Model bewertet in derselben Zeit Millionen.
Missverständnis: Menschliche Labeler sind objektiv
PPO-Feinabstimmung
Proximal Policy Optimization (PPO) ist der RL-Algorithmus, der das LLM mithilfe der Reward-Model-Scores optimiert. Zusammen mit dem Pre-training, das das Basismodell erst erzeugt, umfasst die gesamte Pipeline vier Schritte:
Die RLHF-Pipeline
Ein kritischer Schutzmechanismus ist die KL-Divergenz-Penalty: Sie begrenzt, wie weit sich das feinabgestimmte Modell vom Original entfernen darf. Ohne diese Strafe würde das Modell Reward Hacking betreiben — absurde Textbausteine generieren, die hohe Scores erzeugen, aber für Menschen keinen Sinn ergeben.
Wie ein Comedian beim Open Mic: Nach jedem Witz reagiert das Publikum (Reward-Score). Witze mit Lachern bleiben, Witze ohne fliegen. Aber eine Regel gilt (KL-Penalty): Der Comedian muss er selbst bleiben — er darf nicht plötzlich eine andere Sprache sprechen, nur um Applaus zu bekommen. Kleine Anpassungen, keine Persönlichkeitstransplantation.
Der Qualitätssprung ist enorm: InstructGPT mit 1,3 Milliarden Parametern wurde von Evaluatoren gegenüber dem rohen GPT-3 mit 175 Milliarden Parametern deutlich bevorzugt. Die Kosten der RLHF-Pipeline machen nur einen Bruchteil des Pre-trainings aus.
PPO verbindet sich direkt mit den RL-Konzepten aus dem Artikel zum Reinforcement Learning: LLM = Agent, Prompt = Zustand, generierter Text = Aktion, Reward Model = Belohnung. Die KL-Penalty wirkt als Constraint auf das Policy-Update.
Missverständnis: RLHF macht LLMs sicher
Deep Dive: Constitutional AI
Deep Dive: DPO und Alternativen
Grenzen von RLHF
Kernaussagen
Verständnisprüfung
- Warum setzt ein vortrainiertes Sprachmodell Fragemuster fort, anstatt Fragen hilfreich zu beantworten?
- Wie löst das Reward Model das Problem, dass menschliche Präferenzen nicht in eine mathematische Loss-Funktion geschrieben werden können?
- Welche Rolle spielt die KL-Divergenz-Penalty beim PPO und welches unerwünschte Verhalten verhindert sie?