RLHF: Wie LLMs Höflichkeit lernen
Wie aus einem reinen Sprachvorhersager etwas wird, mit dem man sinnvoll reden kann.
GPT-3, der Vorläufer des Modells hinter ChatGPT, kostete nach Schätzungen Millionen, um es auf 300 Milliarden Tokens (Wort-Bausteinen) zu trainieren. Aber der Schritt, der es tatsächlich nützlich machte, kostete nur einen Bruchteil — und es waren weder mehr Daten noch eine smartere Architektur.
Es waren rund 40 Menschen, die für rund 33.000 Prompts Antworten von gut nach schlecht sortierten. Dieser Artikel erklärt die dreistufige Pipeline, die aus einem rohen Sprachmodell einen KI-Assistenten macht.
InstructGPT: Die Brücke zu ChatGPT
Zwischen der Methode und dem Welterfolg lag ein entscheidender Zwischenschritt — und der hieß InstructGPT. Anfang 2022 zeigte OpenAI im Paper Training language models to follow instructions with human feedback, wie man GPT-3 dazu bringt, tatsächlich das zu tun, was Nutzer wollen: durch Reinforcement Learning aus menschlichem Feedback (RLHF). Das verblüffende Ergebnis: Ein InstructGPT mit nur 1,3 Milliarden Parametern wurde von Menschen den Antworten des hundertmal größeren GPT-3 (175 Milliarden) vorgezogen. Nicht rohe Größe, sondern die Ausrichtung auf die Absicht machte den Unterschied. InstructGPT war die direkte technische Brücke zwischen der RLHF-Idee (2017) und ChatGPT, das Ende 2022 dieselbe Methode populär machte. Zur ehrlichen Einordnung: InstructGPT erfand RLHF nicht — das tat ein Paper von 2017 — aber es zeigte erstmals im großen Maßstab, wie sehr Ausrichtung ein Sprachmodell nützlicher macht.
Das Alignment-Problem
Definition
Alignment
Analogie
Beispiel
Definition
Prompt: "Was ist die Hauptstadt von Frankreich?" → Antwort: "Was ist die Hauptstadt von Deutschland? Was ist die Hauptstadt von Italien?" — setzt das Fragemuster fort statt zu antworten.
Prompt: "Was ist die Hauptstadt von Frankreich?" → Antwort: "Die Hauptstadt von Frankreich ist Paris." — antwortet direkt und hilfreich.
Warum man keine Loss-Funktion für "höflich" schreiben kann: Menschliche Präferenzen sind subtil, kontextabhängig und oft widersprüchlich. Was in einem akademischen Kontext als gute Antwort gilt, wäre in einem Alltagsgespräch zu komplex. Die Lösung: Menschen zeigen dem Modell direkt, welche Antworten besser sind.
Der erste Schritt ist Supervised Fine-Tuning (SFT): Das Modell wird mit etwa 13.000 Prompts mit handgeschriebenen Musterantworten trainiert, Instruktionen zu befolgen.
Achtung
Missverständnis: Mehr Trainingsdaten lösen das Problem
Pre-training auf 300 Milliarden Tokens lehrt das Modell, WIE Sprache aussieht, aber nicht, WIE man sie hilfreich einsetzt. Ein Modell mit 10-mal mehr Daten würde immer noch Fragemuster fortsetzen statt zu antworten. Das Problem ist nicht fehlendes Wissen — es ist fehlendes Verhaltens-Alignment. Man braucht ein fundamental anderes Trainingssignal: menschliche Präferenzen.
Interaktiv: Die RLHF-Pipeline
Die Trainingsphasen eines LLM nach dem klassischen Rezept, das InstructGPT 2022 vorgemacht hat — als animiertes Diagramm. Klicke auf Abspielen und beobachte, wie jede Phase auf der vorherigen aufbaut: vom rohen Textvorhersager über den instruktionsfolgenden Assistenten bis zum aligned Modell.
Drei aufeinander aufbauende Phasen verwandeln ein rohes Sprachmodell in einen hilfreichen, ehrlichen und harmlosen KI-Assistenten.
Klicke auf "Abspielen", um den Ablauf Schritt für Schritt zu sehen.
Pre-training gibt dem Modell Sprachwissen. SFT bringt ihm bei, Anweisungen zu befolgen. RLHF (im Diagramm zwei Stationen: Reward Model und PPO) richtet es auf menschliche Präferenzen aus. Jede Phase allein reicht nicht — erst die Kombination ergibt ein Modell wie ChatGPT.
Das Reward Model
Definition
Reward Model
Analogie
Beispiel
Definition
Der Trainingsablauf: Menschlichen Bewertern werden je Prompt mehrere Antworten gezeigt (bei InstructGPT vier bis neun), die der Labeler von gut nach schlecht sortiert. Jedes Paar daraus beantwortet die Frage: "Welche Antwort ist besser?" Nach solchen Vergleichen zu rund 33.000 Prompts kann das Reward Model jede Antwort selbstständig bewerten.
Prompt: "Wie knacke ich ein Schloss?" Antwort A liefert eine detaillierte Anleitung. Antwort B lehnt höflich ab. Verlangen die Richtlinien bei gefährlichen Anfragen Vorsicht, wählt der Labeler B. Was als besser gilt, legen also die Richtlinien fest: Bei InstructGPT ging im Training noch Hilfsbereitschaft vor, und seit GPT-5 trainiert OpenAI statt pauschaler Ablehnung lieber eine möglichst hilfreiche, aber sichere Antwort („Safe Completions“).
Ein Mensch schafft einige Hundert Bewertungen am Tag. Das Reward Model bewertet in derselben Zeit Millionen.
Parameter-Modell schlägt 175 Mrd.
1,3 Mrd.
InstructGPT (1,3 Mrd. Parameter, mit RLHF) wurde von Evaluatoren gegenüber GPT-3 (175 Mrd.) deutlich bevorzugt.
Achtung
Missverständnis: Menschliche Labeler sind objektiv
Labeler bringen eigene Vorurteile, kulturelle Prägungen und Firmenrichtlinien mit. Das Reward Model übernimmt diese Biases. Wenn Labeler angewiesen werden, politisch kontroverse Antworten zu bestrafen, vermeidet das resultierende Modell diese Themen — nicht weil sie objektiv schädlich sind, sondern weil die Richtlinien es so vorgeben.
PPO-Feinabstimmung
Proximal Policy Optimization (PPO) ist der RL-Algorithmus, der das LLM mithilfe der Reward-Model-Scores optimiert. Zusammen mit dem Pre-training, das das Basismodell erst erzeugt, umfasst die gesamte Pipeline vier Schritte:
Die RLHF-Pipeline
- 1. Pre-training175 Mrd. Parameter, 300 Mrd. Tokens
- 2. SFT~13.000 Demonstrationen
- 3. Reward Model~33.000 Prompts
- 4. PPO-Optimierung~31.000 Prompts
Ein kritischer Schutzmechanismus ist die KL-Divergenz-Penalty: Sie begrenzt, wie weit sich das feinabgestimmte Modell vom Original entfernen darf. Ohne diese Strafe würde das Modell Reward Hacking betreiben — absurde Textbausteine generieren, die hohe Scores erzeugen, aber für Menschen keinen Sinn ergeben. Heute ist Reward Hacking oft subtiler: In einem Experiment von Anthropic lernte ein Modell 2025 im Programmier-Training, Tests auszutricksen, und verhielt sich danach auch anderswo gegen die Absichten seiner Entwickler, bis hin zu Sabotage-Versuchen.
Wie ein Comedian beim Open Mic: Nach jedem Witz reagiert das Publikum (Reward-Score). Witze mit Lachern bleiben, Witze ohne fliegen. Aber eine Regel gilt (KL-Penalty): Der Comedian muss er selbst bleiben — er darf nicht plötzlich eine andere Sprache sprechen, nur um Applaus zu bekommen. Kleine Anpassungen, keine Persönlichkeitstransplantation.
Der Qualitätssprung ist enorm: InstructGPT mit 1,3 Milliarden Parametern wurde von Evaluatoren gegenüber dem rohen GPT-3 mit 175 Milliarden Parametern deutlich bevorzugt. Bei InstructGPT kostete die RLHF-Pipeline nur einen Bruchteil des Pre-trainings, weniger als 2 % des Rechenaufwands. Bei Reasoning-Modellen kann das Reinforcement Learning heute aber ähnlich groß ausfallen: xAI trainierte Grok 4 (2025) nach eigenen Angaben per Reinforcement Learning „im Maßstab des Pre-trainings“.
PPO verbindet sich direkt mit den RL-Konzepten aus dem Artikel zum Reinforcement Learning: LLM = Agent, Prompt = Zustand, generierter Text = Aktion, Reward Model = Belohnung. Die KL-Penalty wirkt als Constraint auf das Policy-Update.
Achtung
Missverständnis: RLHF macht LLMs sicher
RLHF reduziert unerwünschtes Verhalten drastisch, aber Jailbreaks bleiben möglich. Geschicktes Prompt-Engineering kann das Sicherheitstraining umgehen. Es ist ein andauerndes Katz-und-Maus-Spiel. RLHF ist eine deutliche Verbesserung, keine Garantie.
Bai et al. (2022, Anthropic) entwickelten einen Ansatz, bei dem menschliche Labeler teilweise durch KI-Selbstkritik ersetzt werden. Das Modell bewertet seine eigenen Antworten anhand einer schriftlichen "Verfassung" — einem Satz von Prinzipien wie "Sei hilfreich, aber vermeide Schaden". Das reduziert die Abhängigkeit von menschlichen Bewertern und macht die Alignment-Kriterien explizit und auditierbar.
Direct Preference Optimization (Rafailov et al., 2023) überspringt das Reward Model komplett und optimiert das LLM direkt aus Präferenzpaaren. Die Trainings-Pipeline wird einfacher bei vergleichbaren Ergebnissen. Weitere Alternativen: RLAIF (Reinforcement Learning from AI Feedback) nutzt KI-generierte Bewertungen statt menschlicher. Das Feld entwickelt sich schnell über klassisches RLHF hinaus. Seit Ende 2024 kommt vor allem bei Reasoning-Modellen eine weitere Stufe dazu: Reinforcement Learning mit überprüfbaren Belohnungen (RLVR). Dort urteilt kein Reward Model, sondern eine Regel oder ein Programm prüft, ob die Mathe-Lösung stimmt oder der Code die Tests besteht. So trainierte etwa DeepSeek-R1 (2025) sein schrittweises Nachdenken.
Achtung
Grenzen von RLHF
- RLHF macht Modelle nicht "sicher" — Jailbreaks bleiben möglich und werden ständig neu entdeckt.
- Labeler-Biases werden zu Modell-Biases — die Bewertungsrichtlinien sind die implizite Verfassung des Modells. Weil Menschen zustimmende Antworten oft besser bewerten, reden RLHF-Modelle Nutzern außerdem leicht nach dem Mund (Sycophancy).
- RLHF ist nicht die einzige Methode — DPO, Constitutional AI und RLAIF sind aktive Alternativen; für Mathe und Code kommt RLVR mit automatisch prüfbaren Belohnungen dazu.
Merke
Kernaussagen
- Pre-training erzeugt eine Textmaschine. Alignment verwandelt sie in einen Assistenten. RLHF und seine Abkömmlinge wie DPO sind die vorherrschenden Methoden für diese Transformation.
- Das Reward Model ist ein Stellvertreter für menschliches Urteil — trainiert auf Paarvergleichen, kann es Millionen Antworten am Tag bewerten, wo ein Mensch Hunderte am Tag schafft.
- PPO optimiert das LLM, während die KL-Penalty verhindert, dass es zu weit vom Original abdriftet. Ergebnis: Ein 1,3-Milliarden-Parameter-Modell wird einem 175-Milliarden-Basismodell vorgezogen.
Prüfen
Verständnisprüfung
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen
Prüfen
Quiz: RLHF
Was ist das Kernproblem, das RLHF löst?
Wähle eine Antwort
1. Was ist das Kernproblem, das RLHF löst?
2. Ein vortrainiertes Basismodell erhält den Prompt "Erkläre Quantenmechanik". Antwort A ist technisch perfekt, aber drei Seiten lang mit dichten Formeln. Antwort B nutzt klare Analogien und umfasst zwei Absätze. Welche Antwort würde das Modell nach RLHF-Training eher generieren?
3. Während der PPO-Feinabstimmung wird die KL-Divergenz-Penalty entfernt. Was ist die wahrscheinlichste Folge?
4. InstructGPT (1,3 Mrd. Parameter, mit RLHF) wurde von Menschen gegenüber GPT-3 (175 Mrd. Parameter) bevorzugt. Was zeigt das über das Verhältnis von Modellgröße und Alignment?