Zurück zum Lernbereich

RLHF: Wie LLMs Höflichkeit lernen

Wie aus einem reinen Sprachvorhersager etwas wird, mit dem man sinnvoll reden kann.

  • Architekturen
  • 10 min
  • Experte

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: Wie KI Höflichkeit lernt

Das Problem

KI-Sprachmodelle lernen aus Text im Internet. KI bedeutet Künstliche Intelligenz. Aber sie sind nicht sofort hilfreich. Sie setzen nur Text fort. Das klingt seltsam.

Was ist RLHF?

RLHF ist eine Trainings-Methode. RLHF bedeutet: Lernen aus menschlichem Feedback. Menschen bewerteten viele KI-Antworten. Sie sagten: Antwort A ist besser als B. Die KI lernte daraus.

Warum das wichtig ist

ChatGPT nutzt RLHF. Deshalb antwortet es direkt auf Fragen. Ohne RLHF würde es nur Text wiederholen. RLHF macht das Programm zu einem hilfreichen Assistenten.

GPT-3, der Vorläufer des Modells hinter ChatGPT, kostete nach Schätzungen Millionen, um es auf 300 Milliarden Tokens (Wort-Bausteinen) zu trainieren. Aber der Schritt, der es tatsächlich nützlich machte, kostete nur einen Bruchteil — und es waren weder mehr Daten noch eine smartere Architektur.

Es waren rund 40 Menschen, die für rund 33.000 Prompts Antworten von gut nach schlecht sortierten. Dieser Artikel erklärt die dreistufige Pipeline, die aus einem rohen Sprachmodell einen KI-Assistenten macht.

Das Alignment-Problem

Definition

Alignment

Analogie

Stell dir einen brillanten neuen Mitarbeiter vor, der das gesamte E-Mail-Archiv der Firma auswendig gelernt hat. Wenn du ihm eine Frage stellst, antwortet er nicht — er rezitiert Fragmente von E-Mails, die statistisch wie Fortsetzungen deiner Nachricht aussehen. Er kennt jedes Wort, das die Firma je geschrieben hat, aber er hat null Verständnis dafür, wann er helfen, wann er ablehnen und wie er klar kommunizieren soll.

Beispiel

Ein echter Mitarbeiter baut durch Erfahrung echte soziale Intelligenz auf. Ein LLM erhält nur statistische Signale darüber, welche Ausgaben Menschen bevorzugten — es versteht nie wirklich, warum eine Antwort besser ist.
Base Model (vor RLHF)

Prompt: "Was ist die Hauptstadt von Frankreich?" → Antwort: "Was ist die Hauptstadt von Deutschland? Was ist die Hauptstadt von Italien?" — setzt das Fragemuster fort statt zu antworten.

Aligned Model (nach RLHF)

Prompt: "Was ist die Hauptstadt von Frankreich?" → Antwort: "Die Hauptstadt von Frankreich ist Paris." — antwortet direkt und hilfreich.

Warum man keine Loss-Funktion für "höflich" schreiben kann: Menschliche Präferenzen sind subtil, kontextabhängig und oft widersprüchlich. Was in einem akademischen Kontext als gute Antwort gilt, wäre in einem Alltagsgespräch zu komplex. Die Lösung: Menschen zeigen dem Modell direkt, welche Antworten besser sind.

Der erste Schritt ist Supervised Fine-Tuning (SFT): Das Modell wird mit etwa 13.000 Prompts mit handgeschriebenen Musterantworten trainiert, Instruktionen zu befolgen.

Achtung

Missverständnis: Mehr Trainingsdaten lösen das Problem

Pre-training auf 300 Milliarden Tokens lehrt das Modell, WIE Sprache aussieht, aber nicht, WIE man sie hilfreich einsetzt. Ein Modell mit 10-mal mehr Daten würde immer noch Fragemuster fortsetzen statt zu antworten. Das Problem ist nicht fehlendes Wissen — es ist fehlendes Verhaltens-Alignment. Man braucht ein fundamental anderes Trainingssignal: menschliche Präferenzen.

Interaktiv: Die RLHF-Pipeline

Die Trainingsphasen eines LLM nach dem klassischen Rezept, das InstructGPT 2022 vorgemacht hat — als animiertes Diagramm. Klicke auf Abspielen und beobachte, wie jede Phase auf der vorherigen aufbaut: vom rohen Textvorhersager über den instruktionsfolgenden Assistenten bis zum aligned Modell.

RLHF-Pipeline: Vom Basis-LLM zum Assistenten

Drei aufeinander aufbauende Phasen verwandeln ein rohes Sprachmodell in einen hilfreichen, ehrlichen und harmlosen KI-Assistenten.

PretrainingNext-Token-PredictionPHASE 1SFTSupervised Fine-TuningPHASE 2Reward ModelMenschliche RankingsPHASE 3✔ALIGNED LLM
Animation starten

Klicke auf "Abspielen", um den Ablauf Schritt für Schritt zu sehen.

Warum drei Phasen?

Pre-training gibt dem Modell Sprachwissen. SFT bringt ihm bei, Anweisungen zu befolgen. RLHF (im Diagramm zwei Stationen: Reward Model und PPO) richtet es auf menschliche Präferenzen aus. Jede Phase allein reicht nicht — erst die Kombination ergibt ein Modell wie ChatGPT.

Das Reward Model

Definition

Reward Model

Analogie

Denk an Eiskunstlauf-Wettbewerbe. Die Schiedsrichter (menschliche Labeler) sehen Paare von Auftritten und entscheiden, welcher besser ist. Nach Hunderten von Wettbewerben baut jemand einen Bewertungsalgorithmus, der vorhersagt, was die Schiedsrichter über einen NEUEN Auftritt sagen würden — selbst einen, den kein Richter je gesehen hat. Dieser Algorithmus ist das Reward Model.

Beispiel

Eiskunstlauf hat relativ klare Kriterien (technische Schwierigkeit, Ausdruck). Sprachpräferenzen sind weit unordentlicher — Labeler sind oft uneins, bringen kulturelle Prägungen mit und folgen Firmenrichtlinien, die effektiv zur "Verfassung" des Modells werden.

Der Trainingsablauf: Menschlichen Bewertern werden je Prompt mehrere Antworten gezeigt (bei InstructGPT vier bis neun), die der Labeler von gut nach schlecht sortiert. Jedes Paar daraus beantwortet die Frage: "Welche Antwort ist besser?" Nach solchen Vergleichen zu rund 33.000 Prompts kann das Reward Model jede Antwort selbstständig bewerten.

Prompt: "Wie knacke ich ein Schloss?" Antwort A liefert eine detaillierte Anleitung. Antwort B lehnt höflich ab. Verlangen die Richtlinien bei gefährlichen Anfragen Vorsicht, wählt der Labeler B. Was als besser gilt, legen also die Richtlinien fest: Bei InstructGPT ging im Training noch Hilfsbereitschaft vor, und seit GPT-5 trainiert OpenAI statt pauschaler Ablehnung lieber eine möglichst hilfreiche, aber sichere Antwort („Safe Completions“).

Ein Mensch schafft einige Hundert Bewertungen am Tag. Das Reward Model bewertet in derselben Zeit Millionen.

Parameter-Modell schlägt 175 Mrd.

1,3  Mrd.

InstructGPT (1,3 Mrd. Parameter, mit RLHF) wurde von Evaluatoren gegenüber GPT-3 (175 Mrd.) deutlich bevorzugt.

Achtung

Missverständnis: Menschliche Labeler sind objektiv

Labeler bringen eigene Vorurteile, kulturelle Prägungen und Firmenrichtlinien mit. Das Reward Model übernimmt diese Biases. Wenn Labeler angewiesen werden, politisch kontroverse Antworten zu bestrafen, vermeidet das resultierende Modell diese Themen — nicht weil sie objektiv schädlich sind, sondern weil die Richtlinien es so vorgeben.

PPO-Feinabstimmung

Proximal Policy Optimization (PPO) ist der RL-Algorithmus, der das LLM mithilfe der Reward-Model-Scores optimiert. Zusammen mit dem Pre-training, das das Basismodell erst erzeugt, umfasst die gesamte Pipeline vier Schritte:

Die RLHF-Pipeline

  1. 1. Pre-training175 Mrd. Parameter, 300 Mrd. Tokens
  2. 2. SFT~13.000 Demonstrationen
  3. 3. Reward Model~33.000 Prompts
  4. 4. PPO-Optimierung~31.000 Prompts

Ein kritischer Schutzmechanismus ist die KL-Divergenz-Penalty: Sie begrenzt, wie weit sich das feinabgestimmte Modell vom Original entfernen darf. Ohne diese Strafe würde das Modell Reward Hacking betreiben — absurde Textbausteine generieren, die hohe Scores erzeugen, aber für Menschen keinen Sinn ergeben. Heute ist Reward Hacking oft subtiler: In einem Experiment von Anthropic lernte ein Modell 2025 im Programmier-Training, Tests auszutricksen, und verhielt sich danach auch anderswo gegen die Absichten seiner Entwickler, bis hin zu Sabotage-Versuchen.

Wie ein Comedian beim Open Mic: Nach jedem Witz reagiert das Publikum (Reward-Score). Witze mit Lachern bleiben, Witze ohne fliegen. Aber eine Regel gilt (KL-Penalty): Der Comedian muss er selbst bleiben — er darf nicht plötzlich eine andere Sprache sprechen, nur um Applaus zu bekommen. Kleine Anpassungen, keine Persönlichkeitstransplantation.

Der Qualitätssprung ist enorm: InstructGPT mit 1,3 Milliarden Parametern wurde von Evaluatoren gegenüber dem rohen GPT-3 mit 175 Milliarden Parametern deutlich bevorzugt. Bei InstructGPT kostete die RLHF-Pipeline nur einen Bruchteil des Pre-trainings, weniger als 2 % des Rechenaufwands. Bei Reasoning-Modellen kann das Reinforcement Learning heute aber ähnlich groß ausfallen: xAI trainierte Grok 4 (2025) nach eigenen Angaben per Reinforcement Learning „im Maßstab des Pre-trainings“.

PPO verbindet sich direkt mit den RL-Konzepten aus dem Artikel zum Reinforcement Learning: LLM = Agent, Prompt = Zustand, generierter Text = Aktion, Reward Model = Belohnung. Die KL-Penalty wirkt als Constraint auf das Policy-Update.

Achtung

Missverständnis: RLHF macht LLMs sicher

RLHF reduziert unerwünschtes Verhalten drastisch, aber Jailbreaks bleiben möglich. Geschicktes Prompt-Engineering kann das Sicherheitstraining umgehen. Es ist ein andauerndes Katz-und-Maus-Spiel. RLHF ist eine deutliche Verbesserung, keine Garantie.

Bai et al. (2022, Anthropic) entwickelten einen Ansatz, bei dem menschliche Labeler teilweise durch KI-Selbstkritik ersetzt werden. Das Modell bewertet seine eigenen Antworten anhand einer schriftlichen "Verfassung" — einem Satz von Prinzipien wie "Sei hilfreich, aber vermeide Schaden". Das reduziert die Abhängigkeit von menschlichen Bewertern und macht die Alignment-Kriterien explizit und auditierbar.

Direct Preference Optimization (Rafailov et al., 2023) überspringt das Reward Model komplett und optimiert das LLM direkt aus Präferenzpaaren. Die Trainings-Pipeline wird einfacher bei vergleichbaren Ergebnissen. Weitere Alternativen: RLAIF (Reinforcement Learning from AI Feedback) nutzt KI-generierte Bewertungen statt menschlicher. Das Feld entwickelt sich schnell über klassisches RLHF hinaus. Seit Ende 2024 kommt vor allem bei Reasoning-Modellen eine weitere Stufe dazu: Reinforcement Learning mit überprüfbaren Belohnungen (RLVR). Dort urteilt kein Reward Model, sondern eine Regel oder ein Programm prüft, ob die Mathe-Lösung stimmt oder der Code die Tests besteht. So trainierte etwa DeepSeek-R1 (2025) sein schrittweises Nachdenken.

Achtung

Grenzen von RLHF

  • RLHF macht Modelle nicht "sicher" — Jailbreaks bleiben möglich und werden ständig neu entdeckt.
  • Labeler-Biases werden zu Modell-Biases — die Bewertungsrichtlinien sind die implizite Verfassung des Modells. Weil Menschen zustimmende Antworten oft besser bewerten, reden RLHF-Modelle Nutzern außerdem leicht nach dem Mund (Sycophancy).
  • RLHF ist nicht die einzige Methode — DPO, Constitutional AI und RLAIF sind aktive Alternativen; für Mathe und Code kommt RLVR mit automatisch prüfbaren Belohnungen dazu.

Merke

Kernaussagen

  • Pre-training erzeugt eine Textmaschine. Alignment verwandelt sie in einen Assistenten. RLHF und seine Abkömmlinge wie DPO sind die vorherrschenden Methoden für diese Transformation.
  • Das Reward Model ist ein Stellvertreter für menschliches Urteil — trainiert auf Paarvergleichen, kann es Millionen Antworten am Tag bewerten, wo ein Mensch Hunderte am Tag schafft.
  • PPO optimiert das LLM, während die KL-Penalty verhindert, dass es zu weit vom Original abdriftet. Ergebnis: Ein 1,3-Milliarden-Parameter-Modell wird einem 175-Milliarden-Basismodell vorgezogen.

Prüfen

Verständnisprüfung

Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.

0 von 3 sitzen

Prüfen

Quiz: RLHF

Noch offen

Was ist das Kernproblem, das RLHF löst?

Wähle eine Antwort

Auflösung: 1) B · 2) B · 3) B · 4) C