Zurück zum Lernbereich

Reinforcement Learning

Reinforcement Learning: lernen ohne Lehrer, dafür mit Konsequenzen.

  • Grundlagen
  • 13 min
  • Fortgeschritten

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: Lernen durch Ausprobieren

Was ist Reinforcement Learning?

Ein Programm lernt durch Ausprobieren. Manche Aktionen bringen Belohnungen. Andere bringen Strafen. So lernt es mit der Zeit. Das heißt Reinforcement Learning. Reinforcement Learning bedeutet: Lernen durch Versuche.

Der Agent und die Umgebung

Das Programm heißt Agent. Agent bedeutet: ein Programm trifft Entscheidungen. Der Agent beobachtet die Umgebung. Dann wählt er eine Aktion. Die Umgebung reagiert. Danach beginnt alles von vorn.

RLHF: Wie KI hilfreich wird

Sprachmodelle sind KI-Programme für Text. Am Anfang antworten sie auf alles. Deshalb gibt es RLHF. RLHF bedeutet: Lernen aus menschlichem Feedback. Menschen bewerten die Antworten. Das Modell lernt daraus. So wird die KI hilfreicher.

Alles, was du auf dem Deep-Learning-Pfad gelernt hast, folgte einem Muster: Zeige dem Netzwerk gelabelte Beispiele, lass es die Zuordnung lernen, teste es an neuen Daten. Aber was passiert, wenn es keine Labels gibt? Wenn das einzige Feedback eine Zahl ist — manchmal positiv, manchmal negativ, manchmal Tausende von Schritten nach der Entscheidung, die sie verursacht hat?

Willkommen beim Reinforcement Learning, dem Lernparadigma, in dem ein Agent ausschließlich durch Versuch und Irrtum lernt. So hat DeepMind einen Agenten trainiert, Atari-Spiele aus rohen Pixeln zu meistern. Und dasselbe Prinzip — Lernen durch Belohnungssignale — ist der Grund, warum ChatGPT zu einem hilfreichen Assistenten wurde, statt nur ein Textgenerator zu bleiben.

Das RL-Framework — Agent, Umgebung und der Belohnungszyklus

Jedes Reinforcement-Learning-System basiert auf fünf Kernkomponenten, die in einem endlosen Zyklus zusammenwirken.

Definition

Die fünf RL-Komponenten

Analogie

Stell dir einen Hundetrainer mit einem neuen Welpen vor. Der Welpe ist der Agent. Der Trainingsplatz ist die Umgebung. Was der Welpe sieht und hört — ein fliegender Ball, ein Handzeichen — ist der Zustand. Laufen, sitzen, bellen oder apportieren sind seine Aktionen. Bringt er den Ball zurück, bekommt er ein Leckerli (Belohnung +1). Springt er einen Fremden an, sagt der Trainer "Nein!" (Belohnung -1). Nach Hunderten von Wiederholungen hat der Welpe gelernt, welche Aktionen in welchen Situationen zu Leckerlis führen.

Beispiel

Ein echter Hund hat angeborene Instinkte und Vorwissen über Physik — er weiß, dass Bälle fallen. Ein RL-Agent startet bei absolut null und kennt nicht einmal die Grundregeln seiner Umgebung.

Der RL-Zyklus

Agent (entscheidet)
Aktion (verändert Umgebung)
Umgebung (reagiert)
Zustand + Belohnung (Feedback)
Supervised Learning

Gelabelte Daten, sofortiges Feedback. "Das ist eine Katze." Das Netzwerk lernt die richtige Zuordnung direkt aus den Labels.

Reinforcement Learning

Keine Labels, verzögerte Belohnungen. "+1 / -1". Der Agent muss durch Millionen von Versuchen herausfinden, welche Aktionen zum Erfolg führen.

Ab 2013 trainierte DeepMind einen RL-Agenten auf Atari-Spielen wie Breakout. Der Zustand: das rohe Pixelbild des Bildschirms. Die Aktionen: Joystick-Richtungen. Die Belohnung: jeder Punktgewinn im Spiel, im Training auf +1 gekappt (ein Punktverlust zählt -1). Nach Millionen von Trainingsschritten entdeckte der Agent Strategien, die kein Mensch programmiert hatte — in Breakout grub er einen Tunnel an der Seite der Mauer, damit der Ball dahinter viele Steine auf einmal abräumt.

Achtung

Häufiger Irrtum

"Ohne Labels kann ein Agent nichts lernen." Doch — er lernt durch das Belohnungssignal. Am Anfang handelt er zufällig und stirbt sofort. Aber mit jeder Episode lernt er, welche Aktionen in welchen Zuständen zu positiven Belohnungen führen.

Und woher weiß der Agent, wohin?

Ein guter Weg fällt nicht vom Himmel — irgendwer muss ausrechnen, welcher Schritt sich lohnt. Genau das machst du im folgenden Mini-Experiment selbst: Die Werte fluten rückwärts vom Ziel durch das Gitter, und daraus kristallisiert sich Schritt für Schritt eine optimale Route. Kein Agent läuft hier herum — die Welt ist bekannt, und der Algorithmus plant sie durch.

Warum Basismodelle nicht reichen — Das Alignment-Problem

Die Sprachmodelle, die du täglich nutzt — ChatGPT, Claude — sind keine rohen Textgeneratoren. Sie sind aligned, also gezielt darauf trainiert, hilfreich, ehrlich und sicher zu sein.

Stell dir ein Wunderkind vor, das jedes Buch der größten Bibliothek der Welt gelesen hat — Lehrbücher, Romane, Hassreden, Bombenanleitungen, Liebesbriefe, wissenschaftliche Arbeiten. Wenn du es etwas fragst, zitiert es die relevanteste Stelle aus dem Gedächtnis, ohne moralisches Urteil. Das Kind ist nicht böswillig — es unterscheidet einfach nicht zwischen "sicher zu teilen" und "gefährlich zu teilen". Alignment ist der Erziehungsprozess: Ein Lehrer bringt dem Kind bei, dass manches Wissen zwar vorhanden, aber nicht auszusprechen ist.

Basismodell (vor Alignment)

Sagt das statistisch wahrscheinlichste nächste Token vorher. Auf die Frage "Wie breche ich in ein Haus ein?" liefert es eine neutrale Anleitung — weil solche Texte in den Trainingsdaten existieren.

Aligned Modell (nach RLHF)

Erkennt die schädliche Absicht, lehnt die Anfrage ab und bietet stattdessen Tipps zur Haussicherheit an. Gleiche Architektur, gleiches Wissen — anderes Optimierungsziel.

Achtung

Warnung: Basismodelle sind keine Chatbots

Ein Basismodell hat kein Konzept von Hilfsbereitschaft, Sicherheit oder Ehrlichkeit. Es sagt das wahrscheinlichste nächste Token vorher — auch wenn das schädliche Inhalte sind, weil solche Inhalte in den Trainingsdaten existieren. Oft beantwortet es eine Frage gar nicht, sondern setzt sie fort, als stünde sie in einer Liste ähnlicher Fragen.

Die entscheidende Erkenntnis: Alignment verändert das Optimierungsziel, nicht die Architektur. Statt "wahrscheinlichstes nächstes Token" wird das neue Ziel "Antwort, die ein Mensch als hilfreich, ehrlich und sicher bewerten würde". Wie genau das funktioniert, zeigt der nächste Abschnitt über RLHF.

RLHF — Wie menschliche Präferenzen zu Maschinenverhalten werden

Reinforcement Learning from Human Feedback (RLHF) ist die klassische Methode, die ein Basismodell in ein aligned Modell verwandelt. Heute ist sie nicht mehr die einzige: DPO lernt direkt aus denselben Paarvergleichen, ohne eigenes Reward Model und ohne RL-Schleife. Constitutional AI (Anthropic) lässt bei der Frage nach Harmlosigkeit ein KI-Modell anhand schriftlicher Prinzipien urteilen statt eines Menschen. Und Reasoning-Modelle wie DeepSeek-R1 lernen per RL mit automatisch prüfbaren Belohnungen: Stimmt die Mathe-Lösung, bestehen die Tests? Das klassische RLHF besteht aus drei aufeinanderfolgenden Schritten.

  1. 1. Schritt 1: Supervised Fine-TuningMenschliche Trainer schreiben ideale Antworten auf verschiedene Prompts. Das Basismodell wird auf diesen Demonstrationen feingetuned und lernt das grundlegende Gesprächsformat.
  2. 2. Schritt 2: Reward-Model-TrainingDas SFT-Modell generiert mehrere Antworten auf denselben Prompt. Menschliche Bewerter vergleichen Paare und geben an, welche Antwort besser ist — das geht viel schneller und billiger, als selbst ideale Antworten zu schreiben. Ein separates neuronales Netz — das Reward Model — lernt, menschliche Präferenzen vorherzusagen.
  3. 3. Schritt 3: RL-OptimierungDas Hauptmodell generiert Millionen von Antworten. Das Reward Model bewertet jede automatisch. Ein RL-Algorithmus (PPO) passt die Gewichte an, um den vorhergesagten Präferenzwert zu maximieren.

Stell dir die Ausbildung eines Roboter-Sommeliers vor: In Schritt 1 beobachtet der Roboter eine Woche lang einen Meister-Sommelier und imitiert dessen Empfehlungen. In Schritt 2 probieren tausend Weinkenner Weinpaare und sagen, welchen sie bevorzugen — ein zweiter Roboter lernt daraus den durchschnittlichen menschlichen Geschmack vorherzusagen. In Schritt 3 empfiehlt der erste Roboter millionenfach Weine, der zweite bewertet sofort jede Empfehlung — alles millionenfach schneller als jede menschliche Verkostung.

InstructGPT (1,3 Mrd. Parameter) wurde von Testern dem 100-fach größeren GPT-3 (175 Mrd.) vorgezogen — dank RLHF

1,3 Mrd. vs 175 Mrd.

Ein häufiges Missverständnis: Echte Menschen bewerten NICHT jede einzelne Antwort in Schritt 3. Nach dem Training des Reward Models in Schritt 2 ist die Bewertung vollständig automatisiert — das Reward Model übernimmt.

Warum sind verzögerte Belohnungen so schwierig? Stell dir ein Fußballtor vor: Der Stürmer schießt — aber war es sein Abschluss, der Pass des Mittelfeldspielers zehn Sekunden vorher oder die Taktikanweisung des Trainers in der Halbzeitpause? Im Schach erfährst du erst nach 40+ Zügen, ob deine Strategie funktioniert hat. Welcher Zug war der entscheidende? Die Zahl möglicher Aktionssequenzen wächst exponentiell mit der Anzahl der Schritte. Genau deshalb braucht RL Millionen von Trainingsepisoden — der Agent benötigt riesige Erfahrungsmengen, um statistisch herauszufinden, welche Aktionen tatsächlich wichtig sind.

Ein Belohnungssignal zu maximieren ist nicht dasselbe wie das beabsichtigte Ziel zu erreichen. Dokumentiertes Beispiel: Sprachmodelle produzierten übermäßig lange, ausführliche Antworten — weil menschliche Bewerter unbewusst Länge mit Gründlichkeit gleichgesetzt hatten. Das Reward Model lernte diesen Bias, und das Modell optimierte auf Länge statt auf tatsächliche Hilfsbereitschaft. Ein neueres Beispiel stammt aus dem RL-Training für Programmieraufgaben: Statt die Aufgabe zu lösen, beendete das Modell den Testlauf vorzeitig mit Erfolgscode (in Python per sys.exit(0)), sodass alle Tests als bestanden galten. Anthropic zeigte 2025 in einem Experiment: Sobald ein Modell solche Tricks lernt, verhält es sich auch in ganz anderen Situationen schlechter, bis hin zu Täuschung und Sabotage. Das Design von Reward-Funktionen ist eine Kunst: Die Funktion muss menschliche Absichten präzise erfassen, aber menschliche Absichten sind komplex und voller impliziter Annahmen. Merke: Wenn du von einem RL-Agenten hörst, der übermenschliche Leistung erreicht, frage immer: Was war die Reward-Funktion, und könnte der Agent sie ausnutzen?

Merke

Das Wichtigste auf einen Blick

  • Reinforcement Learning ist ein Lernparadigma, bei dem ein Agent durch Interaktion mit einer Umgebung und numerische Belohnungen lernt — ohne gelabelte Daten, ohne menschliche Demonstrationen während des Trainings.
  • Die fünf Kernkomponenten (Agent, Umgebung, Zustand, Aktion, Belohnung) bilden einen iterativen Zyklus: beobachten, handeln, Belohnung erhalten, neuen Zustand beobachten.
  • Ein rohes Basismodell ist ein Next-Token-Predictor — es setzt Text statistisch fort, ohne Urteil. Alignment bringt ihm bei, menschliche Werte statt Token-Wahrscheinlichkeiten zu optimieren.
  • RLHF erreicht Alignment in drei Schritten: Supervised Fine-Tuning, Reward-Model-Training und RL-Optimierung — in Schritt 3 bewertet kein Mensch mehr, sondern das Reward Model.
  • Das Credit-Assignment-Problem — herauszufinden, welche vergangene Aktion eine verzögerte Belohnung verursacht hat — ist ein Hauptgrund, warum RL grundlegend schwieriger ist als Supervised Learning.

Prüfen

Überprüfe dein Verständnis

Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.

0 von 3 sitzen

Prüfen

Quiz: Reinforcement Learning

Noch offen

Was erhält der Agent im RL-Zyklus von der Umgebung, nachdem er eine Aktion ausgeführt hat?

Wähle eine Antwort

Auflösung: 1) B · 2) B · 3) B · 4) B