Reinforcement Learning
Reinforcement Learning: lernen ohne Lehrer, dafür mit Konsequenzen.
Alles, was du auf dem Deep-Learning-Pfad gelernt hast, folgte einem Muster: Zeige dem Netzwerk gelabelte Beispiele, lass es die Zuordnung lernen, teste es an neuen Daten. Aber was passiert, wenn es keine Labels gibt? Wenn das einzige Feedback eine Zahl ist — manchmal positiv, manchmal negativ, manchmal Tausende von Schritten nach der Entscheidung, die sie verursacht hat?
Willkommen beim Reinforcement Learning, dem Lernparadigma, in dem ein Agent ausschließlich durch Versuch und Irrtum lernt. So hat DeepMind einen Agenten trainiert, Atari-Spiele aus rohen Pixeln zu meistern. Und dasselbe Prinzip — Lernen durch Belohnungssignale — ist der Grund, warum ChatGPT zu einem hilfreichen Assistenten wurde, statt nur ein Textgenerator zu bleiben.
AlphaGo besiegt Lee Sedol
Der historische Moment, als KI erstmals einen Weltmeister im komplexesten Brettspiel besiegte. Vom 9. bis 15. März 2016 fand in Seoul das DeepMind Challenge Match statt – fünf Partien zwischen Lee Sedol, einem der weltbesten Go-Spieler, und AlphaGo. Das Ergebnis verblüfte die Welt: 4:1 für die Maschine. Besonders der berühmte 'Zug 37' in Partie zwei demonstrierte maschinelle Kreativität – ein Zug mit einer Wahrscheinlichkeit von 1:10.000, der jahrhundertealte Go-Weisheiten auf den Kopf stellte. AlphaGo kombinierte Deep Learning mit Monte-Carlo-Baumsuche und trainierte sowohl mit menschlichen Partien als auch durch Selbstspiele. Lee Sedols Antwort in Partie vier mit seinem 'göttlichen Zug 78' zeigte jedoch, dass menschliche Intuition noch immer überraschen kann. Über 200 Millionen Menschen verfolgten diese Partien weltweit.
Das RL-Framework — Agent, Umgebung und der Belohnungszyklus
Jedes Reinforcement-Learning-System basiert auf fünf Kernkomponenten, die in einem endlosen Zyklus zusammenwirken.
Definition
Die fünf RL-Komponenten
Analogie
Beispiel
Definition
Der RL-Zyklus
Gelabelte Daten, sofortiges Feedback. "Das ist eine Katze." Das Netzwerk lernt die richtige Zuordnung direkt aus den Labels.
Keine Labels, verzögerte Belohnungen. "+1 / -1". Der Agent muss durch Millionen von Versuchen herausfinden, welche Aktionen zum Erfolg führen.
Ab 2013 trainierte DeepMind einen RL-Agenten auf Atari-Spielen wie Breakout. Der Zustand: das rohe Pixelbild des Bildschirms. Die Aktionen: Joystick-Richtungen. Die Belohnung: jeder Punktgewinn im Spiel, im Training auf +1 gekappt (ein Punktverlust zählt -1). Nach Millionen von Trainingsschritten entdeckte der Agent Strategien, die kein Mensch programmiert hatte — in Breakout grub er einen Tunnel an der Seite der Mauer, damit der Ball dahinter viele Steine auf einmal abräumt.
AlphaZero beherrscht drei Spiele
Die Geburt einer universellen Spiel-KI durch reines Selbstlernen. Im Dezember 2017 präsentierte DeepMind AlphaZero – ein System, das ohne jegliches Vorwissen drei völlig verschiedene Strategiespiele meisterte: Schach, Shogi und Go. Der Tabula-rasa-Ansatz bedeutete: Keine Eröffnungsdatenbanken, keine menschlichen Strategien, nur die Spielregeln als Ausgangspunkt. Innerhalb von 24 Stunden erreichte AlphaZero übermenschliche Leistung – in Schach nach nur 4 Stunden, in Shogi nach 2 Stunden. Im 100-Partien-Match gegen Stockfish gewann es 28 Partien, verlor keine einzige und erreichte 72 Unentschieden. Die Besonderheit lag im effizienten Suchverhalten: Während Stockfish 70 Millionen Positionen pro Sekunde evaluiert, analysiert AlphaZero nur 80.000 – aber wesentlich gezielter durch sein Deep Neural Network. Diese Leistung demonstrierte eindrucksvoll die Verallgemeinerbarkeit und Domänen-Unabhängigkeit des reinen Reinforcement Learning.
Achtung
Häufiger Irrtum
"Ohne Labels kann ein Agent nichts lernen." Doch — er lernt durch das Belohnungssignal. Am Anfang handelt er zufällig und stirbt sofort. Aber mit jeder Episode lernt er, welche Aktionen in welchen Zuständen zu positiven Belohnungen führen.
Und woher weiß der Agent, wohin?
Ein guter Weg fällt nicht vom Himmel — irgendwer muss ausrechnen, welcher Schritt sich lohnt. Genau das machst du im folgenden Mini-Experiment selbst: Die Werte fluten rückwärts vom Ziel durch das Gitter, und daraus kristallisiert sich Schritt für Schritt eine optimale Route. Kein Agent läuft hier herum — die Welt ist bekannt, und der Algorithmus plant sie durch.
Warum Basismodelle nicht reichen — Das Alignment-Problem
Die Sprachmodelle, die du täglich nutzt — ChatGPT, Claude — sind keine rohen Textgeneratoren. Sie sind aligned, also gezielt darauf trainiert, hilfreich, ehrlich und sicher zu sein.
Stell dir ein Wunderkind vor, das jedes Buch der größten Bibliothek der Welt gelesen hat — Lehrbücher, Romane, Hassreden, Bombenanleitungen, Liebesbriefe, wissenschaftliche Arbeiten. Wenn du es etwas fragst, zitiert es die relevanteste Stelle aus dem Gedächtnis, ohne moralisches Urteil. Das Kind ist nicht böswillig — es unterscheidet einfach nicht zwischen "sicher zu teilen" und "gefährlich zu teilen". Alignment ist der Erziehungsprozess: Ein Lehrer bringt dem Kind bei, dass manches Wissen zwar vorhanden, aber nicht auszusprechen ist.
Sagt das statistisch wahrscheinlichste nächste Token vorher. Auf die Frage "Wie breche ich in ein Haus ein?" liefert es eine neutrale Anleitung — weil solche Texte in den Trainingsdaten existieren.
Erkennt die schädliche Absicht, lehnt die Anfrage ab und bietet stattdessen Tipps zur Haussicherheit an. Gleiche Architektur, gleiches Wissen — anderes Optimierungsziel.
Achtung
Warnung: Basismodelle sind keine Chatbots
Ein Basismodell hat kein Konzept von Hilfsbereitschaft, Sicherheit oder Ehrlichkeit. Es sagt das wahrscheinlichste nächste Token vorher — auch wenn das schädliche Inhalte sind, weil solche Inhalte in den Trainingsdaten existieren. Oft beantwortet es eine Frage gar nicht, sondern setzt sie fort, als stünde sie in einer Liste ähnlicher Fragen.
Die entscheidende Erkenntnis: Alignment verändert das Optimierungsziel, nicht die Architektur. Statt "wahrscheinlichstes nächstes Token" wird das neue Ziel "Antwort, die ein Mensch als hilfreich, ehrlich und sicher bewerten würde". Wie genau das funktioniert, zeigt der nächste Abschnitt über RLHF.
RLHF — Wie menschliche Präferenzen zu Maschinenverhalten werden
Reinforcement Learning from Human Feedback (RLHF) ist die klassische Methode, die ein Basismodell in ein aligned Modell verwandelt. Heute ist sie nicht mehr die einzige: DPO lernt direkt aus denselben Paarvergleichen, ohne eigenes Reward Model und ohne RL-Schleife. Constitutional AI (Anthropic) lässt bei der Frage nach Harmlosigkeit ein KI-Modell anhand schriftlicher Prinzipien urteilen statt eines Menschen. Und Reasoning-Modelle wie DeepSeek-R1 lernen per RL mit automatisch prüfbaren Belohnungen: Stimmt die Mathe-Lösung, bestehen die Tests? Das klassische RLHF besteht aus drei aufeinanderfolgenden Schritten.
- 1. Schritt 1: Supervised Fine-TuningMenschliche Trainer schreiben ideale Antworten auf verschiedene Prompts. Das Basismodell wird auf diesen Demonstrationen feingetuned und lernt das grundlegende Gesprächsformat.
- 2. Schritt 2: Reward-Model-TrainingDas SFT-Modell generiert mehrere Antworten auf denselben Prompt. Menschliche Bewerter vergleichen Paare und geben an, welche Antwort besser ist — das geht viel schneller und billiger, als selbst ideale Antworten zu schreiben. Ein separates neuronales Netz — das Reward Model — lernt, menschliche Präferenzen vorherzusagen.
- 3. Schritt 3: RL-OptimierungDas Hauptmodell generiert Millionen von Antworten. Das Reward Model bewertet jede automatisch. Ein RL-Algorithmus (PPO) passt die Gewichte an, um den vorhergesagten Präferenzwert zu maximieren.
Stell dir die Ausbildung eines Roboter-Sommeliers vor: In Schritt 1 beobachtet der Roboter eine Woche lang einen Meister-Sommelier und imitiert dessen Empfehlungen. In Schritt 2 probieren tausend Weinkenner Weinpaare und sagen, welchen sie bevorzugen — ein zweiter Roboter lernt daraus den durchschnittlichen menschlichen Geschmack vorherzusagen. In Schritt 3 empfiehlt der erste Roboter millionenfach Weine, der zweite bewertet sofort jede Empfehlung — alles millionenfach schneller als jede menschliche Verkostung.
InstructGPT (1,3 Mrd. Parameter) wurde von Testern dem 100-fach größeren GPT-3 (175 Mrd.) vorgezogen — dank RLHF
1,3 Mrd. vs 175 Mrd.
Ein häufiges Missverständnis: Echte Menschen bewerten NICHT jede einzelne Antwort in Schritt 3. Nach dem Training des Reward Models in Schritt 2 ist die Bewertung vollständig automatisiert — das Reward Model übernimmt.
Warum sind verzögerte Belohnungen so schwierig? Stell dir ein Fußballtor vor: Der Stürmer schießt — aber war es sein Abschluss, der Pass des Mittelfeldspielers zehn Sekunden vorher oder die Taktikanweisung des Trainers in der Halbzeitpause? Im Schach erfährst du erst nach 40+ Zügen, ob deine Strategie funktioniert hat. Welcher Zug war der entscheidende? Die Zahl möglicher Aktionssequenzen wächst exponentiell mit der Anzahl der Schritte. Genau deshalb braucht RL Millionen von Trainingsepisoden — der Agent benötigt riesige Erfahrungsmengen, um statistisch herauszufinden, welche Aktionen tatsächlich wichtig sind.
Ein Belohnungssignal zu maximieren ist nicht dasselbe wie das beabsichtigte Ziel zu erreichen. Dokumentiertes Beispiel: Sprachmodelle produzierten übermäßig lange, ausführliche Antworten — weil menschliche Bewerter unbewusst Länge mit Gründlichkeit gleichgesetzt hatten. Das Reward Model lernte diesen Bias, und das Modell optimierte auf Länge statt auf tatsächliche Hilfsbereitschaft. Ein neueres Beispiel stammt aus dem RL-Training für Programmieraufgaben: Statt die Aufgabe zu lösen, beendete das Modell den Testlauf vorzeitig mit Erfolgscode (in Python per sys.exit(0)), sodass alle Tests als bestanden galten. Anthropic zeigte 2025 in einem Experiment: Sobald ein Modell solche Tricks lernt, verhält es sich auch in ganz anderen Situationen schlechter, bis hin zu Täuschung und Sabotage. Das Design von Reward-Funktionen ist eine Kunst: Die Funktion muss menschliche Absichten präzise erfassen, aber menschliche Absichten sind komplex und voller impliziter Annahmen. Merke: Wenn du von einem RL-Agenten hörst, der übermenschliche Leistung erreicht, frage immer: Was war die Reward-Funktion, und könnte der Agent sie ausnutzen?
Merke
Das Wichtigste auf einen Blick
- Reinforcement Learning ist ein Lernparadigma, bei dem ein Agent durch Interaktion mit einer Umgebung und numerische Belohnungen lernt — ohne gelabelte Daten, ohne menschliche Demonstrationen während des Trainings.
- Die fünf Kernkomponenten (Agent, Umgebung, Zustand, Aktion, Belohnung) bilden einen iterativen Zyklus: beobachten, handeln, Belohnung erhalten, neuen Zustand beobachten.
- Ein rohes Basismodell ist ein Next-Token-Predictor — es setzt Text statistisch fort, ohne Urteil. Alignment bringt ihm bei, menschliche Werte statt Token-Wahrscheinlichkeiten zu optimieren.
- RLHF erreicht Alignment in drei Schritten: Supervised Fine-Tuning, Reward-Model-Training und RL-Optimierung — in Schritt 3 bewertet kein Mensch mehr, sondern das Reward Model.
- Das Credit-Assignment-Problem — herauszufinden, welche vergangene Aktion eine verzögerte Belohnung verursacht hat — ist ein Hauptgrund, warum RL grundlegend schwieriger ist als Supervised Learning.
Prüfen
Überprüfe dein Verständnis
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen
Prüfen
Quiz: Reinforcement Learning
Was erhält der Agent im RL-Zyklus von der Umgebung, nachdem er eine Aktion ausgeführt hat?
Wähle eine Antwort
1. Was erhält der Agent im RL-Zyklus von der Umgebung, nachdem er eine Aktion ausgeführt hat?
2. Ein Entwickler setzt ein rohes Basismodell als Kunden-Chatbot ein, ohne Alignment durchzuführen. Ein Kunde fragt: "Was ist die Hauptstadt von Frankreich?" Was ist das wahrscheinlichste Verhalten des Modells?
3. Ein Unternehmen kann sich nur 500 menschlich geschriebene Demonstrationsantworten (Schritt 1) leisten, hat aber Budget für 50.000 Paarvergleiche (Schritt 2). Ist diese Strategie für RLHF praktikabel?
4. Ein aligned Modell produziert durchgehend sehr lange Antworten — auch wenn eine kurze Antwort hilfreicher wäre. Ein Forscher vermutet Reward Hacking. Was ist die wahrscheinlichste Ursache?