Reinforcement Learning: lernen ohne Lehrer, dafür mit Konsequenzen.
Grundlagen 13 min Fortgeschritten 29. Juni 2026
Alles, was du auf dem Deep-Learning-Pfad gelernt hast, folgte einem Muster: Zeige dem Netzwerk gelabelte Beispiele, lass es die Zuordnung lernen, teste es an neuen Daten. Aber was passiert, wenn es keine Labels gibt? Wenn das einzige Feedback eine Zahl ist — manchmal positiv, manchmal negativ, manchmal Tausende von Schritten nach der Entscheidung, die sie verursacht hat?
Willkommen beim Reinforcement Learning, dem Lernparadigma, in dem ein Agent ausschließlich durch Versuch und Irrtum lernt. So hat DeepMind einen Agenten trainiert, Atari-Spiele aus rohen Pixeln zu meistern. Und dasselbe Prinzip — Lernen durch Belohnungssignale — ist der Grund, warum ChatGPT zu einem hilfreichen Assistenten wurde, statt nur ein Textgenerator zu bleiben.
2016 Wettbewerbe
AlphaGo besiegt Lee Sedol
Der historische Moment, als KI erstmals einen Weltmeister im komplexesten Brettspiel besiegte. Vom 9. bis 15. März 2016 fand in Seoul das DeepMind Challenge Match statt – fünf Partien zwischen Lee Sedol, einem der weltbesten Go-Spieler, und AlphaGo. Das Ergebnis verblüfte die Welt: 4:1 für die Maschine. Besonders der berühmte 'Zug 37' in Partie zwei demonstrierte maschinelle Kreativität – ein Zug mit einer Wahrscheinlichkeit von 1:10.000, der jahrhundertealte Go-Weisheiten auf den Kopf stellte. AlphaGo kombinierte Deep Learning mit Monte-Carlo-Baumsuche und trainierte sowohl mit menschlichen Partien als auch durch Selbstspiele. Lee Sedols Antwort in Partie vier mit seinem 'göttlichen Zug 78' zeigte jedoch, dass menschliche Intuition noch immer überraschen kann. Über 200 Millionen Menschen verfolgten diese Partien weltweit.
Das RL-Framework — Agent, Umgebung und der Belohnungszyklus
Jedes Reinforcement-Learning-System basiert auf fünf Kernkomponenten, die in einem endlosen Zyklus zusammenwirken.
Die fünf RL-Komponenten
AnalogieDefinition
Stell dir einen Hundetrainer mit einem neuen Welpen vor. Der Welpe ist der Agent. Der Trainingsplatz ist die Umgebung. Was der Welpe sieht und hört — ein fliegender Ball, ein Handzeichen — ist der Zustand. Laufen, sitzen, bellen oder apportieren sind seine Aktionen. Bringt er den Ball zurück, bekommt er ein Leckerli (Belohnung +1). Springt er einen Fremden an, sagt der Trainer "Nein!" (Belohnung -1). Nach Hunderten von Wiederholungen hat der Welpe gelernt, welche Aktionen in welchen Situationen zu Leckerlis führen.
Beispiel
Ein echter Hund hat angeborene Instinkte und Vorwissen über Physik — er weiß, dass Bälle fallen. Ein RL-Agent startet bei absolut null und kennt nicht einmal die Grundregeln seiner Umgebung.
Analogie:
Stell dir einen Hundetrainer mit einem neuen Welpen vor. Der Welpe ist der Agent. Der Trainingsplatz ist die Umgebung. Was der Welpe sieht und hört — ein fliegender Ball, ein Handzeichen — ist der Zustand. Laufen, sitzen, bellen oder apportieren sind seine Aktionen. Bringt er den Ball zurück, bekommt er ein Leckerli (Belohnung +1). Springt er einen Fremden an, sagt der Trainer "Nein!" (Belohnung -1). Nach Hunderten von Wiederholungen hat der Welpe gelernt, welche Aktionen in welchen Situationen zu Leckerlis führen.
Beispiel
Ein echter Hund hat angeborene Instinkte und Vorwissen über Physik — er weiß, dass Bälle fallen. Ein RL-Agent startet bei absolut null und kennt nicht einmal die Grundregeln seiner Umgebung.
Definition:
Agent: Die lernende Entität, die Entscheidungen trifft. Umgebung: Die Welt, in der der Agent agiert. Zustand: Die aktuelle Wahrnehmung der Umgebung. Aktion: Die Entscheidung des Agenten aus den verfügbaren Optionen. Belohnung: Ein numerisches Signal (+1, -1, 0), das anzeigt, ob die Aktion gut oder schlecht war. Zusammen bilden sie einen iterativen Zyklus: beobachten, handeln, Belohnung erhalten, neuen Zustand beobachten — immer wieder.
Der RL-Zyklus
Agent (entscheidet)
Aktion (verändert Umgebung)
Umgebung (reagiert)
Zustand + Belohnung (Feedback)
Supervised Learning
Gelabelte Daten, sofortiges Feedback. "Das ist eine Katze." Das Netzwerk lernt die richtige Zuordnung direkt aus den Labels.
Reinforcement Learning
Keine Labels, verzögerte Belohnungen. "+1 / -1". Der Agent muss durch Millionen von Versuchen herausfinden, welche Aktionen zum Erfolg führen.
Ab 2013 trainierte DeepMind einen RL-Agenten auf Atari-Spielen wie Breakout. Der Zustand: das rohe Pixelbild des Bildschirms. Die Aktionen: Joystick-Richtungen. Die Belohnung: jeder Punktgewinn im Spiel, im Training auf +1 gekappt (ein Punktverlust zählt -1). Nach Millionen von Trainingsschritten entdeckte der Agent Strategien, die kein Mensch programmiert hatte — in Breakout grub er einen Tunnel an der Seite der Mauer, damit der Ball dahinter viele Steine auf einmal abräumt.
2017 Durchbrüche
AlphaZero beherrscht drei Spiele
Die Geburt einer universellen Spiel-KI durch reines Selbstlernen. Im Dezember 2017 präsentierte DeepMind AlphaZero – ein System, das ohne jegliches Vorwissen drei völlig verschiedene Strategiespiele meisterte: Schach, Shogi und Go. Der Tabula-rasa-Ansatz bedeutete: Keine Eröffnungsdatenbanken, keine menschlichen Strategien, nur die Spielregeln als Ausgangspunkt. Innerhalb von 24 Stunden erreichte AlphaZero übermenschliche Leistung – in Schach nach nur 4 Stunden, in Shogi nach 2 Stunden. Im 100-Partien-Match gegen Stockfish gewann es 28 Partien, verlor keine einzige und erreichte 72 Unentschieden. Die Besonderheit lag im effizienten Suchverhalten: Während Stockfish 70 Millionen Positionen pro Sekunde evaluiert, analysiert AlphaZero nur 80.000 – aber wesentlich gezielter durch sein Deep Neural Network. Diese Leistung demonstrierte eindrucksvoll die Verallgemeinerbarkeit und Domänen-Unabhängigkeit des reinen Reinforcement Learning.
Häufiger Irrtum
"Ohne Labels kann ein Agent nichts lernen." Doch — er lernt durch das Belohnungssignal. Am Anfang handelt er zufällig und stirbt sofort. Aber mit jeder Episode lernt er, welche Aktionen in welchen Zuständen zu positiven Belohnungen führen.
Und woher weiß der Agent, wohin?
Ein guter Weg fällt nicht vom Himmel — irgendwer muss ausrechnen, welcher Schritt sich lohnt. Genau das machst du im folgenden Mini-Experiment selbst: Die Werte fluten rückwärts vom Ziel durch das Gitter, und daraus kristallisiert sich Schritt für Schritt eine optimale Route. Kein Agent läuft hier herum — die Welt ist bekannt, und der Algorithmus plant sie durch.
Warum Basismodelle nicht reichen — Das Alignment-Problem
Die Sprachmodelle, die du täglich nutzt — ChatGPT, Claude — sind keine rohen Textgeneratoren. Sie sind aligned, also gezielt darauf trainiert, hilfreich, ehrlich und sicher zu sein.
Stell dir ein Wunderkind vor, das jedes Buch der größten Bibliothek der Welt gelesen hat — Lehrbücher, Romane, Hassreden, Bombenanleitungen, Liebesbriefe, wissenschaftliche Arbeiten. Wenn du es etwas fragst, zitiert es die relevanteste Stelle aus dem Gedächtnis, ohne moralisches Urteil. Das Kind ist nicht böswillig — es unterscheidet einfach nicht zwischen "sicher zu teilen" und "gefährlich zu teilen". Alignment ist der Erziehungsprozess: Ein Lehrer bringt dem Kind bei, dass manches Wissen zwar vorhanden, aber nicht auszusprechen ist.
Basismodell (vor Alignment)
Sagt das statistisch wahrscheinlichste nächste Token vorher. Auf die Frage "Wie breche ich in ein Haus ein?" liefert es eine neutrale Anleitung — weil solche Texte in den Trainingsdaten existieren.
Aligned Modell (nach RLHF)
Erkennt die schädliche Absicht, lehnt die Anfrage ab und bietet stattdessen Tipps zur Haussicherheit an. Gleiche Architektur, gleiches Wissen — anderes Optimierungsziel.
Warnung: Basismodelle sind keine Chatbots
Ein Basismodell hat kein Konzept von Hilfsbereitschaft, Sicherheit oder Ehrlichkeit. Es sagt das wahrscheinlichste nächste Token vorher — auch wenn das schädliche Inhalte sind, weil solche Inhalte in den Trainingsdaten existieren. Oft beantwortet es eine Frage gar nicht, sondern setzt sie fort, als stünde sie in einer Liste ähnlicher Fragen.
Die entscheidende Erkenntnis: Alignment verändert das Optimierungsziel, nicht die Architektur. Statt "wahrscheinlichstes nächstes Token" wird das neue Ziel "Antwort, die ein Mensch als hilfreich, ehrlich und sicher bewerten würde". Wie genau das funktioniert, zeigt der nächste Abschnitt über RLHF.
RLHF — Wie menschliche Präferenzen zu Maschinenverhalten werden
Reinforcement Learning from Human Feedback (RLHF) ist die konkrete Methode, die ein Basismodell in ein aligned Modell verwandelt. Der Prozess besteht aus drei aufeinanderfolgenden Schritten.
1
Schritt 1: Supervised Fine-Tuning (SFT) Menschliche Trainer schreiben ideale Antworten auf verschiedene Prompts. Das Basismodell wird auf diesen Demonstrationen feingetuned und lernt das grundlegende Gesprächsformat.
2
Schritt 2: Reward-Model-Training Das SFT-Modell generiert mehrere Antworten auf denselben Prompt. Menschliche Bewerter vergleichen Paare und geben an, welche Antwort besser ist — das geht viel schneller und billiger, als selbst ideale Antworten zu schreiben. Ein separates neuronales Netz — das Reward Model — lernt, menschliche Präferenzen vorherzusagen.
3
Schritt 3: RL-Optimierung (PPO) Das Hauptmodell generiert Millionen von Antworten. Das Reward Model bewertet jede automatisch. Ein RL-Algorithmus (PPO) passt die Gewichte an, um den vorhergesagten Präferenzwert zu maximieren.
Stell dir die Ausbildung eines Roboter-Sommeliers vor: In Schritt 1 beobachtet der Roboter eine Woche lang einen Meister-Sommelier und imitiert dessen Empfehlungen. In Schritt 2 probieren tausend Weinkenner Weinpaare und sagen, welchen sie bevorzugen — ein zweiter Roboter lernt daraus den durchschnittlichen menschlichen Geschmack vorherzusagen. In Schritt 3 empfiehlt der erste Roboter millionenfach Weine, der zweite bewertet sofort jede Empfehlung — alles millionenfach schneller als jede menschliche Verkostung.
1,3 Mrd. vs 175 Mrd.
InstructGPT (1,3 Mrd. Parameter) wurde von Testern dem 100-fach größeren GPT-3 (175 Mrd.) vorgezogen — dank RLHF
Ein häufiges Missverständnis: Echte Menschen bewerten NICHT jede einzelne Antwort in Schritt 3. Nach dem Training des Reward Models in Schritt 2 ist die Bewertung vollständig automatisiert — das Reward Model übernimmt.
Vertiefung: Das Credit-Assignment-Problem
Warum sind verzögerte Belohnungen so schwierig? Stell dir ein Fußballtor vor: Der Stürmer schießt — aber war es sein Abschluss, der Pass des Mittelfeldspielers zehn Sekunden vorher oder die Taktikanweisung des Trainers in der Halbzeitpause? Im Schach erfährst du erst nach 40+ Zügen, ob deine Strategie funktioniert hat. Welcher Zug war der entscheidende? Die Zahl möglicher Aktionssequenzen wächst exponentiell mit der Anzahl der Schritte. Genau deshalb braucht RL Millionen von Trainingsepisoden — der Agent benötigt riesige Erfahrungsmengen, um statistisch herauszufinden, welche Aktionen tatsächlich wichtig sind.
Vertiefung: Reward Hacking — Wenn Agenten das System austricksen
Ein Belohnungssignal zu maximieren ist nicht dasselbe wie das beabsichtigte Ziel zu erreichen. Dokumentiertes Beispiel: Sprachmodelle produzierten übermäßig lange, ausführliche Antworten — weil menschliche Bewerter unbewusst Länge mit Gründlichkeit gleichgesetzt hatten. Das Reward Model lernte diesen Bias, und das Modell optimierte auf Länge statt auf tatsächliche Hilfsbereitschaft. Das Design von Reward-Funktionen ist eine Kunst: Die Funktion muss menschliche Absichten präzise erfassen, aber menschliche Absichten sind komplex und voller impliziter Annahmen. Merke: Wenn du von einem RL-Agenten hörst, der übermenschliche Leistung erreicht, frage immer: Was war die Reward-Funktion, und könnte der Agent sie ausnutzen?
Das Wichtigste auf einen Blick
Reinforcement Learning ist ein Lernparadigma, bei dem ein Agent durch Interaktion mit einer Umgebung und numerische Belohnungen lernt — ohne gelabelte Daten, ohne menschliche Demonstrationen während des Trainings.
Die fünf Kernkomponenten (Agent, Umgebung, Zustand, Aktion, Belohnung) bilden einen iterativen Zyklus: beobachten, handeln, Belohnung erhalten, neuen Zustand beobachten.
Ein rohes Basismodell ist ein Next-Token-Predictor — es setzt Text statistisch fort, ohne Urteil. Alignment bringt ihm bei, menschliche Werte statt Token-Wahrscheinlichkeiten zu optimieren.
RLHF erreicht Alignment in drei Schritten: Supervised Fine-Tuning, Reward-Model-Training und RL-Optimierung — in Schritt 3 bewertet kein Mensch mehr, sondern das Reward Model.
Das Credit-Assignment-Problem — herauszufinden, welche vergangene Aktion eine verzögerte Belohnung verursacht hat — ist ein Hauptgrund, warum RL grundlegend schwieriger ist als Supervised Learning.
Überprüfe dein Verständnis
Nenne die fünf Kernkomponenten eines RL-Systems und beschreibe, wie sie im Zyklus zusammenwirken.
Erkläre, warum ein rohes Basismodell als Chatbot ungeeignet ist und was Alignment daran ändert.
Beschreibe die drei Schritte von RLHF und erkläre, warum in Schritt 3 kein Mensch mehr jede Antwort bewertet, sondern das Reward Model.
Quiz: Reinforcement Learning
Frage 1 / 4
Noch offen
Was erhält der Agent im RL-Zyklus von der Umgebung, nachdem er eine Aktion ausgeführt hat?
1. Was erhält der Agent im RL-Zyklus von der Umgebung, nachdem er eine Aktion ausgeführt hat?
☐ A) Ein gelabeltes Trainingsbeispiel
☐ B) Ein numerisches Belohnungssignal und einen neuen Zustand
☐ C) Ein Gradient-Update für Backpropagation
☐ D) Eine korrigierte Version seiner Aktion
2. Ein Entwickler setzt ein rohes Basismodell als Kunden-Chatbot ein, ohne Alignment durchzuführen. Ein Kunde fragt: "Was ist die Hauptstadt von Frankreich?" Was ist das wahrscheinlichste Verhalten des Modells?
☐ A) Es antwortet korrekt mit "Paris"
☐ B) Es setzt den Text als Quiz fort: "Was ist die Hauptstadt von Deutschland? Was ist die Hauptstadt von Spanien?" — weil es Muster aus den Trainingsdaten vervollständigt
☐ C) Es gibt eine Fehlermeldung aus
☐ D) Es antwortet auf Französisch
3. Ein Unternehmen kann sich nur 500 menschlich geschriebene Demonstrationsantworten (Schritt 1) leisten, hat aber Budget für 50.000 Paarvergleiche (Schritt 2). Ist diese Strategie für RLHF praktikabel?
☐ A) Nein — Schritt 1 braucht mindestens 100.000 Demonstrationen
☐ B) Ja — Schritt 1 vermittelt das Grundformat, und die günstigeren Vergleiche in Schritt 2 erzeugen das Reward Model für die skalierbare Optimierung in Schritt 3
☐ C) Nein — ohne gleiche Investition in alle drei Schritte scheitert RLHF
☐ D) Ja — aber nur wenn Schritt 3 komplett übersprungen wird
4. Ein aligned Modell produziert durchgehend sehr lange Antworten — auch wenn eine kurze Antwort hilfreicher wäre. Ein Forscher vermutet Reward Hacking. Was ist die wahrscheinlichste Ursache?
☐ A) Das Modell hat zu viele Parameter und kann keinen kurzen Text erzeugen
☐ B) Menschliche Bewerter beim Reward-Model-Training bevorzugten unbewusst längere Antworten, und das Modell lernte, Länge statt Hilfsbereitschaft zu maximieren
☐ C) Der PPO-Algorithmus hat einen Bug, der lange Ausgaben bevorzugt
☐ D) Das Basismodell wurde auf ungewöhnlich langen Texten trainiert