Q-Learning (Verstärkendes Lernen)

Die Methode, mit der KI das tut, was Pawlow auch ausprobiert hätte, wenn er Tabellen geliebt hätte.

Niemand zeigt der Figur den Weg. Sieh zu, wie sie ihn allein aus Belohnung und Strafe findet.

Der Tempel des Lernens

Q-Learning Trainingsumgebung mit Gitterwelt bestehend aus Schätzen, Fallen und Wänden Gitter mit 5 Spalten und 5 Reihen mit 1 Schätzen und 1 Fallen
Verwenden Sie Pfeiltasten zur Navigation im Gitter und Leertaste zur Zellenauswahl
Izaac Jenson Datenkristall (+100 Belohnung) Falle (-10 Belohnung) Wand (unpassierbar) Startposition
SimulationEinstellungenStatistikenAgenten-Gedanken
Steuerung
Los geht's
Entdeckertools
Schritte0Episode0Gesamtbelohnung0.0Exploration30%

Was im Gitter passiert

Diese Demo zeigt, wie eine Figur allein durch Belohnung und Strafe den Weg zum Ziel findet — nicht durch Vorgaben. Hier steht, was du auf dem Spielfeld siehst.

Was du siehst
Ein Gitter aus Kacheln von oben. Eine Startfahne, ein Diamant als Ziel, dazu Löcher als Fallen und Mauern als Hindernisse. Auf einer Kachel steht die Figur. Die Kacheln färben sich wie eine Wärme-Karte ein.
Was passiert
Vom Ziel her breitet sich die warme Farbe über die Kacheln aus: Was nah am Diamanten liegt, wird als wertvoll markiert. In jeder Kachel zeigt ein kleiner Pfeil die gerade beste Richtung. Nach und nach richten sich die Pfeile zu einem durchgehenden Weg von der Startfahne bis zum Ziel aus.
Was du tun kannst
Starte oder pausiere das Training, geh Schritt für Schritt vor oder ändere das Tempo. Mit den Entdecker-Werkzeugen blendest du Wärme-Karte, Pfeile, Q-Werte und den Weg ein. Klick eine Kachel an, um sie genauer anzusehen.
Worauf du achtest
Niemand zeigt der Figur den Weg. Sie lernt allein aus Belohnung und Strafe, welche Richtung sich lohnt. Achte darauf, wie warme Farbe und Pfeile von selbst zu einem Weg zusammenwachsen.

Definition

Q-Learning Definition

Analogie

Stell dir vor, du betrittst zum ersten Mal ein riesiges Kaufhaus und suchst die Elektronik-Abteilung. Du kennst weder den Grundriss noch die Beschilderung. Was machst du? Du gehst einfach los, probierst verschiedene Richtungen aus, merkst dir, was funktioniert hat, und wirst mit jedem Besuch zielsicherer. Nach ein paar Besuchen kennst du nicht nur den direkten Weg, sondern auch alternative Routen. Genau so lernt unser digitaler Schatzjäger in der Demo oben: Er startet völlig ahnungslos, sammelt Erfahrungen durch Ausprobieren und entwickelt mit der Zeit eine clevere Strategie. Das Besondere: Er lernt nicht nur "was ist gut", sondern auch "was könnte in Zukunft gut werden" – genau wie du dir merkst, dass bestimmte Gänge im Kaufhaus zu interessanten Bereichen führen, auch wenn sie nicht dein direktes Ziel sind.

Izaac Jenson betritt den Tempel ohne Karte oder Vorwissen über dessen Aufbau. Durch sorgfältige Erkundung und das Lernen aus Fehlern erstellt er eine "Qualitätstabelle" (Q-Tabelle), die den Wert jeder möglichen Aktion von jeder Position erfasst. Beobachten Sie, wie unser Algorithmus-Archäologe schrittweise den optimalen Pfad zum Datenkristall entdeckt und dabei uralten Fallen ausweicht.

Wichtige Lernparameter
  • Lernrate (α): Wie schnell der Agent sein Wissen aktualisiert. Höhere Werte bedeuten schnelleres Lernen, aber weniger Stabilität.
  • Diskontfaktor (γ): Wie sehr der Agent zukünftige Belohnungen im Vergleich zu sofortigen bewertet. Werte näher bei 1 bevorzugen langfristige Planung.
  • Erkundungsrate (ε): Die Wahrscheinlichkeit, zufällige Aktionen auszuprobieren statt der aktuell besten Wahl. Essentiell für die Entdeckung neuer Pfade.
Die Visualisierung verstehen

Die Demo bietet reichhaltiges visuelles Feedback zum Verständnis des Lernprozesses:

  • Q-Werte: Farbkodierte Pfeile zeigen die gelernten Präferenzen des Agenten für jede Richtung von jeder Zelle.
  • Farbkodierung: Grün zeigt positive Werte (gute Aktionen), Rot negative Werte (Aktionen zu Fallen), und Blau repräsentiert den Schatz.
  • Agent-Verhalten: Beobachten Sie den Denkprozess des Charakters in Echtzeit, während er Entscheidungen trifft und sein Wissen aktualisiert.
Experimentier-Tipps
  • Beginnen Sie mit Standard-Parametern, um grundlegendes Lernen zu sehen, dann passen Sie einen Parameter zur Zeit an.
  • Probieren Sie hohe Erkundungsraten für vielfältigeres Verhalten, dann senken Sie sie für fokussierteres Lernen.
  • Setzen Sie die Umgebung zurück und ändern Sie Parameter, um zu sehen, wie verschiedene Einstellungen Lerngeschwindigkeit und -qualität beeinflussen.
  • Nutzen Sie den Schritt-für-Schritt-Modus, um einzelne Entscheidungsmomente genau zu beobachten.

TheoriePseudo-CodeSchritt für SchrittFlussdiagramm

Nachdem du unseren digitalen Schatzjäger in Aktion gesehen hast, wird dich vielleicht interessieren, was genau in seinem "Gehirn" passiert. Q-Learning ist weitaus raffinierter, als es auf den ersten Blick erscheint.

Das Geheimnis liegt in der Balance. Unser Agent muss ständig zwischen zwei Strategien wechseln: Neues ausprobieren (Exploration) und bewährte Wege nutzen (Exploitation). Zu viel Neugier führt zu chaotischem Verhalten, zu wenig verhindert das Entdecken besserer Routen.

Warum ist Q-Learning so besonders?

Im Gegensatz zu überwachtem Lernen, wo wir dem Algorithmus die richtigen Antworten vorkauen, muss unser Q-Learning-Agent alles selbst herausfinden. Er bekommt nur minimale Informationen:

  • Seinen aktuellen Zustand (wo bin ich gerade?)
  • Mögliche Aktionen (was kann ich tun?)
  • Belohnungen oder Strafen nach jeder Aktion (war das gut oder schlecht?)

Aus diesen einfachen Zutaten entwickelt der Agent komplexe Strategien. Das Faszinierende: Er lernt nicht nur, was gut ist, sondern auch, was in Zukunft gut sein könnte.

Das digitale Notizbuch: Die Q-Tabelle

Hast du in der Demo bemerkt, wie unser Agent anfangs chaotisch agiert, aber mit der Zeit zielgerichteter wird? Das liegt an seiner Q-Tabelle – einer Art digitalem Notizbuch, in dem er für jede Situation und Aktion vermerkt: "Wie gut war diese Entscheidung?"

Wenn du die Q-Werte in der Demo einblendest, siehst du diese Zahlen in Echtzeit. Positive Werte bedeuten "gute Idee", negative "lieber nicht". Je öfter eine Aktion in einer Situation zum Erfolg führt, desto höher wird ihr Q-Wert.

Die Magie der Zukunftsplanung

Das wirklich Clevere an Q-Learning: Es denkt nicht nur an den nächsten Schritt, sondern an die gesamte Zukunft. Ein Weg, der momentan mühsam erscheint, könnte zu großartigen späteren Möglichkeiten führen.

In der Demo siehst du das, wenn der Agent scheinbar "Umwege" macht – er hat gelernt, dass bestimmte Positionen strategisch wertvoll sind, auch wenn sie nicht direkt zum Ziel führen.

Warum funktioniert das so gut?

Q-Learning kombiniert drei fundamentale Lernprinzipien, die du gerade in der Demo beobachtet hast:

  • Trial and Error: Wie ein Kind lernt der Agent durch Ausprobieren
  • Verstärkung: Erfolgreiche Aktionen werden bevorzugt, schlechte vermieden
  • Langfristige Planung: Nicht nur der nächste Schritt zählt, sondern das Gesamtziel

Das Ergebnis siehst du oben: Aus chaotischen Anfangsbewegungen entsteht mit der Zeit eine elegante, zielgerichtete Strategie. Und das alles ohne explizite Programmierung des Lösungswegs – der Agent hat ihn selbst entdeckt.

Experimentiere gerne weiter! Verändere die Parameter in der Konfiguration und beobachte, wie sich das Lernverhalten ändert. Jede Einstellung erzählt ihre eigene Geschichte über die Balance zwischen Neugier und Effizienz.

Prüfen

Q-Learning Wissenstest

Noch offen

Was beschreibt das Exploration-Exploitation Dilemma im Q-Learning am besten?

Wähle eine Antwort

Auflösung: 1) B · 2) C · 3) C

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: Q-Learning: Lernen durch Ausprobieren

Was wird gezeigt?

Hier lernt ein Agent durch Ausprobieren. Agent bedeutet: Ein Programm, das Entscheidungen trifft. Der Agent navigiert durch ein Raster. Er sucht Schätze und vermeidet Fallen.

Wie funktioniert die Demo?

Drücke auf Training starten. Beobachte, wie der Agent lernt. Er macht zuerst viele Fehler. Mit der Zeit findet er den besten Weg. Du kannst die Geschwindigkeit einstellen.

Was lernst du daraus?

Das heißt Q-Learning. Q-Learning bedeutet: Lernen durch Belohnungen und Strafen. Gute Entscheidungen werden belohnt. Schlechte werden bestraft. So lernt die KI selbst.