Das Mini-Roulette nach jedem Token — und die Knöpfe, an denen man drehen kann.
Architekturen 10 min Fortgeschritten 15. Juni 2026
Du weißt, dass ein Sprachmodell das nächste Token vorhersagt. Aber zwischen der internen Berechnung des Modells und dem Wort, das auf deinem Bildschirm erscheint, liegt eine kritische Entscheidungsschicht, die die meisten Nutzer nie sehen. Hier werden 100.000 Kandidaten bewertet, gereiht und einer ausgewählt — und die Regeln dieser Auswahl bestimmen, ob der Output sicher, kreativ, repetitiv oder unsinnig wird. Dieser Artikel öffnet die Black Box der LLM-Einstellungen: Softmax, Sampling und Temperature. Keine höhere Mathematik nötig — nur die Bereitschaft zu verstehen, warum dieser "Temperature"-Regler existiert und was er tatsächlich steuert.
Softmax — Von Rohwerten zu Wahrscheinlichkeiten
Nach dem Forward-Pass gibt ein Transformer für jedes Token in seinem Vokabular einen Rohwert aus — einen sogenannten Logit. Bei etwa 100.000 Tokens im Vokabular sind das 100.000 Zahlen. Diese Logits sind abstrakte Werte ohne direkte Interpretation: Ein Logit von 4,2 für "Futter" und -3,1 für "Algebra" sagt dir, dass "Futter" bevorzugt wird, aber nicht um wie viel — und die Zahlen bilden keine brauchbare Wahrscheinlichkeitsverteilung. Genau hier kommt Softmax ins Spiel.
Softmax
AnalogieDefinition
Stell dir einen Kochwettbewerb mit vier Juroren vor, die völlig unterschiedliche Skalen benutzen. Ein Juror vergibt 0 bis 10, ein anderer -50 bis 200, ein dritter nutzt Dezimalbrüche. Die Rohwerte sind nicht vergleichbar. Um einen Gewinner zu küren, rechnet ein Koordinator alle Bewertungen in Prozente um: Gericht A bekommt 45 %, Gericht B 30 %, Gericht C 20 %, Gericht D 5 % — zusammen exakt 100 %. Softmax ist dieser Koordinator: Er nimmt beliebig skalierte Zahlen und erzeugt ein faires, normiertes Ranking.
Beispiel
Die Analogie hat Grenzen: Jury-Bewertungen haben eine menschlich interpretierbare Bedeutung — eine "7 von 10" sagt etwas aus. Logits haben keine intrinsische Bedeutung. Außerdem bewertet ein Kochwettbewerb vielleicht 10 Gerichte; ein LLM evaluiert 100.000 Tokens gleichzeitig.
Analogie:
Stell dir einen Kochwettbewerb mit vier Juroren vor, die völlig unterschiedliche Skalen benutzen. Ein Juror vergibt 0 bis 10, ein anderer -50 bis 200, ein dritter nutzt Dezimalbrüche. Die Rohwerte sind nicht vergleichbar. Um einen Gewinner zu küren, rechnet ein Koordinator alle Bewertungen in Prozente um: Gericht A bekommt 45 %, Gericht B 30 %, Gericht C 20 %, Gericht D 5 % — zusammen exakt 100 %. Softmax ist dieser Koordinator: Er nimmt beliebig skalierte Zahlen und erzeugt ein faires, normiertes Ranking.
Beispiel
Die Analogie hat Grenzen: Jury-Bewertungen haben eine menschlich interpretierbare Bedeutung — eine "7 von 10" sagt etwas aus. Logits haben keine intrinsische Bedeutung. Außerdem bewertet ein Kochwettbewerb vielleicht 10 Gerichte; ein LLM evaluiert 100.000 Tokens gleichzeitig.
Definition:
Eine mathematische Funktion, die beliebig skalierte Logits (Rohwerte aus dem neuronalen Netz) in eine Wahrscheinlichkeitsverteilung umwandelt, die sich zu 1,0 summiert. Zwei Schritte: Erst wird jeder Logit exponentiert (alle Werte werden positiv, Unterschiede werden verstärkt), dann wird jedes Ergebnis durch die Summe aller exponentierten Werte geteilt (Normierung auf 100 %).
Logits: "Futter" = 4,2, "Spielzeug" = 2,8, "Bett" = 0,5, "Algebra" = -3,1. Nach Softmax: "Futter" = 78,6 %, "Spielzeug" = 19,4 %, "Bett" = 1,9 %, "Algebra" = 0,1 %. Die Exponentialfunktion verstärkt den Abstand — der Unterschied von 1,4 Logit-Punkten zwischen "Futter" und "Spielzeug" wird zu einem Verhältnis von etwa 4:1. "Algebra" mit seinem negativen Logit wird praktisch eliminiert.
Das Prinzip: Softmax macht Gewinner zu größeren Gewinnern und Verlierer zu größeren Verlierern.
Interaktiv: Warum Softmax Unterschiede verstärkt
Softmax berechnet e hoch Logit für jeden Token. Bewege den Slider und beobachte, wie die Exponentialfunktion bei wachsenden Werten alle anderen Funktionen dramatisch dominiert. Genau dieser Effekt sorgt dafür, dass selbst kleine Logit-Unterschiede zu großen Wahrscheinlichkeitsunterschieden werden.
120
f(x) = 11
f(x) = x100
f(x) = x²10.000
f(x) = 2ˣ1.073.741.824
Moderater Input
Bei n=100 wird der Unterschied sichtbar: O(n²) braucht 10.000 Operationen, während O(n) nur 100 braucht. O(log n) braucht nur 6.6 — das ist 15x weniger als O(n).
Verhältnis zu O(n)
Komplexität
Operationen
Faktor vs. O(n)
f(x) = 1
1
100x schneller
f(x) = x
100
1x (Referenz)
f(x) = x²
10.000
100x langsamer
f(x) = 2ˣ
1.073.741.824
10737418x langsamer
Sampling — Würfeln nach Regeln
Softmax hat eine Wahrscheinlichkeitsverteilung erzeugt. Jetzt muss das System ein einzelnes Token auswählen. Dafür gibt es zwei grundlegende Strategien.
Greedy Decoding
Wählt immer das Token mit der höchsten Wahrscheinlichkeit. Deterministisch — gleicher Input, gleicher Output. Problem: repetitiver, generischer Text, Endlosschleifen ("Der Hund ist ein Hund ist ein Hund...").
Stochastisches Sampling
Zieht zufällig aus der Verteilung, gewichtet nach Wahrscheinlichkeit. "Futter" gewinnt meistens, aber "Spielzeug" gewinnt manchmal auch — wie in natürlicher menschlicher Sprache, wo wir nicht mechanisch das vorhersagbarste Wort wählen.
Stell dir ein Glücksrad vor, aufgeteilt in verschieden große Felder: "Futter" belegt 78,6 %, "Spielzeug" 19,4 %, "Bett" 1,9 %. Greedy Decoding bedeutet, immer auf das größte Feld zu zeigen, ohne das Rad zu drehen. Stochastisches Sampling bedeutet, das Rad zu drehen und zu akzeptieren, wo es landet. Das größte Feld gewinnt meistens — aber nicht immer. Und dieses "nicht immer" macht Text menschlich.
Teste den Prompt "Der Hund frisst sein..." fünfmal:
Der Greedy-Output ist faktisch "korrekt" (Futter ist am wahrscheinlichsten), aber sprachlich tot. Der gesamplete Output spiegelt die tatsächliche Verteilung wider und klingt natürlicher.
2022 Produkte
ChatGPT markiert eine Wende in der KI-Nutzung
Der Moment, als KI für alle zugänglich wurde und eine neue Ära begann. Am 30. November 2022 veröffentlichte OpenAI ChatGPT als kostenlosen Research Preview – ohne großes Marketing, mit wenigen Erwartungen. Was folgte, übertraf alle Prognosen: Nach 5 Tagen erreichte ChatGPT eine Million Nutzer, nach zwei Monaten 100 Millionen – damals der schnellste Nutzeranstieg, den eine Consumer-Anwendung je hingelegt hatte (im Juli 2023 von Metas Threads übertroffen). Basierend auf GPT-3.5 bot ChatGPT erstmals einem breiten Publikum direkten Zugang zu einer mächtigen KI ohne technische Barrieren. Kevin Roose von der New York Times nannte es den 'besten KI-Chatbot, der je für die Öffentlichkeit freigegeben wurde'. ChatGPT demokratisierte künstliche Intelligenz und machte aus einem Forschungsgebiet ein alltägliches Werkzeug. Diese Veröffentlichung markierte den Beginn der aktuellen Generative AI-Welle.
Temperature & Top-P — Die Kreativitätsregler
Temperature (T) verändert die Softmax-Funktion, indem alle Logits vor der Exponentierung durch T geteilt werden. Das verändert nicht, was das Modell "denkt" — die Logits bleiben identisch. Es verändert nur, wie die finale Auswahl gewichtet wird.
T = 0
Deterministisch
Immer das wahrscheinlichste Token. Sicher, aber repetitiv und monoton.
"...vielversprechend. Künstliche Intelligenz wird weiterhin..."
T = 0,7
Ausgewogen
Moderate Variation. Natürlich klingend, gute Balance zwischen Sicherheit und Kreativität.
"...ein Balanceakt zwischen Innovation und Verantwortung. Während..."
T = 1,5
Kreativ
Höhere Variation. Ungewöhnliche Formulierungen, instabil bei längeren Texten.
"...ein kaleidoskopischer Tanz zwischen Siliziumträumen und der fragilen Melodie menschlicher Intuition..."
T = 2,5
Chaotisch
Verteilung nahezu gleichmäßig. Struktur bricht zusammen, Output wird unbrauchbar.
Temperature ist wie der Nüchternheitsgrad auf einer Dinnerparty. Bei T=0 (stocknüchtern) sagt jeder Gast nur das Sicherste und Offensichtlichste — vorhersagbar und langweilig. Bei T=0,7 (ein Glas Wein) werden die Leute witziger und kreativer. Bei T=2,0 (stark betrunken) reden sie zusammenhanglos durcheinander. Wichtig: Alkohol beeinträchtigt das tatsächliche Denken. Temperature verändert NICHT die Berechnung des Modells — die Logits bleiben bei jeder Temperature identisch. Nur die Auswahlgewichtung ändert sich.
Top-P (auch Nucleus Sampling) ist ein ergänzender Filter: Statt alle 100.000 Tokens zu berücksichtigen, summiert er Wahrscheinlichkeiten von oben und verwirft alles unterhalb eines Schwellenwerts (z.B. P=0,9 bedeutet 90 % kumulative Wahrscheinlichkeit). Das passt dynamisch an, wie viele Tokens als Kandidaten in Frage kommen. Ein ähnlicher Filter ist Top-K, der einfach nur die besten K Kandidaten durchlässt — unabhängig von ihren Wahrscheinlichkeiten. Top-P ist der Türsteher auf der Party: Egal wie betrunken die Runde wird, der Türsteher blockt die schlimmsten Beiträge.
In der Praxis haben sich für verschiedene Aufgaben folgende Temperature-Richtwerte etabliert:
Code-Generierung T = 0 – 0,3
Kundensupport T = 0,5 – 0,7
Kreatives Schreiben T = 0,8 – 1,2
Brainstorming T = 1,0 – 1,5
Temperature verhindert KEINE Halluzinationen
Halluzinationen entstehen, weil die Trainingsdaten des Modells statistische Muster um falsche Fakten herum erzeugen. Bei T=0 wählt das Modell seine konfidenteste Antwort — aber Konfidenz und Korrektheit sind unabhängig voneinander. Ein Modell kann eine faktisch falsche Aussage mit 99 % Wahrscheinlichkeit ausgeben. Temperature kontrolliert Zufälligkeit, nicht Genauigkeit. Für weniger Halluzinationen brauchst du Retrieval-Augmented Generation (RAG), Grounding oder Fine-Tuning — nicht einen Temperature-Regler.
Interaktiv: Token-Sampling ausprobieren
Jetzt bist du dran: Stelle die Temperature ein und würfle Tokens. Bei niedriger Temperature dominiert das wahrscheinlichste Token fast jedes Mal. Bei hoher Temperature verteilen sich die Ergebnisse breiter. Klicke mehrmals und beobachte, wie sich die tatsächliche Verteilung der theoretischen annähert.
Ein LLM hat den Anfang "Das Wetter heute ___" generiert und berechnet Wahrscheinlichkeiten für das nächste Wort. Das natürlichste nächste Wort ist "ist" — aber die Temperatur bestimmt, ob das Modell immer die sichere Wahl trifft oder auch ungewöhnlichere Fortsetzungen wagt.
0.1 (fokussiert)2.0 (kreativ)
Standard (T≈1.0): Die originalen Logit-Wahrscheinlichkeiten werden verwendet. Balance zwischen Präzision und Vielfalt.
Wahrscheinlichkeitsverteilung (bei T=1.0)
ist
73.3%
war
13.4%
wird
8.1%
soll
2.7%
bleibt
1.5%
kann
1.0%
Ergebnisse (0 Samples)
Noch keine Samples — klicke "Token würfeln"
Starte das Experiment
Klicke "Token würfeln" um zu sehen, wie das LLM bei der aktuellen Temperatur sampelt. Beobachte, wie sich die Verteilung der Ergebnisse mit mehr Samples der theoretischen Wahrscheinlichkeit annähert.
Die Mathematik hinter Softmax
Die Softmax-Formel lautet: P(Token_i) = e^(Logit_i) / Summe(e^(Logit_j)). Die Exponentialfunktion e^x hat zwei entscheidende Eigenschaften: Sie macht alle Werte positiv (notwendig für Wahrscheinlichkeiten) und sie verstärkt Unterschiede nichtlinear. Bei unseren Beispiel-Logits (4,2 und 2,8): e^4,2 = 66,7 und e^2,8 = 16,4. Der Logit-Unterschied von 1,4 Punkten wird zu einem Verhältnis von 4:1. Für Temperature ergänzt sich die Formel zu: P(Token_i) = e^(Logit_i/T) / Summe(e^(Logit_j/T)). Bei T<1 werden die Abstände zwischen den Logits vor der Exponentierung vergrößert (schärfere Verteilung). Bei T>1 werden sie verkleinert (flachere Verteilung).
Greedy Decoding kann das Modell in Endlosschleifen fangen: Wenn ein repetitives Muster beginnt ("Der Hund ist..."), ist das wahrscheinlichste nächste Token genau das, was die Schleife fortsetzt. Die Repetition Penalty wirkt dem entgegen, indem sie die Logits bereits verwendeter Tokens künstlich abwertet. Ein typischer Wert ist 1,1 bis 1,3 — genug, um Wiederholungen zu reduzieren, ohne die Textqualität zu beeinträchtigen. Zu hohe Werte (>1,5) können dazu führen, dass das Modell gezwungen wird, unpassende Synonyme zu verwenden.
Takeaways
Softmax ist der Übersetzer zwischen der internen Welt des Modells (abstrakte Logit-Werte) und der menschenlesbaren Welt (Wahrscheinlichkeiten, die sich zu 100 % summieren) — ohne ihn ist keine Token-Auswahl möglich.
Greedy Decoding (T=0) ist sicher, aber tot — es wählt immer das wahrscheinlichste Token und fängt das Modell in repetitiven Schleifen. Stochastisches Sampling lässt auch niedrigere Kandidaten gewinnen und stellt die natürliche Unvorhersagbarkeit menschlicher Sprache wieder her.
Temperature formt die Wahrscheinlichkeitskurve um, nicht das Wissen des Modells — das Modell "denkt" bei jeder Temperature dasselbe. Niedriges T macht es konservativ, hohes T experimentierfreudig. Aber T=0 verhindert keine Halluzinationen, weil eine konfident falsche Antwort immer noch das Top-Token ist.
Die Sampling-Konzepte aus diesem Artikel gelten nicht nur für Textgenerierung. In Diffusion Models steuern analoge stochastische Prozesse die Bildgenerierung — ein Thema, das im nächsten Artikel dieser Reihe behandelt wird.
Checkpoint: Sampling & Temperature
Warum kann ein Sprachmodell seine Rohwerte (Logits) nicht direkt als Wahrscheinlichkeiten nutzen — und was macht Softmax damit?
Erkläre an der Glücksrad-Analogie den Unterschied zwischen Greedy Decoding und stochastischem Sampling.
Warum verhindert das Einstellen der Temperature auf 0 (Greedy Decoding) keine Halluzinationen?
Quiz: Sampling & Temperature
Frage 1 / 6
Noch offen
Ein Entwickler erhält vom Modell die Rohwerte [5,0; 3,0; 1,0; -2,0] und muss ein Token auswählen. Warum kann er diese Zahlen nicht direkt verwenden, und welche Transformation ist nötig?
1. Ein Entwickler erhält vom Modell die Rohwerte [5,0; 3,0; 1,0; -2,0] und muss ein Token auswählen. Warum kann er diese Zahlen nicht direkt verwenden, und welche Transformation ist nötig?
☐ A) Die Zahlen sind zu groß — er muss sie auf eine Skala von 0 bis 1 dividieren.
☐ B) Die Rohwerte (Logits) bilden keine Wahrscheinlichkeitsverteilung — sie summieren sich nicht zu 1,0 und haben keine direkte Bedeutung als Wahrscheinlichkeiten. Softmax konvertiert sie in eine normierte Verteilung.
☐ C) Die negativen Werte müssen zuerst entfernt werden, dann sind die restlichen Zahlen verwendbar.
☐ D) Die Zahlen können direkt als Wahrscheinlichkeiten interpretiert werden — keine Transformation nötig.
2. Warum erzeugt Greedy Decoding (Temperature=0) häufig repetitiven Text?
☐ A) Das Modell hat nicht genug Vokabular.
☐ B) Es wählt immer das wahrscheinlichste Token, was repetitive Muster verstärkt — sobald eine Schleife beginnt, ist das wahrscheinlichste nächste Token genau das, das die Schleife fortsetzt.
☐ C) Die Trainingsdaten waren repetitiv.
☐ D) Das Modell wiederholt sich absichtlich zur Betonung.
3. Ein Entwickler baut einen Kundensupport-Chatbot. Bei Temperature=0 klingt der Bot roboterhaft. Bei Temperature=2,0 werden die Antworten unverständlich. Welche Einstellung empfiehlst du?
☐ A) Temperature=0,5 bis 0,7 mit Top-P=0,9 — moderate Variation mit einem Sicherheitsfilter gegen extreme Tokens.
☐ B) Temperature=0 beibehalten — die Nutzer gewöhnen sich daran.
☐ C) Temperature=3,0 mit Top-K=5 — maximale Kreativität.
☐ D) Temperature komplett entfernen und nur Top-K=1 verwenden.
4. Ein Medizin-Startup setzt Temperature=0 für seinen KI-Diagnoseassistenten, um faktische Korrektheit zu garantieren. Das System gibt trotzdem falsche medizinische Informationen mit hoher Konfidenz aus. Analysiere, warum dieser Ansatz scheitert.
☐ A) Temperature=0 garantiert Genauigkeit — die Fehler müssen von einem Bug im Code kommen.
☐ B) Temperature kontrolliert Zufälligkeit, nicht Genauigkeit. Das Modell kann bei falschen Fakten aus den Trainingsdaten maximale Konfidenz haben. RAG mit verifizierten medizinischen Datenbanken oder domänenspezifisches Fine-Tuning würde das eigentliche Problem adressieren.
☐ C) Die Temperature sollte für medizinische Anwendungen auf exakt 0,5 gesetzt werden.
☐ D) Das Modell braucht mehr Parameter, um genau zu sein.
5. Du entwickelst einen kreativen Schreibassistenten. Bei welcher Temperature-Einstellung und warum bekommst du die besten Ergebnisse?
☐ A) T=0 — Kreativität braucht Präzision und Wiederholbarkeit.
☐ B) T=0,8 bis 1,2 — genug Variation für ungewöhnliche Formulierungen, aber noch genug Kohärenz für zusammenhängende Texte.
☐ C) T=3,0 — je höher die Temperature, desto kreativer der Output.
☐ D) T=0,1 mit Top-K=100 — niedrige Temperature plus viele Kandidaten ergibt kontrollierte Kreativität.
6. Ein Modell gibt bei T=1 die Verteilung Futter=78,6 %, Spielzeug=19,4 %, Bett=1,9 %, Algebra=0,1 % aus. Wie verändert sich diese Verteilung, wenn du die Temperature auf 0,5 senkst?
☐ A) Alle Wahrscheinlichkeiten werden halbiert.
☐ B) Die Verteilung wird flacher — Algebra bekommt deutlich mehr Wahrscheinlichkeit.
☐ C) Die Verteilung wird schärfer — Futter dominiert noch stärker, Algebra sinkt noch weiter. Das Top-Token gewinnt überproportional.
☐ D) Die Verteilung bleibt gleich, nur die Auswahlgeschwindigkeit ändert sich.
Auflösung: 1) B · 2) B · 3) A · 4) B · 5) B · 6) C