Large Language Models
Das Modell, das im Grunde nur das nächste Wort schätzt — und dabei eine erstaunliche Karriere macht.
Du hast gesehen, wie Transformer Self-Attention nutzen, um Sequenzen zu verarbeiten. Jetzt stell dir vor, du skalierst diese Architektur auf 175 Milliarden Parameter und fütterst sie mit mehr Text, als ein Mensch in hundert Leben lesen könnte. Das Ergebnis: ein System, das nur die Aufgabe hatte, das nächste Wort vorherzusagen — und dabei gelernt hat, Gedichte zu schreiben, Code zu debuggen und Quantenphysik zu erklären.
Dieser Artikel erklärt, wie LLMs funktionieren, warum Skalierung so präzise wirkt, und was eine rohe Textmaschine in den Assistenten verwandelt, den du als ChatGPT kennst.
Die einfachste Aufgabe, die alles verändert
Large Language Model (LLM)
Das Trainingsziel ist verblüffend simpel: Gegeben eine Folge von Token, sage das nächste vorher. Der gesamte Trainingstext liefert die Labels — jedes Token ist gleichzeitig Eingabe und Ziel. Deshalb braucht man keine menschlichen Annotoren.
Beispiel: Der Satz "Die Katze sitzt auf dem ___". Das Modell ordnet hohe Wahrscheinlichkeiten Wörtern wie "Dach", "Tisch" oder "Sofa" zu, und niedrige Wahrscheinlichkeiten für "Autobahn" oder "Kühlschrank". Aus Milliarden solcher Vorhersagen baut sich ein tiefes Verständnis der Sprachstruktur auf.
Emergente Fähigkeiten
Verstehen LLMs Sprache?
GPT-3 markiert einen Meilenstein: 175 Milliarden Parameter, trainiert auf 300 Milliarden Token, Trainingskosten etwa 4,6 Millionen Dollar. Trainiert auf mehr Text, als ein Mensch in hundert Leben lesen könnte.
Fehlvorstellung
Interaktiv: Next-Token Prediction ausprobieren
Bewege den Temperatur-Slider und beobachte, wie sich die Wahrscheinlichkeitsverteilung über mögliche nächste Token verändert. Würfle Token und sieh, wie sich die tatsächliche Häufigkeitsverteilung mit mehr Samples der theoretischen Wahrscheinlichkeit annähert.
Ein LLM hat den Anfang "Das Wetter heute ___" generiert und berechnet Wahrscheinlichkeiten für das nächste Wort. Das natürlichste nächste Wort ist "ist" — aber die Temperatur bestimmt, ob das Modell immer die sichere Wahl trifft oder auch ungewöhnlichere Fortsetzungen wagt.
Wahrscheinlichkeitsverteilung (bei T=1.0)
Ergebnisse (0 Samples)
Noch keine Samples — klicke "Token würfeln"
Klicke "Token würfeln" um zu sehen, wie das LLM bei der aktuellen Temperatur sampelt. Beobachte, wie sich die Verteilung der Ergebnisse mit mehr Samples der theoretischen Wahrscheinlichkeit annähert.
Das Rezept für Skalierung
Kaplan et al. (2020) wiesen empirisch nach, dass die Leistung von LLMs als Potenzgesetz steigt, wenn drei Faktoren zusammen skaliert werden: Modellparameter, Trainingsdaten (Token) und Rechenleistung. Die Verbesserung ist vorhersagbar und kontinuierlich — keine plötzlichen Sprünge.
GPT-2 (OpenAI)
1,5 Mrd. Parameter. Erster Beweis, dass Skalierung allein bemerkenswerte Textgenerierung ermöglicht.
GPT-3 (OpenAI)
175 Mrd. Parameter, 300 Mrd. Token. Zeigt Few-Shot-Learning: Das Modell löst neue Aufgaben mit nur wenigen Beispielen im Prompt.
Chinchilla (DeepMind)
70 Mrd. Parameter, 1,4 Bio. Token. Erreicht oder übertrifft GPT-3 mit 60% weniger Parametern — die optimale Ratio ist ~20 Token pro Parameter.
Llama 3 (Meta)
8B/70B/405B-Varianten, 15 Bio. Token. Open-Source-Modelle mit veröffentlichten Gewichten. 37 Token pro Parameter — bewusst übertrainiert für Inferenz-Effizienz.
GPT-4 (OpenAI)
Geschätzt ~1,8 Bio. Parameter (Mixture of Experts — eine Technik, bei der das Modell aus spezialisierten Teilnetzen besteht). Multimodal — verarbeitet Text und Bilder. Genaue Architektur nicht veröffentlicht.
Konkreter Vergleich: GPT-3 (175B Parameter, 300B Token, untertrainiert) versus Chinchilla (70B Parameter, 1,4T Token, optimal) — vergleichbare Leistung bei einem Bruchteil der Kosten.
Deep Dive: Die Chinchilla-Korrektur
Fehlvorstellung
Von der Textmaschine zum Assistenten
Ein LLM durchläuft drei Trainingsphasen. Jede Phase fügt eine andere Fähigkeit hinzu. Die Kosten und der Zeitaufwand sinken von Phase zu Phase drastisch.
Phase 1: Pre-training. Die teuerste Phase (Millionen Dollar). Das Modell liest massenhaft Text und lernt allgemeine Sprachstrukturen, Fakten und Zusammenhänge. Ergebnis: eine Textvervollständigungsmaschine, die jeden Satz weiterführen kann — aber keine Anweisungen befolgt.
GPT-1: Geburt der Generative Pre-Training
Die Grundlage aller modernen Large Language Models durch unsupervised Pre-Training. Am 11. Juni 2018 veröffentlichte Alec Radford mit seinem OpenAI-Team das wegweisende Paper „Improving Language Understanding by Generative Pre-Training“. Diese Arbeit kombinierte erstmals Transformer-Architektur mit unsupervised Pre-Training und etablierte das zweistufige Paradigma: erst generatives Training auf großen Textkorpora, dann Fine-Tuning für spezifische Aufgaben. Mit 117 Millionen Parametern und Training auf dem BooksCorpus-Datensatz mit über 7.000 unveröffentlichten Büchern verschiedener Genres bewies GPT-1, dass Transfer Learning für Sprachverständnis funktioniert. Die zwölf-schichtige Decoder-Only-Transformer-Architektur mit masked self-attention legte das Template für die gesamte GPT-Serie. Diese Innovation machte aus der Transformer-Architektur von 2017 ein praktikables Werkzeug für vielfältige NLP-Aufgaben und begründete die Ära der Large Language Models.
Phase 2: Instruction Tuning. Supervised Fine-tuning auf (Prompt, Antwort)-Paaren. Das Modell lernt, Anweisungen zu befolgen: Frage → hilfreiche Antwort statt beliebiger Textvervollständigung. Relativ günstig und schnell.
Phase 3: RLHF (Reinforcement Learning from Human Feedback). Menschliche Bewerter ranken verschiedene Modellantworten. Ein Reward-Modell wird daraus trainiert und steuert die weitere Optimierung. Das Modell wird hilfreicher, sicherer und ehrlicher.
Prompt: "Erkläre Quantencomputing". Antwort: Setzt den Text beliebig fort, möglicherweise ein Wikipedia-ähnlicher Absatz, geht oft vom Thema ab. Keine Struktur, keine Adressierung des Nutzers.
Prompt: "Erkläre Quantencomputing". Antwort: Strukturierte, hilfreiche Erklärung, die sich an den Nutzer richtet. Gleiche Grundgewichte, anderes Verhalten durch zusätzliche Trainingsschichten.
Das Konzept des Foundation Models: Ein universell vortrainiertes Modell wird zur Basis für spezialisierte Anwendungen. Medizin, Recht, Kundenservice — per Fine-tuning wird ein Generalmodell zum Experten. Man trainiert nicht jedes Mal von null.
LLaMA: Open-Source Foundation Model
Die Demokratisierung von Large Language Models durch offene Forschungsmodelle. Am 24. Februar 2023 veröffentlichte Meta AI LLaMA (Large Language Model Meta AI) – eine Sammlung von Foundation Models von 7B bis 65B Parametern, ausschließlich mit öffentlich verfügbaren Daten trainiert. Das wegweisende Paper 'LLaMA: Open and Efficient Foundation Language Models' bewies, dass state-of-the-art Leistung ohne proprietäre Datensätze erreichbar ist. LLaMA ermöglichte Forschern ohne Zugang zu großer Infrastruktur das Studium fortgeschrittener Sprachmodelle. Der Inference-Code wurde unter GPLv3-Lizenz veröffentlicht, während Modell-Zugang fallweise für akademische Forschung gewährt wurde. Mit Training auf Billionen von Tokens und verschiedenen Modellgrößen adressierte LLaMA unterschiedliche Hardware-Anforderungen. Diese Arbeit katalysierte eine Welle offener LLM-Forschung und inspirierte zahlreiche Folgemodelle in der Open-Source-Community.
Deep Dive: Open Source vs. Closed Source
Fehlvorstellung
Der nächste Artikel zu Transfer Learning & Fine-Tuning vertieft den Fine-tuning-Prozess und zeigt, wie man mit wenigen hundert Beispielen ein spezialisiertes Modell erstellt.
Interaktiv: Die Attention-Formel erkunden
Klicke auf die einzelnen Terme der Attention-Formel, um ihre Bedeutung zu verstehen. Beachte, wie Query, Key und Value zusammenwirken, um relevante Informationen zu gewichten.
Attention — Kompaktform
Der Attention-Output: eine gewichtete Summe der Value-Vektoren. Für jedes Token berechnet der Mechanismus, welche anderen Token relevant sind, und kombiniert deren Informationen entsprechend.
Konkretes Beispiel
Gegeben: Attention(Q, K, V) = softmax(QKᵀ/√dₖ) · V
Komponenten: S = QKᵀ/√dₖ (Scoring-Funktion) , A = softmax(S) · V (Aggregation)
Die wichtigsten Erkenntnisse
Quiz: Large Language Models
Verständnisprüfung
- Warum braucht Pre-training keine manuell gelabelten Daten, und woher kommen stattdessen die Trainingsantworten?
- Wie hat die Chinchilla-Studie das bisherige Verständnis von Scaling Laws verändert?
- Was ist der genaue Unterschied zwischen einem Basismodell wie GPT-3 und einem interaktiven Chat-Modell wie ChatGPT, und welcher Trainingsschritt ist dafür verantwortlich?