Quantisierung — Modelle schrumpfen
Modelle schrumpfen für den Hausgebrauch — die Technik, die lokale KI erst praktikabel macht.
Die neuesten Open-Source-Sprachmodelle sind erstaunlich leistungsfähig — aber sie wiegen 14 GB oder mehr. Dein Gaming-Laptop hat vielleicht 8 GB VRAM. Heißt das, lokale KI ist unerreichbar?
Keineswegs. Quantisierung komprimiert diese Modelle, indem sie die Genauigkeit ihrer Milliarden von Gewichten reduziert — Schrumpfung um bis zu 80 %, während der Großteil der Intelligenz erhalten bleibt. Dieser Artikel zeigt dir genau, wie das funktioniert und welches Modell auf deine Maschine passt.
Genauigkeit — Wie viele Bits pro Zahl?
Definition
Quantisierung
Analogie
Definition
Anders als beim Runden einer einzelnen Zahl betrifft Quantisierung Milliarden von Gewichten gleichzeitig. Wechselwirkungen zwischen gerundeten Gewichten können Fehler unvorhersehbar verstärken. In der Praxis verteilen moderne Quantisierungsmethoden die Fehler jedoch so gut, dass der Qualitätsverlust minimal bleibt.
Llama 3.1 8B: FP16 = 16 GB, Q8_0 = 8,5 GB, Q4_K_M = 4,9 GB, Q2_K = 3,2 GB. Warum 4,9 GB und nicht rechnerisch 4 GB? Q4_K_M braucht im Schnitt rund 4,9 Bit pro Gewicht, weil Skalierungsfaktoren und einige genauer gespeicherte Gewichtsmatrizen mitgespeichert werden. Von FP16 zu Q4_K_M schrumpft das Modell um rund 70 %. Gemessener Qualitätsverlust: unter 5 % für die meisten Aufgaben.
Größenreduktion
~70 %
~70 % kleiner von FP16 zu Q4_K_M
Qualitätsverlust
<5 %
Unter 5 % bei Q4_K_M für die meisten Aufgaben
Achtung
Häufiges Missverständnis: Quantisierung zerstört die Modellqualität
Bei 4 Bit (Q4_K_M) liegt der Qualitätsverlust typischerweise unter 5 % auf Standardbenchmarks. Bei Q8_0 ist er von FP16 kaum zu unterscheiden. Unterhalb von Q4 steigt der Verlust schnell: Bei Q3 wird er spürbar, bei Q2 deutlich — aber Q4 und darüber bewahren den Großteil der Modellleistung.
Interaktiv: Was kostet jede Genauigkeitsstufe?
Der Artikel hat die vier Genauigkeitsstufen FP32, FP16, INT8 und INT4 erklärt. Hier siehst du sie als interaktive Vergleichsmatrix: Klicke auf eine Zeile und beobachte, wie sich Größe, Geschwindigkeit und Qualität bei jeder Stufe verhalten. Die Heatmap-Farben zeigen dir sofort, wo die Vorteile und Kompromisse liegen.
Precision-Matrix: Quantisierungsstufen im Vergleich
Zeile anklicken für Detailansicht
| Format | Bits/Param | Modellgröße | Inferenz-Speed | Qualität | VRAM (7B) |
|---|---|---|---|---|---|
| FP32 | 32 | 100 % | 1x | 100 % | ~28 GB |
| FP16 | 16 | 50 % | 2x | 99 % | ~14 GB |
| INT8 | 8 | 25 % | 3x | 99 % | ~7 GB |
| INT4 | 4 | 12.5 % | 5x | 96 % | ~3.5 GB |
GGUF — Eine Datei, alles drin
GGUF ist wie ein eigenständiger App-Installer — im Gegensatz zum alten Ansatz, bei dem du separate Teile (Gewichte, Konfiguration, Tokenizer) einzeln herunterladen und selbst zusammensetzen musstest. Eine Datei, Doppelklick, fertig.
GGUF (Nachfolger des älteren GGML-Formats) ist das Standarddateiformat für lokale Sprachmodelle, entwickelt für llama.cpp. Es ist monolithisch: Eine Datei enthält Modellgewichte, Tokenizer, Konfiguration und Metadaten. Die Namenskonvention kodiert alles: model-params-quant.gguf. Q-Level (Q2_K bis Q8_0) geben die Quantisierungsstufe an. Das K-Suffix bedeutet K-Quant (blockweise Quantisierung, teils mit gemischter Genauigkeit), S/M/L gibt an, wie viele Gewichte mit höherer Genauigkeit gespeichert werden. Daneben kennt llama.cpp weitere Stufen, etwa die IQ-Varianten und 4-Bit-Gleitkommaformate wie MXFP4 (genutzt von gpt-oss) und seit März 2026 NVIDIAs NVFP4.
Anders als ein App-Installer, der sich nach der Installation selbst löscht, IST die GGUF-Datei das Modell — sie wird während der Inferenz direkt gelesen, nicht entpackt.
Suche nach "Mistral-7B-Instruct-v0.2-GGUF" auf Hugging Face: Du findest 12+ Quantisierungsvarianten desselben Modells. Q4_K_M ist 4,37 GB (gut für 8 GB VRAM). Q2_K ist 3,08 GB (knapp für 4 GB VRAM, mit deutlichem Qualitätsverlust). Du musst NICHT selbst quantisieren — vorquantisierte Dateien sind für praktisch jedes populäre Modell verfügbar.
Sweet Spot
Q4 _K_M
Q4_K_M — empfohlen für die meisten Nutzer
Achtung
Häufiges Missverständnis: Ich muss Modelle selbst quantisieren
Nein. Community-Anbieter und offizielle Modellseiten auf Hugging Face bieten vorquantisierte GGUF-Dateien zum Download an. Du wählst einfach das richtige Q-Level für deine Hardware und lädst es herunter. Manche Hersteller liefern ihre Modelle sogar selbst in 4 Bit aus und haben sie schon im Training darauf vorbereitet (Quantization-Aware Training), etwa Googles Gemma 3 in den QAT-Fassungen oder OpenAIs gpt-oss. Dann ist der Qualitätsverlust kleiner als beim nachträglichen Quantisieren.
Warum heißt es Q4_K_M und nicht einfach Q4? Das K steht für K-Quant, ein Verfahren, das die Gewichte in kleinen Blöcken mit jeweils eigenem Skalierungsfaktor speichert. Dazu kommt eine Mischung: Besonders empfindliche Gewichtsmatrizen (etwa Teile der Attention- und Feed-Forward-Gewichte) werden mit höherer Genauigkeit gespeichert, während die übrigen stärker komprimiert werden. Die Buchstaben S, M und L geben an, wie viele Gewichtsmatrizen diesen Schutz bekommen: L behält mehr Information bei, S komprimiert aggressiver. Q4_K_M ist der empfohlene Kompromiss — deutlich besser als naive 4-Bit-Quantisierung, weil die wichtigsten Informationen geschützt bleiben.
Hardware-Matching — Welches Modell passt auf deine Maschine?
Stell dir vor, du lädst Möbel in einen Umzugswagen. Ein Sofa passt entweder rein — oder nicht. Genauso muss das Modell komplett in den Speicher passen. Du kannst es "komprimieren" (quantisieren), so wie du Möbel auseinanderbauen kannst. Aber ein komplettes Wohnzimmer-Set, das gerade noch reinpasst (großes Modell, starke Quantisierung), macht deine Wohnung besser bewohnbar als ein einzelnes Möbelstück in Topzustand (kleines Modell, keine Quantisierung).
Die eiserne Regel: Dein quantisiertes Modell muss komplett in VRAM (GPU) oder RAM (CPU) passen, plus 1-2 GB Overhead für Betriebssystem und Kontext, solange der Kontext kurz bleibt. Lange Kontexte brauchen mehr: Bei Llama 3.1 8B belegt der Kontextspeicher (KV-Cache) rund 1 GB je 8.000 Tokens. Die Entscheidungsmatrix ordnet VRAM optimale Modell-Quantisierungs-Kombinationen zu. Ein Schlüsselprinzip: Ein größeres Modell bei niedrigerer Quantisierungsstufe (z. B. 13B-Q4) übertrifft innerhalb derselben Modellfamilie in der Regel ein kleineres Modell bei höherer Quantisierungsstufe (z. B. 8B-Q8), weil die breitere Wissensbasis mehr zählt als die Genauigkeit einzelner Gewichte.
Anders als bei Möbeln können Teile eines Modells in langsameren RAM ausgelagert werden (GPU/CPU-Split), aber das reduziert die Geschwindigkeit drastisch. Eine Ausnahme sind Mixture-of-Experts-Modelle wie Gemma 4 26B A4B: Sie rechnen pro Token nur mit einem kleinen Teil ihrer Gewichte (3,8 von 25,2 Milliarden). Lagert man gezielt ihre Experten-Gewichte in den RAM aus, bleiben sie oft gut nutzbar.
8,5 GB. Höhere Genauigkeit pro Gewicht. Passt in 12 GB VRAM. Weniger Parameter = schmalere Wissensbasis.
7,9 GB. Niedrigere Genauigkeit pro Gewicht. Passt in 12 GB VRAM. Mehr Parameter = breitere Wissensbasis. Innerhalb derselben Modellfamilie in der Regel bessere Antworten.
RTX 3060 mit 12 GB VRAM. Option A: 8B-Q6_K = 6,6 GB (passt, hohe Qualität). Option B: 13B-Q4_K_M = 7,9 GB (passt, mehr Wissen). Option C: 70B-Q4_K_M = rund 43 GB (passt nicht, braucht Auslagerung — sehr langsam). Empfehlung: Option B, sofern beide Modelle aus derselben Familie und Generation stammen — dann überwiegt das breitere Wissen des größeren Modells die höhere Einzelgewicht-Genauigkeit des kleineren. Vorsicht beim Mischen von Generationen: Im selben Test von Meta kommt das ältere Llama 2 13B (2023) auf dem Wissenstest MMLU nur auf 53,8 %, das neuere Llama 3 8B (2024) auf 66,6 %. Heutige Familien haben andere Größenstufen, etwa Qwen3 mit 8B und 14B: 14B-Q4_K_M wiegt 9,0 GB und passt in 12 GB.
CPU-only: 7B-Q4_K_M läuft im normalen Arbeitsspeicher je nach Speichertempo mit etwa 5 bis 15 Tokens pro Sekunde — nutzbar, aber deutlich langsamer als GPU-Inferenz.
Achtung
Häufiges Missverständnis: Immer die höchste Quantisierungsstufe (Q8) verwenden
Kontraintuitiv, aber wahr: Bei begrenztem VRAM liefert ein größeres Modell derselben Familie bei Q4 meist bessere Antworten als ein kleineres Modell bei Q8. Das Gesamtwissen in mehr Parametern überwiegt den Genauigkeitsvorteil von mehr Bits pro Gewicht.
Warum übertrifft ein 13B-Modell mit Q4 oft ein 8B-Modell mit Q8? Die Antwort liegt in der Natur des gespeicherten Wissens. Jeder Parameter kodiert Beziehungen zwischen Wörtern, Konzepten und Mustern. Mehr Parameter bedeuten mehr Beziehungen — eine breitere Wissensbasis. Die Reduktion von Q8 auf Q4 verringert die Genauigkeit einzelner Gewichte, aber die grundlegenden Muster bleiben erkennbar. Benchmarks bestätigen dies innerhalb einer Familie: Auf dem Wissenstest MMLU erreicht Llama 2 13B 54,8 %, Llama 2 7B nur 45,3 % (Herstellerwerte in voller Genauigkeit). Q4_K_M kostet davon wenig: Bei Llama 2 steigt die Perplexität, ein Maß für Vorhersagefehler, laut Messungen von llama.cpp nur um gut 1 %. Der Wissensvorsprung von 6 Milliarden zusätzlichen Parametern überwiegt den Genauigkeitsverlust durch stärkere Quantisierung deutlich.
Merke
Zusammenfassung
- Genauigkeit bestimmt Modellgröße: FP16 braucht 2 Bytes pro Gewicht, INT4 nur 0,5 Bytes — eine 4-fache Reduktion, die ein 14-GB-Modell in 3,5 GB schrumpft.
- GGUF ist das Standardformat für lokale Modelle — eine Datei enthält alles. Q4_K_M ist der empfohlene Sweet Spot für die meisten Nutzer.
- Immer Modell und Quantisierung auf die Hardware abstimmen: Das Modell muss komplett in VRAM (GPU) oder RAM (CPU) passen, plus 1-2 GB Overhead.
Dieser Artikel schließt den Lernpfad „Lokale Sprachmodelle“ ab. Du weißt jetzt, wo du Modelle findest, wie du sie lokal ausführst und wie du sie auf deine Hardware zuschneidest. Bereit für den nächsten Schritt?
Prüfen
Quiz: Quantisierung
Was bedeutet "INT4-Quantisierung" für die Gewichte eines Modells?
Wähle eine Antwort
1. Was bedeutet "INT4-Quantisierung" für die Gewichte eines Modells?
2. Ein Modell hat 7 Milliarden Parameter. Wie viel Speicher braucht es ungefähr in FP16 gegenüber INT4?
3. Du siehst den Dateinamen mistral-7b-instruct-Q4_K_M.gguf. Was verrät dir "Q4_K_M"?
4. Du hast 12 GB VRAM. Welches Setup wählst du und warum?
5. Ein Freund behauptet: "Ich lade immer Q8-Dateien, weil höhere Quantisierung bessere Antworten bedeutet." Du hast eine GPU mit 12 GB VRAM. Warum könnte diese Strategie nach hinten losgehen?
Prüfen
Wissens-Check
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen