Zurück zum Lernbereich

Quantisierung — Modelle schrumpfen

Modelle schrumpfen für den Hausgebrauch — die Technik, die lokale KI erst praktikabel macht.

  • Konzepte
  • 10 min
  • Fortgeschritten

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: Große KI-Modelle verkleinern

Was ist Quantisierung?

Ein KI-Modell besteht aus Milliarden von Zahlen. Diese Zahlen heißen Gewichte. Quantisierung macht die Zahlen ungenauer. So wird das Modell kleiner. Zum Beispiel: FP16 nutzt 16 Bit pro Zahl. INT4 nutzt nur 4 Bit. Das Modell schrumpft um 70 Prozent. Die Qualität sinkt kaum.

GGUF: Eine Datei für alles

GGUF ist ein Dateiformat für lokale KI-Modelle. Eine GGUF-Datei enthält alles. Du musst nichts zusammenbauen. Q4_K_M ist die empfohlene Variante für die meisten Nutzer.

Passt das Modell auf meinen PC?

Das Modell muss in den Speicher der Grafikkarte passen. Dieser Speicher heißt VRAM. Mit 8 GB VRAM passt ein 7B-Q4_K_M-Modell gut rein. Ein größeres Modell mit weniger Genauigkeit schlägt oft ein kleines Modell mit hoher Genauigkeit.

Die neuesten Open-Source-Sprachmodelle sind erstaunlich leistungsfähig — aber sie wiegen 14 GB oder mehr. Dein Gaming-Laptop hat vielleicht 8 GB VRAM. Heißt das, lokale KI ist unerreichbar?

Keineswegs. Quantisierung komprimiert diese Modelle, indem sie die Genauigkeit ihrer Milliarden von Gewichten reduziert — Schrumpfung um bis zu 80 %, während der Großteil der Intelligenz erhalten bleibt. Dieser Artikel zeigt dir genau, wie das funktioniert und welches Modell auf deine Maschine passt.

Genauigkeit — Wie viele Bits pro Zahl?

Definition

Quantisierung

Analogie

Stell dir die Zahl Pi vor. Bei voller Genauigkeit (FP32) speicherst du "3,1415927" — perfekt für Berechnungen. Bei halber Genauigkeit (FP16) speicherst du "3,141" — gut genug für fast alles. Bei 4-Bit (INT4) speicherst du nur "3" — eine grobe Näherung, aber immer noch korrekt genug, um zu wissen, dass ein Kreis mit Durchmesser 1 einen Umfang von ungefähr 3 hat.

Anders als beim Runden einer einzelnen Zahl betrifft Quantisierung Milliarden von Gewichten gleichzeitig. Wechselwirkungen zwischen gerundeten Gewichten können Fehler unvorhersehbar verstärken. In der Praxis verteilen moderne Quantisierungsmethoden die Fehler jedoch so gut, dass der Qualitätsverlust minimal bleibt.

FP32 (Full Precision) 32 Bit = 4 Bytes pro Gewicht. 7B-Modell: ~28 GB
FP16 (Half Precision) 16 Bit = 2 Bytes pro Gewicht. 7B-Modell: ~14 GB
INT8 8 Bit = 1 Byte pro Gewicht. 7B-Modell: ~7 GB
INT4 4 Bit = 0,5 Bytes pro Gewicht. 7B-Modell: ~3,5 GB

Llama 3.1 8B: FP16 = 16 GB, Q8_0 = 8,5 GB, Q4_K_M = 4,9 GB, Q2_K = 3,2 GB. Warum 4,9 GB und nicht rechnerisch 4 GB? Q4_K_M braucht im Schnitt rund 4,9 Bit pro Gewicht, weil Skalierungsfaktoren und einige genauer gespeicherte Gewichtsmatrizen mitgespeichert werden. Von FP16 zu Q4_K_M schrumpft das Modell um rund 70 %. Gemessener Qualitätsverlust: unter 5 % für die meisten Aufgaben.

Größenreduktion

~70 %

~70 % kleiner von FP16 zu Q4_K_M

Qualitätsverlust

<5 %

Unter 5 % bei Q4_K_M für die meisten Aufgaben

Achtung

Häufiges Missverständnis: Quantisierung zerstört die Modellqualität

Bei 4 Bit (Q4_K_M) liegt der Qualitätsverlust typischerweise unter 5 % auf Standardbenchmarks. Bei Q8_0 ist er von FP16 kaum zu unterscheiden. Unterhalb von Q4 steigt der Verlust schnell: Bei Q3 wird er spürbar, bei Q2 deutlich — aber Q4 und darüber bewahren den Großteil der Modellleistung.

Interaktiv: Was kostet jede Genauigkeitsstufe?

Der Artikel hat die vier Genauigkeitsstufen FP32, FP16, INT8 und INT4 erklärt. Hier siehst du sie als interaktive Vergleichsmatrix: Klicke auf eine Zeile und beobachte, wie sich Größe, Geschwindigkeit und Qualität bei jeder Stufe verhalten. Die Heatmap-Farben zeigen dir sofort, wo die Vorteile und Kompromisse liegen.

Precision-Matrix: Quantisierungsstufen im Vergleich

Vorteil (klein/schnell/hoch)
Neutral
Nachteil (groß/langsam/niedrig)

Zeile anklicken für Detailansicht

FormatBits/ParamModellgrößeInferenz-SpeedQualitätVRAM (7B)
FP3232 100 % 1x 100 % ~28 GB
FP1616 50 % 2x 99 % ~14 GB
INT88 25 % 3x 99 % ~7 GB
INT44 12.5 % 5x 96 % ~3.5 GB
Kernaussage: Quantisierung ist ein Trade-off. INT4-Modelle brauchen nur 12,5 % des Speichers und laufen bis zu 5x schneller — bei meist unter 5 % Qualitätsverlust. Für viele Anwendungen ist das ein exzellenter Deal.

GGUF — Eine Datei, alles drin

GGUF ist wie ein eigenständiger App-Installer — im Gegensatz zum alten Ansatz, bei dem du separate Teile (Gewichte, Konfiguration, Tokenizer) einzeln herunterladen und selbst zusammensetzen musstest. Eine Datei, Doppelklick, fertig.

GGUF (Nachfolger des älteren GGML-Formats) ist das Standarddateiformat für lokale Sprachmodelle, entwickelt für llama.cpp. Es ist monolithisch: Eine Datei enthält Modellgewichte, Tokenizer, Konfiguration und Metadaten. Die Namenskonvention kodiert alles: model-params-quant.gguf. Q-Level (Q2_K bis Q8_0) geben die Quantisierungsstufe an. Das K-Suffix bedeutet K-Quant (blockweise Quantisierung, teils mit gemischter Genauigkeit), S/M/L gibt an, wie viele Gewichte mit höherer Genauigkeit gespeichert werden. Daneben kennt llama.cpp weitere Stufen, etwa die IQ-Varianten und 4-Bit-Gleitkommaformate wie MXFP4 (genutzt von gpt-oss) und seit März 2026 NVIDIAs NVFP4.

Anders als ein App-Installer, der sich nach der Installation selbst löscht, IST die GGUF-Datei das Modell — sie wird während der Inferenz direkt gelesen, nicht entpackt.

Suche nach "Mistral-7B-Instruct-v0.2-GGUF" auf Hugging Face: Du findest 12+ Quantisierungsvarianten desselben Modells. Q4_K_M ist 4,37 GB (gut für 8 GB VRAM). Q2_K ist 3,08 GB (knapp für 4 GB VRAM, mit deutlichem Qualitätsverlust). Du musst NICHT selbst quantisieren — vorquantisierte Dateien sind für praktisch jedes populäre Modell verfügbar.

Sweet Spot

Q4 _K_M

Q4_K_M — empfohlen für die meisten Nutzer

Achtung

Häufiges Missverständnis: Ich muss Modelle selbst quantisieren

Nein. Community-Anbieter und offizielle Modellseiten auf Hugging Face bieten vorquantisierte GGUF-Dateien zum Download an. Du wählst einfach das richtige Q-Level für deine Hardware und lädst es herunter. Manche Hersteller liefern ihre Modelle sogar selbst in 4 Bit aus und haben sie schon im Training darauf vorbereitet (Quantization-Aware Training), etwa Googles Gemma 3 in den QAT-Fassungen oder OpenAIs gpt-oss. Dann ist der Qualitätsverlust kleiner als beim nachträglichen Quantisieren.

Warum heißt es Q4_K_M und nicht einfach Q4? Das K steht für K-Quant, ein Verfahren, das die Gewichte in kleinen Blöcken mit jeweils eigenem Skalierungsfaktor speichert. Dazu kommt eine Mischung: Besonders empfindliche Gewichtsmatrizen (etwa Teile der Attention- und Feed-Forward-Gewichte) werden mit höherer Genauigkeit gespeichert, während die übrigen stärker komprimiert werden. Die Buchstaben S, M und L geben an, wie viele Gewichtsmatrizen diesen Schutz bekommen: L behält mehr Information bei, S komprimiert aggressiver. Q4_K_M ist der empfohlene Kompromiss — deutlich besser als naive 4-Bit-Quantisierung, weil die wichtigsten Informationen geschützt bleiben.

Hardware-Matching — Welches Modell passt auf deine Maschine?

Stell dir vor, du lädst Möbel in einen Umzugswagen. Ein Sofa passt entweder rein — oder nicht. Genauso muss das Modell komplett in den Speicher passen. Du kannst es "komprimieren" (quantisieren), so wie du Möbel auseinanderbauen kannst. Aber ein komplettes Wohnzimmer-Set, das gerade noch reinpasst (großes Modell, starke Quantisierung), macht deine Wohnung besser bewohnbar als ein einzelnes Möbelstück in Topzustand (kleines Modell, keine Quantisierung).

Die eiserne Regel: Dein quantisiertes Modell muss komplett in VRAM (GPU) oder RAM (CPU) passen, plus 1-2 GB Overhead für Betriebssystem und Kontext, solange der Kontext kurz bleibt. Lange Kontexte brauchen mehr: Bei Llama 3.1 8B belegt der Kontextspeicher (KV-Cache) rund 1 GB je 8.000 Tokens. Die Entscheidungsmatrix ordnet VRAM optimale Modell-Quantisierungs-Kombinationen zu. Ein Schlüsselprinzip: Ein größeres Modell bei niedrigerer Quantisierungsstufe (z. B. 13B-Q4) übertrifft innerhalb derselben Modellfamilie in der Regel ein kleineres Modell bei höherer Quantisierungsstufe (z. B. 8B-Q8), weil die breitere Wissensbasis mehr zählt als die Genauigkeit einzelner Gewichte.

Anders als bei Möbeln können Teile eines Modells in langsameren RAM ausgelagert werden (GPU/CPU-Split), aber das reduziert die Geschwindigkeit drastisch. Eine Ausnahme sind Mixture-of-Experts-Modelle wie Gemma 4 26B A4B: Sie rechnen pro Token nur mit einem kleinen Teil ihrer Gewichte (3,8 von 25,2 Milliarden). Lagert man gezielt ihre Experten-Gewichte in den RAM aus, bleiben sie oft gut nutzbar.

4 GB VRAM 3B-Q4_K_M oder 7B-Q2_K (knapp) — sehr begrenzt, nur einfache Aufgaben
8 GB VRAM 7B-Q4_K_M (Sweet Spot) — solide Leistung bei den meisten Aufgaben (ca. 4,4 GB + 1-2 GB Overhead)
12 GB VRAM 13B-Q4_K_M oder 7B-Q6_K — optimaler Bereich für lokale KI
24 GB VRAM Modelle um 30B in Q4_K_M (z. B. Gemma 4 31B: 18,3 GB); 70B-Q4_K_M nur mit RAM-Auslagerung, langsam — professionelle Qualität
8B-Q8 (höhere Genauigkeit)

8,5 GB. Höhere Genauigkeit pro Gewicht. Passt in 12 GB VRAM. Weniger Parameter = schmalere Wissensbasis.

13B-Q4_K_M (größeres Modell)

7,9 GB. Niedrigere Genauigkeit pro Gewicht. Passt in 12 GB VRAM. Mehr Parameter = breitere Wissensbasis. Innerhalb derselben Modellfamilie in der Regel bessere Antworten.

RTX 3060 mit 12 GB VRAM. Option A: 8B-Q6_K = 6,6 GB (passt, hohe Qualität). Option B: 13B-Q4_K_M = 7,9 GB (passt, mehr Wissen). Option C: 70B-Q4_K_M = rund 43 GB (passt nicht, braucht Auslagerung — sehr langsam). Empfehlung: Option B, sofern beide Modelle aus derselben Familie und Generation stammen — dann überwiegt das breitere Wissen des größeren Modells die höhere Einzelgewicht-Genauigkeit des kleineren. Vorsicht beim Mischen von Generationen: Im selben Test von Meta kommt das ältere Llama 2 13B (2023) auf dem Wissenstest MMLU nur auf 53,8 %, das neuere Llama 3 8B (2024) auf 66,6 %. Heutige Familien haben andere Größenstufen, etwa Qwen3 mit 8B und 14B: 14B-Q4_K_M wiegt 9,0 GB und passt in 12 GB.

CPU-only: 7B-Q4_K_M läuft im normalen Arbeitsspeicher je nach Speichertempo mit etwa 5 bis 15 Tokens pro Sekunde — nutzbar, aber deutlich langsamer als GPU-Inferenz.

Achtung

Häufiges Missverständnis: Immer die höchste Quantisierungsstufe (Q8) verwenden

Kontraintuitiv, aber wahr: Bei begrenztem VRAM liefert ein größeres Modell derselben Familie bei Q4 meist bessere Antworten als ein kleineres Modell bei Q8. Das Gesamtwissen in mehr Parametern überwiegt den Genauigkeitsvorteil von mehr Bits pro Gewicht.

Warum übertrifft ein 13B-Modell mit Q4 oft ein 8B-Modell mit Q8? Die Antwort liegt in der Natur des gespeicherten Wissens. Jeder Parameter kodiert Beziehungen zwischen Wörtern, Konzepten und Mustern. Mehr Parameter bedeuten mehr Beziehungen — eine breitere Wissensbasis. Die Reduktion von Q8 auf Q4 verringert die Genauigkeit einzelner Gewichte, aber die grundlegenden Muster bleiben erkennbar. Benchmarks bestätigen dies innerhalb einer Familie: Auf dem Wissenstest MMLU erreicht Llama 2 13B 54,8 %, Llama 2 7B nur 45,3 % (Herstellerwerte in voller Genauigkeit). Q4_K_M kostet davon wenig: Bei Llama 2 steigt die Perplexität, ein Maß für Vorhersagefehler, laut Messungen von llama.cpp nur um gut 1 %. Der Wissensvorsprung von 6 Milliarden zusätzlichen Parametern überwiegt den Genauigkeitsverlust durch stärkere Quantisierung deutlich.

Merke

Zusammenfassung

  • Genauigkeit bestimmt Modellgröße: FP16 braucht 2 Bytes pro Gewicht, INT4 nur 0,5 Bytes — eine 4-fache Reduktion, die ein 14-GB-Modell in 3,5 GB schrumpft.
  • GGUF ist das Standardformat für lokale Modelle — eine Datei enthält alles. Q4_K_M ist der empfohlene Sweet Spot für die meisten Nutzer.
  • Immer Modell und Quantisierung auf die Hardware abstimmen: Das Modell muss komplett in VRAM (GPU) oder RAM (CPU) passen, plus 1-2 GB Overhead.

Dieser Artikel schließt den Lernpfad „Lokale Sprachmodelle“ ab. Du weißt jetzt, wo du Modelle findest, wie du sie lokal ausführst und wie du sie auf deine Hardware zuschneidest. Bereit für den nächsten Schritt?

Prüfen

Quiz: Quantisierung

Noch offen

Was bedeutet "INT4-Quantisierung" für die Gewichte eines Modells?

Wähle eine Antwort

Auflösung: 1) B · 2) B · 3) B · 4) B · 5) B

Prüfen

Wissens-Check

Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.

0 von 3 sitzen