Modelle auf dem eigenen PC (Lokale Inferenz)
KI auf dem eigenen Rechner laufen lassen — wenn du genug Geduld und genug RAM hast.
Du hast auf Hugging Face gesehen, wie viele offene Modelle es dort gibt: Millionen. Aber eine Modelldatei auf einem Server ist wie eine Schallplatte ohne Plattenspieler — stumm, bis jemand sie abspielt. Dieser Artikel zeigt dir zwei "Plattenspieler" (Ollama und LM Studio), den Motor, der sie antreibt (llama.cpp), und wie du herausfindest, ob dein PC genug Leistung hat.
Am Ende weißt du, welches Tool zu dir passt, was unter der Haube passiert und welche Modelle dein Rechner schafft.
Ollama & LM Studio — Zwei Tools, ein Ziel
Definition
Lokale LLM-Inferenz
Analogie
Definition
Anders als bei echten Musik-Playern, die wirklich austauschbar sind, bietet LM Studio einige Funktionen, die Ollama nicht hat (Modellvergleich nebeneinander, visuelle RAM-Anzeige) und umgekehrt (Ollamas kuratierte Bibliothek ist einfacher zu navigieren). Die Grenze verschwimmt inzwischen: Ollama hat seit Juli 2025 ein schlichtes Chatfenster für macOS und Windows, LM Studio seit Januar 2026 einen Chat im Terminal (lms chat).
Ollama — Terminal-Workflow
- 1. Modell herunterladen: ollama pull llama3.1:8b
- 2. Chat starten: ollama run llama3.1:8b
- 3. Frage eintippen und Antwort erhalten
LM Studio — GUI-Workflow
- 1. Modell suchen und herunterladenGGUF-Format, Q4_K_M-Quantisierung — komprimiert das Modell für normale PCs
- 2. Parameter konfigurieren und Systemprompt setzen
- 3. Im Chat-Tab Frage stellen und Antwort erhalten
Terminal-basiert, seit 2025 auch mit schlichtem Chatfenster (macOS, Windows). Ein Befehl zum Download, ein Befehl zum Chat. Kuratierte Modellbibliothek. Ideal für Entwickler und Terminal-Nutzer.
Grafische Oberfläche. Hugging-Face-Browser, Modellvergleich, visuelle Parameter. Ideal für Einsteiger und visuelle Nutzer.
Merke
Dieselbe Aufgabe — zwei Wege
Aufgabe: "Mit Llama 3.1 8B auf Deutsch chatten." Ollama: Zwei Befehle im Terminal, danach steht eine kurze Antwort auf einer RTX 3060 in ~3 Sekunden da. LM Studio: App öffnen, Modell suchen und herunterladen, Systemprompt setzen, chatten.
Beide Tools bieten einen lokalen API-Server: Ollama startet ihn automatisch auf Port 11434, LM Studio per Knopfdruck auf einem konfigurierbaren Port.
Das Besondere: Die API ist kompatibel mit dem OpenAI-Format. Jedes Programm, Skript oder Plugin, das mit ChatGPT sprechen kann, funktioniert auch mit deinem lokalen Modell — du änderst nur die URL (bei Ollama: http://localhost:11434/v1).
Beispiel: API-Aufruf mit curl (Ollamas eigene Schnittstelle)
curl http://localhost:11434/api/generate \
-d '{
"model": "llama3.1:8b",
"prompt": "Was ist DNA?"
}'Beide Tools senken die Einstiegshürde für lokale KI von "C++-Code kompilieren" auf "einen Befehl ausführen" oder "einen Button klicken" — sie demokratisieren den Zugang.
Die Inferenz-Engine — llama.cpp
Definition
Inferenz-Engine
Analogie
Definition
Ein Automotor ist ein einzelnes physisches Bauteil. llama.cpp ist Software, die verschiedene Hardware nutzen kann (CPU, GPU oder beides) — sie ist flexibler als ein physischer Motor.
Was passiert bei einer Anfrage?
- 1. Ollama/LM Studio übergibt den Text an llama.cpp
- 2. llama.cpp zerlegt den Text in numerische Tokens
- 3. Tokens durchlaufen die neuronalen Netzwerk-SchichtenMatrizenmultiplikationen
- 4. Aus den berechneten Wahrscheinlichkeiten wird das nächste Token ausgewählt
- 5. Schritte 3-4 wiederholen sich, bis die Antwort komplett ist
llama.cpp wurde von Georgi Gerganov in reinem C/C++ geschrieben. Das bedeutet: Es läuft auf praktisch jeder Hardware, ohne Python-Abhängigkeiten. Es ist das unsichtbare Rückgrat, das Ollama und LM Studio bei den meisten Modellen antreibt. Allein ist llama.cpp aber nicht mehr: Ollama rechnet manche Modelle mit einer eigenen Engine auf derselben Grundbibliothek (GGML), und auf Apple-Macs nutzen Ollama und LM Studio auch Apples MLX. Seit Februar 2026 gehören Gerganov und sein Team zu Hugging Face; llama.cpp bleibt Open Source.
llama.cpp ist für lokale LLMs das, was der Browser für das Web ist — die universelle Laufzeitumgebung, die lokale KI für alle zugänglich gemacht hat.
Hardware-Anforderungen — Schafft dein PC das?
Die Menge an Speicher (RAM oder VRAM) bestimmt, welche Modellgrößen du lokal ausführen kannst. Es gibt drei Ausführungsmodi:
Stell dir den Speicher deines Computers als Werkbank vor. Ein kleines Modell (7B) ist wie ein kompakter Werkzeugkasten, der auf jeden Schreibtisch passt. Ein mittleres Modell (13B) braucht einen richtigen Arbeitstisch. Ein riesiges Modell (70B) braucht eine Industriewerkbank, die in den meisten Wohnungen keinen Platz hat.
An einer echten Werkbank macht es nur wenig aus, ob ein Werkzeug auf dem Tisch oder im Regal liegt. Beim Computer ist der Geschwindigkeitsunterschied zwischen VRAM und RAM groß (je nach System etwa 4- bis 20-fach), was die Platzierung entscheidend macht.
Faustregeln zur Modellgröße
7B-Modell (Q4)
~4 GB
Passt auf fast jeden modernen PC (~4-5 GB RAM)
13B-Modell (Q4)
~8 GB
Braucht einen ordentlichen Arbeitsrechner (~8 GB RAM)
70B-Modell (Q4)
~40 GB
Braucht eine High-End-Workstation (~40 GB RAM)
Drei Hardware-Szenarien
Llama 3.1 8B Q4: ~5 GB im RAM, CPU-Inferenz, ~8 Token/Sek. Nutzbar zum Chatten, mit spürbarer Verzögerung.
Dasselbe Modell passt komplett in den VRAM, GPU-Inferenz, ~40 Token/Sek. Text fließt sofort.
Merke
Workstation (RTX 4090, 24 GB VRAM)
Llama 3.1 70B Q4: gut 40 GB benötigt, Hybrid-Modus (24 GB im VRAM, rund 20 GB im RAM), ~2-4 Token/Sek. Großes Modell, nutzbar, aber zäh.
Tokens pro Sekunde (tok/s) ist die Maßeinheit für die Generierungsgeschwindigkeit. Die menschliche Lesegeschwindigkeit liegt bei etwa 4 Wörtern, also rund 5 Token pro Sekunde.
Ab ~10 tok/s fühlt sich die Generierung flüssig an. Unter 5 tok/s merkt man deutliche Verzögerungen. GPU-Inferenz erreicht typisch 20-100 tok/s, CPU-Inferenz 5-15 tok/s. Eine Ausnahme sind Mixture-of-Experts-Modelle wie gpt-oss-20b: Sie brauchen Speicher für alle 21 Milliarden Parameter, rechnen pro Token aber nur mit 3,6 Milliarden und sind deshalb viel schneller, als ihre Größe vermuten lässt.
Interaktiv: Passt das Modell auf deinen Rechner?
Jetzt kannst du die Faustregeln von oben selbst ausprobieren. Wähle eine Modellgröße und eine Quantisierung. Der Rechner zeigt dir den Speicherbedarf und schätzt für Laptop, Gaming-PC und Workstation, ob das Modell flüssig läuft, ruckelt oder gar nicht passt.
Achtung: Drei verbreitete Mythen
"Lokale Modelle sind so gut wie ChatGPT"
Nein. Lokale offene Modelle werden besser, erreichen auf dem Heim-PC aber meist nicht die Qualität großer Cloud-Modelle wie ChatGPT oder Claude. Sie sind gut genug für viele Aufgaben, aber nicht für alle. Die stärksten offenen Modelle haben oft eine Billion Parameter und mehr und passen auf keinen Heim-PC.
"Man braucht eine teure Grafikkarte"
Nein. CPU-Inferenz funktioniert mit jedem modernen PC. Es ist langsamer, aber völlig nutzbar. Ein 7B-Modell läuft auf einem Laptop mit 16 GB RAM.
"Alle lokalen Modelle sind gleich gut"
Nein. Die Qualität variiert stark je nach Trainingsverfahren, Datenmenge und Modellarchitektur. Ein gut trainiertes 7B-Modell kann besser sein als ein schlecht trainiertes 13B-Modell.
Merke
Zusammenfassung
- Ollama (vor allem Terminal) und LM Studio (vor allem GUI) sind zwei Wege zum selben Ziel: Sprachmodelle lokal ausführen. Beide bieten eine OpenAI-kompatible API.
- Unter beiden Tools arbeitet eine Inferenz-Engine (meist llama.cpp), die Gewichte lädt, Tokens verarbeitet und Antworten erzeugt.
- 7B Q4 braucht ~4 GB (jeder PC), 13B Q4 braucht ~8 GB, 70B Q4 braucht ~40 GB. GPU ist schnell (20-100 tok/s), CPU ist langsamer, aber universell (5-15 tok/s).
Prüfen
Quiz: Lokale Inferenz
Welches Tool bietet einen grafischen Modellbrowser mit Hugging-Face-Anbindung und visuellen Modellvergleich?
Wähle eine Antwort
1. Welches Tool bietet einen grafischen Modellbrowser mit Hugging-Face-Anbindung und visuellen Modellvergleich?
2. Du hast einen Laptop mit 16 GB RAM und keiner dedizierten GPU. Welche Kombination aus Modellgröße und Inferenzmodus solltest du wählen?
3. Ollama und LM Studio bieten beide einen OpenAI-kompatiblen API-Server. Welchen praktischen Vorteil hat das?
4. Ein Freund behauptet: "Ich habe eine RTX 3060 mit 12 GB VRAM. Ich kann Llama 70B mit voller GPU-Geschwindigkeit ausführen." Was sagst du?
5. Dein Freund will mit einem lokalen LLM Forschungsarbeiten zusammenfassen. Er hat einen Windows-Laptop mit 8 GB RAM und keiner dedizierten GPU. Welche Empfehlung gibst du?
6. Du baust ein Python-Skript, das ein lokales LLM abfragen soll. Sowohl Ollama als auch LM Studio sind installiert. Welche gemeinsame Funktion beider Tools macht das möglich, ohne eigenen Inferenz-Code zu schreiben?
Prüfen
Verständnis-Check
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen