KI auf dem eigenen Rechner laufen lassen — wenn du genug Geduld und genug RAM hast.
10 min Fortgeschritten 22. Juni 2026
Du hast auf Hugging Face Tausende Open-Source-Modelle gesehen. Aber eine Modelldatei auf einem Server ist wie eine Schallplatte ohne Plattenspieler — stumm, bis jemand sie abspielt. Dieser Artikel zeigt dir zwei "Plattenspieler" (Ollama und LM Studio), den Motor, der sie antreibt (llama.cpp), und wie du herausfindest, ob dein PC genug Leistung hat.
Am Ende weißt du, welches Tool zu dir passt, was unter der Haube passiert und welche Modelle dein Rechner schafft.
Ollama & LM Studio — Zwei Tools, ein Ziel
Lokale LLM-Inferenz
AnalogieDefinition
Stell dir Ollama und LM Studio als zwei verschiedene Musik-Player für dieselben MP3-Dateien vor. Ollama ist wie ein Kommandozeilen-Player — du tippst "play song.mp3" und es funktioniert, aber du musst die Befehle kennen. LM Studio ist wie ein grafischer Player mit Albumcover, Playlisten und Equalizer zum Anklicken. Beide spielen dieselbe Musik (dieselben Modelle), beide können zu anderen Geräten streamen (API-Server), aber sie bedienen unterschiedliche Vorlieben.
Analogie:
Stell dir Ollama und LM Studio als zwei verschiedene Musik-Player für dieselben MP3-Dateien vor. Ollama ist wie ein Kommandozeilen-Player — du tippst "play song.mp3" und es funktioniert, aber du musst die Befehle kennen. LM Studio ist wie ein grafischer Player mit Albumcover, Playlisten und Equalizer zum Anklicken. Beide spielen dieselbe Musik (dieselben Modelle), beide können zu anderen Geräten streamen (API-Server), aber sie bedienen unterschiedliche Vorlieben.
Definition:
Ein Sprachmodell direkt auf deinem eigenen Computer ausführen — ohne Cloud, ohne Internet, ohne Abonnement. Der gesamte Rechenvorgang findet lokal statt.
Anders als bei echten Musik-Playern, die wirklich austauschbar sind, bietet LM Studio einige Funktionen, die Ollama nicht hat (Modellvergleich nebeneinander, visuelle RAM-Anzeige) und umgekehrt (Ollamas kuratierte Bibliothek ist einfacher zu navigieren).
Ollama — Terminal-Workflow
1
Modell herunterladen: ollama pull llama3.1:8b
2
Chat starten: ollama run llama3.1:8b
3
Frage eintippen und Antwort erhalten
LM Studio — GUI-Workflow
1
Modell suchen und herunterladen (GGUF-Format, Q4_K_M-Quantisierung — komprimiert das Modell für normale PCs)
2
Parameter konfigurieren und Systemprompt setzen
3
Im Chat-Tab Frage stellen und Antwort erhalten
Ollama
Terminal-basiert. Ein Befehl zum Download, ein Befehl zum Chat. Kuratierte Modellbibliothek. Ideal für Entwickler und Terminal-Nutzer.
LM Studio
Grafische Oberfläche. Hugging-Face-Browser, Modellvergleich, visuelle Parameter. Ideal für Einsteiger und visuelle Nutzer.
Dieselbe Aufgabe — zwei Wege
Aufgabe: "Mit Llama 3.1 8B auf Deutsch chatten." Ollama: Zwei Befehle im Terminal, danach steht jede Antwort auf einer RTX 3060 in ~3 Sekunden da. LM Studio: App öffnen, Modell suchen und herunterladen, Systemprompt setzen, chatten.
Vertiefung: Die OpenAI-kompatible API
Beide Tools bieten einen lokalen API-Server: Ollama startet ihn automatisch auf Port 11434, LM Studio per Knopfdruck auf einem konfigurierbaren Port.
Das Besondere: Die API ist kompatibel mit dem OpenAI-Format. Jedes Programm, Skript oder Plugin, das mit ChatGPT sprechen kann, funktioniert auch mit deinem lokalen Modell — du änderst nur die URL (bei Ollama: http://localhost:11434/v1).
Beispiel: API-Aufruf mit curl (Ollamas eigene Schnittstelle)
Beide Tools senken die Einstiegshürde für lokale KI von "C++-Code kompilieren" auf "einen Befehl ausführen" oder "einen Button klicken" — sie demokratisieren den Zugang.
Die Inferenz-Engine — llama.cpp
Inferenz-Engine
AnalogieDefinition
Wenn Ollama und LM Studio das Lenkrad und das Armaturenbrett eines Autos sind, dann ist llama.cpp der Motor unter der Haube. Du drehst am Lenkrad (tippst einen Prompt), der Motor erledigt die eigentliche mechanische Arbeit (mathematische Berechnung), und das Armaturenbrett zeigt das Ergebnis (generierter Text).
Analogie:
Wenn Ollama und LM Studio das Lenkrad und das Armaturenbrett eines Autos sind, dann ist llama.cpp der Motor unter der Haube. Du drehst am Lenkrad (tippst einen Prompt), der Motor erledigt die eigentliche mechanische Arbeit (mathematische Berechnung), und das Armaturenbrett zeigt das Ergebnis (generierter Text).
Definition:
Die Software-Schicht, die ein Sprachmodell tatsächlich ausführt: Sie lädt die Gewichte in den Speicher, wandelt Text in Tokens um, führt die mathematischen Operationen durch und erzeugt die Antwort.
Ein Automotor ist ein einzelnes physisches Bauteil. llama.cpp ist Software, die verschiedene Hardware nutzen kann (CPU, GPU oder beides) — sie ist flexibler als ein physischer Motor.
Was passiert bei einer Anfrage?
1
Ollama/LM Studio übergibt den Text an llama.cpp
2
llama.cpp zerlegt den Text in numerische Tokens
3
Tokens durchlaufen die neuronalen Netzwerk-Schichten (Matrizenmultiplikationen)
4
Aus den berechneten Wahrscheinlichkeiten wird das nächste Token ausgewählt
5
Schritte 3-4 wiederholen sich, bis die Antwort komplett ist
llama.cpp wurde von Georgi Gerganov in reinem C/C++ geschrieben. Das bedeutet: Es läuft auf praktisch jeder Hardware, ohne Python-Abhängigkeiten. Es ist das unsichtbare Rückgrat, das Ollama und LM Studio bei den meisten Modellen antreibt.
llama.cpp ist für lokale LLMs das, was der Browser für das Web ist — die universelle Laufzeitumgebung, die lokale KI für alle zugänglich gemacht hat.
Hardware-Anforderungen — Schafft dein PC das?
Die Menge an Speicher (RAM oder VRAM) bestimmt, welche Modellgrößen du lokal ausführen kannst. Es gibt drei Ausführungsmodi:
GPU-Inferenz Gesamtes Modell im VRAM der Grafikkarte. Schnellste Option: 20-100 Token/Sekunde.
CPU-Inferenz Modell im normalen RAM. Langsamer aber universell: 5-15 Token/Sekunde.
Hybrid-Modus Modell aufgeteilt auf VRAM und RAM (GPU Offloading). Kompromiss zwischen Geschwindigkeit und Modellgröße.
Stell dir den Speicher deines Computers als Werkbank vor. Ein kleines Modell (7B) ist wie ein kompakter Werkzeugkasten, der auf jeden Schreibtisch passt. Ein mittleres Modell (13B) braucht einen richtigen Arbeitstisch. Ein riesiges Modell (70B) braucht eine Industriewerkbank, die in den meisten Wohnungen keinen Platz hat.
An einer echten Werkbank macht es nur wenig aus, ob ein Werkzeug auf dem Tisch oder im Regal liegt. Beim Computer ist der Geschwindigkeitsunterschied zwischen VRAM und RAM enorm (10-100x), was die Platzierung entscheidend macht.
Faustregeln zur Modellgröße
~4 GB
7B-Modell (Q4) Passt auf fast jeden modernen PC (~4-5 GB RAM)
~8 GB
13B-Modell (Q4) Braucht einen ordentlichen Arbeitsrechner (~8 GB RAM)
~40 GB
70B-Modell (Q4) Braucht eine High-End-Workstation (~40 GB RAM)
Drei Hardware-Szenarien
Laptop (16 GB RAM, keine GPU)
Llama 3.1 8B Q4: ~5 GB im RAM, CPU-Inferenz, ~8 Token/Sek. Nutzbar zum Chatten, mit spürbarer Verzögerung.
Gaming-PC (RTX 3060, 12 GB VRAM)
Dasselbe Modell passt komplett in den VRAM, GPU-Inferenz, ~40 Token/Sek. Text fließt sofort.
Workstation (RTX 4090, 24 GB VRAM)
Llama 3.1 70B Q4: ~40 GB benötigt, Hybrid-Modus (24 GB im VRAM + ~16 GB im RAM), ~2-4 Token/Sek. Großes Modell, nutzbar, aber zäh.
Vertiefung: Tokens pro Sekunde
Tokens pro Sekunde (tok/s) ist die Maßeinheit für die Generierungsgeschwindigkeit. Die menschliche Lesegeschwindigkeit liegt bei etwa 4 Token pro Sekunde.
Ab ~10 tok/s fühlt sich die Generierung flüssig an. Unter 5 tok/s merkt man deutliche Verzögerungen. GPU-Inferenz erreicht typisch 20-100 tok/s, CPU-Inferenz 5-15 tok/s.
Interaktiv: Passt das Modell auf deinen Rechner?
Jetzt kannst du die Faustregeln von oben selbst ausprobieren. Wähle eine Modellgröße und eine Quantisierung. Der Rechner zeigt dir den Speicherbedarf und schätzt für Laptop, Gaming-PC und Workstation, ob das Modell flüssig läuft, ruckelt oder gar nicht passt.
Achtung: Drei verbreitete Mythen
"Lokale Modelle sind so gut wie ChatGPT"
Nein. Lokale Open-Source-Modelle werden besser, erreichen auf dem Heim-PC aber meist nicht die Qualität großer Cloud-Modelle wie ChatGPT oder Claude. Sie sind gut genug für viele Aufgaben, aber nicht für alle.
"Man braucht eine teure Grafikkarte"
Nein. CPU-Inferenz funktioniert mit jedem modernen PC. Es ist langsamer, aber völlig nutzbar. Ein 7B-Modell läuft auf einem Laptop mit 16 GB RAM.
"Alle lokalen Modelle sind gleich gut"
Nein. Die Qualität variiert stark je nach Trainingsverfahren, Datenmenge und Modellarchitektur. Ein gut trainiertes 7B-Modell kann besser sein als ein schlecht trainiertes 13B-Modell.
Zusammenfassung
Ollama (Terminal) und LM Studio (GUI) sind zwei Wege zum selben Ziel: Sprachmodelle lokal ausführen. Beide bieten eine OpenAI-kompatible API.
Unter beiden Tools arbeitet eine Inferenz-Engine (meist llama.cpp), die Gewichte lädt, Tokens verarbeitet und Antworten erzeugt.
7B Q4 braucht ~4 GB (jeder PC), 13B Q4 braucht ~8 GB, 70B Q4 braucht ~40 GB. GPU ist schnell (20-100 tok/s), CPU ist langsamer aber universell (5-15 tok/s).
Quiz: Lokale Inferenz
Frage 1 / 6
Noch offen
Welches Tool bietet einen grafischen Modellbrowser mit Hugging-Face-Anbindung und visuellen Modellvergleich?
1. Welches Tool bietet einen grafischen Modellbrowser mit Hugging-Face-Anbindung und visuellen Modellvergleich?
☐ A) Ollama
☐ B) llama.cpp
☐ C) LM Studio
☐ D) ChatGPT
2. Du hast einen Laptop mit 16 GB RAM und keiner dedizierten GPU. Welche Kombination aus Modellgröße und Inferenzmodus solltest du wählen?
☐ A) 70B-Modell mit GPU-Inferenz — der Laptop schafft das.
☐ B) 7B-Modell (Q4, ~4 GB) mit CPU-Inferenz — langsamer, aber voll funktionsfähig.
☐ C) 13B-Modell mit GPU-Inferenz — die integrierte GPU reicht aus.
☐ D) Jede Modellgröße — RAM spielt für Inferenz keine Rolle.
3. Ollama und LM Studio bieten beide einen OpenAI-kompatiblen API-Server. Welchen praktischen Vorteil hat das?
☐ A) Es bedeutet, dass sie im Hintergrund OpenAIs Server nutzen.
☐ B) Andere Programme und Skripte können dein lokales Modell mit derselben Schnittstelle ansprechen, die sie für ChatGPTs API nutzen würden.
☐ C) Es macht die Modelle schneller durch OpenAIs Optimierung.
☐ D) Es erlaubt dir, Modelle zu OpenAI hochzuladen.
4. Ein Freund behauptet: "Ich habe eine RTX 3060 mit 12 GB VRAM. Ich kann Llama 70B mit voller GPU-Geschwindigkeit ausführen." Was sagst du?
☐ A) Stimmt — 12 GB VRAM reichen für 70B.
☐ B) Stimmt nicht — 70B Q4 braucht ~40 GB. Das Modell würde nur mit viel Arbeitsspeicher (z. B. 64 GB) im Hybrid-Modus (GPU + RAM) laufen und deutlich langsamer sein.
☐ C) Stimmt nicht — die RTX 3060 kann gar keine Modelle ausführen.
☐ D) Stimmt — wenn das Modell auf Q2 quantisiert wird, passt es in 12 GB.
5. Dein Freund will mit einem lokalen LLM Forschungsarbeiten zusammenfassen. Er hat einen Windows-Laptop mit 8 GB RAM und keiner dedizierten GPU. Welche Empfehlung gibst du?
☐ A) Ein 13B-Modell installieren — 8 GB RAM reichen dafür aus.
☐ B) Ein 7B-Modell (Q4) mit Ollama verwenden — braucht ~4 GB, läuft auf der CPU.
☐ C) Es ist unmöglich, auf 8 GB RAM ein Modell auszuführen.
☐ D) LM Studio installieren und das größte verfügbare Modell laden.
6. Du baust ein Python-Skript, das ein lokales LLM abfragen soll. Sowohl Ollama als auch LM Studio sind installiert. Welche gemeinsame Funktion beider Tools macht das möglich, ohne eigenen Inferenz-Code zu schreiben?
☐ A) Beide Tools haben ein Python-SDK eingebaut.
☐ B) Beide starten einen lokalen API-Server im OpenAI-kompatiblen Format.
☐ C) Beide exportieren Modelle als Python-Module.
☐ D) Beide Tools generieren automatisch Python-Code.
Auflösung: 1) C · 2) B · 3) B · 4) B · 5) B · 6) B
Verständnis-Check
Was ist der Unterschied zwischen Ollama und LM Studio — und wann würdest du welches Tool wählen?
Was macht eine Inferenz-Engine (llama.cpp) und warum siehst du sie nie direkt?
Wie bestimmst du, ob ein bestimmtes Modell auf deiner Hardware läuft?