Zurück zum Lernbereich

Modelle auf dem eigenen PC (Lokale Inferenz)

KI auf dem eigenen Rechner laufen lassen — wenn du genug Geduld und genug RAM hast.

  • 10 min
  • Fortgeschritten

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: KI auf dem eigenen Computer

Was ist lokale Inferenz?

Du kannst KI-Programme auf deinem Computer nutzen. Das heißt lokale Inferenz. Lokale Inferenz bedeutet: Das Programm läuft auf deinem Rechner. Du brauchst kein Internet. Deine Daten bleiben bei dir.

Zwei Werkzeuge

Es gibt zwei bekannte Werkzeuge.
Ollama: Du tippst Befehle in ein schwarzes Fenster. Das heißt Terminal. LM Studio: Du klickst auf Buttons auf dem Bildschirm. Beide nutzen meist dasselbe Programm im Hintergrund. Inzwischen hat Ollama auch ein Chat-Fenster. Und LM Studio geht auch im Terminal.

Was brauche ich?

Dein Computer braucht genug Arbeitsspeicher. Arbeitsspeicher ist RAM. Kleine KI-Programme brauchen 4 GB RAM. Mittlere brauchen 8 GB. Große brauchen 40 GB. Eine Grafikkarte macht das Programm schneller.

Du hast auf Hugging Face gesehen, wie viele offene Modelle es dort gibt: Millionen. Aber eine Modelldatei auf einem Server ist wie eine Schallplatte ohne Plattenspieler — stumm, bis jemand sie abspielt. Dieser Artikel zeigt dir zwei "Plattenspieler" (Ollama und LM Studio), den Motor, der sie antreibt (llama.cpp), und wie du herausfindest, ob dein PC genug Leistung hat.

Am Ende weißt du, welches Tool zu dir passt, was unter der Haube passiert und welche Modelle dein Rechner schafft.

Ollama & LM Studio — Zwei Tools, ein Ziel

Definition

Lokale LLM-Inferenz

Analogie

Stell dir Ollama und LM Studio als zwei verschiedene Musik-Player für dieselben MP3-Dateien vor. Ollama ist wie ein Kommandozeilen-Player — du tippst "play song.mp3" und es funktioniert, aber du musst die Befehle kennen. LM Studio ist wie ein grafischer Player mit Albumcover, Playlisten und Equalizer zum Anklicken. Beide spielen dieselbe Musik (dieselben Modelle), beide können zu anderen Geräten streamen (API-Server), aber sie bedienen unterschiedliche Vorlieben.

Anders als bei echten Musik-Playern, die wirklich austauschbar sind, bietet LM Studio einige Funktionen, die Ollama nicht hat (Modellvergleich nebeneinander, visuelle RAM-Anzeige) und umgekehrt (Ollamas kuratierte Bibliothek ist einfacher zu navigieren). Die Grenze verschwimmt inzwischen: Ollama hat seit Juli 2025 ein schlichtes Chatfenster für macOS und Windows, LM Studio seit Januar 2026 einen Chat im Terminal (lms chat).

Ollama — Terminal-Workflow

  1. 1. Modell herunterladen: ollama pull llama3.1:8b
  2. 2. Chat starten: ollama run llama3.1:8b
  3. 3. Frage eintippen und Antwort erhalten

LM Studio — GUI-Workflow

  1. 1. Modell suchen und herunterladenGGUF-Format, Q4_K_M-Quantisierung — komprimiert das Modell für normale PCs
  2. 2. Parameter konfigurieren und Systemprompt setzen
  3. 3. Im Chat-Tab Frage stellen und Antwort erhalten
Ollama

Terminal-basiert, seit 2025 auch mit schlichtem Chatfenster (macOS, Windows). Ein Befehl zum Download, ein Befehl zum Chat. Kuratierte Modellbibliothek. Ideal für Entwickler und Terminal-Nutzer.

LM Studio

Grafische Oberfläche. Hugging-Face-Browser, Modellvergleich, visuelle Parameter. Ideal für Einsteiger und visuelle Nutzer.

Merke

Dieselbe Aufgabe — zwei Wege

Aufgabe: "Mit Llama 3.1 8B auf Deutsch chatten." Ollama: Zwei Befehle im Terminal, danach steht eine kurze Antwort auf einer RTX 3060 in ~3 Sekunden da. LM Studio: App öffnen, Modell suchen und herunterladen, Systemprompt setzen, chatten.

Beide Tools bieten einen lokalen API-Server: Ollama startet ihn automatisch auf Port 11434, LM Studio per Knopfdruck auf einem konfigurierbaren Port.

Das Besondere: Die API ist kompatibel mit dem OpenAI-Format. Jedes Programm, Skript oder Plugin, das mit ChatGPT sprechen kann, funktioniert auch mit deinem lokalen Modell — du änderst nur die URL (bei Ollama: http://localhost:11434/v1).

Beispiel: API-Aufruf mit curl (Ollamas eigene Schnittstelle)

curl http://localhost:11434/api/generate \
  -d '{
    "model": "llama3.1:8b",
    "prompt": "Was ist DNA?"
  }'

Beide Tools senken die Einstiegshürde für lokale KI von "C++-Code kompilieren" auf "einen Befehl ausführen" oder "einen Button klicken" — sie demokratisieren den Zugang.

Die Inferenz-Engine — llama.cpp

Definition

Inferenz-Engine

Analogie

Wenn Ollama und LM Studio das Lenkrad und das Armaturenbrett eines Autos sind, dann ist llama.cpp der Motor unter der Haube. Du drehst am Lenkrad (tippst einen Prompt), der Motor erledigt die eigentliche mechanische Arbeit (mathematische Berechnung), und das Armaturenbrett zeigt das Ergebnis (generierter Text).

Ein Automotor ist ein einzelnes physisches Bauteil. llama.cpp ist Software, die verschiedene Hardware nutzen kann (CPU, GPU oder beides) — sie ist flexibler als ein physischer Motor.

Was passiert bei einer Anfrage?

  1. 1. Ollama/LM Studio übergibt den Text an llama.cpp
  2. 2. llama.cpp zerlegt den Text in numerische Tokens
  3. 3. Tokens durchlaufen die neuronalen Netzwerk-SchichtenMatrizenmultiplikationen
  4. 4. Aus den berechneten Wahrscheinlichkeiten wird das nächste Token ausgewählt
  5. 5. Schritte 3-4 wiederholen sich, bis die Antwort komplett ist

llama.cpp wurde von Georgi Gerganov in reinem C/C++ geschrieben. Das bedeutet: Es läuft auf praktisch jeder Hardware, ohne Python-Abhängigkeiten. Es ist das unsichtbare Rückgrat, das Ollama und LM Studio bei den meisten Modellen antreibt. Allein ist llama.cpp aber nicht mehr: Ollama rechnet manche Modelle mit einer eigenen Engine auf derselben Grundbibliothek (GGML), und auf Apple-Macs nutzen Ollama und LM Studio auch Apples MLX. Seit Februar 2026 gehören Gerganov und sein Team zu Hugging Face; llama.cpp bleibt Open Source.

llama.cpp ist für lokale LLMs das, was der Browser für das Web ist — die universelle Laufzeitumgebung, die lokale KI für alle zugänglich gemacht hat.

Hardware-Anforderungen — Schafft dein PC das?

Die Menge an Speicher (RAM oder VRAM) bestimmt, welche Modellgrößen du lokal ausführen kannst. Es gibt drei Ausführungsmodi:

GPU-Inferenz Gesamtes Modell im VRAM der Grafikkarte. Schnellste Option: 20-100 Token/Sekunde.
CPU-Inferenz Modell im normalen RAM. Langsamer, aber universell: 5-15 Token/Sekunde.
Hybrid-Modus Modell aufgeteilt auf VRAM und RAM (GPU Offloading). Kompromiss zwischen Geschwindigkeit und Modellgröße.

Stell dir den Speicher deines Computers als Werkbank vor. Ein kleines Modell (7B) ist wie ein kompakter Werkzeugkasten, der auf jeden Schreibtisch passt. Ein mittleres Modell (13B) braucht einen richtigen Arbeitstisch. Ein riesiges Modell (70B) braucht eine Industriewerkbank, die in den meisten Wohnungen keinen Platz hat.

An einer echten Werkbank macht es nur wenig aus, ob ein Werkzeug auf dem Tisch oder im Regal liegt. Beim Computer ist der Geschwindigkeitsunterschied zwischen VRAM und RAM groß (je nach System etwa 4- bis 20-fach), was die Platzierung entscheidend macht.

Faustregeln zur Modellgröße

7B-Modell (Q4)

~4  GB

Passt auf fast jeden modernen PC (~4-5 GB RAM)

13B-Modell (Q4)

~8  GB

Braucht einen ordentlichen Arbeitsrechner (~8 GB RAM)

70B-Modell (Q4)

~40  GB

Braucht eine High-End-Workstation (~40 GB RAM)

Drei Hardware-Szenarien

Laptop (16 GB RAM, keine GPU)

Llama 3.1 8B Q4: ~5 GB im RAM, CPU-Inferenz, ~8 Token/Sek. Nutzbar zum Chatten, mit spürbarer Verzögerung.

Gaming-PC (RTX 3060, 12 GB VRAM)

Dasselbe Modell passt komplett in den VRAM, GPU-Inferenz, ~40 Token/Sek. Text fließt sofort.

Merke

Workstation (RTX 4090, 24 GB VRAM)

Llama 3.1 70B Q4: gut 40 GB benötigt, Hybrid-Modus (24 GB im VRAM, rund 20 GB im RAM), ~2-4 Token/Sek. Großes Modell, nutzbar, aber zäh.

Tokens pro Sekunde (tok/s) ist die Maßeinheit für die Generierungsgeschwindigkeit. Die menschliche Lesegeschwindigkeit liegt bei etwa 4 Wörtern, also rund 5 Token pro Sekunde.

Ab ~10 tok/s fühlt sich die Generierung flüssig an. Unter 5 tok/s merkt man deutliche Verzögerungen. GPU-Inferenz erreicht typisch 20-100 tok/s, CPU-Inferenz 5-15 tok/s. Eine Ausnahme sind Mixture-of-Experts-Modelle wie gpt-oss-20b: Sie brauchen Speicher für alle 21 Milliarden Parameter, rechnen pro Token aber nur mit 3,6 Milliarden und sind deshalb viel schneller, als ihre Größe vermuten lässt.

Interaktiv: Passt das Modell auf deinen Rechner?

Jetzt kannst du die Faustregeln von oben selbst ausprobieren. Wähle eine Modellgröße und eine Quantisierung. Der Rechner zeigt dir den Speicherbedarf und schätzt für Laptop, Gaming-PC und Workstation, ob das Modell flüssig läuft, ruckelt oder gar nicht passt.

Achtung: Drei verbreitete Mythen

"Lokale Modelle sind so gut wie ChatGPT"

Nein. Lokale offene Modelle werden besser, erreichen auf dem Heim-PC aber meist nicht die Qualität großer Cloud-Modelle wie ChatGPT oder Claude. Sie sind gut genug für viele Aufgaben, aber nicht für alle. Die stärksten offenen Modelle haben oft eine Billion Parameter und mehr und passen auf keinen Heim-PC.

"Man braucht eine teure Grafikkarte"

Nein. CPU-Inferenz funktioniert mit jedem modernen PC. Es ist langsamer, aber völlig nutzbar. Ein 7B-Modell läuft auf einem Laptop mit 16 GB RAM.

"Alle lokalen Modelle sind gleich gut"

Nein. Die Qualität variiert stark je nach Trainingsverfahren, Datenmenge und Modellarchitektur. Ein gut trainiertes 7B-Modell kann besser sein als ein schlecht trainiertes 13B-Modell.

Merke

Zusammenfassung

  • Ollama (vor allem Terminal) und LM Studio (vor allem GUI) sind zwei Wege zum selben Ziel: Sprachmodelle lokal ausführen. Beide bieten eine OpenAI-kompatible API.
  • Unter beiden Tools arbeitet eine Inferenz-Engine (meist llama.cpp), die Gewichte lädt, Tokens verarbeitet und Antworten erzeugt.
  • 7B Q4 braucht ~4 GB (jeder PC), 13B Q4 braucht ~8 GB, 70B Q4 braucht ~40 GB. GPU ist schnell (20-100 tok/s), CPU ist langsamer, aber universell (5-15 tok/s).

Prüfen

Quiz: Lokale Inferenz

Noch offen

Welches Tool bietet einen grafischen Modellbrowser mit Hugging-Face-Anbindung und visuellen Modellvergleich?

Wähle eine Antwort

Auflösung: 1) C · 2) B · 3) B · 4) B · 5) B · 6) B

Prüfen

Verständnis-Check

Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.

0 von 3 sitzen