Eigene Daten anbinden (RAG)
Wie LLMs lernten, vor dem Antworten in einem Buch nachzuschlagen — RAG erklärt.
Du fragst ChatGPT nach der Urlaubsregelung deiner Firma. Es antwortet selbstbewusst — und erfindet die Antwort, weil es dein Personalhandbuch nie gesehen hat. RAG löst dieses Problem: Statt dem Gedächtnis des Modells zu vertrauen, bringt man ihm bei, zuerst nachzuschlagen. So arbeiten übrigens auch die Firmenversionen von ChatGPT, wenn man sie an Laufwerke wie SharePoint oder Google Drive anbindet: Sie suchen dort und nennen ihre Quellen.
In diesem Artikel lernst du, wie RAG funktioniert: vom Grundprinzip über die Aufbereitung der Daten bis zur Suche in Vektor-Datenbanken. Du erfährst, warum die Qualität einer RAG-Anwendung entscheidend davon abhängt, wie Dokumente vorbereitet werden.
Das RAG-Prinzip — Nachschlagen statt Raten
Retrieval-Augmented Generation (RAG) erweitert ein Sprachmodell um eine externe Wissensbasis. Statt sich auf Wissen zu verlassen, das beim Training in die Gewichte eingebrannt wurde, ruft das System relevante Dokumente zur Laufzeit ab und fügt sie als Kontext in den Prompt ein. Das Konzept wurde 2020 von Patrick Lewis et al. vorgestellt. RAG entschärft drei fundamentale Probleme von Sprachmodellen: Halluzinationen, veraltetes Wissen und Datenschutz.
RAG: Sprachmodelle schlagen erst nach
Ein Sprachmodell weiß nur, was in seinem Training steckte — und erfindet im Zweifel selbstbewusst etwas dazu. 2020 zeigten Patrick Lewis und Kollegen bei Facebook AI einen Ausweg: Retrieval-Augmented Generation, kurz RAG. Die Idee ist bestechend einfach. Bevor das Modell antwortet, sucht es in einer externen Wissensquelle — etwa in Wikipedia — nach passenden Textstellen und stützt seine Antwort dann auf das Gefundene. So lässt sich Wissen aktualisieren, ohne das Modell neu zu trainieren, und die Antwort wird belegbar. Nach dem Erfolg von ChatGPT wurde RAG zur Standard-Methode, um Sprachmodelle an aktuelle, überprüfbare Quellen zu binden — die Grundlage fast aller Anwendungen, mit denen man mit seinen eigenen Dokumenten chattet. Zur ehrlichen Einordnung: RAG verringert Halluzinationen, beseitigt sie aber nicht. Ist das Gefundene falsch oder missversteht das Modell den Fund, irrt es weiter. Es liefert Belege, kein echtes Verstehen — und baut auf früherer Retrieval-Forschung auf.
Definition
Retrieval-Augmented Generation
Analogie
Definition
In einer echten Open-Book-Klausur blättert der Student selbst durch das Buch. Bei RAG übernimmt ein Algorithmus das Nachschlagen — und der kann die falschen Seiten zurückgeben. Die Qualität des Nachschlagens ist nicht garantiert.
Merke
Die RAG-Pipeline in drei Schritten
- 1. Indexierung: Dokumente in Chunks aufteilen, als Vektoren kodieren und in einer Vektor-Datenbank speichern.
- 2. Retrieval: Die Benutzeranfrage als Vektor kodieren und die ähnlichsten Chunks per Similarity Search finden.
- 3. Augmented Generation: Die gefundenen Chunks als Kontext in den Prompt einfügen und das LLM eine Antwort generieren lassen.
Halluzinationen
↓
Antworten basieren auf echten Dokumenten statt auf erfundenem Wissen
Aktualität
✓
Wissensbasis jederzeit aktualisierbar — ohne teures Nachtraining
Datenschutz
✓
Sensible Daten bleiben in der eigenen Datenbank; nur die abgerufenen Abschnitte gehen ans Modell, sofern Embedding-Modell und Datenbank selbst betrieben werden
Ein Firmen-Chatbot hat 500 interne PDFs (Personalhandbuch, Compliance-Richtlinien, Produkthandbücher). Ein Mitarbeiter fragt: "Wie beantrage ich Sonderurlaub?" Das System wandelt die Frage in einen Vektor um, findet die 3 relevantesten Abschnitte aus dem aktuellen Personalhandbuch und fügt sie in den Prompt ein. Das Sprachmodell generiert eine Antwort mit dem korrekten Verfahren. Ohne RAG würde es entweder ablehnen oder ein plausibles, aber falsches Verfahren erfinden.
Achtung
Irrtum: RAG beseitigt Halluzinationen vollständig
RAG reduziert Halluzinationen deutlich, beseitigt sie aber nicht vollständig. Das Modell kann abgerufene Abschnitte falsch interpretieren, Informationen aus verschiedenen Chunks falsch kombinieren oder flüssigen Unsinn erzeugen, wenn die Suche irrelevante Ergebnisse liefert. RAG verschiebt das Problem von "das Modell erfindet Fakten" zu "das Modell könnte sein Referenzmaterial falsch lesen".
Chunking & Embeddings — Die Bibliothek vorbereiten
Bevor Dokumente semantisch durchsucht werden können, müssen sie in kleinere Stücke (Chunks) aufgeteilt und in Embedding-Vektoren umgewandelt werden. Die Chunk-Größe bestimmt die Suchqualität: Sehr kleine Chunks (um 200 Token) sind präzise, verlieren aber den Kontext. Sehr große Chunks (um 1000 Token) bewahren den Kontext, verwässern aber die Suchpräzision. Überlappung (50-100 Token) verhindert Informationsverlust an den Schnittstellen.
Definition
Chunking
Analogie
Definition
Karteikarten-Kurzfassungen schreibt ein Mensch, der den Inhalt versteht. Embedding-Modelle berechnen Vektoren mathematisch — sie erfassen semantische Ähnlichkeit, aber nicht unbedingt logische Zusammenhänge.
Hohe Präzision, aber Kontextverlust. Ein Pronomen wie "er" kann nicht aufgelöst werden, wenn der Name im vorherigen Chunk steht. Ein Garantie-Satz steht ohne den Kontext, was als "Herstellungsfehler" gilt.
Kontext erhalten, aber verwässerte Suchpräzision. Der Garantie-Absatz wird mit irrelevantem Inhalt über Produktspezifikationen vermischt. Mehr irrelevanter Text pro Ergebnis.
Ein 50-seitiges Produkthandbuch mit rund 48.000 Token wird mit 500 Token pro Chunk und 100 Token Überlappung aufgeteilt. Weil jeder neue Chunk wegen der Überlappung nur 400 Token weiterrückt, ergibt das 120 Chunks. Jeder Chunk wird in einen Vektor mit 1536 Dimensionen umgewandelt: eine Matrix aus 120 x 1536 Zahlen in der Vektor-Datenbank. Bei der Suche nach "Garantiebedingungen" wird die Anfrage ebenfalls in einen 1536-dimensionalen Vektor umgewandelt und mit allen 120 gespeicherten Vektoren verglichen.
Achtung
Irrtum: Möglichst kleine Chunks ergeben die beste Präzision
Kleinere Chunks erhöhen die Präzision, aber verringern den Kontext. Ein Chunk mit nur "Es gilt 24 Monate" ohne den umgebenden Kontext ist nutzlos — das "Es" hat keinen Bezug. Die Kunst des Chunkings liegt darin, die Größe zu finden, bei der jeder Chunk eigenständig verständlich ist, ohne so groß zu sein, dass die Suche verwässert wird.
Feste Größe: Dokument wird in gleichmäßige Blöcke geschnitten. Einfach zu implementieren, aber ignoriert die inhaltliche Struktur. Ein Absatz kann mitten im Satz getrennt werden.
Absatzbasiert: Natürliche Absatzgrenzen werden respektiert. Bewahrt die inhaltliche Einheit, erzeugt aber Chunks unterschiedlicher Größe.
Semantisch: Ein Embedding-Modell erkennt Themenwechsel im Text und setzt dort die Grenzen. Kann die Qualität verbessern, ist aber rechenintensiv und komplexer in der Implementierung.
Vektor-Datenbanken — Das Gedächtnis der KI
Eine Vektor-Datenbank ist ein spezialisiertes Speichersystem für Embedding-Vektoren. Im Gegensatz zu relationalen Datenbanken, die exakte Werte abgleichen (SQL: WHERE name = 'Max'), suchen Vektor-Datenbanken nach mathematischer Ähnlichkeit: Sie finden die gespeicherten Vektoren, die einem Anfrage-Vektor im hochdimensionalen Raum am nächsten sind.
Definition
Vektor-Datenbank
Analogie
Definition
Ein echtes Empfehlungssystem nutzt Collaborative Filtering (was haben ähnliche Nutzer gemocht?). Eine Vektor-Datenbank basiert rein auf mathematischer Vektornähe — sie erfasst semantische Ähnlichkeit, aber keine Nutzerpräferenzen.
Exakte Übereinstimmung erforderlich. LIKE '%Rückgabebedingungen%' findet nichts, wenn das Dokument "Erstattungsrichtlinien" sagt. Schnell bei strukturierten Daten, aber blind für Synonyme und natürliche Sprache.
Findet Ergebnisse nach Bedeutung. "Rückgabebedingungen" und "Erstattungsrichtlinien" haben ähnliche Embedding-Vektoren, obwohl die Wörter verschieden sind. Ermöglicht natürlichsprachliche Anfragen.
Ein Benutzer tippt: "Was sind die Rückgabebedingungen?" Das Embedding-Modell wandelt die Frage in einen 1536-dimensionalen Vektor um. Die Vektor-Datenbank findet die 5 nächsten gespeicherten Vektoren per Kosinus-Ähnlichkeit. Diese stammen aus dem Abschnitt "Erstattungsrichtlinien" — obwohl der Benutzer "Rückgabebedingungen" schrieb und das Handbuch "Erstattungsrichtlinien" sagt. Im Vergleich: Eine SQL-Abfrage mit LIKE '%Rückgabebedingungen%' würde nichts finden, weil das Handbuch andere Wörter verwendet. In der Praxis kombinieren viele RAG-Systeme beides (hybride Suche): Die Vektor-Suche findet Umschreibungen, die Schlüsselwort-Suche exakte Treffer wie Artikelnummern oder Namen, an denen Embeddings leicht vorbeigreifen.
Achtung
Irrtum: Eine Vektor-Datenbank ist nur eine normale Datenbank mit einer Extra-Spalte
Der Suchmechanismus ist fundamental anders. Relationale Datenbanken nutzen B-Trees und Hash-Indizes für exakte Übereinstimmungen. Vektor-Datenbanken nutzen spezialisierte Datenstrukturen (HNSW-Graphen, IVF-Indizes), die für hochdimensionale Nächste-Nachbarn-Suche optimiert sind. pgvector bringt solche Indizes (HNSW, IVFFlat) auch in PostgreSQL, aber dedizierte Vektor-Datenbanken wie Pinecone oder Weaviate enthalten Optimierungen (etwa verteiltes Sharding über viele Server) speziell für Vektor-Workloads.
Ausprobieren: Retrieval im Vektorraum
RAG gleicht keine Stichwörter ab, sondern Bedeutung. Unten liegt eine kleine Wissensbasis aus drei Dokumenten als Punkte in einem 2D-Vektorraum. Wähl eine Frage und sieh zu, wie die Kosinus-Ähnlichkeit die nächsten Chunks herauszieht. Dann vergrößere die Chunk-Größe und beobachte, warum größere Chunks zwar das richtige Dokument, aber eine schlechter passende Passage liefern.
Interaktiv: Der RAG-Fluss Schritt für Schritt
Verfolge den kompletten Datenfluss einer RAG-Anfrage: Vom Dokument über Chunking und Embedding in die Vektordatenbank, dann zurück über Retrieval zum LLM, das die finale Antwort generiert.
RAG reduziert Halluzinationen erheblich, beseitigt sie aber nicht vollständig. Das Modell kann abgerufene Informationen falsch interpretieren oder Chunks aus verschiedenen Kontexten fehlerhaft kombinieren.
Garbage In, Garbage Out (Müll rein, Müll raus) gilt auch für RAG: Wenn die Wissensbasis schlecht strukturiert, veraltet oder fehlerhaft ist, produziert auch RAG falsche Antworten — nur mit Quellenangabe.
RAG und Fine-Tuning lösen verschiedene Probleme. RAG fügt externes Wissen hinzu (ideal für aktuelle Fakten, Unternehmensdaten). Fine-Tuning verändert das Verhalten des Modells (ideal für Stil, Ton, domänenspezifische Sprache). Für die besten Ergebnisse werden oft beide Ansätze kombiniert. Und manchmal brauche ich RAG gar nicht: Viele aktuelle Modelle fassen eine Million Token im Kontextfenster, grob 2.000 Buchseiten. Ein einzelnes Handbuch passt dann komplett in den Prompt. RAG lohnt sich, wenn die Wissensbasis größer ist, sich oft ändert oder jede Anfrage billig und schnell bleiben soll, denn lange Prompts kosten mehr, und in sehr viel Kontext übersehen Modelle leichter Details.
Merke
Das Wichtigste
- RAG bringt einem Sprachmodell bei, Informationen nachzuschlagen statt zu raten — das entschärft Probleme mit Halluzinationen, veralteten Daten und Datenschutz, ohne das Modell neu zu trainieren.
- Die Qualität der Suche hängt vom Chunking ab: Zu kleine Chunks verlieren Kontext, zu große verwässern die Relevanz. Überlappung verhindert Informationsverlust an den Schnittstellen.
- Vektor-Datenbanken suchen nach Bedeutung statt nach Schlüsselwörtern — deshalb findet eine natürlichsprachliche Frage das richtige Dokument, auch wenn die exakten Wörter nicht übereinstimmen.
Prüfen
Quiz: RAG
Was ist der Hauptzweck des Retrieval-Schritts in einer RAG-Pipeline?
Wähle eine Antwort
1. Was ist der Hauptzweck des Retrieval-Schritts in einer RAG-Pipeline?
2. Du baust ein RAG-System für eine medizinische Wissensbasis. Ärzte berichten, dass in Antworten manchmal wichtige Dosierungsangaben fehlen, die im Satz direkt vor einer Chunk-Grenze stehen. Was ist die effektivste Lösung?
3. Ein Kunde fragt deinen RAG-Chatbot: "Kann ich Schuhe nach 30 Tagen zurückgeben?" Das Wissensbasis-Dokument sagt: "Erstattungsanträge für Schuhwerk müssen innerhalb von vier Wochen eingereicht werden." Eine Schlüsselwortsuche nach "Schuhe zurückgeben 30 Tage" findet nichts. Warum findet die Vektor-Suche das Ergebnis?
4. Ein Startup nutzt RAG mit der OpenAI-API zur Beantwortung von Fragen über sein 200-seitiges Produkthandbuch. Der Chatbot gibt manchmal falsche Antworten mit hoher Zuversicht. Was ist die wahrscheinlichste Erklärung?
Prüfen
Verständnischeck
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen