Eigene Daten anbinden (RAG)

Du fragst ChatGPT nach der Urlaubsregelung deiner Firma. Es antwortet selbstbewusst — und erfindet die Antwort, weil es dein Personalhandbuch nie gesehen hat. RAG löst dieses Problem: Statt dem Gedächtnis des Modells zu vertrauen, bringt man ihm bei, zuerst nachzuschlagen.

In diesem Artikel lernst du, wie RAG funktioniert: vom Grundprinzip über die Aufbereitung der Daten bis zur Suche in Vektor-Datenbanken. Du erfährst, warum die Qualität einer RAG-Anwendung entscheidend davon abhängt, wie Dokumente vorbereitet werden.

Das RAG-Prinzip — Nachschlagen statt Raten

Retrieval-Augmented Generation (RAG) erweitert ein Sprachmodell um eine externe Wissensbasis. Statt sich auf Wissen zu verlassen, das beim Training in die Gewichte eingebrannt wurde, ruft das System relevante Dokumente zur Laufzeit ab und fügt sie als Kontext in den Prompt ein. Das Konzept wurde 2020 von Patrick Lewis et al. vorgestellt. RAG löst drei fundamentale Probleme von Sprachmodellen: Halluzinationen, veraltetes Wissen und Datenschutz.

In einer echten Open-Book-Klausur blättert der Student selbst durch das Buch. Bei RAG übernimmt ein Algorithmus das Nachschlagen — und der kann die falschen Seiten zurückgeben. Die Qualität des Nachschlagens ist nicht garantiert.

Ein Firmen-Chatbot hat 500 interne PDFs (Personalhandbuch, Compliance-Richtlinien, Produkthandbücher). Ein Mitarbeiter fragt: "Wie beantrage ich Sonderurlaub?" Das System wandelt die Frage in einen Vektor um, findet die 3 relevantesten Abschnitte aus dem aktuellen Personalhandbuch und fügt sie in den Prompt ein. Das Sprachmodell generiert eine Antwort mit dem korrekten Verfahren. Ohne RAG würde es entweder ablehnen oder ein plausibles, aber falsches Verfahren erfinden.

Interaktiv: RAG-Pipeline als Graph

Die RAG-Pipeline besteht aus mehreren Stationen, die Daten weiterreichen. Dieser Graph zeigt dir die Verbindungen zwischen Dokumenten, Chunking, Embedding, Vektordatenbank, Retrieval und LLM. Beobachte, wie BFS und DFS unterschiedliche Pfade durch die Pipeline nehmen.

Chunking & Embeddings — Die Bibliothek vorbereiten

Bevor Dokumente semantisch durchsucht werden können, müssen sie in kleinere Stücke (Chunks) aufgeteilt und in Embedding-Vektoren umgewandelt werden. Die Chunk-Größe bestimmt die Suchqualität: Zu kleine Chunks (200 Token) sind präzise, verlieren aber den Kontext. Zu große Chunks (1000 Token) bewahren den Kontext, verwässern aber die Suchpräzision. Überlappung (50-100 Token) verhindert Informationsverlust an den Schnittstellen.

Karteikarten-Kurzfassungen schreibt ein Mensch, der den Inhalt versteht. Embedding-Modelle berechnen Vektoren mathematisch — sie erfassen semantische Ähnlichkeit, aber nicht unbedingt logische Zusammenhänge.

Ein 50-seitiges Produkthandbuch wird mit 500 Token pro Chunk und 100 Token Überlappung aufgeteilt. Das ergibt 120 Chunks. Jeder Chunk wird in einen Vektor mit 1536 Dimensionen umgewandelt: eine Matrix aus 120 x 1536 Zahlen in der Vektor-Datenbank. Bei der Suche nach "Garantiebedingungen" wird die Anfrage ebenfalls in einen 1536-dimensionalen Vektor umgewandelt und mit allen 120 gespeicherten Vektoren verglichen.

Vektor-Datenbanken — Das Gedächtnis der KI

Eine Vektor-Datenbank ist ein spezialisiertes Speichersystem für Embedding-Vektoren. Im Gegensatz zu relationalen Datenbanken, die exakte Werte abgleichen (SQL: WHERE name = 'Max'), suchen Vektor-Datenbanken nach mathematischer Ähnlichkeit: Sie finden die gespeicherten Vektoren, die einem Anfrage-Vektor im hochdimensionalen Raum am nächsten sind.

Ein echtes Empfehlungssystem nutzt Collaborative Filtering (was haben ähnliche Nutzer gemocht?). Eine Vektor-Datenbank basiert rein auf mathematischer Vektornähe — sie erfasst semantische Ähnlichkeit, aber keine Nutzerpräferenzen.

Ein Benutzer tippt: "Was sind die Rückgabebedingungen?" Das Embedding-Modell wandelt die Frage in einen 1536-dimensionalen Vektor um. Die Vektor-Datenbank findet die 5 nächsten gespeicherten Vektoren per Kosinus-Ähnlichkeit. Diese stammen aus dem Abschnitt "Erstattungsrichtlinien" — obwohl der Benutzer "Rückgabebedingungen" schrieb und das Handbuch "Erstattungsrichtlinien" sagt. Im Vergleich: Eine SQL-Abfrage mit LIKE '%Rückgabebedingungen%' würde nichts finden, weil das Handbuch andere Wörter verwendet.

Ausprobieren: Retrieval im Vektorraum

RAG gleicht keine Stichwörter ab, sondern Bedeutung. Unten liegt eine kleine Wissensbasis aus drei Dokumenten als Punkte in einem 2D-Vektorraum. Wähl eine Frage und sieh zu, wie die Kosinus-Ähnlichkeit die nächsten Chunks herauszieht. Dann vergrößere die Chunk-Größe und beobachte, warum größere Chunks zwar das richtige Dokument, aber eine schlechter passende Passage liefern.

Interaktiv: Der RAG-Fluss Schritt für Schritt

Verfolge den kompletten Datenfluss einer RAG-Anfrage: Vom Dokument über Chunking und Embedding in die Vektordatenbank, dann zurück über Retrieval zum LLM, das die finale Antwort generiert.