Embeddings & Latent Space
Der mathematische Raum, in dem ähnliche Wörter benachbart sind, ohne dass es ihnen jemand gesagt hat.
Dein Computer liest das Wort "Apfel" und sieht die Token-ID 402. Diese Zahl ist bedeutungslos — bis die Maschine lernt, sie in einem Raum zu platzieren, wo ähnliche Konzepte dicht beieinander liegen. Die Position in diesem Raum ist das Embedding — und ohne Embeddings gäbe es kein ChatGPT, keinen Bildgenerator und keine moderne KI.
In diesem Artikel lernst du drei Dinge: wie Word2Vec Wörter in dichte Vektoren verwandelt, was der Latent Space ist und warum Nähe darin semantische Ähnlichkeit bedeutet, und wie RAG-Pipelines auf Embeddings aufbauen, um Wissen aus Dokumenten abzurufen.
Wörter als Vektoren: Der Word2Vec-Durchbruch
Vor Word2Vec nutzten Entwickler One-Hot-Encoding: Jedes Wort wurde als riesiger Vektor dargestellt — 50.000 Dimensionen, davon genau eine 1 und 49.999 Nullen. Das fatale Problem: Die Distanz zwischen "Apfel" und "Banane" ist identisch mit der zwischen "Apfel" und "Auto". One-Hot hat kein Konzept von Ähnlichkeit.
50.000 Dimensionen. Genau eine 1, Rest Nullen. Keine Ähnlichkeit messbar. "Apfel" und "Banane" gleich weit entfernt wie "Apfel" und "Motor".
100-300 Dimensionen. Alle Werte aktiv. Ähnlichkeit direkt messbar. "Apfel" und "Banane" liegen nah beieinander.
2013 stellten Tomas Mikolov und sein Team bei Google Word2Vec vor. Die Grundidee brachte der Linguist J.R. Firth (1957) auf den Punkt: "Du erkennst ein Wort an der Gesellschaft, die es pflegt." Wörter, die in ähnlichen Kontexten vorkommen, bekommen ähnliche Vektoren. Word2Vec trainierte auf Milliarden von Wörtern und komprimierte die Bedeutung in dichte Vektoren mit typischerweise 100 bis 300 Dimensionen.
Definition
Word Embedding — Wenn Wörter Koordinaten bekommen
Analogie
Definition
Wo die Analogie bricht: Die Schülerin sieht auch Gesichter, hört Stimmen und liest Körpersprache. Word2Vec kennt nur Text — es hat keinerlei sensorische Verankerung. Es weiß, dass "Apfel" und "Banane" mit "Obst" auftreten, aber nicht, wie eines davon schmeckt.
Das berühmteste Beispiel: Vector("König") - Vector("Mann") + Vector("Frau") ≈ Vector("Königin"). Die Richtung von "Mann" zu "Frau" im Vektorraum entspricht ungefähr der Verschiebung von "König" zu "Königin". Ähnlich: Vector("Paris") - Vector("Frankreich") + Vector("Deutschland") ≈ Vector("Berlin"). Diese Gleichungen sind faszinierend — aber auch idealisiert. In der Praxis sind Embedding-Räume unordentlicher als Lehrbuchbeispiele vermuten lassen.
Achtung
Häufiger Irrtum: "Embeddings verstehen Bedeutung"
Nein. Embeddings erfassen statistische Kookkurrenz-Muster, keine Bedeutung.
"Apfel" und "Banane" liegen nahe beieinander, weil sie in ähnlichen Sätzen vorkommen — nicht weil das Modell weiß, was Obst ist. Im bekannten Word2Vec-Modell von Google ergibt "Arzt" - "er" + "sie" ≈ "Krankenschwester" — ein Abbild gesellschaftlicher Verzerrungen in den Trainingsdaten, keine medizinische Realität. Ganz so sauber ist das Beispiel allerdings nicht: Das übliche Analogie-Verfahren schließt "Arzt" selbst als Antwort aus, sonst käme oft wieder "Arzt" heraus. Die Verzerrung in Embeddings ist trotzdem gut belegt.
Jedes moderne Sprachmodell beginnt damit, seine Eingabe in Embeddings umzuwandeln. In einem Transformer ist die allererste Schicht die Embedding-Schicht — sie konvertiert Token-IDs in dichte Vektoren, bevor irgendein Attention-Mechanismus arbeiten kann.
Interaktiv: Bag-of-Words und TF-IDF
Bevor Wörter zu dichten Embeddings werden, muss ein Text erst einmal zu Zahlen werden. Der klassische Weg: zählen, welches Wort wie oft vorkommt (Bag-of-Words) und dann gewichten, wie aussagekräftig ein Wort ist (TF-IDF). Probiere es an drei kleinen Dokumenten aus.
Der Latent Space: Wo Bedeutung lebt
Definition
Latent Space — Der verborgene Raum der Repräsentationen
Analogie
Definition
"Latent" bedeutet verborgen: Die Dimensionen des Raums korrespondieren nicht mit menschlich lesbaren Eigenschaften. Dimension 47 könnte teilweise "Formalität" und teilweise "Themengebiet" kodieren — sauber benennen lässt sie sich nicht. Deshalb nutzen Forscher mathematische Werkzeuge zur Dimensionsreduktion, um hochdimensionale Räume in 2D zu visualisieren.
Word2Vec
300
Dimensionen pro Wortvektor
GPT-3
12.288
Dimensionen im Latent Space
Stable Diffusion 1.5
4 x64x64
Latente Bildrepräsentation
Wo die Analogie bricht: Eine Stadt ist zweidimensional. Der Latent Space hat Tausende Dimensionen. In 2D kann ein Punkt nur wenige direkte Nachbarn haben. In 12.288 Dimensionen kann "Hund" gleichzeitig nah an "Katze" (als Haustier), "Wolf" (biologisch) und "Treue" (charakterlich) liegen. Diese mehrdimensionale Nähe ist auf einer flachen Karte unmöglich.
Ein konkretes Beispiel: Ein Textanalyse-Tool bettet Filmrezensionen ein. "Der Film war großartig, brillante Schauspielleistung" und "Fantastischer Streifen, hervorragende Darsteller" landen fast am selben Punkt — obwohl sie kein einziges bedeutendes Wort teilen. "Der Film war furchtbar langweilig" landet deutlich weiter entfernt.
Achtung
Häufiger Irrtum: "Jede Dimension hat eine lesbare Bedeutung"
Nein. Im Gegensatz zu handgefertigten Features ("Dimension 1 = Größe, Dimension 2 = Gewicht") sind Latent-Space-Dimensionen abstrakt und verschränkt.
Deshalb nutzen Forscher Dimensionsreduktion (t-SNE, PCA) zur Visualisierung — aber diese Projektionen verlieren immer Information und können irreführend sein.
RAG: Die Killer-App der Embeddings
Retrieval-Augmented Generation verbindet ein vortrainiertes LLM mit externem Wissen. Die technische Grundlage: Embeddings. Ohne die Übersetzung von Text in Vektoren gäbe es RAG in seiner heutigen Form nicht.
- 1. Chunking
- 2. Embedding
- 3. Speichern
- 4. Query-Embed
- 5. Suche
- 6. Generieren
Der Ablauf: Dokumente werden in Chunks von typischerweise 200-1000 Tokens zerlegt. Jeder Chunk wird durch ein Embedding-Modell in einen Vektor umgewandelt und in einer Vektor-Datenbank gespeichert. Bei einer Nutzeranfrage wird auch die Frage eingebettet, die ähnlichsten Chunks per Similarity Search gefunden, und dem LLM als Kontext übergeben.
Findet nur Dokumente mit exakt den gesuchten Wörtern. "Passwort zurücksetzen" findet nicht "Zugangsdaten erneuern".
Findet Dokumente nach Bedeutung. "Passwort zurücksetzen" findet auch "Zugangsdaten erneuern" und "Account-Wiederherstellung".
Ein Unternehmen verwaltet 10.000 technische PDF-Handbücher. Ein Mitarbeiter fragt: "Wie setze ich mein Passwort zurück?" Keyword-Suche findet nur Dokumente mit "Passwort". Embedding-basierte Suche findet auch Chunks über "Zugangsdaten erneuern", "Kennwort-Reset" und "Account-Wiederherstellung" — weil diese Phrasen im Latent Space nahe beieinander liegen.
Achtung
Häufiger Irrtum: "RAG ersetzt Fine-Tuning"
RAG und Fine-Tuning lösen unterschiedliche Probleme. Bildlich: RAG gibt der KI ein neues Buch zu lesen, Fine-Tuning verändert das Gehirn der KI.
RAG liefert Zugang zu externem, aktualisierbarem Wissen — ideal für Fakten, die sich ändern. Fine-Tuning verändert das Verhalten und den Stil des Modells — ideal für domänenspezifischen Ton. Viele Produktionssysteme nutzen beides.
Word2Vec und GloVe erzeugen statische Embeddings: Ein Wort bekommt immer denselben Vektor, egal in welchem Kontext es steht. Das Wort "Bank" hat denselben Vektor, ob es um ein Geldinstitut oder eine Parkbank geht.
ELMo und BERT (beide 2018) führten kontextuelle Embeddings ein: Dasselbe Wort bekommt je nach Satzkontext unterschiedliche Vektoren. "Die Bank am Fluss" und "Die Bank überweist Geld" erzeugen verschiedene Vektoren für "Bank" — das Modell löst Mehrdeutigkeiten auf.
Diese Evolution war entscheidend: Kontextuelle Embeddings ermöglichten die sprachliche Tiefe, die moderne LLMs wie GPT und Claude auszeichnet.
BERT verbessert Sprachverständnis erheblich
Ein wichtiger Fortschritt der bidirektionalen Sprachmodelle und die Geburt des modernen NLP. Im Oktober 2018 veröffentlichten Jacob Devlin und sein Team bei Google Research das Paper zu BERT – Bidirectional Encoder Representations from Transformers. Diese Innovation veränderte die Sprachverarbeitung erheblich, indem sie erstmals tiefe bidirektionale Repräsentationen aus unmarkierten Texten trainierte. Im Gegensatz zu vorherigen Modellen berücksichtigt BERT sowohl linken als auch rechten Kontext in allen Schichten gleichzeitig. Das Ergebnis war bemerkenswert: BERT erreichte neue Bestwerte in elf NLP-Aufgaben und verbesserte den GLUE-Score um beachtliche 7,7 Prozentpunkte auf 80,5%. Das eigentliche Pre-Training verschlang zwar mehrere Tage auf vielen TPUs — doch die Open-Source-Veröffentlichung demokratisierte Spitzentechnologie: Das fertig vortrainierte Modell ließ sich auf einer einzelnen Cloud-TPU in höchstens etwa einer Stunde an die eigene Aufgabe feinjustieren (Fine-Tuning). Kurz zuvor hatten ULMFiT und OpenAIs erstes GPT das Pre-Training-Fine-Tuning-Paradigma vorgemacht; BERT machte es zum Standard, und es bildet bis heute die Grundlage aller großen Sprachmodelle.
Die Cosine Similarity misst den Winkel zwischen zwei Vektoren: cos(θ) = (A·B) / (||A|| × ||B||). Der Wert liegt zwischen -1 (entgegengesetzt) und +1 (identische Richtung). Sie ist das übliche Maß für Embeddings, weil sie nur die Richtung zählt, nicht die Länge; sind die Vektoren auf Länge 1 normiert, wie bei vielen Embedding-Modellen, liefert die euklidische Distanz dieselbe Rangfolge.
Praktische Interpretation (Richtwerte, je nach Modell verschieden): 0,92 = sehr ähnlich (z.B. Synonyme). 0,5 = schwach verwandt. 0,1 = kaum Zusammenhang. Diese Scores bestimmen, welche Chunks in einer RAG-Pipeline als "relevant" gelten.
Interaktiv: Wörter im Embedding-Raum
Klicke auf die Wörter und beobachte ihre Position im 2D-Raum. Semantisch ähnliche Wörter liegen nah beieinander. Beachte die parallelen Achsen: König verhält sich zu Königin wie Mann zu Frau — genau die Vektorarithmetik, die Word2Vec berühmt gemacht hat.
Klicke auf einen Kreis, um Details zu sehen.
Legende
Achtung
Warnungen und Fallstricke
- Die KI versteht keine echte Bedeutung. Sie kennt nur statistische Muster. "Apfel" und "Banane" liegen nahe beieinander, weil sie in ähnlichen Sätzen stehen — nicht weil das Modell Obst kennt.
- Die Gleichung König - Mann + Frau ≈ Königin ist ein idealisiertes Lehrbuchbeispiel. In der Praxis sind Embedding-Räume chaotisch. Solch saubere Analogien sind die Ausnahme.
- Embeddings sind nicht universell: Ein auf Englisch trainiertes Modell funktioniert für deutsche Texte oft schlecht. Ein reines Text-Modell kann keine Bilder kodieren; dafür gibt es multimodale Embedding-Modelle, die Text, Bilder und teils auch Audio und Video in einen gemeinsamen Raum abbilden.
- "Semantische Suche" bedeutet nicht, dass die KI Sinn versteht. Bei Ironie, Sarkasmus oder feinen Nuancen scheitert die reine Distanzmessung.
Merke
Das Wichtigste
- Embeddings übersetzen Konzepte in dichte numerische Vektoren. Wörter mit ähnlichem Kontext bekommen ähnliche Vektoren — "Apfel" und "Banane" clustern zusammen, "Apfel" und "Vergaser" nicht.
- Der Latent Space ist das hochdimensionale Koordinatensystem, in dem alle Repräsentationen leben. Seine Hunderten bis Tausenden Dimensionen erlauben es einem Konzept, gleichzeitig zu vielen verschiedenen verwandten Konzepten nah zu sein.
- RAG macht Embeddings praktisch nutzbar: Dokumente chunken, einbetten, in einer Vektor-DB speichern, semantisch suchen, relevante Chunks an ein LLM übergeben. Ohne Embeddings kein modernes RAG.
Jetzt verstehst du, wie KI-Modelle Bedeutung repräsentieren. Im nächsten Artikel lernst du Computer Vision und CNNs — wie Maschinen lernen, Bilder zu verstehen.
Prüfen
Quiz: Embeddings & Latent Space
Welches Problem löst Word2Vec, das One-Hot-Encoding nicht kann?
Wähle eine Antwort
1. Welches Problem löst Word2Vec, das One-Hot-Encoding nicht kann?
2. Vector("Paris") - Vector("Frankreich") + Vector("Japan") ≈ ? Wende dasselbe arithmetische Muster an, das im Artikel demonstriert wurde.
3. Ein RAG-System findet ein Dokument über "Zugangsdaten erneuern", obwohl der Nutzer nach "Wie setze ich mein Passwort zurück?" gesucht hat. Wie ist das möglich?
4. Im bekannten Word2Vec-Modell von Google ergibt Vector("Arzt") - Vector("er") + Vector("sie") ≈ Vector("Krankenschwester"). Was verrät dies über die fundamentale Limitation von Embeddings?
Prüfen
Hast du alles verstanden?
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen