Word Embeddings
Wie Maschinen Bedeutung im Vektorraum lernen
Was sind Word Embeddings?
Stell dir eine riesige Stadt vor, in der jedes Wort ein Haus ist. Wörter mit ähnlicher Bedeutung wohnen im selben Viertel: "Hund" und "Katze" als Nachbarn, "Berlin" und "Paris" zwei Strassen weiter im Hauptstadt-Viertel.
Das Verrückte: Die Richtungen in dieser Stadt haben Bedeutung. Geh vom Haus "Mann" zum Haus "Frau" — und exakt dieselbe Strecke führt von "König" zu "Königin". Genau das misst diese Demo: König − Mann + Frau ≈ Königin.
Analogie:
Stell dir eine riesige Stadt vor, in der jedes Wort ein Haus ist. Wörter mit ähnlicher Bedeutung wohnen im selben Viertel: "Hund" und "Katze" als Nachbarn, "Berlin" und "Paris" zwei Strassen weiter im Hauptstadt-Viertel.
Das Verrückte: Die Richtungen in dieser Stadt haben Bedeutung. Geh vom Haus "Mann" zum Haus "Frau" — und exakt dieselbe Strecke führt von "König" zu "Königin". Genau das misst diese Demo: König − Mann + Frau ≈ Königin.
Definition:
Word Embeddings sind dichte Vektorrepräsentationen von Wörtern, gelernt aus Kontext-Ko-Okkurrenz in großen Textkorpora (Word2Vec, GloVe, FastText). Geometrische Distanz im Vektorraum korreliert mit semantischer Ähnlichkeit.
Ähnlichkeit wird typischerweise über die Cosinus-Distanz gemessen: cos(a, b) = (a · b) / (‖a‖ · ‖b‖). Werte nahe 1 bedeuten semantisch verwandt, nahe 0 unverwandt, nahe −1 entgegengesetzt.
Wie funktionieren Word Embeddings?
Ein Modell liest Milliarden von Sätzen. Bei jedem Satz lernt es: Welche Wörter tauchen oft im selben Kontext auf? Daraus baut es für jedes Wort einen Vektor — meist 50 bis 300 Dimensionen — sodass kontextuell ähnliche Wörter ähnliche Vektoren bekommen.
- 1Skip-Gram / CBOWDas Modell sagt für jedes Wort die Nachbarn voraus (oder umgekehrt) und passt die Vektoren so an, dass die Vorhersage besser wird.
- 2Semantische AchsenIm Training entstehen Richtungen wie "Geschlecht", "Hauptstadt-zu-Land" oder "Plural" — ohne dass jemand sie programmiert hat.
- 32D-ProjektionFür die Anzeige wird der 100-dimensionale Raum mit PCA auf 2D flachgedrückt. Cluster bleiben sichtbar, Abstände auf der Karte stimmen aber nur grob — deshalb werden Nachbarn und Analogien auf den vollen Vektoren berechnet.
- 4Vektor-ArithmetikWeil semantische Achsen als Richtungen vorliegen, funktioniert
a − b + cals analoge Operation — der Klassiker istKönig − Mann + Frau ≈ Königin.
Interaktive Demo — Bedeutungsraum erkunden
Diese Karte ist der Bedeutungsraum: Jeder Punkt ist ein Wort, die farbigen Flächen sind Themen-Cluster, und räumliche Nähe bedeutet ähnliche Bedeutung. Ziehen verschiebt die Karte, Mausrad bzw. zwei Finger zoomen. Wähle darunter eine Aufgabe.
Die Karte in Worten
Diese Karte macht Bedeutung sichtbar: Wörter werden zu Orten, und die Wege zwischen ihnen zu Richtungen. Wer die Karte nicht sehen kann, bekommt hier die Form beschrieben, die die Zahlen unten weglassen.
- Was du siehst
- Rund 190 kleine Punkte, über die Fläche verstreut wie ein Sternenhimmel. Gleichfarbige Punkte drängen sich zu Inseln zusammen: die Tiere hocken in einer Ecke, die Länder in einer anderen, die Gefühle wieder woanders. Je näher zwei Punkte beieinanderliegen, desto ähnlicher ist ihre Bedeutung.
- Was passiert
- Klickst du ein Wort an, spannen sich kurze Linien zu seinen nächsten Nachbarn im selben Viertel. Beim Rechnen erscheint ein Pfeil, und das Ergebnis setzt sich als neuer Punkt genau dort ab, wo das erwartete Wort schon liegt. Analogien zeigen sich als parallele Pfeile: der Weg von König zu Königin weist in dieselbe Richtung wie der von Mann zu Frau.
- Was du tun kannst
- Drei Aufgaben stehen bereit: Nachbarschaft zeigt zu einem Wort die ähnlichsten Nachbarn, Rechnen lässt dich a − b + c ausprobieren, Challenge fragt dich Analogien ab. Einzelne Punkte kannst du anklicken, die Karte ziehen und zoomen.
- Worauf du achtest
- Achte auf die parallelen Pfeile. Dass König zu Königin denselben Weg nimmt wie Mann zu Frau, ist kein Zufall — das Modell hat eine Regel wie Geschlecht als feste Richtung im Raum gelernt. Genau deshalb wird Bedeutung hier zu Nähe und Richtung.
Jedes Wort ist ein Punkt im Raum. Klick eins an — die hervorgehobenen Nachbarn sind die bedeutungsähnlichsten, gemessen per Cosinus-Ähnlichkeit.
Klick einen Punkt im Raum oder such ein Wort, um seine nächsten Nachbarn zu sehen.
Wo Word Embeddings stecken
Embeddings sind keine Spielerei — sie sind das Fundament fast jeder modernen Sprach-KI:
Suchmaschinen finden Dokumente nach Bedeutung statt nur nach exakten Wörtern — die Suche nach "Auto" findet auch "Fahrzeug".
Ähnliche Produkte, Songs oder Artikel werden über die Nähe ihrer Vektoren gefunden — "das könnte dir auch gefallen".
Mehrsprachige Embeddings richten verschiedene Sprachräume aneinander aus — die Grundlage moderner Übersetzer.
Jedes Token in ChatGPT & Co. startet als Embedding — es ist die allererste Schicht jedes Transformers.
Das Wichtigste in Kürze
- Wörter werden zu Vektoren: Jedes Wort bekommt eine Position im Raum — gelernt aus dem Kontext, in dem es vorkommt.
- Nähe bedeutet Bedeutung: Semantisch ähnliche Wörter liegen nah beieinander; gemessen wird das mit der Cosinus-Ähnlichkeit.
- Richtungen tragen Bedeutung: Dieselbe Strecke wie von Mann zu Frau führt von König zu Königin — deshalb funktioniert König − Mann + Frau ≈ Königin.
- Gelernt, nicht programmiert: Die semantischen Achsen entstehen von selbst beim Training auf Milliarden Sätzen.
- Grenze statischer Embeddings: Ein Wort hat genau einen Vektor; Mehrdeutigkeit lösen erst kontextuelle Modelle wie BERT.
Hast du es verstanden?
- Ich kann erklären, warum bedeutungsähnliche Wörter im Raum nah beieinander liegen.
- Ich verstehe, was die Cosinus-Ähnlichkeit zwischen zwei Wort-Vektoren misst.
- Ich kann nachvollziehen, warum König − Mann + Frau ≈ Königin funktioniert.
- Ich kenne die Hauptgrenze klassischer (statischer) Embeddings: ein Wort, ein Vektor.
Teste dein Wissen
Warum funktioniert "König − Mann + Frau ≈ Königin"?
1. Warum funktioniert "König − Mann + Frau ≈ Königin"?
- ☐ A) Weil das Modell beim Training Richtungen wie eine "Geschlechts-Achse" lernt, ohne dass jemand sie explizit programmiert.
- ☐ B) Weil Embeddings eine Datenbank mit fest hinterlegten Analogien sind.
- ☐ C) Weil Wörter alphabetisch in einem Vektor angeordnet werden.
- ☐ D) Weil das Modell während der Anfrage eine Web-Suche macht.
2. Was misst die Cosinus-Ähnlichkeit zwischen zwei Wort-Vektoren?
- ☐ A) Die alphabetische Distanz zwischen den Wörtern.
- ☐ B) Den Winkel zwischen den Vektoren — nahe 1 = semantisch sehr ähnlich, nahe 0 = unverwandt.
- ☐ C) Die Anzahl gemeinsamer Buchstaben.
- ☐ D) Die Häufigkeit beider Wörter in Wikipedia.
3. Wo "lernt" ein Word-Embedding-Modell die Vektoren?
- ☐ A) Aus einem Wörterbuch mit Definitionen.
- ☐ B) Aus expliziten Beispielen, die Menschen labeln.
- ☐ C) Aus Kontext-Ko-Okkurrenz: welche Wörter im Korpus oft gemeinsam vorkommen.
- ☐ D) Aus der ASCII-Codierung der Wörter.
4. Was ist die Hauptgrenze klassischer (statischer) Word Embeddings wie Word2Vec?
- ☐ A) Sie funktionieren nur für englische Wörter.
- ☐ B) Ein Wort hat EINEN Vektor — Mehrdeutigkeit (Bank = Geldhaus oder Sitzmöbel) wird verschmiert. Moderne kontextuelle Modelle wie BERT geben pro Vorkommen einen neuen Vektor.
- ☐ C) Sie sind zu langsam für reale Anwendungen.
- ☐ D) Sie können keine deutschen Umlaute verarbeiten.
Word Embeddings erklärt
Wörter als Punkte im Raum
Ein Computer kann mit dem Text König nichts anfangen — mit Zahlen schon. Ein Word Embedding ordnet jedem Wort einen Vektor aus vielen Zahlen zu (in der Praxis 50 bis 300 Dimensionen). Der Trick: Wörter mit ähnlicher Bedeutung bekommen ähnliche Vektoren und liegen damit nah beieinander. So wird aus Bedeutung eine Geometrie, die man messen und mit der man rechnen kann.
Die Grundidee: Du erkennst ein Wort an seiner Gesellschaft
Woher soll das Modell wissen, dass Katze und Hund verwandt sind? Aus dem Kontext. Beide stehen oft neben Wörtern wie füttern, Fell oder Tierarzt. Diese distributionelle Hypothese (Firth, 1957: You shall know a word by the company it keeps) ist der Kern: Wörter, die in ähnlichen Umgebungen auftauchen, meinen meist Ähnliches. Niemand programmiert die Bedeutungen von Hand — sie entstehen allein aus rohem Text.
Skip-Gram: Nachbarn vorhersagen
Das word2vec-Verfahren (Mikolov u.a., 2013) schiebt ein Kontextfenster über den Text. In der Skip-Gram-Variante versucht das Modell, aus einem Zielwort dessen Nachbarn vorherzusagen; die Umkehrung heißt CBOW (aus den Nachbarn das Zielwort). Bei jedem Treffer werden die beteiligten Vektoren ein Stück zusammengeschoben, bei zufällig gezogenen Nicht-Nachbarn auseinander. Dieses Ziehen an Millionen Sätzen formt nach und nach den Vektorraum. Das sogenannte Negative Sampling ist dabei eine effiziente Näherung des vollständigen Softmax, keine exakte Wahrscheinlichkeitsrechnung.
Rechnen mit Bedeutung
Weil im Training ganze Richtungen für Konzepte wie Geschlecht oder Hauptstadt-zu-Land entstehen, lässt sich mit Vektoren rechnen. Der berühmte Fund von 2013: König − Mann + Frau ≈ Königin. Man verschiebt den Vektor von König entlang der Geschlechts-Richtung und landet nahe bei Königin. Wichtig: Das Ergebnis ist der nächstgelegene Vektor, keine exakte Gleichung — es klappt für viele, aber nicht für alle Analogien, und die Eingabewörter selbst werden von der Suche ausgeschlossen.
Eigenschaften und Grenzen
- Selbstüberwacht: lernt nur aus rohem Text, ganz ohne Labels
- Ähnlichkeit = Kosinus: gemessen wird der Winkel zwischen Vektoren, nicht ihre Länge
- Statisch: klassische Embeddings geben jedem Wort einen Vektor — Bank (Geldhaus) und Bank (Sitzmöbel) fallen zusammen
- Verzerrungen: was im Text steckt, steckt auch im Modell — gesellschaftliche Vorurteile im Korpus landen messbar in den Vektoren
Spiele mit der Demo! Klick ein Wort an und sieh seine nächsten Nachbarn samt Kosinus-Wert. Wechsle dann zum Rechen-Modus und probiere König − Mann + Frau — oder Berlin − Deutschland + Frankreich. Beobachte, wie gut die Analogie trifft und wo sie danebenliegt.
1957: Die distributionelle Hypothese
Lange vor jedem neuronalen Netz formulierten Linguisten wie John R. Firth und Zellig Harris die Idee, dass sich die Bedeutung eines Wortes aus seinen typischen Nachbarn ergibt. Firths Satz You shall know a word by the company it keeps ist bis heute das Fundament jedes Embeddings.
2003: Neuronale Sprachmodelle
Yoshua Bengio und Kollegen zeigten, dass ein neuronales Netz gleichzeitig ein Sprachmodell und für jedes Wort eine verteilte Vektor-Repräsentation lernen kann. Die Idee war stark, aber rechnerisch teuer.
2013: word2vec macht es schnell
Tomáš Mikolov und sein Team bei Google veröffentlichten word2vec mit den Varianten Skip-Gram und CBOW. Durch Negative Sampling wurde das Training so effizient, dass sich Embeddings aus Milliarden Wörtern berechnen ließen. Die Analogie König − Mann + Frau ≈ Königin machte die Methode berühmt.
2014: GloVe aus Stanford
Jeffrey Pennington, Richard Socher und Christopher Manning stellten GloVe vor: Statt ein Fenster zu schieben, lernt es aus einer globalen Statistik, wie oft Wortpaare gemeinsam vorkommen. Diese Demo nutzt echte GloVe-Vektoren (100 Dimensionen, Public Domain) — der Lernweg ist ein anderer, doch die entstehende Geometrie ist dieselbe wie bei Skip-Gram: ähnliche Wörter, ähnliche Vektoren.
Ab 2018: Kontextuelle Embeddings
Modelle wie ELMo und BERT überwanden die größte Schwäche: Sie geben demselben Wort je nach Satz einen anderen Vektor. Damit lassen sich Bank (Geld) und Bank (Sitzen) endlich unterscheiden. Die statischen Vektoren von word2vec und GloVe blieben trotzdem der Baustein, auf dem alles aufbaut.
1
# Word Embeddings lernen mit Skip-Gram (word2vec, Mikolov 2013)
2
3
# 1. Vokabular und Vektoren initialisieren
4
baue vokabular V aus dem korpus
5
für jedes wort w in V:
6
vektor[w] = zufällige werte, D dimensionen # D ~ 50..300
7
8
# 2. Kontextfenster über den ganzen text schieben
9
wiederhole je epoche, für jede position im text:
10
zielwort = text[position]
11
kontext = wörter im fenster (±c) um zielwort
12
13
für jedes kontextwort ct in kontext:
14
# 3. Passt das echte paar (zielwort, ct) zusammen?
15
score = skalarprodukt(vektor[zielwort], vektor[ct])
16
p = sigmoid(score) # nahe 1 = passt, nahe 0 = nicht
17
18
# 4. Negative beispiele ziehen (Näherung statt vollem Softmax)
19
negative = ziehe k zufalls-wörter, häufigkeits-gewichtet
20
21
# 5. Kleiner schritt: echtes paar näher, zufallspaare weiter
22
rücke vektor[zielwort] und vektor[ct] zusammen
23
für jedes neg in negative:
24
schiebe vektor[zielwort] und vektor[neg] auseinander
25
26
# Ergebnis: ähnliche kontexte -> ähnliche vektoren
27
28
# ── Nutzung der fertigen vektoren (das zeigt die Demo) ──
29
30
# 6. Ähnlichkeit: nächste nachbarn über den kosinus
31
funktion ähnlichkeit(a, b):
32
return kosinus(vektor[a], vektor[b])
33
# kosinus = skalarprodukt / (betrag[a] * betrag[b])
34
35
# 7. Analogie: könig − mann + frau ≈ königin
36
funktion analogie(a, b, c):
37
ziel = vektor[a] − vektor[b] + vektor[c]
38
return wort mit größtem kosinus(vektor[wort], ziel)
39
# a, b und c werden von der suche ausgeschlossen
40
41
# 8. Visualisierung: hochdim. raum per PCA auf 2D projizieren
42
karte = pca(alle vektoren, komponenten = 2)
🎲 Vektoren würfeln
Aus dem Korpus wird ein Vokabular gebaut. Jedes Wort bekommt zunächst einen Vektor aus rein zufälligen Zahlen in D Dimensionen (meist 50 bis 300). Noch bedeutet nichts etwas — das Training gibt den Zahlen erst ihren Sinn.
baue vokabular V aus dem korpus
für jedes wort w in V:
vektor[w] = zufällige werte, D dimensionen # D ~ 50..300
📚 Korpus
Riesige Mengen roher Text — die einzige Wissensquelle. Keine Labels, keine Wörterbücher.
🪟 Kontextfenster
Ein Fenster liest Zielwort plus Nachbarn und liefert echte Wortpaare.
🔧 Vektoren justieren
Echte Paare zusammen, zufällige Paare auseinander — viele kleine Lernschritte.
🌌 Vektorraum
Nach dem Training liegen ähnliche Wörter nah beieinander; Konzepte werden zu Richtungen.
🧮 Nutzen
Nächste Nachbarn per Kosinus und Analogien per Vektor-Rechnung — das zeigt die Demo.
Verwandte Inhalte
Artikel
Embeddings & Latent Space
Der mathematische Raum, in dem ähnliche Wörter benachbart sind, ohne dass es ihnen jemand gesagt hat.
Large Language Models
Das Modell, das im Grunde nur das nächste Wort schätzt — und dabei eine erstaunliche Karriere macht.
Programmieren vs. Trainieren
Wie sich das Programmieren veränderte, als man aufhörte, jede Regel selbst aufzuschreiben.
Zeit & Sequenzen (RNNs)
Die Architektur, die KI Gedächtnis gab — bevor jemand einen besseren Weg fand.
Tokenisierung: Das Alphabet der Maschinen
Wie aus Buchstaben Token werden, und warum LLMs die Welt durch diese Brille sehen.
Der Durchbruch — Transformers & Attention
Was "Attention Is All You Need" (2017) eigentlich änderte — und warum es seitdem kein Zurück gibt.
Unsupervised Learning
Lernen ohne Antwortbogen — die anspruchsvollere, aber oft praktischere Variante des Maschinellen Lernens.
Räume und Richtungen (Vektoren)
Warum man in der KI ständig mit Pfeilen im n-dimensionalen Raum hantiert.
Demo
Attention — wohin schauen Sprachmodelle?
Interaktive Heatmap der Self-Attention: vorberechnete Muster zeigen, wie ein 2-Schichten-Transformer Bezüge zwischen Wörtern aufbaut — Pronomen-Auflösung, Verb-Objekt, Disambiguierung.
Neural Network Playground
Klicke Schichten und Neuronen zusammen, wähle Datensatz und Aktivierungsfunktion und beobachte live, wie das Netz die Daten trennt.