Word Embeddings

Wie Maschinen Bedeutung im Vektorraum lernen

Ziehen zum Verschieben · Mausrad zum Zoomen
Nachbarschaft
Wort
Auto-Complete: Pfeiltasten + Enter, oder einfach klicken.
Ähnlichste NachbarnSortiert nach Cosinus-Ähnlichkeit — dem Winkel zwischen den Wort-Vektoren. Nahe 1 heißt fast gleiche Bedeutung, nahe 0 unverwandt.

Klick einen Punkt im Raum oder such ein Wort, um seine nächsten Nachbarn zu sehen.

Jedes Wort ist ein Punkt im Raum. Klick eins an — die hervorgehobenen Nachbarn sind die bedeutungsähnlichsten, gemessen per Cosinus-Ähnlichkeit.

Lade Embeddings…

Diese Karte ist der Bedeutungsraum: Jeder Punkt ist ein Wort, die farbigen Flächen sind Themen-Cluster, und räumliche Nähe bedeutet ähnliche Bedeutung. Ziehen verschiebt die Karte, Mausrad bzw. zwei Finger zoomen. Wähle darunter eine Aufgabe.

Die Karte in Worten

Diese Karte macht Bedeutung sichtbar: Wörter werden zu Orten, und die Wege zwischen ihnen zu Richtungen. Wer die Karte nicht sehen kann, bekommt hier die Form beschrieben, die die Zahlen unten weglassen.

Was du siehst
Rund 190 kleine Punkte, über die Fläche verstreut wie ein Sternenhimmel. Gleichfarbige Punkte drängen sich zu Inseln zusammen: die Tiere hocken in einer Ecke, die Länder in einer anderen, die Gefühle wieder woanders. Je näher zwei Punkte beieinanderliegen, desto ähnlicher ist ihre Bedeutung.
Was passiert
Klickst du ein Wort an, spannen sich kurze Linien zu seinen nächsten Nachbarn im selben Viertel. Beim Rechnen erscheint ein Pfeil, und das Ergebnis setzt sich als neuer Punkt genau dort ab, wo das erwartete Wort schon liegt. Analogien zeigen sich als parallele Pfeile: der Weg von König zu Königin weist in dieselbe Richtung wie der von Mann zu Frau.
Was du tun kannst
Drei Aufgaben stehen bereit: Nachbarschaft zeigt zu einem Wort die ähnlichsten Nachbarn, Rechnen lässt dich a − b + c ausprobieren, Challenge fragt dich Analogien ab. Einzelne Punkte kannst du anklicken, die Karte ziehen und zoomen.
Worauf du achtest
Achte auf die parallelen Pfeile. Dass König zu Königin denselben Weg nimmt wie Mann zu Frau, ist kein Zufall — das Modell hat eine Regel wie Geschlecht als feste Richtung im Raum gelernt. Genau deshalb wird Bedeutung hier zu Nähe und Richtung.

Definition

Was sind Word Embeddings?

Analogie

Stell dir eine riesige Stadt vor, in der jedes Wort ein Haus ist. Wörter mit ähnlicher Bedeutung wohnen im selben Viertel: "Hund" und "Katze" als Nachbarn, "Berlin" und "Paris" zwei Strassen weiter im Hauptstadt-Viertel.

Das Verrückte: Die Richtungen in dieser Stadt haben Bedeutung. Geh vom Haus "Mann" zum Haus "Frau" — und exakt dieselbe Strecke führt von "König" zu "Königin". Genau das misst diese Demo: König − Mann + Frau ≈ Königin.

Ein Modell liest Milliarden von Sätzen. Bei jedem Satz lernt es: Welche Wörter tauchen oft im selben Kontext auf? Daraus baut es für jedes Wort einen Vektor — meist 50 bis 300 Dimensionen — sodass kontextuell ähnliche Wörter ähnliche Vektoren bekommen.

  1. 1
    Skip-Gram / CBOW Das Modell sagt für jedes Wort die Nachbarn voraus (oder umgekehrt) und passt die Vektoren so an, dass die Vorhersage besser wird.
  2. 2
    Semantische Achsen Im Training entstehen Richtungen wie "Geschlecht", "Hauptstadt-zu-Land" oder "Plural" — ohne dass jemand sie programmiert hat.
  3. 3
    2D-Projektion Für die Anzeige wird der 100-dimensionale Raum mit PCA auf 2D flachgedrückt. Cluster bleiben sichtbar, Abstände auf der Karte stimmen aber nur grob — deshalb werden Nachbarn und Analogien auf den vollen Vektoren berechnet.
  4. 4
    Vektor-Arithmetik Weil semantische Achsen als Richtungen vorliegen, funktioniert a − b + c als analoge Operation — der Klassiker ist König − Mann + Frau ≈ Königin.

Embeddings sind keine Spielerei — sie sind das Fundament fast jeder modernen Sprach-KI:

Semantische Suche

Suchmaschinen finden Dokumente nach Bedeutung statt nur nach exakten Wörtern — die Suche nach "Auto" findet auch "Fahrzeug".

Empfehlungssysteme

Ähnliche Produkte, Songs oder Artikel werden über die Nähe ihrer Vektoren gefunden — "das könnte dir auch gefallen".

Maschinelle Übersetzung

Mehrsprachige Embeddings richten verschiedene Sprachräume aneinander aus — die Grundlage moderner Übersetzer.

Sprachmodelle (LLMs)

Jedes Token in ChatGPT & Co. startet als Embedding — es ist die allererste Schicht jedes Transformers.

Definition

Das Wichtigste in Kürze

  1. Wörter werden zu Vektoren: Jedes Wort bekommt eine Position im Raum — gelernt aus dem Kontext, in dem es vorkommt.
  2. Nähe bedeutet Bedeutung: Semantisch ähnliche Wörter liegen nah beieinander; gemessen wird das mit der Cosinus-Ähnlichkeit.
  3. Richtungen tragen Bedeutung: Dieselbe Strecke wie von Mann zu Frau führt von König zu Königin — deshalb funktioniert König − Mann + Frau ≈ Königin.
  4. Gelernt, nicht programmiert: Die semantischen Achsen entstehen von selbst beim Training auf Milliarden Sätzen.
  5. Grenze statischer Embeddings: Ein Wort hat genau einen Vektor; Mehrdeutigkeit lösen erst kontextuelle Modelle wie BERT.

Prüfen

Hast du es verstanden?

Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.

0 von 4 sitzen

Prüfen

Teste dein Wissen

Noch offen

Warum funktioniert "König − Mann + Frau ≈ Königin"?

Wähle eine Antwort

Auflösung: 1) A · 2) B · 3) C · 4) B

TheorieGeschichtePseudocodeSchritt für SchrittFlussdiagramm

Wörter als Punkte im Raum

Ein Computer kann mit dem Text König nichts anfangen — mit Zahlen schon. Ein Word Embedding ordnet jedem Wort einen Vektor aus vielen Zahlen zu (in der Praxis 50 bis 300 Dimensionen). Der Trick: Wörter mit ähnlicher Bedeutung bekommen ähnliche Vektoren und liegen damit nah beieinander. So wird aus Bedeutung eine Geometrie, die man messen und mit der man rechnen kann.

Die Grundidee: Du erkennst ein Wort an seiner Gesellschaft

Woher soll das Modell wissen, dass Katze und Hund verwandt sind? Aus dem Kontext. Beide stehen oft neben Wörtern wie füttern, Fell oder Tierarzt. Diese distributionelle Hypothese (Firth, 1957: You shall know a word by the company it keeps) ist der Kern: Wörter, die in ähnlichen Umgebungen auftauchen, meinen meist Ähnliches. Niemand programmiert die Bedeutungen von Hand — sie entstehen allein aus rohem Text.

Skip-Gram: Nachbarn vorhersagen

Das word2vec-Verfahren (Mikolov u.a., 2013) schiebt ein Kontextfenster über den Text. In der Skip-Gram-Variante versucht das Modell, aus einem Zielwort dessen Nachbarn vorherzusagen; die Umkehrung heißt CBOW (aus den Nachbarn das Zielwort). Bei jedem Treffer werden die beteiligten Vektoren ein Stück zusammengeschoben, bei zufällig gezogenen Nicht-Nachbarn auseinander. Dieses Ziehen an Millionen Sätzen formt nach und nach den Vektorraum. Das sogenannte Negative Sampling ist dabei eine effiziente Näherung des vollständigen Softmax, keine exakte Wahrscheinlichkeitsrechnung.

Rechnen mit Bedeutung

Weil im Training ganze Richtungen für Konzepte wie Geschlecht oder Hauptstadt-zu-Land entstehen, lässt sich mit Vektoren rechnen. Der berühmte Fund von 2013: König − Mann + Frau ≈ Königin. Man verschiebt den Vektor von König entlang der Geschlechts-Richtung und landet nahe bei Königin. Wichtig: Das Ergebnis ist der nächstgelegene Vektor, keine exakte Gleichung — es klappt für viele, aber nicht für alle Analogien, und die Eingabewörter selbst werden von der Suche ausgeschlossen.

Eigenschaften und Grenzen

  • Selbstüberwacht: lernt nur aus rohem Text, ganz ohne Labels
  • Ähnlichkeit = Kosinus: gemessen wird der Winkel zwischen Vektoren, nicht ihre Länge
  • Statisch: klassische Embeddings geben jedem Wort einen Vektor — Bank (Geldhaus) und Bank (Sitzmöbel) fallen zusammen
  • Verzerrungen: was im Text steckt, steckt auch im Modell — gesellschaftliche Vorurteile im Korpus landen messbar in den Vektoren

Spiele mit der Demo! Klick ein Wort an und sieh seine nächsten Nachbarn samt Kosinus-Wert. Wechsle dann zum Rechen-Modus und probiere König − Mann + Frau — oder Berlin − Deutschland + Frankreich. Beobachte, wie gut die Analogie trifft und wo sie danebenliegt.

Einfache Sprache

Diese Vorschau ist in Einfacher Sprache. Das ganze Portal gibt es auch in Einfacher Sprache. Du kannst oben die Sprache wechseln. Oder nutze den Knopf unten. Unsere Texte in Einfacher Sprache entstehen KI-gestützt und werden redaktionell begleitet. Sie orientieren sich an den Grundprinzipien der Leichten Sprache, sind aber keine geprüfte Leichte Sprache: Eine Prüfgruppe von Menschen mit Lernschwierigkeiten prüft sie nicht.

Vorschau: Eine Landkarte für Wörter

Was zeigt die Demo?

Du siehst eine Karte mit 191 Wörtern. Jeder Punkt ist ein Wort. Wörter mit ähnlicher Bedeutung liegen nah beieinander. Hund und Katze sind Nachbarn. Berlin und Paris wohnen im Viertel der Hauptstädte.

Wie du die Demo benutzt

Zieh die Karte hin und her. Zoome hinein und heraus. Wähle dann eine Aufgabe. Du findest die Nachbarn eines Wortes. Du rechnest auch mit Wörtern. König minus Mann plus Frau ergibt fast Königin. Im Quiz suchst du die richtige Antwort.

Was du lernst

Das heißt Word Embedding. Word Embedding bedeutet: Jedes Wort bekommt einen Platz als Zahlen. Der Computer lernt diesen Platz aus vielen Texten. Wörter in ähnlichen Sätzen bekommen ähnliche Plätze. Darauf baut fast jede moderne Sprach-KI auf.