Embeddings: Wie Bedeutung zu Geometrie wird

Die Suche, die nicht auf dieselben Wörter wartet

Jemand tippt „Vertrag vorzeitig beenden“ in ein Suchfeld. Das passende Dokument heißt „Regelungen zur außerordentlichen Kündigung“. Kaum ein Wort stimmt überein, trotzdem ist die Verbindung für Menschen offensichtlich. Eine rein lexikalische Suche muss sie erst über Synonyme, Wortstämme oder andere Regeln herstellen.

Embeddings setzen an einer anderen Stelle an. Sie übersetzen Wörter, Sätze oder Dokumente in Zahlenfolgen, sogenannte Vektoren. Das Training soll diese Vektoren so anordnen, dass für eine bestimmte Aufgabe relevante Beziehungen mathematisch messbar werden. Auf die Frage „Was sind Embeddings?“ lautet die kurze Antwort daher: trainierte Vektorrepräsentationen, die Beziehungen zwischen Datenpunkten berechenbar machen.

Oft wird dafür das Bild einer Landkarte der Bedeutung verwendet. Es ist nützlich, solange man seine Grenze kennt. Auf dieser Karte gibt es keine fest beschrifteten Länder und keine objektive Himmelsrichtung. Der Raum entsteht erst durch Trainingsdaten, Modellarchitektur und Optimierungsziel.

Ein Vektor trägt kein Etikett

Ein Vektor ist zunächst nur eine geordnete Folge von Zahlen. Jede Position wird als Dimension bezeichnet. Anders als eine Spalte in einer Tabelle steht eine solche Dimension meist nicht verständlich für „Dringlichkeit“, „Vertragsbezug“ oder „Sachlichkeit“. Die Information verteilt sich über das gesamte Zahlenmuster.

Ein Embedding enthält Bedeutung deshalb nicht wie ein Behälter seinen Inhalt. Es erhält seine Funktion durch seine Relation zu anderen Vektoren und durch die Rechenoperationen, die ein System auf diesem Raum ausführt.

Vom Token zum Kontext

Bevor ein Sprachmodell Text verarbeitet, zerlegt ein Tokenizer ihn in Einheiten. Das können Wörter, Wortteile oder Satzzeichen sein. Ein deutsches Kompositum wie „Rechnungsfreigabe“ kann aus mehreren Token bestehen. Jedem Token wird eine Kennung zugeordnet; über eine trainierte Embedding-Matrix entsteht daraus zunächst ein Eingangsvektor.

In Transformer-Modellen kommt Information über die Position im Text hinzu. Die nachfolgenden Schichten verändern die Darstellung eines Tokens anhand der übrigen Textstellen. Die grundlegende Architektur wurde in der Primärarbeit „Attention Is All You Need“ beschrieben. So erhält „Bank“ in einem Satz über Geld einen anderen kontextabhängigen Zustand als in einem Satz über einen Platz am Fluss.

Diese Zustände sind von den anfänglichen Token-Embeddings zu unterscheiden. Für den Vergleich ganzer Sätze oder Dokumentabschnitte braucht es außerdem eine zusammengefasste Repräsentation. Sentence-Embeddings entstehen etwa durch Aggregation der Token-Zustände und ein Training, das passende Textpaare gezielt näher zusammenführt.

Die Koordinaten sind ein Nebenprodukt des Trainings

Niemand trägt Begriffe von Hand in den Vektorraum ein. Ein Optimierungsverfahren verändert Modellparameter so lange, bis ein definiertes Ziel besser erfüllt wird. Dieses Ziel kann darin bestehen, Wörter aus ihrem Kontext vorherzusagen oder passende Textpaare stärker voneinander zu unterscheiden als unpassende.

Die Word2Vec-Arbeit beschrieb effiziente Verfahren zum Lernen kontinuierlicher Wortrepräsentationen aus Kontexten. GloVe nutzte globale Wort-Kookkurrenzen. Sentence-BERT optimierte Repräsentationen ganzer Sätze für den direkten Ähnlichkeitsvergleich. Die Verfahren erzeugen Vektoren, doch ihre Lernziele sind nicht identisch. Entsprechend unterscheiden sich auch die Geometrien.

Bedeutung wird dabei nicht als Definition gespeichert. Das Modell verdichtet statistische Regelmäßigkeiten in einer Struktur. Welche Beziehungen darin hervortreten, hängt davon ab, welches Material es gesehen hat und wofür es belohnt wurde.

Was „nah“ technisch bedeutet

Sobald Texte als Vektoren vorliegen, braucht das System ein Ähnlichkeitsmaß. Häufig verwendet wird die Cosinus-Ähnlichkeit. Sie setzt das Skalarprodukt zweier Vektoren ins Verhältnis zu ihren Längen und vergleicht damit vor allem ihre Richtung. Das unnormierte Skalarprodukt hängt zusätzlich von den Vektorlängen ab; die euklidische Distanz misst den direkten Abstand. Bei normierten Vektoren hängen diese Maße eng zusammen.

Welche Kennzahl geeignet ist, gehört zur technischen Spezifikation des jeweiligen Modells. Ein hoher Wert ist nicht modellübergreifend interpretierbar und auch kein allgemeines Gütesiegel für einen Treffer.

Eine semantische Suche erzeugt eine Vektorrepräsentation der Anfrage und sucht nach nahe gelegenen Dokumentvektoren. Bei großen Beständen übernehmen Indizes für näherungsweise Nachbarsuche diese Aufgabe. Eine Vektordatenbank verwaltet dafür typischerweise die Vektoren, Referenzen auf die Ursprungsinhalte und Metadaten wie Dokumenttyp, Sprache oder Gültigkeitsbereich.

Hier endet die Landkartenmetapher. Die Achsen des Raums besitzen gewöhnlich keine stabile menschliche Beschriftung. Würde man sämtliche Vektoren mit derselben abstandserhaltenden Transformation drehen, blieben Winkel und Nachbarschaften erhalten. Die einzelnen Koordinaten sähen anders aus, das System könnte aber dieselben Treffer liefern.

Die Relation ist wichtiger als die Koordinate. Ein Punkt bedeutet isoliert nichts Bestimmtes. Nützlich wird er durch seine Lage zu anderen Punkten und durch die Aufgabe, für die dieser Raum trainiert wurde.

Auch Nähe selbst ist mehrdeutig. Zwei Texte können dasselbe Thema behandeln, dieselbe Absicht ausdrücken oder dieselbe Antwort nahelegen. Ein Modell für juristische Dokumente kann andere Relationen hervorheben als eines für Produktbeschreibungen. Es gibt nicht den universellen Raum menschlicher Bedeutung, sondern verschiedene, für bestimmte Zwecke gelernte Räume.

Wo Nähe die falsche Geschichte erzählt

Verwandte Formulierungen sind nicht automatisch austauschbar. „Freigegeben“ und „nicht freigegeben“ teilen fast ihren gesamten sprachlichen Kontext, bezeichnen operativ aber gegensätzliche Zustände. Auch Antonyme können nahe beieinanderliegen, weil sie in ähnlichen Sätzen auftreten: „heiß“ und „kalt“ erscheinen beide bei Temperaturen, Getränken oder Wetter.

Kontextuelle Modelle können solche Unterschiede besser erfassen als statische Wortvektoren. Garantiert ist das nicht. Seltene Fachbegriffe, neue Eigennamen und ungewöhnliche Komposita können schwieriger zu repräsentieren sein, wenn im Training passende Beispiele fehlen.

Auch die Perspektive der Daten bleibt im Raum erhalten. Enthält ein Korpus stereotype oder einseitige Zuordnungen, können sich diese Strukturen in den Vektoren wiederfinden. Ein Embedding ist keine neutrale Vermessung der Welt, sondern eine statistische Spur dessen, was ein Modell unter einem bestimmten Lernziel aus seinem Material ableiten konnte.

Zwei leistungsfähige Modelle erzeugen zudem nicht automatisch kompatible Geometrien. Ihre Vektoren lassen sich ohne eine geeignete Ausrichtung gewöhnlich nicht direkt vergleichen. Bei einem Modellwechsel müssen Dokumente daher meist neu eingebettet werden. Suchergebnisse, Cluster und sinnvolle Schwellenwerte können sich verändern, obwohl der Textbestand gleich bleibt.

Wenn von einem Modell gesagt wird, es „verstehe“ einen Inhalt, ist das zunächst eine funktionale Abkürzung. Beobachtbar ist, dass seine Repräsentationen für bestimmte Aufgaben nützliche Beziehungen bewahren. Menschliches Begriffsverständnis folgt daraus nicht.

Der Test: eine doppelt bezahlte Rechnung

Nehmen wir ein ausdrücklich konstruiertes Beispiel. Eine Mitarbeiterin sucht in einer deutschsprachigen Wissensbasis nach: „Eine Rechnung wurde zweimal beglichen. Wie erhalten wir das Geld zurück?“ Das einschlägige Dokument heißt „Rückforderung von Überzahlungen“. Eine Schlüsselwortsuche kann die Verbindung übersehen. Ein geeignetes Embedding-Modell kann doppelte Zahlung und Überzahlung dagegen als verwandte Sachverhalte repräsentieren.

Der technische Ablauf sieht typischerweise so aus:

1. Die Dokumente werden in sinnvolle Abschnitte geteilt und mit Metadaten versehen.
2. Ein Embedding-Modell erzeugt für jeden Abschnitt einen Vektor. Die spätere Suchanfrage wird in einem kompatiblen Raum repräsentiert.
3. Eine Nachbarsuche liefert rechnerisch ähnliche Kandidaten.
4. Lexikalische Treffer, Metadatenfilter oder ein zusätzliches Ranking-Modell ordnen die Kandidaten genauer.
5. Bei Retrieval-Augmented Generation werden ausgewählte Passagen zusammen mit der Anfrage an ein Sprachmodell übergeben.

Die Qualität steht nicht allein mit dem Embedding-Modell. Zu lange Textabschnitte vermischen Themen; zu kurze verlieren entscheidenden Kontext. Eine veraltete Wissensbasis liefert auch bei perfekter Nachbarsuche nur den ähnlichsten veralteten Text.

Warum exakte und semantische Suche zusammengehören

Embeddings sind stark bei Paraphrasen und unscharfen Formulierungen. Eine lexikalische Suche bleibt wertvoll, wenn Rechnungsnummern, Produktcodes, Eigennamen oder exakte Ausschlussbegriffe zählen. Hybride Verfahren verbinden deshalb semantische Ähnlichkeit mit Worttreffern und strukturierten Filtern.

Auch Retrieval-Augmented Generation macht aus Nähe keine Wahrheit. Das Retrieval schlägt Passagen vor; das Sprachmodell formuliert daraus eine Antwort. Es kann Quellen missverstehen, Widersprüche übersehen oder Informationen ergänzen, die in den gefundenen Texten nicht stehen.

Die nüchterne Trennung lautet: Embeddings berechnen plausible Nachbarschaften. Ob ein Treffer fachlich richtig, aktuell oder vollständig ist, beantwortet die Geometrie nicht.

Bedeutung ist kein Punkt im Raum

Die Zahlenfolge selbst ist weder ein Begriff noch eine Definition. Sie wird erst durch das Netz ihrer Beziehungen nützlich. Darin liegt die technische Eleganz von Embeddings: Sprachliche Vielfalt muss nicht vollständig in ein starres Wörterbuch übersetzt werden. Bestimmte Gemeinsamkeiten und Unterschiede werden stattdessen als Rechenwege zugänglich.

Doch jeder dieser Räume hat eine Perspektive. Er bewahrt, was das Training belohnt hat, und kann anderes abschwächen oder verlieren. Ein Embedding ist daher weniger eine Karte vorhandener Bedeutung als ein für eine Aufgabe gebautes Messinstrument.

KI findet Bedeutung nicht als fertigen Gegenstand hinter den Wörtern. Sie lernt eine Geometrie, in der ein ausgewählter Teil unserer Bedeutungsbeziehungen berechenbar wird.