Das fremde Verstehen: Wie Transformer Sprache berechnen

Ein Satz, der nach Denken klingt

Ein halber Satz genügt. Das Sprachmodell setzt ihn fort, trifft den Ton und löst eine Mehrdeutigkeit auf, die eben noch offen war. Manchmal erkennt es sogar Ironie. Der Eindruck entsteht fast zwangsläufig: Da hat jemand verstanden, worauf wir hinauswollen.

Technisch geschieht etwas anderes. Das Modell hält keinen fertigen Gedanken zurück, den es anschließend in Worte übersetzt. Es berechnet für den vorhandenen Kontext, welches sprachliche Element als Nächstes plausibel ist. Token für Token.

Die Beschreibung als Autovervollständigung ist deshalb richtig und zu klein zugleich. Richtig, weil viele große Sprachmodelle auf der Vorhersage des nächsten Tokens beruhen. Zu klein, weil verlässliche Vorhersagen über längere Passagen grammatische Rollen, Bezüge, Stil und Sachzusammenhänge voraussetzen. Das Modell muss solche Strukturen intern abbilden, auch wenn sein Trainingsziel sie nicht einzeln benennt.

Damit verschiebt sich die Frage. Nicht: Denkt dort jemand wie wir? Sondern: Wie kann aus berechneten Beziehungen ein sprachliches Verhalten entstehen, das wie Verstehen wirkt?

Bevor ein Wort Bedeutung bekommt, wird es zerlegt

Ein Transformer erhält zunächst keine Wörter im menschlichen Sinn. Bei der Tokenisierung wird Text in Einheiten aufgeteilt. Ein Token kann ein kurzes Wort, ein Wortbestandteil, ein Satzzeichen oder eine andere wiederkehrende Zeichenfolge sein. Welche Einheiten entstehen, hängt vom Tokenizer und seinem Vokabular ab.

Jedem Token ordnet das Modell einen Zahlenvektor zu, ein Embedding. Dieser Vektor ist keine Wörterbuchdefinition. Er bildet eine gelernte Ausgangsrepräsentation, mit der das neuronale Netz weiterrechnet. Erst in den folgenden Schichten wird daraus ein Zustand, der den jeweiligen Kontext berücksichtigt.

Positionsinformationen sorgen dafür, dass die Reihenfolge erhalten bleibt. Ihre technische Umsetzung unterscheidet sich zwischen Modellarchitekturen. Der Zweck ist derselbe: „Hund beißt Mann“ darf nicht dieselbe Repräsentation erzeugen wie „Mann beißt Hund“, obwohl beide Sätze aus denselben Wörtern bestehen.

Nicht jeder Transformer sieht denselben Ausschnitt

Die ursprüngliche, in „Attention Is All You Need“ beschriebene Transformer-Architektur kombiniert Encoder und Decoder. Spätere Modellfamilien verwenden unterschiedliche Teile dieses Entwurfs. Encoder-Modelle können eine Passage typischerweise aus beiden Richtungen verarbeiten. Die BERT-Arbeit dokumentiert ein bekanntes Beispiel für solche bidirektionalen Repräsentationen.

Viele generative Large Language Models arbeiten dagegen autoregressiv und kausal. Während sie ein Token erzeugen, dürfen sie nur den bereits vorhandenen Kontext berücksichtigen. Eine Maske sperrt zukünftige Positionen. Der Text entsteht also nicht aus einem fertig überblickten Absatz, sondern wird Schritt für Schritt fortgeschrieben.

Self-Attention ist kein innerer Scheinwerfer

Der zentrale Mechanismus der Transformer-Architektur heißt Self-Attention. Die Übersetzung „Selbstaufmerksamkeit“ klingt psychologisch. Tatsächlich handelt es sich um eine Rechenoperation: Das Modell gewichtet, welche Positionen im verfügbaren Kontext für die Aktualisierung eines Tokenzustands nützlich sind.

Dazu werden aus den aktuellen Repräsentationen drei Projektionen berechnet: Query, Key und Value. Vereinfacht steht die Query dafür, welche Information eine Position benötigt. Keys ermöglichen den Vergleich mit anderen Positionen. Values tragen die Information, die anschließend gewichtet weitergegeben wird. Diese Begriffe bezeichnen Rechenrollen, keine Fragen, Erinnerungen oder Absichten im menschlichen Sinn.

Attention(Q, K, V) = softmax(QKᵀ/√dₖ)V. Das Produkt aus Queries und Keys liefert Vergleichswerte. Nach Skalierung und Normalisierung entstehen Gewichte, mit denen die Values kombiniert werden. Das Ergebnis ist eine neue, kontextabhängige Repräsentation.

Viele Beziehungen, viele Schichten

Transformer berechnen mehrere Attention-Köpfe parallel. Dadurch können sich unterschiedliche Beziehungsmuster herausbilden, etwa grammatische Abhängigkeiten oder Verbindungen zwischen Pronomen und möglichen Bezugswörtern. Solche Funktionen sind nicht als feste Sprachregeln einprogrammiert. Ebenso wenig lässt sich jedem Kopf dauerhaft eine einzige verständliche Aufgabe zuweisen.

Auf die Attention folgen weitere Transformationen, darunter Feedforward-Blöcke. Residualverbindungen und Normalisierung unterstützen den Informationsfluss durch das Netz. Sprachleistung entsteht deshalb nicht aus einer einzelnen auffälligen Verbindung, sondern aus dem Zusammenspiel vieler Operationen über zahlreiche Schichten.

Warum Attention-Gewichte keine Gedankenkarte sind

Die Scheinwerfermetapher führt an dieser Stelle in die Irre. Das Modell entscheidet nicht bewusst, einem Wort besondere Aufmerksamkeit zu schenken. Die Gewichte sind Ergebnisse gelernter Matrizenoperationen.

Auch als Erklärung einer konkreten Ausgabe reichen sie nicht aus. Die Forschungsarbeit „Attention is not Explanation“ liefert empirische Gründe dafür, hohe Attention-Gewichte nicht automatisch als kausale Erklärung einer Vorhersage zu lesen. Relevante Information kann sich über Köpfe, Schichten und weitere Modellkomponenten verteilen.

Eine schlichte Aufgabe mit weitreichenden Folgen

Beim Basistraining eines autoregressiven Sprachmodells soll das System das nächste Token möglichst gut vorhersagen. Liegt es daneben, wird der Fehler zurückgerechnet. Die Parameter werden so verändert, dass passende Fortsetzungen wahrscheinlicher werden.

Dieses Ziel fordert nicht ausdrücklich, Subjekte zu erkennen, Ironie zu deuten oder einen Argumentationsbogen zu verfolgen. Solche Strukturen können für eine gute Vorhersage jedoch nützlich werden. Ein Verb hängt vom Satzbau ab. Ein Pronomen verweist auf etwas. Eine Antwort muss zur Frage passen. Fachbegriffe verändern, welche Formulierungen im weiteren Verlauf wahrscheinlich sind.

In den Parametern entsteht dadurch kein ordentliches Archiv der Trainingstexte. Sie kodieren verteilte Regelmäßigkeiten darüber, welche Formen, Konzepte und Beziehungen gemeinsam auftreten. Zusätzliche Trainingsphasen können das Antwortverhalten auf Anweisungen, Dialoge oder bestimmte Aufgaben ausrichten. Die grundlegende Erzeugung bleibt dennoch eine Berechnung von Wahrscheinlichkeiten.

Darin liegt eine zentrale Grenze: Plausibilität ist kein Wahrheitskriterium. Eine Aussage kann hervorragend zum sprachlichen Kontext passen und sachlich falsch sein. Das Vorhersageziel prüft nicht automatisch, ob jede Behauptung mit einer unabhängigen Quelle oder der beobachtbaren Welt übereinstimmt.

Der Test mit der Bank

Ein vereinfachtes Beispiel macht die Mechanik sichtbar. Im Satzanfang „Nach dem Gespräch mit der Beraterin prüfte die Bank den …“ legt der bisherige Kontext ein Finanzinstitut nahe. Fortsetzungen wie „Antrag“ oder „Kredit“ passen in dieses Muster. Bei „Am Rand des Waldwegs stand eine verwitterte Bank. Ihre …“ verschiebt sich der Bedeutungsraum. Nun liegt etwa „Sitzfläche“ näher.

Das Token „Bank“ kann in beiden Fällen mit derselben oder einer ähnlichen Ausgangsrepräsentation beginnen. Durch den Kontext entstehen jedoch unterschiedliche interne Zustände. Bedeutung liegt für das Modell nicht als fester Eintrag bereit. Sie wird als kontextabhängige Repräsentation berechnet.

Bei einem kausalen Modell gilt eine zusätzliche Einschränkung. Wird die Mehrdeutigkeit erst nach dem Wort aufgelöst, kann der frühere Tokenzustand nicht nachträglich mit Wissen aus der Zukunft überschrieben werden. Spätere Positionen können den früheren Ausdruck und den neuen Hinweis aber gemeinsam verarbeiten. Ein bidirektionaler Encoder darf dagegen auch nachfolgende Wörter direkt in die Repräsentation von „Bank“ einbeziehen.

Das Modell schlägt dabei nicht sichtbar eine Definition nach. Es nutzt gelernte Beziehungen, um den Ausdruck im jeweiligen Satz funktional einzuordnen. Genau diese beweglichen Repräsentationen machen Transformer für Übersetzung, Suche, Klassifikation und Textgenerierung leistungsfähig.

Was von der menschlichen Analogie übrig bleibt

Menschen lernen Sprache nicht nur aus Zeichenfolgen. Wörter verbinden sich mit Wahrnehmung, Körpererfahrung, Absichten, sozialen Situationen und den Folgen eigener Handlungen. Wer sich auf eine nasse Bank setzt, gewinnt eine andere Art von Wissen als ein Modell, das Beschreibungen nasser Sitzflächen verarbeitet.

Die Forschungsarbeit „Climbing towards NLU“ von Emily Bender und Alexander Koller trennt deshalb sprachliche Form von situativ verankerter Bedeutung. Ihre These ist eine theoretische Position, kein einfacher Labortest auf „echtes Verstehen“. Sie benennt jedoch eine entscheidende Grenze: Aus sprachlicher Form allein folgt nicht automatisch jener Weltbezug, der menschliche Kommunikation trägt.

Das reduziert Sprachmodelle nicht auf das Wiederholen gelernter Sätze. Sie können Beziehungen auf neue Formulierungen übertragen, Analogien bilden und regelhafte Aspekte der Welt abbilden, weil Texte viele Spuren dieser Welt enthalten. Multimodale Eingaben und Interaktion können diese Grundlage erweitern. Aus der Transformer-Architektur selbst folgt dennoch weder menschliche Erfahrung noch eine fortbestehende Absicht hinter einer Äußerung.

Es hilft deshalb, zwei Verwendungen von „Verstehen“ zu trennen. Funktional versteht ein Modell Sprache, wenn es relevante Unterschiede erkennt und angemessen mit ihnen arbeitet. Menschliches Verstehen umfasst darüber hinaus Erfahrung, Weltbezug und ein soziales Gegenüber.

Die verstörende Einsicht lautet: Sprachkompetenz ist kein Beweis für ein menschliches Innenleben. Sie kann aus berechneten Beziehungen entstehen.