Wenn KI hört, was auf dem Bild nicht zu sehen ist

Der Ton, der das Bild verändert

Auf einem Bahnsteig zeigt die Anzeigetafel das erwartete Gleis. Dann knackt der Lautsprecher, und eine Durchsage nennt einen anderen Abfahrtsort. Ein Mensch behandelt diese Informationen nicht wie zwei unabhängige Meldungen. Er erkennt den Widerspruch und fragt, welches Signal aktueller ist und ob beide überhaupt denselben Zug meinen.

Hier beginnt das eigentliche Problem multimodaler KI. Ein System soll nicht nur Schrift auf einer Tafel erkennen oder gesprochene Wörter transkribieren. Es soll Bild, Ton und eine Frage aufeinander beziehen. Die entscheidende Information steckt mitunter in keinem einzelnen Signal, sondern in ihrem Verhältnis.

Die eingängige Erklärung lautet, eine solche KI könne sehen, hören und sprechen. Als Metapher funktioniert das. Technisch führt sie in die Irre. Das Modell besitzt keine Sinnesorgane und erlebt keine zusammenhängende Szene. Es verarbeitet numerische Repräsentationen, deren Beziehungen während des Trainings geformt wurden. Multimodalität beginnt daher mit einem Übersetzungsproblem.

Jedes Signal braucht zunächst seine eigene Sprache

Text, Bilder und Schall liegen in grundverschiedenen Strukturen vor. Ein Satz ist eine geordnete Folge sprachlicher Einheiten. Ein digitales Bild besteht aus räumlich angeordneten Pixelwerten. Eine Audioaufnahme bildet den Verlauf eines Signals über die Zeit ab. Diese Rohdaten sind nicht unmittelbar semantisch vergleichbar.

Deshalb beginnt die Verarbeitung meist mit spezialisierten Encodern. Sie verwandeln die jeweilige Eingabe in Vektoren, mit denen nachgelagerte Schichten rechnen können. Wie das geschieht, hängt von der Architektur ab.

Text wird tokenisiert

Ein Tokenizer zerlegt Sprache in Wörter, Wortteile, Satzzeichen oder andere wiederkehrende Einheiten. Die zugehörigen Token-IDs werden auf Vektoren abgebildet. Positionsinformationen halten fest, in welcher Reihenfolge die Einheiten stehen.

Transformer verarbeiten solche Folgen mit Attention-Mechanismen. Die grundlegende Architektur wurde in der Forschungsarbeit Attention Is All You Need beschrieben. Bei Self-Attention werden Beziehungen innerhalb einer Folge gewichtet: Welche anderen Elemente sind für die aktuelle Repräsentation relevant? Das ist keine menschliche Aufmerksamkeit, sondern eine erlernte mathematische Operation.

Bilder werden zu räumlichen Merkmalen

Bei der Bildverarbeitung mit KI zerlegt ein Encoder eine Aufnahme häufig in kleine Ausschnitte oder verdichtet sie über mehrere Schichten. Aus den Pixelwerten entsteht eine Folge visueller Merkmale. Positionsinformationen bleiben wichtig, denn derselbe Farbfleck kann je nach Lage und Umgebung etwas völlig anderes bedeuten.

Ein solcher Encoder liefert allerdings noch keine verlässliche Beschreibung der Szene. Er stellt Merkmale bereit, aus denen weitere Schichten Muster ableiten können. Ob das Modell dabei die richtige Zeile einer Anzeigetafel oder nur deren typische Form erfasst, zeigt sich erst an der konkreten Aufgabe.

Audio behält seine Zeitachse

Für die Audioverarbeitung kann ein Encoder Abschnitte der Wellenform oder eine spektrale Darstellung verwenden, in der Frequenzen über die Zeit abgebildet sind. Daraus entstehen Merkmale für Sprache, Geräusche, Pausen und akustische Übergänge.

Diese Repräsentation ist nicht mit einem Transkript gleichzusetzen. Ein Transkript bewahrt Wörter, verwirft aber möglicherweise Betonung, Unterbrechungen oder ein Warnsignal im Hintergrund. Ob ein Modell solche nichtsprachlichen Hinweise tatsächlich nutzt, hängt von seinen Trainingsdaten, Lernzielen und der Architektur ab.

Ein Vektor ist noch keine gemeinsame Bedeutung

Nach der Codierung liegen verschiedene Vektorfolgen vor. Dass sie alle aus Zahlen bestehen, macht sie noch nicht kompatibel. Die Verbindung zwischen einem Bild, einem Satz und einem Geräusch muss durch Training hergestellt werden.

Ein verbreiteter Ansatz ist ein gemeinsamer Embedding-Raum. Dabei lernt das System, Repräsentationen passender Inhalte näher zusammenzubringen und unpassende Inhalte stärker zu trennen. CLIP demonstrierte dieses kontrastive Prinzip für Bilder und Texte: Ein Bild und seine passende Beschreibung erhalten ähnliche globale Repräsentationen, ohne dass das Bild zuvor vollständig in Sprache übersetzt werden muss.

Der gemeinsame Raum ist jedoch eine Metapher. Bild und Satz betreten keinen inneren Ort, an dem ihre Bedeutungen verschmelzen. Das Modell transformiert Vektoren und berechnet Ähnlichkeiten. Auch Ansätze wie ImageBind, die weitere Signalarten aufeinander ausrichten, erzeugen damit keine gemeinsame Erfahrung der Welt.

Für Aufgaben, bei denen eine Eingabe gezielt auf Details einer anderen zugreifen soll, kommt häufig Cross-Attention zum Einsatz. Vereinfacht formuliert liefert eine Repräsentation die Suchanfragen, während eine andere Schlüssel und Werte bereitstellt. Fragt jemand nach der Farbe eines Gegenstands, werden andere Bildmerkmale gewichtet als bei einer Frage nach seiner Position. Flamingo ist ein Forschungsbeispiel für die Verbindung von Sprach- und Bildrepräsentationen über solche Cross-Attention-Schichten.

Andere Architekturen projizieren Bild- oder Audiomerkmale zunächst in eine Form, die ein Sprachmodell verarbeiten kann. Manche führen alle Modalitäten als tokenähnliche Folge zusammen; andere halten die Ströme länger getrennt. Der Ausdruck multimodale Transformer bezeichnet deshalb keinen einheitlichen Bauplan.

Ein Modell kann auch eine Kette sein

Hinter einer multimodalen Anwendung muss nicht ein einziges, durchgängig trainiertes Modell stehen. Möglich ist ebenso eine Kaskade aus Spezialisten: Ein System transkribiert Audio, ein anderes analysiert das Bild, ein Sprachmodell verarbeitet anschließend die erzeugten Texte oder Merkmale.

Für Nutzer kann beides ähnlich aussehen. Technisch ist der Unterschied erheblich. Jede Zwischenstufe kann zum Flaschenhals werden. Wird eine Durchsage nur als Text weitergereicht, verschwinden womöglich Pausen oder Hintergrundsignale. Reduziert ein Bildmodell die Szene auf einen knappen Satz, gehen räumliche Details verloren, nach denen später gefragt wird.

Eine engere Fusion kann reichhaltigere Merkmale länger erhalten. Sie muss dafür lernen, wann ein Signal ein anderes ergänzt, wann es ihm widerspricht und wann es für die aktuelle Frage bedeutungslos ist. Die bloße Verfügbarkeit mehrerer Eingänge löst dieses Problem nicht.

Auch die Ausgabe verrät wenig über die interne Verarbeitung. Eine hörbare Antwort kann aus einem Sprachmodell und einer nachgeschalteten Sprachsynthese stammen. Dass ein System spricht, beweist nicht, dass es Ton auf dieselbe Weise verarbeitet, wie es Ton erzeugt.

Der Bahnsteig als Belastungstest

Nehmen wir die Szene vom Anfang als ausdrücklich erfundenes Beispiel. Eine Person richtet die Smartphone-Kamera auf die Anzeigetafel. Im Hintergrund läuft eine Durchsage. Sie fragt: „Von welchem Gleis fährt mein Zug?“

Der Bildencoder erzeugt Merkmale für die Tafel, ihre Zeilen und den sichtbaren Inhalt. Der Audioencoder verarbeitet die zeitliche Folge aus Sprache, Hall und Umgebungsgeräuschen. Die Frage wird als Textrepräsentation eingebunden. Erst bei der Verknüpfung zeigt sich, welche Teile der drei Signale das Modell für die Antwort gewichtet.

Mehr Information scheint zunächst die Unsicherheit zu verringern. Doch die Anzeige und die Durchsage können verschiedene Gleise nennen. Vielleicht ist die Ansage aktueller. Vielleicht betrifft sie einen anderen Zug. Möglicherweise verdeckt ein Geräusch die entscheidende Silbe, oder die Kamera erfasst die Anzeige des Nachbargleises.

Das Modell muss deshalb Referenzen verbinden: Welcher Zug ist gemeint? Welcher Abschnitt der Durchsage gehört zu ihm? Wann wurden die Signale erfasst? Zeitstempel, Kontextfenster und vorherige Dialogschritte können helfen. Sie garantieren keine richtige Auflösung.

Mehr Modalitäten bedeuten nicht automatisch mehr Wahrheit. Jedes zusätzliche Signal kann eine Lücke schließen oder eine neue Mehrdeutigkeit erzeugen. Besonders anspruchsvoll sind deshalb nicht Fälle, in denen alle Eingaben dieselbe Antwort nahelegen, sondern Situationen mit fehlenden, gestörten oder widersprüchlichen Informationen.

Wenn ein Signal die anderen überstimmt

Multimodale Modelle nutzen ihre Eingänge nicht zwangsläufig gleich stark. Ist Text im Training besonders verlässlich oder leicht auszuwerten, kann das System sprachlichen Hinweisen folgen und das Bild nur oberflächlich berücksichtigen. Umgekehrt kann ein auffälliges visuelles Muster differenziertere akustische Hinweise verdrängen.

Erst bei kontrollierten Widersprüchen wird sichtbar, ob ein Modell Beziehungen verarbeitet oder der statistisch bequemsten Modalität folgt. Eine korrekte Antwort bei übereinstimmenden Signalen reicht dafür nicht aus.

Die zusätzliche Evidenz bringt neue Abkürzungen mit

Multimodale Systeme sind besonders nützlich, wenn Bedeutung über mehrere Darstellungsformen verteilt ist. Ein Dokument besteht nicht nur aus Wörtern, sondern auch aus Spalten, Tabellen und räumlicher Hierarchie. Ein Video enthält Einzelbilder, zeitliche Entwicklung und Ton. Eine Formulierung wie „dort hinten“ wird erst durch den sichtbaren Kontext eindeutig.

Trotzdem können solche Modelle plausible, aber unbelegte Antworten erzeugen. Ein Bildencoder garantiert keine korrekte Identifikation, ein Audiomodell kein fehlerfreies Transkript und eine gemeinsame Verarbeitung keine belastbare Schlussfolgerung.

Trainingsdaten bilden die Welt zudem nicht neutral ab. Wenn Gegenstände, Geräusche und Beschreibungen häufig in bestimmten Kombinationen auftreten, kann ein Modell diese Regelmäßigkeiten als Abkürzung verwenden. Es erkennt dann den vertrauten Kontext, ohne das entscheidende Detail sauber zu prüfen. Multimodalität erweitert nicht nur die verfügbare Evidenz, sondern auch die Zahl möglicher Scheinkorrelationen.

Die präzisere Frage lautet daher nicht, welche Eingaben ein Modell akzeptiert. Entscheidend ist, wie und an welcher Stelle es sie verbindet: über Ähnlichkeiten im Embedding-Raum, Projektionen, Cross-Attention, eine gemeinsame Tokenfolge oder eine Kette spezialisierter Systeme.

Nicht mehr Sinne, sondern mehr Beziehungen

Die Metapher vom sehenden und hörenden Modell legt nahe, Multimodalität erweitere künstliche Sinnesorgane. Der technisch interessantere Gedanke liegt tiefer. Ein Modell erhält keine fertige Welt aus Bild, Sprache und Ton. Es lernt statistische Übergänge zwischen Darstellungsformen.

Ein Geräusch kann eine sichtbare Bewegung erklären. Eine Frage kann festlegen, welcher Bildausschnitt relevant ist. Eine Aufnahme kann einer Beschreibung widersprechen. Die Leistung entsteht dort, wo diese Beziehungen tragfähig genug sind, um unter neuen Bedingungen eine Antwort zu stützen.

Multimodale KI ist deshalb nicht einfach KI mit mehr Eingängen. Sie verschiebt den entscheidenden Rechenraum: weg vom einzelnen Signal und hin zu den Verbindungen zwischen ihnen.