Warum Sprachmodelle halluzinieren – und warum das kein bloßer Softwarefehler ist

Der Satz, der zu glatt klingt

Man bittet ein Sprachmodell um die Quelle hinter einer Behauptung. Sekunden später stehen Autor, Titel, Fachzeitschrift und Erscheinungsjahr da. Alles hat die richtige Form. Nur der Aufsatz existiert nicht.

Das Irritierende ist nicht allein der Fehler, sondern seine sprachliche Qualität. Die Antwort klingt nicht unsicher. Sie stolpert nicht und markiert keine Lücke. Gerade ihre Glätte vermittelt den Eindruck, hier werde Wissen abgerufen.

Darum liegt der Verdacht nahe, das System habe einen Defekt: fehlerhafte Trainingsdaten, eine misslungene Suchanbindung oder einen Bug, der mit dem nächsten Update verschwinden müsste. Solche Ursachen gibt es. Sie erklären aber nicht das Grundproblem. Ein Sprachmodell kann technisch genau das tun, wofür es optimiert wurde, und dennoch eine falsche Aussage erzeugen. Sprachliche Plausibilität und faktische Wahrheit sind verschiedene Ziele.

Ein Modell setzt Sprache fort, nicht Quellen

Ein reines Sprachmodell schlägt bei einer Anfrage nicht in einer verborgenen Datenbank nach. Es verarbeitet den bisherigen Kontext als Folge von Tokens und berechnet, welche Fortsetzung dazu passt. Tokens können ganze Wörter, Wortteile oder Satzzeichen sein.

Der zentrale architektonische Baustein moderner Large Language Models geht auf die im Forschungsbeitrag „Attention Is All You Need“ vorgestellte Transformer-Architektur zurück. Ihre Aufmerksamkeitsmechanismen helfen dem Modell, Beziehungen zwischen Elementen des Kontextes zu gewichten. So lassen sich grammatische Abhängigkeiten, Verweise und Argumentationsmuster über längere Passagen hinweg verarbeiten.

Aufmerksamkeit ist jedoch kein eingebauter Faktenprüfer. Sie bestimmt, welche Teile des vorhandenen Kontextes für die weitere Berechnung relevant sind. Ob eine Aussage mit der Außenwelt übereinstimmt, wird dadurch nicht automatisch festgestellt.

Was beim nächsten Token geschieht

Für jeden Generierungsschritt berechnet das Modell zunächst Werte für mögliche nächste Tokens. Daraus entsteht eine Wahrscheinlichkeitsverteilung. Ein Decodierverfahren wählt eine Fortsetzung aus, hängt sie an den Text an und startet die Berechnung erneut. Der fertige Absatz wächst auf diese Weise Schritt für Schritt.

Die Temperatur verändert dabei die Verteilung vor der Auswahl. Ein niedriger Wert konzentriert sie stärker auf wahrscheinliche Tokens; ein höherer Wert lässt mehr Variation zu. Doch auch die jeweils wahrscheinlichste Fortsetzung kann sachlich falsch sein. Weniger Zufall ist nicht dasselbe wie mehr Wissen.

Das erklärt, warum ein falscher Text so geschlossen wirken kann. Jeder einzelne Schritt passt lokal zum bisherigen Satz. Ob die daraus entstandene Quelle, Person oder Behauptung außerhalb dieses Satzes existiert, ist eine andere Prüfung.

Wahrheit ist kein durchgängiges Trainingssignal

Beim Vortraining lernen generative Modelle, Tokens in großen Textbeständen vorherzusagen. Der Forschungsbeitrag zu GPT-3 beschreibt dieses autoregressive Prinzip exemplarisch. In den Textbeständen stehen gesicherte Fakten neben Fiktion, veralteten Angaben, Meinungen, Widersprüchen und Fehlern.

Das Modell erhält dabei gewöhnlich kein universelles Wahrheitssignal für jeden Satz. Es lernt statistische Regelmäßigkeiten: welche Begriffe zusammen auftreten, wie wissenschaftliche Erklärungen aufgebaut sind und welche Form eine Literaturangabe besitzt. Dass es dabei zahlreiche faktische Beziehungen lernt, ist kein Widerspruch. Diese Beziehungen sind aber nicht als sauber beschriftete und bei jeder Ausgabe überprüfte Datensätze gespeichert.

Häufige, konsistente Muster lassen sich meist stabiler reproduzieren als seltene Namen, exakte Datumsangaben oder kaum dokumentierte Details. Die Grenze ist fließend. Vor allem ist sie der Tonlage einer Antwort nicht zuverlässig anzusehen.

Wie aus einer falschen Prämisse eine fertige Quelle wird

Ein Prompt stellt nicht nur eine Frage. Er enthält oft schon eine Behauptung. Wer nach den „drei wichtigsten Thesen“ eines angeblichen Fachaufsatzes fragt, setzt voraus, dass dieser Text existiert und mindestens drei Thesen enthält.

Ein Modell kann diese Voraussetzung zurückweisen. Es kann aber auch dem vertrauten Muster der Anfrage folgen: Titel deuten, ein Forschungsgebiet erschließen, drei passend klingende Thesen formulieren. Namen, Jahreszahlen und Zeitschriftentitel passen grammatisch in dieselben Positionen wie echte Angaben. Fehlt ein stark gelerntes Verhalten für Rückfragen oder Ablehnung, kann die sprachlich vollständige Antwort gewinnen.

Nach dem Vortraining werden viele Modelle zusätzlich darauf abgestimmt, Anweisungen zu befolgen und nützlich zu antworten. Die Arbeit zu InstructGPT dokumentiert ein solches Verfahren mit menschlichem Feedback. Diese Abstimmung verbessert das Antwortverhalten, fügt aber keinen universellen Wahrheitsdetektor hinzu.

Hilfreich zu wirken und eine unbelegte Prämisse zurückzuweisen, sind nicht immer dasselbe. Wenn die Anfrage eine vollständige Antwort nahelegt, kann das Modell die Form von Gewissheit liefern, obwohl eine Rückfrage oder ein knappes „nicht verifizierbar“ angemessener wäre.

Manche Irrtümer sind bereits sprachlich gut eingeübt

Trainingsmaterial enthält zudem populäre Fehlannahmen, vereinfachte Erzählungen und oft wiederholte Irrtümer. Der Benchmark TruthfulQA untersucht, in welchem Maß Sprachmodelle solche menschlichen Falschannahmen reproduzieren.

In diesen Fällen erfindet das Modell nicht aus einem leeren Raum. Es verdichtet Muster, die in seinen Trainingsdaten bereits vorhanden sind. Das macht die Ausgabe nicht wahr. Es erklärt aber, warum manche Fehler besonders natürlich klingen und sich auch durch wiederholtes Nachfragen nicht ohne Weiteres auflösen.

Die Metapher erzählt die falsche innere Geschichte

Der Begriff „Halluzination“ beschreibt die Erfahrung auf der Leserseite: Eine Aussage erscheint konkret, obwohl ihr die passende Grundlage fehlt. Technisch führt die Metapher leicht in die Irre. Ein Sprachmodell sieht keine imaginäre Quelle vor sich. Es glaubt nicht an einen erfundenen Autor und besitzt keinen bewussten Wahrnehmungszustand, der mit einer menschlichen Halluzination vergleichbar wäre.

Ebenso ungenau wäre es, das System nur als bessere Autovervollständigung abzutun. Große Modelle lernen komplexe Repräsentationen und können Beziehungen über lange Kontexte hinweg verarbeiten. Ihre praktische Stärke ist real. Trotzdem entsteht die endgültige Ausgabe über Wahrscheinlichkeiten für sprachliche Fortsetzungen.

Als Annäherung taugt das Bild einer außergewöhnlich belesenen Entwurfsmaschine. Sie kennt unzählige Formen von Argumenten und kann daraus neue Texte bauen. Sie führt aber nicht automatisch Buch darüber, welches Bauteil belegt, veraltet oder lediglich stilistisch passend ist. Auch diese Metapher hat eine Grenze: Sie beschreibt das beobachtbare Verhalten, nicht die mathematischen Operationen im Modell.

Die entscheidende Trennung bleibt nüchterner: Wissen in den Modellparametern und ein Beleg für den gerade erzeugten Satz sind nicht identisch.

Der Test mit einem Aufsatz, den es nicht gibt

Ein ausdrücklich fiktives Beispiel macht die Mechanik sichtbar. Angenommen, jemand bittet um eine Zusammenfassung des angeblichen Fachaufsatzes „The Cartography of Synthetic Memory“ von Elena Maren. Titel und Name sind für dieses Szenario erfunden.

Ein Sprachmodell erkennt darin die Form eines englischsprachigen akademischen Textes. Begriffe wie Gedächtnis, Kartografie, Repräsentation und digitale Kultur liegen semantisch nahe. Daraus lässt sich ein plausibles Abstract bilden. Fragt man anschließend nach Methode, Erscheinungsjahr oder DOI, kennt das Modell auch für diese Angaben die üblichen sprachlichen Muster.

Die Erfindung entsteht nicht in einem einzigen Sprung. Sie wächst aus der falschen Voraussetzung des Prompts, vertrauten Fachbegriffen und der gelernten Form wissenschaftlicher Zusammenfassungen. Jeder lokale Schritt kann plausibel sein, während das Gesamtergebnis auf eine Publikation verweist, die nie existiert hat.

Was Quellenanbindung wirklich verändert

Retrieval-Augmented Generation, kurz RAG, verändert die Ausgangslage. Vor der Antwort sucht das System nach passenden Dokumenten und stellt gefundene Passagen dem Sprachmodell als zusätzlichen Kontext bereit. Der grundlegende Ansatz wurde im Forschungsbeitrag zu Retrieval-Augmented Generation beschrieben.

Das Modell muss eine Angabe dann nicht ausschließlich aus seinen Parametern rekonstruieren. Es kann sich auf konkrete Dokumente beziehen. Für technische Dokumentation, Richtlinien oder redaktionelle Recherche ist das belastbarer. Eine Wahrheitsgarantie entsteht daraus nicht.

Die Suche kann einen unpassenden oder veralteten Treffer liefern. Eine Quelle kann mehrdeutig sein. Das Modell kann eine korrekte Passage falsch zusammenfassen, einen Zusammenhang überdehnen oder eine Quellenangabe an eine Behauptung setzen, die dort gar nicht belegt wird. Retrieval verbessert die verfügbare Evidenz; es ersetzt nicht die Prüfung, ob Antwort und Quelle tatsächlich zusammenpassen.

Unsicherheit erkennen heißt noch nicht Wahrheit erkennen

Auch die Forschung an Unsicherheitsschätzungen setzt an dieser Lücke an. Ein in Nature veröffentlichter Ansatz zur semantischen Entropie vergleicht nicht nur einzelne Formulierungen, sondern die Bedeutungen mehrerer möglicher Antworten. Stark voneinander abweichende Bedeutungen können auf Unsicherheit und bestimmte konfabulierte Antworten hinweisen.

Das ist nützlich, aber kein allgemeiner Wahrheitsdetektor. Ein Modell kann dieselbe falsche Antwort konsistent wiederholen und dabei semantisch stabil wirken. Umgekehrt können mehrere unterschiedlich formulierte Antworten inhaltlich dasselbe Richtige meinen. Unsicherheit und Falschheit überschneiden sich, sind aber nicht identisch.

Auch Zusätze wie „Antworte nur, wenn du sicher bist“ lösen das Kalibrierungsproblem nicht zuverlässig. Sie können das Verhalten beeinflussen, liefern jedoch weder eine Quelle noch einen unabhängigen Nachweis.

Ein Satz ist noch kein Befund

Für die Faktenprüfung mit KI verschiebt sich damit die zentrale Frage. Nicht die Eleganz einer Antwort entscheidet über ihre Belastbarkeit, sondern die nachvollziehbare Verbindung zwischen Behauptung und Evidenz. Das gilt ebenso für KI-generierte Inhalte, die veröffentlicht und auffindbar werden. Die Hinweise von Google Search Central richten den Blick entsprechend auf Genauigkeit, Qualität und Relevanz statt allein auf das verwendete Produktionsmittel.

Halluzinationen lassen sich durch bessere Daten, Quellenzugriff, geeignete Werkzeuge und sorgfältigere Abstimmung verringern. Einzelne Fehler können sehr wohl auf mangelhafte Software oder eine schlechte Systemkonfiguration zurückgehen. Die strukturelle Lücke bleibt dennoch bestehen, solange sprachliche Fortsetzung und externe Verifikation getrennte Leistungen sind.

Ein Sprachmodell findet nicht zuerst eine Wahrheit und kleidet sie danach in Worte. Es erzeugt Sprache – und Wahrheit muss in diesem Prozess eigens verankert oder anschließend belegt werden.