Self-Consistency: Warum die Mehrheit im selben Kopf sitzt Self-Consistency: Warum die Mehrheit im selben Kopf sitzt

Fünf Antworten, eine Herkunft

Sie stellen einem Sprachmodell dieselbe Frage in fünf getrennten Läufen. Viermal erhalten Sie dieselbe Antwort, einmal eine andere. Vier zu eins wirkt belastbar. Doch gezählt wurden keine vier unabhängigen Urteile.

Bei unverändertem Modell, Prompt und Sampling-Setup stammen alle Antworten aus derselben erlernten Verteilung. Der Zufall kann andere Wörter, Beispiele und Lösungsschritte hervorbringen. Er erzeugt aber keinen zweiten Wissensstand. Variation ist nicht dasselbe wie Unabhängigkeit.

Das gilt auch dann, wenn einzelne Läufe technisch unabhängig gezogen werden: Der Zufall des ersten Laufs bestimmt nicht den zweiten. Ihre Fehler können trotzdem zusammenhängen, weil alle Stichproben dieselben Modellgewichte, Trainingsmuster und promptbedingten Abkürzungen teilen. Warum selbst scheinbar deterministische Einstellungen unterschiedliche Ausgaben erzeugen können, erklärt die Vertiefung zu Variation bei Temperatur 0.

Was Self-Consistency tatsächlich auswählt

Self-Consistency ist eine Decoding-Strategie, keine eigenständige Faktenprüfung. In der ursprünglichen Methode erzeugt dasselbe Sprachmodell mehrere Reasoning-Pfade zu einer Aufgabe. Aus jedem Pfad wird die Endantwort entnommen. Gewählt wird anschließend die Antwort, die in den Stichproben am häufigsten vorkommt.

Streng genommen braucht sie dafür nicht einmal eine absolute Mehrheit. Wenn vier Antworten dreimal, zweimal, zweimal und einmal vorkommen, gewinnt bereits die häufigste. Self-Consistency sucht also den Modus der erzeugten Endantworten – nicht ein demokratisches Mandat.

Die bei ICLR 2023 veröffentlichte Originalarbeit von Wang und Kollegen ↗ nennt das Verfahren ein Self-Ensemble: Es werden nicht mehrere trainierte Modelle zusammengeführt, sondern mehrere Stichproben aus einem Modell. Die zugrunde liegende Hoffnung ist plausibel. Eine Aufgabe kann verschiedene korrekte Lösungswege besitzen, die zur gleichen Endantwort führen. Fehlerhafte Wege sollen sich stärker verteilen.

Auf den untersuchten Rechen-, Alltagslogik- und Symbolaufgaben ging diese Rechnung häufig auf. Für GSM8K berichtete die Arbeit in zwei Modellkonfigurationen einen Zuwachs von 17,9 Prozentpunkten gegenüber Chain-of-Thought mit gieriger Auswahl. Das ist ein starker Befund für diese Benchmarks und damaligen Modelle. Es ist kein Beleg dafür, dass die häufigste Antwort grundsätzlich die wahrste ist.

Der häufigste Fehler gewinnt genauso sauber

Die Abstimmung schätzt nicht direkt, ob eine Antwort stimmt. Sie schätzt, welche Endantwort unter den gewählten Bedingungen den größten Anteil der Modellverteilung einnimmt.

Liegt dort die richtige Lösung, machen zusätzliche Stichproben sie stabiler. Liegt dort ein systematischer Fehler, geschieht dasselbe mit dem Irrtum. Mehr Rechenaufwand führt dann nicht zu mehr Erkenntnis, sondern zu einem eindeutigeren falschen Ergebnis.

Hier endet die Metapher der Abstimmung. Fünf Menschen können unterschiedliche Erfahrungen, Quellen und Fachgebiete einbringen. Fünf Stichproben desselben Modells erkunden verschiedene Wege auf derselben inneren Landkarte. Ist dort eine Straße falsch eingezeichnet, wird sie nicht richtiger, weil mehrere Reisende ihr folgen.

Ein Beispiel, in dem 96 Euro verliert

Veranschaulichendes Beispiel, keine Modellmessung: Ein Preis von 100 Euro steigt zunächst um 20 Prozent und sinkt danach um 20 Prozent. Der Endpreis beträgt 96 Euro. Die Senkung bezieht sich auf 120 Euro und ist deshalb mit 24 Euro größer als die vorherige Erhöhung.

Angenommen, fünf Modellläufe liefern unterschiedliche Begründungen. Drei behandeln beide Prozentänderungen fälschlich als symmetrisch und enden bei 100 Euro. Zwei berücksichtigen die veränderte Ausgangsbasis und kommen auf 96 Euro. Die Mehrheitsentscheidung lautet 100 Euro.

Das Sampling hat dennoch etwas Nützliches geleistet: Es hat die korrekte Lösung sichtbar gemacht. Erst die Aggregation verwirft sie. Der Irrtum war nicht zufällig über verschiedene Antworten verteilt, sondern beruhte in drei Läufen auf derselben attraktiven Abkürzung.

Daraus folgt eine wichtige Asymmetrie. Starke Uneinigkeit ist ein guter Anlass zur Prüfung. Starke Einigkeit ist nur begrenzte Entwarnung. Sie zeigt Stabilität unter den getesteten Bedingungen. Ob die Antwort stimmt, ist eine andere Frage.

Self-Consistent Errors überstehen die Wiederholung

Eine EMNLP-Studie von 2025 untersucht genau diese Klasse stabiler Irrtümer. Als self-consistent error gilt in ihrer Operationalisierung eine falsche Ausgangsantwort nur dann, wenn zusätzlich 15 stochastische Stichproben semantisch dieselbe falsche Antwort erzeugen. Untersucht wurden unter anderem Modelle aus den Qwen- und Llama-Familien auf TriviaQA und SciQ.

Wahrscheinlichkeitsbasierte Verfahren, Selbstkritik über P(True), konsistenzbasierte Detektoren und trainierte Probes schnitten bei diesen stabilen Fehlern deutlich schlechter ab als bei Fehlern, die zwischen den Stichproben variierten. Konsistenzbasierte Verfahren lagen in mehreren ausgewiesenen Bedingungen auf oder unter Zufallsniveau. Die EMNLP-Arbeit zu selbstkonsistenten Fehlern ↗ zeigt damit nicht, dass jeder stabile Fehler unentdeckbar wäre. Sie zeigt, wie wenig die Wiederholung verrät, wenn gerade die gemeinsame Modellpräferenz falsch ist.

Die Autoren nennen verbreitete Fehlannahmen in möglichen Trainingsquellen und leicht verwechselbare Begriffe als fallbasierte Erklärungen. Sie beanspruchen keinen vollständigen Ursachennachweis. Ohne Zugriff auf die Trainingsdaten lässt sich meist nicht feststellen, woher ein einzelner Irrtum stammt.

Zwei Preprints aus dem Jahr 2026 liefern engere Gegenbeispiele. Auf GPQA Diamond verringerte eine Mehrheitswahl laut einer Untersuchung mit zwei kleinen instruktionstrainierten Modellen ↗ die aufgabenbezogene Genauigkeit bei 56,6 Prozent der Fragen für Qwen2.5-7B und bei 65,7 Prozent für Llama-3-8B. Die arXiv-Fassung vom 15. August 2026 weist zugleich darauf hin, dass Ergänzungen der zweiten Version nicht begutachtet waren. Der Befund betrifft einen schwierigen Wissenschaftsbenchmark und zwei konkrete Modelle – nicht Self-Consistency im Allgemeinen.

Ein weiterer, am 25. September 2026 eingereichter Preprint zur Konzentration falscher Antworten ↗ hielt die Modellgewichte konstant und verglich Reasoning- mit Non-Reasoning-Modi. Über fünf Benchmarks und 74.944 Stichproben stieg mit aktiviertem Reasoning in allen zehn ausgewiesenen Vergleichen die Wahrscheinlichkeit, dass zwei falsche Antworten übereinstimmten. Ausführlicheres Reasoning kann Fehler demnach nicht nur lösen, sondern unter den getesteten Bedingungen auch auf dieselbe falsche Antwort bündeln.

Wann Übereinstimmung ein brauchbares Signal ist

Self-Consistency passt am besten zu Aufgaben mit einer klar vergleichbaren Endantwort und mehreren möglichen Lösungswegen. Zahlen, Multiple-Choice-Optionen und normalisierte Kurzantworten lassen sich sauber aggregieren. Bei offenen Analysen ist oft schon unklar, wann zwei Texte als dieselbe Antwort gelten.

Entscheidend ist außerdem eine aufgabenbezogene Messung. Nicht die überzeugendste Mehrheit zählt, sondern die Frage, ob das Verfahren auf einem repräsentativen Satz bereits gelöster Aufgaben häufiger richtig liegt als ein einzelner Lauf. Der Beitrag zur belastbaren Prüfung von Modellqualität zeigt, warum Stabilität und Korrektheit getrennte Messgrößen brauchen.

Für die eigentliche Wahrheitsprüfung muss ein anderes Signal hinzukommen. Rechenaufgaben lassen sich mit Code oder einem Rechner kontrollieren. Aktuelle Tatsachen brauchen überprüfbare Quellen. Eine zweite Modellfamilie kann andere Fehler besitzen und damit zusätzliche Perspektive schaffen. Auch sie ist jedoch kein Wahrheitsbeweis.

Wer LLM-Antworten prüfen will, kann Übereinstimmung daher als Diagnose nutzen: Streuung warnt vor Instabilität, wiederkehrende Antworten zeigen eine starke Modellpräferenz. Erst eine unabhängige Referenz zeigt, ob diese Präferenz berechtigt ist.

Die fünfte Antwort ist kein fünfter Zeuge

Self-Consistency kann eine gute Antwort aus verrauschten Lösungswegen herausfiltern. Sie kann aber nur verstärken, was in der Modellverteilung bereits angelegt ist. Befindet sich der richtige Lösungsweg im stärksten Bereich, hilft die Mehrheit. Befindet sich dort der Irrtum, erhält er mehr Stimmen.

Die häufigste Antwort misst deshalb zunächst die Nähe mehrerer Stichproben zueinander. Nicht ihre Nähe zur Wahrheit. Die Mehrheit sitzt im selben Kopf.