Temperatur 0: Warum sich die Antwort trotzdem verändert Temperatur 0: Warum sich die Antwort trotzdem verändert

Temperatur null beendet nur das Losverfahren

Sie senden denselben Prompt zweimal. Das Modell ist gleich, die Einstellungen sind unverändert, die Temperatur steht auf null. Trotzdem beginnt die zweite Antwort anders oder nimmt nach einigen Sätzen eine neue Richtung. Das wirkt, als halte sich das System nicht an seine eigene Einstellung.

Doch Temperatur 0 verspricht weniger, als der Name vermuten lässt. In üblichen Implementierungen beendet sie den Zufall bei der Auswahl des nächsten Tokens. Statt zwischen mehreren Kandidaten zu losen, wählt das System den Kandidaten mit dem höchsten berechneten Wert. Identisch wird die Ausgabe aber nur, wenn auch diese Werte bei jedem Schritt identisch sind.

Schon eine winzige numerische Verschiebung kann zwei nahezu gleich bewertete Kandidaten die Plätze tauschen lassen. Die Auswahlregel bleibt dabei vollkommen konsequent. Sie entscheidet sich nur auf einer geringfügig veränderten Grundlage.

Der Regler greift erst nach der Rechnung

Ein Sprachmodell entwirft nicht zuerst einen vollständigen Satz und entscheidet anschließend, wie kreativ er klingen soll. Es erzeugt Text schrittweise. Für jede Position berechnet es Werte für mögliche nächste Tokens – je nach Modell können das Wörter, Wortteile oder einzelne Zeichen sein.

Bei einer Temperatur oberhalb von null beeinflusst der Regler, wie stark sich die Auswahl auf hoch bewertete Kandidaten konzentriert. Bei Temperatur 0 wird üblicherweise Greedy Decoding eingesetzt: Es gewinnt jeweils der Kandidat an der Spitze. Die am 10. September 2025 veröffentlichte technische Analyse von Thinking Machines Lab ↗ bezeichnet diese Auswahlregel als theoretisch deterministisch.

Die Temperaturmetapher endet jedoch genau an dieser Stelle. Der Regler bestimmt, wie aus den berechneten Werten ausgewählt wird. Er bestimmt nicht, auf welchem Rechenweg diese Werte entstanden sind. Greedy Decoding kann deshalb deterministisch arbeiten und dennoch in zwei Läufen unterschiedliche Gewinner erhalten.

Batching verändert den Rechenweg

Computer rechnen mit endlicher Genauigkeit. Viele Zwischenergebnisse müssen gerundet werden. Bei Gleitkommazahlen kann deshalb die Reihenfolge einer langen Addition die letzten Stellen verändern: (a + b) + c muss numerisch nicht exakt dasselbe ergeben wie a + (b + c).

Das bedeutet nicht, dass Grafikprozessoren bei jedem Lauf willkürlich rechnen. Viele einzelne Rechenroutinen, sogenannte Kernels, liefern bei identischen Eingaben und identischer Konfiguration zuverlässig dasselbe Resultat. Die vereinfachte Erklärung „Parallelität erzeugt Zufall“ führt daher in die falsche Richtung.

Der relevante Unterschied entsteht häufig durch dynamisches Batching. Inferenzserver bündeln gleichzeitig eintreffende Anfragen, damit sie die Hardware effizient auslasten. Unter geringer Last teilt Ihre Anfrage einen Rechenschritt vielleicht mit wenigen anderen Sequenzen. Einen Moment später sind es deutlich mehr. Je nach Form und Größe dieses Batches kann die Laufzeitumgebung andere Kachelgrößen, Reduktionswege oder spezialisierte Kernels einsetzen.

Diese Varianten können einzeln deterministisch sein und dennoch unterschiedliche Rundungsergebnisse liefern. Sie sind dann nicht batch-invariant: Das Ergebnis einer Anfrage bleibt nicht über jede Batch-Größe und Anordnung hinweg bitgenau gleich. Thinking Machines Lab identifiziert diese fehlende Batch-Invarianz als einen zentralen Mechanismus hinter variierenden Ausgaben bei Temperatur 0.

Die Inhalte paralleler Anfragen werden dabei nicht miteinander vermischt. Andere Nutzer schreiben Ihre Antwort nicht mit. Ihre Anwesenheit kann aber die Form der gemeinsamen Berechnung verändern. Wie diese Berechnung in die Inferenzphase gehört, vertieft der Beitrag Training und Inferenz: Die zwei Leben eines KI-Modells.

Ein anderes Token genügt

Vereinfachtes Beispiel: Ein Modell kann einen Absatz sowohl mit „Daher“ als auch mit „Deshalb“ plausibel fortsetzen. Beide Kandidaten liegen in der internen Bewertung fast gleichauf. Im ersten Lauf gewinnt „Daher“. Im zweiten verschiebt ein anderer Reduktionsweg die letzten Stellen, und „Deshalb“ rückt knapp nach vorn.

Zunächst ist der sichtbare Unterschied gering. Im nächsten Rechenschritt gehört das gewählte Wort jedoch bereits zum Kontext. Das Modell bewertet nun alle folgenden Kandidaten auf einer leicht veränderten Grundlage. Einige Tokens später können Beispiele, Satzbau und Argumentationsrichtung auseinanderlaufen. Die große Differenz im fertigen Text misst daher nicht die Größe des ursprünglichen Rechenunterschieds. Sie zeigt dessen autoregressive Verstärkung.

Wie deutlich dieser Effekt ausfallen kann, demonstrierte Thinking Machines Lab mit einem einzelnen Versuchsaufbau: Bei 1.000 Fortsetzungen eines Qwen-Modells mit Temperatur 0 entstanden 80 unterschiedliche Ausgaben. Die ersten 102 Tokens waren identisch; die erste Abzweigung trat beim 103. Token auf. Mit den im Versuch eingesetzten batch-invarianten Kernels waren alle 1.000 Ausgaben gleich. Versuchsaufbau und Ergebnisse stehen in der Originalquelle ↗.

Das Experiment belegt einen technischen Mechanismus, keine allgemeine Abweichungsquote für Sprachmodelle oder kommerzielle APIs. Wie oft eine Ausgabe variiert, hängt unter anderem von Modell, Prompt, Serving-System und dem Abstand zwischen den bestbewerteten Kandidaten ab.

Wiederholbarkeit muss im Serving gebaut werden

Nichtdeterminismus ist keine unveränderliche Wesenseigenschaft eines Sprachmodells. Ein Inferenzsystem kann seine Rechenwege so gestalten, dass Batch-Größe und Reihenfolge die numerischen Ergebnisse nicht verändern. Dafür müssen unter anderem Reduktionsfolgen, Kernel-Konfigurationen und die Verarbeitung des Attention-Kontexts konsistent bleiben.

Die am 20. September 2026 abgerufene vLLM-Dokumentation zur Batch-Invarianz ↗ führt eine entsprechende Funktion weiterhin als Beta. Der Modus verwendet deterministische Kernel und deaktiviert bestimmte Optimierungen, die reproduzierbare Ergebnisse gefährden können. Mögliche Leistungseinbußen beschreibt das Projekt ausdrücklich als Teil dieses Zielkonflikts.

Auch eine solche Funktion sollte nur in dem Umfang als Garantie gelten, in dem sie tatsächlich getestet wurde. Ein am 5. August 2026 eröffneter und am 20. September 2026 weiterhin offener vLLM-Fehlerbericht ↗ dokumentiert bei hoher Parallelität abweichende Logwahrscheinlichkeiten trotz aktiviertem Batch-Invarianz-Modus. In fünf Wiederholungen derselben Last wurden drei unterschiedliche Ergebnisse beobachtet. Das ist ein einzelner gemeldeter Fehlerfall, kein Gegenbeweis zum gesamten Ansatz. Er markiert aber die Grenze zwischen dokumentiertem Ziel und bereits nachgewiesenem Verhalten.

Was ein belastbarer Test prüfen muss

Vor einem Reproduzierbarkeitstest muss feststehen, was „gleich“ bedeutet. Bitgenaue Werte, dieselbe Tokenfolge und eine inhaltlich gleichwertige Antwort sind verschiedene Anforderungen. Für einen Regressionstest des Inferenzsystems kann nur die exakte Übereinstimmung genügen. Bei einem redaktionellen Entwurf ist häufig entscheidender, ob Fakten, Struktur und Aussage stabil bleiben.

• Den vollständigen Testfall fixieren: Modellversion, Systemkontext, Prompt, Tokenizer, Werkzeuge, abgerufene Quellen und Ausgabelimits gehören zur Anfrage. Derselbe sichtbare Nutzersatz allein beweist keine identischen Eingaben.
• Unter realistischer Parallelität testen: Serielle Wiederholungen decken Abweichungen durch dynamisches Batching möglicherweise nicht auf. Die erwartete Betriebslast gehört deshalb in den Test.
• Die erste Trennung untersuchen: Wo Token und Logwahrscheinlichkeiten zugänglich sind, ist der erste abweichende Schritt aufschlussreicher als der Vergleich zweier fertiger Absätze.
• Die geforderte Toleranz benennen: Ein Prozess sollte ausdrücklich festlegen, ob er identische Tokens oder semantisch stabile Ergebnisse benötigt.
• Funktionen nicht mit Garantien verwechseln: Temperatur, Seed, Modell-Pinning und Batch-Invarianz lösen unterschiedliche Probleme. Ihre konkrete Wirkung hängt von der jeweiligen Implementierung ab.

Wiederholbarkeit bleibt dabei nur eine Dimension von Qualität. Eine zuverlässig wiederholte falsche Antwort ist nicht besser, weil sie identisch ist. Umgekehrt kann ein sprachlich variierender Text fachlich stabil bleiben. Der Beitrag Wie man die Qualität eines KI-Modells wirklich prüft führt diese Unterscheidung in die Evaluation weiter.

Die Antwort gehört zum ganzen Rechenweg

Temperatur 0 bedeutet: Das System soll bei der Tokenwahl nicht absichtlich losen. Es bedeutet nicht, dass jeder vorherige Rechenschritt unter allen Betriebsbedingungen identisch ausgeführt wird.

Der entscheidende Perspektivwechsel führt deshalb weg vom einzelnen Regler. Eine Antwort entsteht nicht nur aus Modell und Prompt. Sie entsteht aus einem Modell, das auf einem konkreten Inferenzsystem einen konkreten numerischen Weg nimmt. Wiederholbarkeit ist eine Eigenschaft dieses ganzen Weges.