Dialog-RSN-1: Bevor die KI antwortet, entscheidet sie, ob sie schweigen soll Dialog-RSN-1: Bevor die KI antwortet, entscheidet sie, ob sie schweigen soll

Vier Ziffern sind noch keine Antwort

Vier Ziffern sind gefallen, zwei fehlen noch. Ein gewöhnliches Sprachsystem registriert eine Pause und beginnt womöglich zu antworten. Dialog-RSN-1 soll in diesem Moment nicht nur Stille messen, sondern den Zustand des Gesprächs erkennen: Die Äußerung ist noch nicht abgeschlossen.

Der Testfall gehört zu der Evaluation, mit der PolyAI sein neues Modell vorstellt. Am 30. Juli 2026 brachte das Unternehmen Dialog-RSN-1 für englischsprachige Telefonagenten heraus. Bestehende Kunden können es laut Anbieter aktivieren, neue Interessenten erhalten zunächst Early Access. Eine öffentliche API ist angekündigt, aber noch nicht verfügbar. Architektur und Verfügbarkeit beschreibt PolyAI in der Vorstellung von Dialog-RSN-1.

Die relevante Neuigkeit liegt nicht in einer wärmeren oder emotionaleren Stimme. Dialog-RSN-1 erzeugt die hörbare Ausgabe gar nicht selbst. Der Fortschritt soll davor stattfinden: Das Modell erhält das Audio des Anrufers, bevor ein Transkript festlegt, was gesagt worden sein könnte.

Damit verschiebt PolyAI eine zentrale Systemgrenze. Pausen, undeutliche Aussprache und der Rhythmus eines Satzes werden nicht ausschließlich von vorgeschalteten Modulen behandelt. Sie fließen in dieselbe Modellentscheidung ein wie Gesprächskontext, nächste Antwort und möglicher Werkzeugaufruf.

Das Modell hört vor der Abschrift

Klassische Voice-Stacks arbeiten als Kette. Eine automatische Spracherkennung wandelt das Audiosignal in Text um. Ein Sprachmodell verarbeitet diesen Text und reicht seine Antwort an ein Text-to-Speech-System weiter. Diese Arbeitsteilung ist modular und technisch gut verstanden. Sie hat jedoch einen Engpass: Das zentrale Modell sieht meist nur das Ergebnis der Transkription.

Aus einem zögernden „ja“ wird dann das Wort „ja“. Unsicherheit, ein abgebrochener Gedanke oder mehrere mögliche Lesarten einer undeutlichen Passage können verloren gehen. Was die Spracherkennung verwirft, kann das nachgelagerte Modell nicht zurückholen.

Andere Anbieter öffnen ihre Modelle bereits für direkte Audiointeraktionen. Die OpenAI Realtime API unterstützt Echtzeitgespräche mit Audioein- und -ausgabe. Googles Gemini Live API verarbeitet ebenfalls kontinuierliche Audioeingaben und kann gesprochene Antworten liefern.

PolyAI wählt nach eigener Darstellung eine hybride Architektur. Auf der Eingangsseite arbeitet Dialog-RSN-1 audio-basiert: Turn-Taking, Spracherkennung, Kontextverarbeitung, Werkzeugaufrufe und Antwortplanung werden gemeinsam modelliert. Die Stimme bleibt dagegen ausgelagert. Für die hörbare Ausgabe übergibt das Modell seinen Antworttext weiterhin an eine separate Sprachsynthese.

Das ist weniger radikal als ein vollständiges Speech-to-Speech-System, aber für KI-Telefonie möglicherweise präziser zugeschnitten. PolyAI integriert jene Entscheidungen, die gemeinsam bestimmen müssen, was der Anrufer meint und ob er bereits fertig ist. Die austauschbare Stimme bleibt ein eigenes Bauteil.

Der erste Token entscheidet über die Stille

Die technisch prägnanteste Idee steckt am Anfang der Ausgabe. Das erste Token enthält noch keine Antwort. Es klassifiziert den Gesprächszug als EMPTY, ONGOING oder COMPLETE: noch keine verwertbare Sprache, eine laufende Äußerung oder ein abgeschlossener Beitrag, auf den das System reagieren darf.

Damit wird das Ende eines Gesprächszugs zur Modellentscheidung. Herkömmliche Systeme verwenden dafür häufig Regeln rund um Lautstärke, Pausendauer und Wahrscheinlichkeitsgrenzen. Das führt zu einem vertrauten Dilemma: Reagiert das System früh, fällt es Menschen ins Wort. Wartet es zu lange, entsteht jene eigentümliche Stille, an der automatisierte Telefonate sofort erkennbar werden.

Dialog-RSN-1 soll zusätzlich berücksichtigen, was zuvor gesagt wurde und welche Gesprächsaufgabe der Agent verfolgt. Eine kurze Pause nach vier Stellen einer erwarteten sechsstelligen Nummer kann dann anders behandelt werden als die gleiche Pause am Ende einer Frage.

Das Modell läuft laut PolyAI nicht während des gesamten Telefonats als ununterbrochener Voll-Duplex-Prozess. Eine vorgeschaltete Voice Activity Detection registriert akustische Ereignisse und stößt Prüfungen an. Dialog-RSN-1 bewertet das bisherige Audio und entscheidet, ob es weiter warten oder reagieren soll.

Für geeignete Konfigurationen auf A100-GPUs nennt PolyAI Latenzen von weniger als 300 Millisekunden. Das ist eine Anbieterangabe. Sie lässt noch keinen Schluss auf die vollständige Verzögerung eines realen Anrufs zu, zu der auch Telefonie-Infrastruktur, Werkzeugaufrufe und Sprachsynthese beitragen.

Das Transkript wird vom Eingang zum Protokoll

Dialog-RSN-1 erstellt weiterhin eine Verschriftlichung. Sie ist aber nicht länger das Eingangstor für die unmittelbare Antwort. Nach PolyAIs Beschreibung interpretiert das Modell zuerst das Audio, plant seine Reaktion und ruft bei Bedarf ein Werkzeug auf. Die Transkription entsteht anschließend parallel.

Das verändert ihre Funktion. Das Transkript bleibt nützlich für Protokolle, Analysen und kompaktere Gesprächskontexte. Es ist jedoch nur noch eine nachträgliche Darstellung dessen, was das Modell im Audiosignal erkannt hat – nicht mehr die einzige Wirklichkeit, auf deren Grundlage die Antwort entsteht.

Genau hier unterscheidet sich der Ansatz von bloßer Spracherkennung mit einem leistungsfähigeren Modell dahinter. Die audio-native KI soll nicht nur besser transkribieren. Sie soll Gesprächsinformation nutzen, die sich möglicherweise gar nicht verlustfrei verschriftlichen lässt.

Menschlicher heißt zunächst: im richtigen Moment

Bei Voice AI führt das Wort „menschlich“ schnell in die falsche Richtung. Ein Telefonat wirkt nicht erst dann mechanisch, wenn die Stimme künstlich klingt. Oft genügt ein falscher Takt: Das System spricht in eine Denkpause hinein, wartet nach einer abgeschlossenen Frage zu lange oder setzt seinen Monolog fort, obwohl der Anrufer korrigieren will.

Dialog-RSN-1 zielt deshalb weniger auf die perfekte Simulation einer Person als auf situativ passendes Zuhören. PolyAI nennt unter anderem Anweisungen, nach denen der Agent eine vollständige Zahlenfolge abwarten, Hintergrundgespräche ignorieren oder erst nach einem Signalton beginnen soll.

Solche Situationen wurden bisher häufig mit Silence Windows, Erkennungsregeln und speziell abgestimmten Schwellenwerten behandelt. Künftig könnten Entwickler die beabsichtigte Gesprächsdynamik näher an natürlicher Sprache formulieren: Warte auf die vollständige Nummer. Reagiere nicht auf die Person im Hintergrund. Unterbrich, sobald der Anrufer korrigiert.

Die Komplexität verschwindet dadurch nicht. Sie wandert aus dem sichtbaren Regelwerk in Training, Instruktionen und Modellverhalten. Ein kontextsensitives Modell kann mehr Signale gemeinsam bewerten. Es kann dabei aber auch Fehler produzieren, die sich schwerer auf einen einzelnen Schwellenwert zurückführen lassen.

Eine schlüssige Architektur ist noch kein Leistungssieg

PolyAI veröffentlicht Ergebnisse aus einer eigenen Testumgebung namens Dialog-Eval. Demnach erreicht Dialog-RSN-1 unter den verglichenen echtzeitfähigen Modellen die höchste Gesamtqualität und schneidet besonders bei Audioaufgaben und Turn-Taking gut ab. Bewertet werden einzelne Entscheidungspunkte aus realen und synthetischen Gesprächsverläufen: jeweils die nächste Antwort oder ein Werkzeugaufruf.

Diese kleinteilige Prüfung ist methodisch nachvollziehbar, weil sich Fehler konkreten Entscheidungen zuordnen lassen. Unabhängig überprüfen lassen sich die Resultate bislang jedoch nicht. Dialog-Eval ist zum Veröffentlichungszeitpunkt nicht öffentlich. PolyAI hat ein Open-Source-Framework und einen technischen Bericht angekündigt, aber noch nicht vorgelegt. Datensatz, Auswertungslogik und getestete Konfigurationen bleiben damit außerhalb des Unternehmens nicht reproduzierbar.

Auch der Trainingsweg ist nur in Umrissen beschrieben. Die erste Version wurde für Englisch trainiert und evaluiert. Weitere Sprachen sind angekündigt, aber noch nicht belegt. Ebenso fehlt eine allgemein zugängliche API, mit der unabhängige Teams das Modell unter eigenen Bedingungen prüfen könnten.

Vorsicht verdient auch PolyAIs Abgrenzung von direkten Speech-to-Speech-Systemen. Eine separate Sprachsynthese schafft technische Austauschbarkeit und kann die Wahl von Stimme und Infrastruktur erleichtern. Sie garantiert jedoch weder bessere Aussprache noch konsistentere Emotionalität. Umgekehrt bieten auch andere Echtzeitsysteme Steuerung für Unterbrechungen und Gesprächswechsel. OpenAI dokumentiert in seiner Realtime API konfigurierbare Turn-Erkennung; Google beschreibt für Gemini Live unter anderem Unterbrechungen und auswählbare Stimmen.

Dialog-RSN-1 ist deshalb nicht schon durch seine Architektur überlegen. Es ist zunächst konsequent auf einen bestimmten Einsatzraum zugeschnitten: strukturierte, werkzeuggestützte Gespräche über Telefonleitungen. Für multimodale Assistenz oder offene kreative Gespräche können andere Architekturen sinnvoller sein.

Die neue Grenze liegt vor dem Transkript

PolyAI legt eine technisch schlüssige Antwort auf ein reales Problem der Conversational AI vor. Das Modell soll nicht länger auf eine fertige Abschrift warten, sondern selbst beurteilen, ob eine Pause Bedeutung trägt, ob ein Satz beendet ist und ob als Nächstes eine Antwort oder eine Aktion folgen muss.

Belegt ist durch die Veröffentlichung, dass PolyAI Audioverständnis, Turn-Taking und Antwortplanung in einem gemeinsamen Modell zusammenführt und die Sprachausgabe separat hält. Nicht unabhängig belegt ist, dass dieser Ansatz konkurrierende Echtzeit-Sprachmodelle übertrifft, im Betrieb günstiger bleibt oder KI-Anrufe allgemein menschlicher wirken lässt.

Geändert hat sich die Stelle, an der die Maschine zuhört. Ob sie dadurch auch besser versteht, muss erst außerhalb der eigenen Messung hörbar werden.