Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design
Mar 25, 2026 Audio

Wie Perplexity mit der Realtime API die Sprachsuche für Millionen Menschen verfügbar machte

Was wir bei der Entwicklung des Sprachagenten für Perplexity Computer mit der Realtime API gelernt haben.

Verfasst von: Paul Fryzel (Perplexity), Charu Jaiswal (OpenAI)

Wie Perplexity mit der Realtime API die Sprachsuche für Millionen Menschen verfügbar machte

Bei Perplexity legen wir großen Wert darauf, Produkte zu entwickeln, die man gern benutzt. Für Perplexity Comet, unseren Browser mit Agentenfunktionen, und Perplexity Computer, unseren leistungsfähigen digitalen Helfer für unterschiedlichste Aufgaben, war uns deshalb wichtig, dass sich beide vollständig per Sprache bedienen lassen. Es ist ein besonderes Gefühl, wenn du einfach sagen kannst, was du möchtest, die Aufgabe abgibst und zusiehst, wie sie erledigt wird. Wir sehen großes Potenzial in der Sprachbedienung, weil sich die Interaktion dadurch ein wenig wie Magie anfühlt.

Wir haben Realtime-1.5 im Produktivbetrieb eingesetzt, damit diese Magie in den Millionen von Sprachsitzungen erlebbar wird, die Perplexity jeden Monat verarbeitet. Es war spannend zu beobachten, wie immer mehr Menschen Computer per Sprache bedienen. Dabei haben wir viel gelernt. Einige unserer bisherigen Erkenntnisse haben uns überrascht, und die möchten wir hier teilen. Probiere Realtime-1.5 aus und erzähl uns, was du dabei lernst.

1. Lege fest, wie du den Kontext verwaltest

An langen Inhalten, vor allem an mehrstündigen Podcasts mit hoher Informationsdichte, konnten wir besonders gut prüfen, wie unsere Kontextverwaltung funktioniert. Wir wollten Podcast-Transkripte per Sprache zugänglich machen. Du solltest jederzeit einsteigen und etwa fragen können, worum es an einer bestimmten Stelle nach zweieinhalb Stunden ging, und eine schlüssige Antwort bekommen.

Das gesamte Transkript passt nicht ins Kontextfenster. Zunächst haben wir es in großen Blöcken übertragen. Schnell zeigte sich, dass bei großen Aktualisierungen das Alles-oder-nichts-Prinzip gilt. Wenn du 10.000 Token an ein Kontextfenster sendest, in dem nur noch 5.000 Token Platz haben, verliert das Modell den gesamten bisherigen Verlauf. Große Blöcke waren deshalb deutlich riskanter. Eine einzige zu große Aktualisierung konnte einen ganzen Kontextabschnitt löschen, obwohl es günstiger gewesen wäre, den Verlauf schrittweise zu kürzen.

Deshalb haben wir unseren Ansatz geändert. Wir teilen die Inhalte jetzt in deutlich kleinere Blöcke von jeweils 2.000 Token auf und übergeben sie nach und nach an das Modell. Das bedeutet mehr Aufwand, aber das Verhalten ist wesentlich stabiler. Wenn das System den Verlauf kürzen muss, entfernt es nur einen kleinen Teil.

Wir haben noch etwas gelernt, das leicht zu übersehen ist. Es macht einen Unterschied, welche Rolle du einer Nachricht zuweist, mit der du dem Modell Kontext lieferst. Wenn du den Kontext mit conversation.item.create aktualisierst, stehen für item.type: "message" drei Rollen zur Verfügung: system, user und assistant. An der Rolle erkennt das Modell, um welche Art von Nachricht es sich handelt. system ist für Anweisungen vorgesehen, die das Verhalten des Modells steuern, user für Eingaben der Person, die das System nutzt, und assistant für Ausgaben des Modells.

Wenn wir die Rollen falsch zuordneten, wirkte das Gespräch unnatürlich. Übergaben wir zu viel Kontext als user, verhielt sich das Modell so, als hättest du jeden Textblock vorgelesen, auch Auszüge aus Webseiten und Kommentare. Dabei hattest du nur eine Frage zu diesen Inhalten gestellt. Übergaben wir zu viel als system, trat der gegenteilige Effekt ein. Das Modell konnte nicht mehr unterscheiden, was es von sich aus „wusste“, welche Informationen es als Kontext erhalten hatte und wonach du gerade gefragt hattest.

Das lässt sich gut am Surfen im Browser zeigen. Wenn du durch eine Seite scrollst, teilen wir dem Modell laufend mit, was auf dem Bildschirm zu sehen ist. Kennzeichnen wir all das als deine Eingabe, reagiert das Modell so, als hättest du jeden Absatz laut vorgelesen. So stellt man sich die Bedienung kaum vor. Das System soll den Eindruck vermitteln, dass es die Seite im Hintergrund mitverfolgt und ganz natürlich antwortet, sobald du eine Frage stellst. Dafür kam es weniger auf die Menge an Kontext an als darauf, welche Bedeutung das Modell den einzelnen Nachrichten im Gespräch zuordnet.

2. Vereinheitliche die Audioverarbeitung über alle Produkte hinweg

Perplexity bietet mehrere Produkte an, darunter Ask, Comet und Computer. Jedes nutzt auf Clientseite einen anderen Technologie-Stack. Je nachdem, ob ein Client Swift, TypeScript, Rust oder C++ verwendet, können sich die nativen Audiopuffer unterscheiden. Solange jeder Client Audiodaten im eigenen Rohformat oder nativen Format an die Realtime API sendete, schwankte die Leistung je nach Client.

Schließlich haben wir ein SDK in Rust entwickelt, das diese plattformspezifischen Unterschiede ausgleicht. So liefern alle Clients Audiodaten nach denselben Vorgaben an die API. Dazu verarbeiten wir das Audiosignal, bevor es den Server erreicht. Wir wandeln es in ein Monosignal mit 48 kHz um. Das entspricht der bevorzugten Abtastrate des Opus-Codecs und der internen Abtastrate von WebRTC. Anschließend verarbeitet das WebRTC APM das Signal mit Echounterdrückung, automatischer Verstärkungsregelung, Rauschunterdrückung und Hochpassfilterung. Danach codieren wir es für die Übertragung. Mit dem SDK konnten wir die Audiokonstanten vereinheitlichen, die Abtastrate anpassen und die gesamte Verarbeitungskette zentral konfigurieren. Zuvor mussten wir das für jeden Client einzeln tun.

3. Stimme die Sprachaktivitätserkennung auf den Alltag ab

Die Sprachaktivitätserkennung (VAD) solltest du dort abstimmen, wo Menschen dein Produkt tatsächlich nutzen. Berücksichtige dabei die Mikrofone, die sie verwenden, die Lautstärke der Lautsprecher und die Hintergrundgeräusche. Für einen internen Test haben wir uns eine laute Bar in San Francisco ausgesucht, weil wir uns gut vorstellen konnten, wie jemand dort unsere App ausprobiert. Eine Person fragt: „Hast du die neue Perplexity-App schon ausprobiert?“ Die andere holt ihr Handy heraus. Versagt jetzt die Sprachbedienung, haben wir gerade zwei Menschen verloren, die unsere App nutzen wollten. Funktioniert sie, hören wir eher so etwas wie „Ach du Sch**ße!“. Mit diesem Test mussten wir uns genau solchen Situationen stellen. Was unter idealen Bedingungen funktioniert, scheitert im Alltag oft. Deshalb lohnt es sich, das System zuerst unter schwierigen Bedingungen abzustimmen.

Eine der größten Herausforderungen bei der Sprachbedienung war der Umgang mit Gesprächspausen. Menschen halten ganz selbstverständlich inne, um nachzudenken, etwas auf dem Bildschirm aufzurufen oder sich darauf vorzubereiten, etwas vorzulesen. Das Modell kann eine solche Pause leicht als Ende des Redebeitrags deuten und zu früh antworten. Das haben wir zum Beispiel erlebt, wenn jemand um Hilfe bei einer mathematischen Herleitung bat. Während die Person noch nach der Formel suchte, fiel ihr das Modell ins Wort, bevor sie ihre Frage zu Ende stellen konnte. Deshalb haben wir eine Möglichkeit entwickelt, sich das Wort zu sichern. Beim klassischen Push-to-Talk ist die Spracheingabe standardmäßig ausgeschaltet. Du musst eine Taste drücken, um zu sprechen. Wir kehren das Prinzip um. Standardmäßig läuft das Gespräch ohne Tastendruck. Wenn du kurz das Wort behalten möchtest, kannst du den Sprecherwechsel sperren und selbst bestimmen, wann du fertig bist. Für uns reicht die Bedeutung dieses Prinzips über die einzelne Funktion hinaus. Je häufiger Sprachschnittstellen in komplexeren Arbeitsabläufen zum Einsatz kommen, desto eher wird sich unserer Einschätzung nach eine Form dieser Bedienung als Standard etablieren.

4. Beschränke dich auf die wichtigsten Tools und verwende Formate, die das Modell kennt

Beschränke die Auswahl auf die wenigen Tools, die am meisten bewirken. Bei uns waren es weniger als zehn. Wir haben uns auf eine kleine Gruppe von Tools konzentriert, die die wichtigsten Aktionen abdecken. Diese Abwägung hat sich für uns bewährt. Mit leistungsfähigeren Modellversionen dürfte sich das Verhältnis von Nutzen und Einschränkungen weiter verbessern.

In unserem System-Prompt haben wir ausdrücklich festgelegt, wann und wie das Modell jedes Tool aufrufen soll. Sowohl bei den Tool-Schemas als auch bei den Ausgaben haben wir auf Formate geachtet, die den Trainingsdaten des Modells entsprechen. Konkret haben wir die Tool-Ausgaben so formatiert, wie strukturierte Tool-Daten üblicherweise aussehen. Eine Ausgabe in Dialogform hätte wie eine Äußerung des Assistenten gewirkt. Wir haben strukturiertes JSON mit klar getrennten Feldern zurückgegeben, etwa response_text für den Text, den das Modell sprechen soll, und Flags wie require_repeat_verbatim zur Verhaltenssteuerung. So blieben der zu sprechende Text und die Anweisungen getrennt. Dadurch setzte das Modell die Tools zuverlässiger ein, und der Gesprächsablauf entsprach eher den Mustern, die das Modell wahrscheinlich aus dem Training kannte.

// Good:
{
  "response_text": "I kicked-off the task to create a market research dashboard",
  "require_repeat_verbatim": true
}
// Avoid:

I kicked-off the task to create a market research dashboard

# Response Instructions

Read the above instructions EXACTLY as they are

Realtime ist bereit für den Einsatz

Realtime-1.5 markiert einen Wendepunkt für die Branche. Bei der Verarbeitung umfangreicher Kontexte, beim Umgang mit einer größeren Zahl von Tools und bei Aufgaben, die hohe Anforderungen an das Denkvermögen der Modelle stellen, gibt es noch Verbesserungspotenzial. Wir erwarten, dass die Modelle besser werden. Bei Perplexity berücksichtigen wir diese Entwicklung schon heute. Wir wollen die heutigen Systeme im Alltag nutzbar machen und uns zugleich auf die nächste Generation von Realtime-Modellen vorbereiten und darauf, was sie für die Sprachbedienung möglich macht.