Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design
Nov 10, 2026 Audio

Sprachagenten weiterentwickeln: Einblicke in vier Projekte mit GPT-Live

Vier Start-ups zeigen, wie ihre Teams Aufgaben delegieren, Prompts für gesprochene Antworten formulieren und echte Gespräche auswerten.

Verfasst von: Eva Sasson, Ethan Pereira

Sprachagenten weiterentwickeln: Einblicke in vier Projekte mit GPT-Live

Mit GPT-Live kannst du einem Gespräch deinen eigenen Rhythmus geben. Du kannst einhaken, das Thema wechseln und eine Idee beim Sprechen weiterentwickeln. In kaskadierten Sprachsystemen durchläuft das Gesprochene nacheinander separate Modelle für Transkription, Sprachverarbeitung und Spracherzeugung. GPT-Live kann gleichzeitig zuhören und sprechen. So entstehen natürlichere Gespräche, in denen es ebenso auf den richtigen Moment und den Umgang mit Unterbrechungen ankommt wie auf die Worte selbst.

In diesem Blogbeitrag berichten Juno, Picsart, Treater und Weekend selbst, wie sie GPT-Live einsetzen und was sie dabei gelernt haben:

  1. Anrufe anhand aktueller Daten aus dem Produktivbetrieb verbessern
  2. Stimmen finden, die Vertrauen schaffen
  3. Gespräche mit der Arbeit von Hintergrundagenten abstimmen
  4. Das Zusammenspiel mehrerer Sprachagenten steuern

Wir schauen uns an, welche Prompts, Abläufe und Rückmeldungen diese Produkte prägen. Daraus ergeben sich Ideen, die du in deinen eigenen Anwendungen ausprobieren kannst.

Erfahrungsberichte der Start-ups

Erfahrungsbericht eines Start-ups auswählen

Start-up im Porträt 01 · Gesundheit und Wohlbefinden · Juno

Juno: Wie sich Gespräche mit dem Gesundheitsassistenten dank GPT-Live natürlich anfühlen

Von Marshall Gould, Co-founder and CEO, und Isaac Tolley, Co-founder and CTO

Wir entwickeln Juno, einen persönlichen Gesundheitsassistenten für Menschen mit chronischen Erkrankungen wie Long COVID, POTS und EDS.

Was wir entwickeln wollten

Was eine chronische Erkrankung einem abverlangt, versteht man erst richtig, wenn man selbst damit lebt. Zu den starken Beschwerden, der Erschöpfung, den Terminen und der Angst, weil man nicht weiß, was einem fehlt, kommt die ganze Organisation. Man muss daran denken, Medikamente nachzubestellen, die neuesten Forschungsergebnisse lesen, Symptome festhalten und sie mit den Hunderten von Faktoren in Verbindung bringen, die sich jeden Tag ändern. Gleichzeitig versucht man, ein normales Leben zu führen.

Für Menschen mit chronischen Erkrankungen kann schon die Dokumentation zur Belastung werden. Das gilt besonders, wenn die Erkrankung die verfügbare Energie einschränkt. Alles von Hand einzutragen kostet Kraft. Viele geben die Apps deshalb wieder auf, obwohl sie ihnen helfen.

Die Spracheingabe hat daran grundlegend etwas geändert. Ein einziger gesprochener Satz genügt, damit Juno mehrere Dinge gleichzeitig für dich festhält.

Was bei Sprachinteraktionen noch schwierig ist

Schon ohne Anpassungen ist die Sprachfunktion beeindruckend. Sprechen ist für Menschen die natürlichste Art der Kommunikation. Wir lernen aber noch, wie wir diese Gespräche gut gestalten können. Einige Herausforderungen bleiben:

  • Ein Symptom erfassen oder Kontext abrufen, ohne den Gesprächsfluss zu unterbrechen.
  • Gespeicherte Informationen aus dem Textchat im Sprachmodus nutzen, ohne das Gespräch aufzuhalten.
  • Lange Gespräche führen.

Sprachmodelle für Gespräche erinnern mich an Quallen. Sie reagieren schnell, geben aber von sich aus kaum eine Richtung vor. Sie lassen sich von der letzten Äußerung treiben und halten oft inne, um nach einer Bestätigung zu fragen. Textmodelle ergreifen eher die Initiative, weil ihnen viel mehr Kontext zur Verfügung steht und man ihnen die eigene Situation nicht jedes Mal erklären muss. Bei gesprochenen Gesprächen musst du die Richtung vorgeben.

Wie wir unsere Sprachagenten verbessern

Informationen erfassen und abrufen, ohne das Gespräch zu unterbrechen

Wenn du die meisten Sprachagenten um etwas bittest, geben sie die Aufgabe an ein Tool weiter und warten auf die Antwort. In dieser Zeit herrscht Stille. GPT-Live kann Arbeit an einen anderen Agenten delegieren. Bei der Übergabe stockt das Gespräch jedoch, bis die Antwort eintrifft. In unserer ersten Version gab es in vier von fünf Anrufen mindestens eine solche Pause: „Einen Moment“, gefolgt von etwa zehn Sekunden Stille.

Unsere Lösung ist einfach. Nach jedem Gesprächsschritt beantwortet ein kleines, schnelles Modell (Decisions API von OpenAI) im Hintergrund zwei Fragen:

  • Gibt es etwas zu erfassen, und wenn ja, welcher Art ist der Eintrag?
  • Was aus deiner Vorgeschichte ist gerade relevant?

Sag zum Beispiel „Trag Kopfschmerzen ein“. Juno bekommt sofort die Rückmeldung, dass der Eintrag erfasst ist, während das Speichern im Hintergrund läuft. Das geht so schnell, dass der Eintrag bereits gespeichert ist, wenn du gleich im nächsten Satz nach den Kopfschmerzen fragst.

Die zweite Antwort bestimmt, woran sich Juno erinnert. In den Kontext für den nächsten Gesprächsschritt kommt genau das aus deiner Vorgeschichte, was gerade relevant ist. Ein Modell für gesprochene Gespräche arbeitet mit deutlich weniger Kontext als ein Textmodell. Deshalb kommt es darauf an, die Informationen gezielt auszuwählen.

Nach jedem Gesprächsschritt ermittelt die Decisions API, was erfasst werden soll. Der Eintrag wird parallel zum Gespräch gespeichert, sodass Juno sofort antworten kann.

Dadurch gab es 40 % weniger Übergaben an den Textagenten. Die längste Stille in einem Testanruf sank von 9,3 auf 3,2 Sekunden. Das macht den Unterschied zwischen einer unangenehmen Wartezeit und einer natürlichen Gesprächspause.

Lange Gespräche

Lange Gespräche brauchen ebenso viel Aufmerksamkeit. Denk an die Qualle: Das Modell gibt kaum selbst eine Richtung vor, also musst du es steuern. Ein eigener Agent aktualisiert den Gesprächskontext. So weiß Juno auch beim hundertsten Gesprächsschritt noch, was ganz am Anfang gesagt wurde und welches Thema als Nächstes passt, wenn das Gespräch ins Stocken gerät. Wenn du lange Gespräche ermöglichen willst, musst du diese Steuerung selbst entwickeln. Der Aufwand lohnt sich, denn gerade in längeren Gesprächen zeigen sich Muster und Entwicklungen, die Menschen helfen, ihre Gesundheit besser zu verstehen.

Wie wir Junos Stimme im Hörtest finden

Auch eine Stimme zu gestalten, die genau richtig klingt, ist leichter gesagt als getan. Schon in der Grundversion klingt GPT-Live deutlich besser als die Vorgängermodelle. Trotzdem hören wir immer noch, eine Stimme klinge nach KI. Lässt sich eine Stimme gestalten, die für neun von zehn Menschen passt?

In einer Fokusgruppe mit chronisch erkrankten Menschen erfuhren wir, dass unsere Stimme etwas zu langsam spreche und leicht herablassend klinge. Diese Rückmeldung war uns wichtig. Deshalb haben wir eine Studie durchgeführt, um die Stimme zu verbessern.

Mit der Stimmerzeugung per Prompt von GPT-Live haben wir anhand kurzer schriftlicher Beschreibungen neue Stimmen entwickelt. 290 Erwachsene in den USA, die mit chronischen Erkrankungen leben, verglichen sie mit der aktuell eingesetzten Stimme. Alle hörten dieselben drei Sätze und bewerteten jede Stimme. Anschließend gaben sie an, welche Stimme ihnen am besten und welche am wenigsten gefiel und welche sie an einem Tag hören wollten, an dem sie erschöpft sind.

Über fünf kleine Testrunden hinweg behielten wir jeweils die besten Stimmen bei und überarbeiteten die Beschreibungen der übrigen. Anschließend verglichen 171 neue Testpersonen die bisherige Stimme mit den beiden besten neuen Varianten.

In fünf Runden werden sieben Stimmen verglichen. Am abschließenden Hörtest nehmen 171 neue Personen teil. Zwei Stimmen in der Endauswahl beruhen auf derselben schriftlichen Beschreibung.

Am besten schnitt eine neue Stimme ab, die aus der Beschreibung in der Abbildung oben entstanden war. Im Abschlusstest wählten mehr Personen sie zu ihrer Lieblingsstimme als die bisherige Stimme. Weniger Personen setzten sie auf den letzten Platz, und deutlich weniger fanden, dass ihr Wärme fehlte.

Im Abschlusstest bevorzugten 73 Personen die neue Stimme, 58 die bisherige und 40 die zweite Variante. Die Grafik zeigt auch, welche Stimmen am wenigsten gefielen und welchen nach Einschätzung der Testpersonen Wärme fehlte.

Die Aussagekraft der Studie ist begrenzt. Die Testpersonen hörten nur drei Sätze, die Bewertungen lagen eng beieinander und ein Hörtest unterscheidet sich von einem echten Anruf. Als Nächstes testen wir die neue Stimme in echten Gesprächen mit Menschen, die zum ersten Mal anrufen. Wir wollen sehen, ob mehr von ihnen am nächsten Tag wieder anrufen.

Welche Stimme passt an einem Tag, an dem man erschöpft ist?

Wir haben auch gefragt, welche Stimme die Menschen an einem Tag hören möchten, an dem sie erschöpft sind. Hier lag die bisherige Stimme knapp vor der neuen. Der Abstand ist gering, wirft aber eine grundsätzliche Frage auf: Warum suchen wir eigentlich so verbissen nach der einen perfekten Stimme?

Für einen Tag, an dem sie erschöpft sind, wählten 67 Teilnehmende die bisherige Stimme, 63 die neue und 41 die zweite Variante.

Auch wir selbst sprechen nicht immer gleich. Wir passen Tonfall, Tempo und Lautstärke an die Situation an. Wie wäre es also, wenn Juno die Stimme darauf abstimmen könnte, wie du dich fühlst? Menschen vertrauen einer Stimme mehr, wenn Sprechtempo und Lautstärke ihren eigenen entsprechen (Levitan et al., 2016). Mit GPT-Live können wir Junos Sprechweise schon heute während eines Anrufs ändern. Das untersuchen wir in unserer Folgestudie. Alle Hörproben und die vollständigen Ergebnisse findest du auf junocompanion.com/voice-study.

Es ist beeindruckend zu sehen, was die Sprachfunktion Menschen mit chronischen Erkrankungen ermöglicht und wie viel leichter sie ihren Alltag macht. GPT-Live ist ein starkes Basismodell. Schon kleine Anpassungen machen für diese Menschen einen spürbaren Unterschied.

Über den Autor und das Unternehmen

Ich bin Marshall Gould, Gründer von Juno. Junos Stimme habe ich zusammen mit einem dreiköpfigen Forschungsteam entwickelt: Isaac Tolley, Sean Lees und Dawid Wraga. Als KI-Unternehmen haben wir bei Juno ein klares Ziel: Wir möchten Menschen dabei helfen, mit einer chronischen Erkrankung zu leben und ihren Alltag zu bewältigen. Wir sind stolz darauf, dass die meisten in unserem Team selbst mit einer chronischen Erkrankung leben. Inzwischen nutzen Hunderttausende Menschen Juno. Wir freuen uns, wenn du uns bei dieser Arbeit unterstützt. Mehr erfährst du auf junocompanion.com.


Wie es mit Sprachagenten weitergeht

Der nächste Schritt für Sprachanwendungen reicht über bessere Gespräche hinaus. Es geht um Software, die weiter zuhört, während sie Aufgaben erledigt, Kontext über verschiedene Schnittstellen hinweg erhält und mehrere Stimmen koordiniert, ohne den Gesprächsfaden zu verlieren. Weil GPT-Live gleichzeitig zuhören und sprechen kann, lassen sich Anwendungen entwickeln, die dem natürlichen Gesprächsrhythmus folgen. Niemand muss warten, bis die Software ausgesprochen hat.

Die vier Erfahrungsberichte zeigen, was das in der Praxis erfordert. Juno testet Stimmen mit den Menschen, die sie nutzen. Picsart stimmt Gespräch und Hintergrundarbeit aufeinander ab. Treater lernt aus echten Anrufen. Weekend gibt jeder Figur eine Stimme und behält dabei die Kontrolle über das Spiel.

Mit GPT-Live können Menschen Software auf intuitive Weise nutzen, und Agenten können neue Aufgaben übernehmen. Du kannst eine kreative Idee im Gespräch entwickeln, laufende Arbeit mitgestalten oder in eine Geschichte eintauchen und beeinflussen, wie es weitergeht. Diese Projekte zeigen erste Möglichkeiten, die sich eröffnen, wenn das Gespräch ein Teil der Funktionsweise von Software wird.

Wenn du eine eigene Anwendung entwickeln möchtest, findest du die ersten Schritte im Einstiegsleitfaden zu GPT-Live und in der Dokumentation zu Delegation und Tools.