如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题
Nov 10, 2026 Audio

语音智能体还能做什么?走进四个 GPT-Live 项目

四家初创公司分享了它们如何委派任务、为语音交互编写提示词,以及如何评估真实对话的效果。

作者: Eva Sasson, Ethan Pereira

语音智能体还能做什么?走进四个 GPT-Live 项目

GPT-Live 让用户能按自然交谈的节奏使用软件:随时插句话、换个方向,或是边说边理清思路。级联式语音系统需要依次经过独立的转写模型、语言模型和语音生成模型处理语音,而 GPT-Live 可以边听边说。什么时候接话,什么时候打断,和说什么同样重要,有了这种能力,交流也就更自然了。

在本文中,Juno、Picsart、Treater 和 Weekend 将亲自讲述如何使用 GPT-Live 开发产品,并分享它们在以下方面学到的经验:

  1. 利用线上实时数据改进通话体验
  2. 找到让人信赖的声音
  3. 与后台智能体协调工作
  4. 编排多个语音智能体,让它们协同配合

我们将了解这些团队如何通过提示词、工作流和用户反馈打磨产品。其他开发者也可以在自己的应用中尝试这些做法。

初创公司的故事

选择一家初创公司,了解它的故事

初创公司案例 01 · 健康与保健 · Juno

Juno:用 GPT-Live 让患者与语音伙伴自然交谈

作者:联合创始人兼首席执行官 Marshall Gould、联合创始人兼首席技术官 Isaac Tolley

我们正在开发 Juno,一款面向长新冠、体位性心动过速综合征(POTS)、埃勒斯-当洛斯综合征(EDS)等慢性病患者的个人健康助手。

我们想做什么

只有自己患上慢性病,才能真正体会它带来的负担。除了严重的症状、疲劳、一次次就诊,以及不清楚自己到底怎么了的焦虑,还有数不清的琐事:记得按时续药、阅读最新研究、追踪症状,还要弄清症状和每天都在变化的数百个因素之间的关系。在这一切之外,人还得设法照常生活。

对慢性病患者,尤其是精力受疾病限制的人来说,追踪工具本身也是负担。手动记录太耗精力,很多人即使知道这些应用有帮助,也坚持不下去。

语音交互彻底改变了这件事。只需简单说一句话,Juno 就能同时帮您记下好几件事。

语音交互还有哪些难点

即便直接使用,语音模型的表现也已经相当惊艳。说话是人与人最自然的交流方式,但要让模型也做到这一点,我们还在摸索。有几个难题仍待解决:

  • 如何在记录症状或调取上下文时保持对话流畅。
  • 如何把文字聊天中的记忆带入语音对话,又不让对话卡住。
  • 如何让长时间的对话持续下去。

我觉得语音模型有点像水母。它们反应敏捷,却没什么方向感。用户刚说了什么,它们就顺着往下漂,还经常停下来请用户确认。文本模型更主动,因为它们能利用的上下文广得多,用户也不用每次都重新说明自己的情况。用语音模型时,就得由您来把握方向。

我们如何改进语音智能体

在对话中记录信息、调取记忆

请大多数语音智能体帮忙做件事,它们会把任务发给工具,然后等结果。这段等待时间里,通话双方都没声音。GPT-Live 可以把工作委派给另一个智能体,但在结果返回之前,对话会一直停在那里。在我们的第一个版本中,每 5 通电话就有 4 通至少出现过一次这样的停顿:先说一句“请稍等”,接着就是大约 10 秒的沉默。

我们的解决办法很简单。每轮对话结束后,一个小而快的模型(OpenAI 的 Decisions API)都会在后台回答两个问题:

  • 有没有需要记录的信息?如果有,属于哪一类?
  • 用户的历史记录中,有哪些信息和此刻的对话有关?

比如,您说“记一下我头疼”,Juno 马上就会收到已记录的通知,实际保存则在后台完成。保存速度很快,如果您下一轮就问起刚才的头疼,记录已经存好了。

第二个问题的答案用来处理记忆。我们只把历史记录中与当前对话有关的信息放进下一轮的上下文。这样筛选很重要,因为语音模型能处理的上下文比文本模型少得多,得仔细挑选要放进去的内容。

每轮对话结束后,Decisions API 会识别需要记录的信息。保存记录和对话可以同时进行,因此 Juno 能立即回复。

这样做之后,转交给文本智能体的次数减少了 40%,一次测试通话中最长的静默时间也从 9.3 秒降到了 3.2 秒。原本让人尴尬的等待,听起来只是一次自然的停顿了。

长对话

长对话也需要这份细心。还记得水母的比喻吗?模型自己没什么方向感,需要引导。我们用一个负责引导的智能体更新通话上下文。这样聊到第 100 轮时,Juno 仍然知道第一轮说了什么。如果聊不下去了,它也知道接下来可以提起什么。要支持长对话,就得自己构建这套机制。这件事值得做,因为聊得久了,那些帮助人们了解自身健康状况的规律和趋势才会显现出来。

通过真人测试找到适合 Juno 的声音

另一个难题是设计出听起来恰到好处的声音,这说起来容易,做起来难。GPT-Live 的默认声音比前代模型进步很大,但仍有人说听起来像 AI。我们能不能做出一种声音,让 10 个人里有 9 个都觉得合适?

在一次由慢性病患者参加的焦点小组访谈中,大家告诉我们,Juno 的语速稍慢,语气听起来还有点居高临下。这个反馈很重要,于是我们开展了一项研究来改进声音。

我们使用 GPT-Live 的根据提示词生成声音功能,用简短的文字描述设计了几种新声音,并请 290 名患有慢性病的美国成年人将它们与现用声音进行比较。所有人听的都是相同的三句话。他们为每种声音打分,再分别选出最喜欢的、最不喜欢的,以及疲惫不堪时最想听到的声音。

我们做了五轮小规模测试,每轮都保留表现最好的声音,重写其余声音的描述。随后,我们又请了 171 位新参与者,将现用声音和表现最好的两种新声音作比较。

五轮测试共比较了七种声音,随后又请 171 位新听众进行最终测试。两种入围的新声音来自同一段文字描述。

最终胜出的是根据上图中的描述生成的一种新声音。在最终测试中,与现用声音相比,更多人把它选为最喜欢的声音,更少人把它选为最不喜欢的声音,觉得它缺乏温暖感的人也少了很多。

在最终测试中,73 人最喜欢胜出的新声音,58 人最喜欢现用声音,40 人最喜欢按同一描述生成的另一种声音。图中还比较了选择各声音为最不喜欢以及认为其缺乏温暖感的人数。

这项研究有其局限:参与者只听了三句话,各种声音的得分也很接近,研究环境和真实通话毕竟有差别。接下来,我们会让首次来电的用户在真实通话中体验新声音,看看第二天回来的人会不会更多。

疲惫时想听什么声音?

我们还问了大家:累得筋疲力尽时,最想听到哪种声音?在这个问题上,现用声音略微领先。差距虽小,却让我们想到一个更大的问题:为什么我们一定要找出一种处处适用的完美声音?

当被问到疲惫时想听哪种声音,67 位参与者选择了现用声音,63 位选择了胜出的新声音,41 位选择了按同一描述生成的另一种声音。

我们自己的声音也不是一成不变的。不同场合下,我们会调整语气、语速和音量。那么,如果 Juno 能根据您的感受调整说话方式呢?当对方的语速和音量与自己相近时,人们往往更容易信任对方的声音(Levitan 等,2016 年)。而有了 GPT-Live,我们已经可以在通话过程中改变 Juno 的说话方式。我们将在后续研究中检验这种做法。您可以在 junocompanion.com/voice-study 试听所有声音,查看完整结果。

亲眼看到语音交互为慢性病患者带来新的可能,让他们的日常生活轻松了这么多,我们深受鼓舞。GPT-Live 是一个出色的基础模型,在它之上做一些小调整,就能带来切实的改变。

关于作者和公司

我是 Juno 创始人 Marshall Gould。我和三位研究人员 Isaac Tolley、Sean Lees 和 Dawid Wraga 一起设计了 Juno 的声音。Juno 是一家以使命为先的 AI 公司,致力于帮助人们管理慢性病、更好地带病生活。我们团队的大多数成员自己也是慢性病患者,这也是我们引以为豪的一点。如今已有数十万人使用 Juno,我们也希望您能加入,一起把这件事做下去。详情请见 junocompanion.com。


语音智能体的下一步

语音交互的下一步,除了让对话更自然,还要让软件能在执行任务的同时继续听用户说话,在不同交互界面之间传递上下文,并能协调多个声音,让它们始终跟得上对话。GPT-Live 能边听边说,有了这个基础,开发者就能让软件配合自然交谈的节奏,用户也不用等轮到自己才能开口。

这四个故事展示了这些能力在实践中如何实现:Juno 请实际用户测试声音,Picsart 让对话与后台工作保持同步,Treater 从真实通话中学习,Weekend 则在掌控游戏进程的同时,让每个角色都拥有自己的声音。

GPT-Live 为人们与软件交流提供了一种直观的方式,也拓展了智能体能做的事。人们可以在交谈中打磨创意,为正在进行的工作指明方向,也可以走进故事,影响接下来的剧情。当对话成为软件运作方式的一部分,这些项目只是开发者所能创造的体验的开端。

要开始构建自己的语音体验,请参阅 GPT-Live 入门指南以及任务委派和工具文档。