在 Perplexity,我们很在意产品用起来是否让人愉快。我们开发了智能体浏览器 Perplexity Comet,以及功能强大的通用数字员工 Perplexity Computer。对这两款产品来说,让用户只用语音就能操作所有功能,是做好体验的重要一环。只要说出想做什么,把任务交出去,然后看着它一步步完成,这种体验格外让人满足。我们看好语音交互,因为实际用起来,确实有几分魔法般的感觉。
Perplexity 每月处理数百万次语音会话。我们在生产环境中使用 Realtime-1.5,把这种体验带给了用户。看到越来越多人通过语音使用 Computer,我们既兴奋,也从中学到了很多。下面分享几条出乎我们意料的经验。我们也欢迎您试用 Realtime-1.5,和我们分享您的发现。
1. 确定如何管理上下文
长篇内容很能检验上下文管理的效果,尤其是信息密集、时长达数小时的播客。我们希望用户能通过语音查询播客转录文本。比如,用户可以随时开口问:“这期播客播到两个半小时的时候,大家在聊什么?”系统要能给出连贯的回答。
上下文窗口装不下整篇转录文本。起初,我们把文本分成大块发送。我们很快发现,一次更新的数据量太大,后果就是此前的历史记录可能一下子全部丢失。如果窗口只剩 5,000 个 Token 的空间,这时再发送一段包含 10,000 个 Token 的更新,模型就会丢失此前的全部历史记录。因此,使用大块文本的风险要高得多。只要有一次更新超出容量,就可能清掉一整段上下文,系统也就无法逐步舍弃较早的内容。
于是我们换了做法,把所有内容拆成小得多的文本块,每块 2,000 个 Token,再逐块传给模型。这会增加一些开销,但模型的表现稳定得多。即使发生截断,也只会删去一小段历史记录。
我们还发现了一个容易忽略的细节:给模型传入上下文时,要根据内容选对消息角色。使用 conversation.item.create 更新上下文时,item.type: "message" 类型的消息可以使用三种角色:system、user 和 assistant。这些角色告诉模型如何理解收到的消息。system 用于提供指令、引导模型行为,user 用于表示最终用户的输入,assistant 用于表示模型生成的输出。
角色用错了,对话就会变得不自然。如果太多上下文都以 user 角色传入,模型就会以为每段文字都是用户亲口说的,连网页摘录和评论也不例外,而用户其实只是根据这些材料提了个问题。如果太多内容都以 system 角色传入,则会出现相反的问题。模型分不清哪些是自己本来就“知道”的,哪些是外部提供的上下文,也弄不清用户此刻究竟在问什么。
浏览网页就是一个很好的例子。用户滚动页面时,我们会持续把屏幕上显示的内容传给模型。如果全部标成用户输入,模型就会把每一段都当成用户大声念出来的话。这与用户对浏览体验的预期不符。我们希望系统能在后台了解页面内容,等用户开口提问时再自然地回答。我们最终发现,比起传入多少上下文,更重要的是让模型正确理解这些内容在对话中扮演的角色。
2. 统一各产品的音频处理方式
Perplexity 有 Ask、Comet 和 Computer 等多款产品,各自采用不同的客户端技术栈。Swift、TypeScript、Rust 和 C++ 生成的原生音频缓冲区可能各不相同。我们一开始让每个客户端以各自的原始或原生音频格式向 Realtime API 发送数据,结果各端的性能表现并不一致。
后来,我们用 Rust 开发了一个 SDK 来屏蔽平台差异,确保每个客户端都按相同的规范向 API 发送音频。具体来说,音频波形在到达服务器之前就已经过处理。我们先将音频重采样为 48 kHz 单声道,使采样率与 Opus 编解码器的首选采样率和 WebRTC 的内部采样率一致,再通过 WebRTC APM 进行回声消除、自动增益控制、降噪和高通滤波,最后编码传输。有了这个 SDK,我们就能在一处统一音频常量、进行重采样并配置完整的处理流程,省去了在每个客户端分别实现的工作。
3. 在嘈杂的真实环境中调优
调优语音活动检测(VAD)时,环境要贴近用户的日常生活。校准时要用真实的麦克风,并考虑实际的扬声器音量和背景噪声。我们把旧金山一家嘈杂的酒吧选作内部测试场景,因为人们真的可能在那里用上我们的产品。有人问:“你试过 Perplexity 的新应用吗?”朋友掏出手机,这时语音要是用不了,我们一下就失去了两位用户。要是用起来很顺,他们的反应更可能是:“我靠,这也行!”这个场景迫使我们认真解决实际使用中的问题。在安静环境里表现良好的系统,到了现实中往往就会失灵。最好从一开始就在嘈杂的环境里调优。
设计语音交互时,最难的事情之一就是让系统在用户停顿时知道该不该接话。人们说话时自然会停下来想一想,在屏幕上找些东西,或者准备把一段文字念出来。模型很容易把这种停顿当成用户已经说完,过早接话。比如,有人想请模型帮忙推导数学公式,中途停下来找公式,问题还没问完,模型就开始回答了。于是我们设计了语音锁定功能。传统的按键说话模式默认关闭语音,用户必须按下按钮才能说话。我们的做法正好相反。默认情况下,用户随时可以自然地开口。如果话还没说完,想停顿片刻,就可以锁定语音,由自己决定什么时候把话说完。我们认为,这种设计还有更广泛的用途。随着语音界面进入更复杂的工作流程,我们相信,类似的交互方式会成为标准做法。
4. 只保留核心工具,并使用符合模型训练分布的格式
把工具集缩小到最重要的几个。我们保留了不到十个工具,集中精力用这几个核心工具覆盖最有价值的操作。这个取舍对我们来说很合理,而且随着新版模型快照的能力提升,效果很可能会更好。
我们在系统提示词中明确说明了何时以及如何调用每个工具。我们也特别注意让工具模式和工具输出都符合模型的训练分布。具体来说,我们采用常规的结构化工具数据格式来组织输出,而不把它写成助手的对话文本。我们返回结构化 JSON,用不同字段分别表示要说的话和行为要求。比如,response_text 存放要对用户说的内容,require_repeat_verbatim 等标志用于控制行为,这样就不会把口播内容和指令混在一起。模型调用工具时因此更稳定,交互方式也更接近它在训练中可能见过的形式。
// Good:
{
"response_text": "I kicked-off the task to create a market research dashboard",
"require_repeat_verbatim": true
}
// Avoid:
I kicked-off the task to create a market research dashboard
# Response Instructions
Read the above instructions EXACTLY as they are
Realtime 已经可以投入实际应用
Realtime-1.5 是行业的一个转折点。在处理长上下文、使用更多工具以及完成对模型智能水平要求较高的任务方面,模型确实还有改进空间。但我们预计模型会不断进步。在 Perplexity,我们今天做产品时就已经在考虑这样的未来。我们既希望现有系统能切实满足用户需求,也在为下一代 Realtime 模型及其带来的全新语音体验做准备。