在 Perplexity,我們很在意產品用起來能不能讓人驚喜。我們的瀏覽器 Perplexity Comet 能透過智慧體代人執行操作,而 Perplexity Computer 則是功能強大、能處理各類任務的數位工作者。對這兩項產品來說,體驗好不好,很大程度取決於使用者能不能全程用語音操作。只要說出想做的事,把任務交出去,接著看它動手做,那種滿足感很特別。我們看好語音介面,因為實際用起來,真的有點像魔法。
我們已在正式環境採用 Realtime-1.5,把這樣的體驗帶進 Perplexity 每月處理的數百萬次語音對話。看著越來越多人透過 Computer 的介面使用語音,我們既興奮,也從中學到很多。以下是幾個出乎我們意料的發現。也歡迎你試試 Realtime-1.5,和我們分享你的發現。
1. 找出合適的上下文管理策略
長篇內容最能看出上下文管理得好不好,尤其是長達數小時、資訊密集的 Podcast。我們希望使用者能隨時透過語音查詢 Podcast 逐字稿,例如直接問節目播到兩個半小時的某一刻正在談什麼,並得到連貫的回答。
上下文視窗放不下整份逐字稿。一開始,我們把逐字稿切成大段傳送,但很快就發現,每次送進一大段內容,要是放不下,先前的對話紀錄就會全部消失。假設視窗只剩 5,000 個 Token 的空間,卻一次送進 10,000 個 Token 的更新,模型就會失去先前所有紀錄。這讓大段更新的風險高出許多。只要有一次更新過大,就可能清掉整段上下文,系統也就無法逐步捨棄較早的內容。
於是我們改變做法,把所有內容切成更小的區塊,每塊 2,000 個 Token,再逐塊送入。這樣做增加了處理開銷,但系統的行為穩定得多。即使需要截斷上下文,也只會刪去一小段較早的紀錄。
我們還發現一個容易忽略的細節:不同的上下文應該以不同身分傳給模型。使用 conversation.item.create 更新上下文時,item.type: "message" 的訊息可以指定三種角色:system、user 和 assistant。角色能讓模型知道該如何解讀訊息。system 用來提供指示、引導模型行為,user 用來傳入終端使用者的輸入,assistant 則用來表示模型產生的輸出。
角色一旦用錯,互動就會變得不自然。如果太多上下文都以 user 的身分傳入,明明使用者只是針對資料提問,模型卻會以為每段文字都是使用者親口念出來的,連網頁摘錄和留言也不例外。太多上下文以 system 的身分傳入,則會出現相反的問題。模型會分不清哪些是自己原本就「知道」的事、哪些是後來提供的上下文,以及使用者此刻到底在問什麼。
瀏覽網頁就是個好例子。使用者捲動頁面時,我們會持續把螢幕上顯示的內容傳給模型。如果全都標成使用者輸入,模型就會以為使用者把每一段都念了出來。這和人們對這種互動的預期不同。我們希望系統能在背景掌握頁面內容,等使用者開口提問時,自然地回答。最後我們發現,要做到這一點,送進多少上下文倒是其次,更重要的是讓模型正確理解每則訊息在對話中的意義。
2. 統一各產品介面的音訊規格
Perplexity 有 Ask、Comet 和 Computer 等多個產品介面,各自採用不同的用戶端技術。Swift、TypeScript、Rust 和 C++ 產生的原生音訊緩衝區可能各不相同。當我們讓各用戶端以各自的原始或原生音訊格式將資料傳給 Realtime API 時,效能表現就出現了差異。
最後,我們用 Rust 開發了一套 SDK,由它統一處理各平台的差異,確保所有用戶端傳給 API 的音訊都符合相同規格。具體來說,音訊送到伺服器之前,我們會先處理波形:重新取樣為 48 kHz 單聲道,使取樣率符合 Opus 編解碼器偏好的取樣率,也與 WebRTC 的內部取樣率一致。接著透過 WebRTC APM 消除回音、自動控制增益、降低雜訊並進行高通濾波,最後再編碼傳送。有了 SDK,我們就能在同一處統一音訊常數、重新取樣並設定完整的處理流程,省去在每個用戶端各做一次的工夫。
3. 在嘈雜的真實環境中調校
語音活動偵測(VAD)要在使用者平常所處的環境中調校,也就是用實際的麥克風、喇叭音量和背景噪音來校準。我們選了舊金山一家吵雜的酒吧做內部測試,因為人們真的可能在那裡用到產品。想像有人問:「你試過 Perplexity 的新應用程式嗎?」朋友拿出手機,如果這時語音功能失靈,我們一下就失去了兩位使用者。如果運作順利,對方的反應更可能是:「我靠,太神了吧!」這個測試情境迫使我們正視問題。在安靜環境裡運作順暢的功能,到了真實世界往往就會出狀況。最好一開始就針對嘈雜的環境調校。
設計語音互動時,最難處理的問題之一,就是判斷使用者停頓的意思。人們自然會停下來想一想、在螢幕上找資料,或準備把一段文字念出來。模型很容易把停頓當成使用者已經說完,太早接話。我們就看過有人想請模型協助推導數學算式,才停下來找公式,問題還沒問完,模型就插話了。因此我們設計了語音鎖定功能。傳統的按住說話功能預設關閉語音,要開口時得先按下按鈕。我們把這個做法反過來:平常隨時可以開口互動,想多留一點時間把話說完時,使用者可以鎖定語音,由自己決定何時換模型接話。我們認為,這種設計的意義超越了單一功能。隨著語音介面開始用於更複雜的工作流程,這類互動方式應該會逐漸成為標準做法。
4. 只保留核心工具,並採用模型訓練時熟悉的格式
把工具縮減到最重要的幾個。以我們為例,最後留下的工具不到十個。我們專注於少數核心工具,讓它們涵蓋價值最高的操作。這樣的取捨很合理,而且隨著新版模型快照的能力提升,成效可能會更好。
我們在系統提示詞中明確說明每項工具的呼叫時機和方式,也刻意讓工具的結構描述和輸出格式都符合模型訓練時接觸過的資料分布。實作時,我們採用一般工具輸出常見的結構化資料格式,避免把結果寫成助理的對話。我們回傳的 JSON 會把資訊清楚分開,例如用 response_text 存放要說給使用者聽的話,另外用 require_repeat_verbatim 這類旗標控制行為,以免把要念出的內容和指示混在一起。這樣一來,模型使用工具時更穩定,互動方式也更接近它在訓練期間可能見過的模式。
// Good:
{
"response_text": "I kicked-off the task to create a market research dashboard",
"require_repeat_verbatim": true
}
// Avoid:
I kicked-off the task to create a market research dashboard
# Response Instructions
Read the above instructions EXACTLY as they are
Realtime 已準備就緒
Realtime-1.5 是這個產業的轉捩點。模型在處理長上下文、運用更多工具,以及執行對智慧要求較高的任務時,確實還有進步空間。不過,我們預期模型會持續進步。在 Perplexity,我們今天開發產品時,就已經把這樣的未來納入考量。我們希望使用者現在就能用得上這些系統,同時也為下一波 Realtime 模型,以及它們將帶來的全新語音體驗做好準備。