如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題
Nov 10, 2026 Audio

語音智慧體的更多可能:四個 GPT-Live 應用的開發實錄

四家新創團隊分享如何分派工作、為語音互動撰寫提示詞,以及評估真實對話的成效。

作者: Eva Sasson, Ethan Pereira

語音智慧體的更多可能:四個 GPT-Live 應用的開發實錄

GPT-Live 能配合對話的節奏,讓互動更順暢:使用者可以隨時接話、轉換話題,也可以一邊說,一邊把想法想清楚。串接式語音系統會將語音依序交給獨立的轉錄模型、語言模型和語音生成模型處理。GPT-Live 則能同時聽和說,讓交流更自然。畢竟在對話中,何時開口、何時讓對方插話,和說了什麼一樣重要。

在本文中,Juno、Picsart、Treater 和 Weekend 將親自分享運用 GPT-Live 開發產品的經驗,以及他們在這些方面的心得:

  1. 運用正式環境的即時資料改善通話體驗
  2. 找出讓人信任的聲音
  3. 協調語音互動與背景智慧體的工作
  4. 編排多個語音智慧體,讓它們彼此配合

我們將看看這些團隊如何運用提示詞、工作流程和使用者回饋來打造產品。其他開發者也可以在自己的應用程式中試試這些做法。

新創團隊的故事

選擇一個新創團隊的故事

新創團隊特寫 01 · 健康與身心照護 · Juno

Juno:用 GPT-Live 打造能和病患自然交談的語音夥伴

作者:共同創辦人暨執行長 Marshall Gould、共同創辦人暨技術長 Isaac Tolley

我們正在開發 Juno,一款為長新冠、姿勢性心搏過速症候群(POTS)、埃勒斯-當洛斯症候群(EDS)等慢性病患者設計的個人健康助理。

我們想打造什麼

只有親身經歷慢性病,才能真正體會它帶來的負擔。除了嚴重的症狀、疲憊、一次次就診,以及不知道身體到底出了什麼問題的焦慮,還有一大堆事情要打理:記得補藥、閱讀最新研究、追蹤症狀,還得從每天變動的數百個因素中找出哪些與症狀有關。與此同時,日子還是要照過。

對慢性病患者來說,尤其是體力因病受限的人,追蹤工具本身也是負擔。手動記錄太耗精力,許多人即使覺得追蹤應用程式有幫助,最後還是停用了。

語音改變的正是這件事。你只要說一句簡單的話,Juno 就能同時幫你記下好幾件事。

語音互動還有哪些難題

光是語音模型本身的能力就已經很驚人。說話是人與人之間最自然的溝通方式,但我們還在摸索怎麼讓產品也做到這一點。目前還有幾個難題:

  • 如何記錄症狀或取得相關上下文,又不打斷對話。
  • 如何把文字對話的記憶帶入語音互動,又不讓對話卡住。
  • 如何維持長時間的對話。

我常把語音模型想成水母。它們反應很快,卻不太有自己的方向。使用者剛說了什麼,它們就跟著往那個方向漂,還常常停下來請使用者確認。文字模型能參考的上下文多得多,不需要使用者每次都重新解釋自己的狀況,因此也更主動。換成語音,你就得幫模型掌握方向。

我們如何改進語音智慧體

在不中斷對話的情況下記錄和運用記憶

請大多數語音智慧體辦件事,它們會將工作交給工具,然後等待答案。這段時間,通話兩端一片寂靜。GPT-Live 可以把工作委派給另一個智慧體,但交接後,對話就得等結果回來才能繼續。在我們的第一版中,每五通電話就有四通至少出現過一次這樣的停頓:先說「請稍等」,接著沉默約 10 秒。

我們的做法很簡單。每一輪對話結束後,一個小巧、快速的模型(OpenAI 的 Decisions API)會在背景回答兩個問題:

  • 有什麼需要記錄?屬於哪一類?
  • 你的過往紀錄中,哪些內容跟現在有關?

只要說「幫我記一下頭痛」,系統就會立刻告知 Juno 已記下這件事,同時在背景儲存紀錄。儲存速度夠快,即使你下一輪馬上問起這次頭痛,紀錄也已經存好了。

第二個答案用來處理記憶。下一輪的上下文只會納入過往紀錄中與當下有關的內容。這個篩選很重要,因為語音模型能處理的上下文遠少於文字模型,必須慎選要放進去的資訊。

每輪對話結束後,Decisions API 會判斷要記錄哪些內容。系統會在對話進行的同時儲存紀錄,讓 Juno 可以立即回應。

結果,移交給文字智慧體的次數減少了 40%,一通測試電話中最長的沉默也從 9.3 秒縮短為 3.2 秒。原本讓人尷尬的等待,現在聽起來就像自然的停頓。

長時間對話

長時間對話也需要同樣細心的設計。還記得水母的比喻嗎?模型自己不太有方向感,所以需要引導。我們用一個負責引導的智慧體更新通話的上下文。這樣到了第 100 輪,Juno 還記得第一輪說過的話;如果聊不下去了,它也知道接下來可以提什麼。想支援長時間對話,就得自己建立這套機制。這很值得,因為聊得夠久,才有機會發現有助於人們了解自身健康狀況的規律與趨勢。

透過實際試聽,找出適合 Juno 的聲音

另一個難題是設計出聽起來恰到好處的聲音。這說起來容易,做起來難。GPT-Live 內建的語音比前幾代進步許多,但還是有人覺得聽起來像 AI。我們能不能設計出每十人就有九人覺得合適的聲音?

一群參與焦點座談的慢性病患者告訴我們,Juno 說話有點慢,語氣也有點像在教訓人。這項回饋很重要,於是我們展開研究,看看能怎麼改進。

我們使用 GPT-Live 的提示詞轉語音功能,以簡短的文字描述設計出幾種新聲音,並請 290 位患有慢性病的美國成年人試聽,比較新聲音與現用聲音。每個人聽的都是相同的三句話。他們為每種聲音評分,選出最喜歡、最不喜歡,以及在筋疲力盡時最想聽到的聲音。

我們進行了五輪小規模測試,每輪都保留表現最好的聲音,其餘則重寫描述。接著,我們請另外 171 人比較現用聲音和表現最好的兩種新聲音。

前五輪測試比較七種聲音,最後再請 171 位新的聽眾試聽。兩種入圍的新聲音採用同一段文字描述。

勝出的是用上圖那段描述產生的新聲音。在最後一輪試聽中,與現用聲音相比,更多人把它選為最喜歡的聲音,更少人把它列為最不喜歡的聲音,而覺得它缺乏溫暖的人也少了許多。

在最後一輪試聽中,73 人最喜歡勝出的新聲音,58 人最喜歡現用聲音,40 人最喜歡同一描述產生的另一個版本。圖表也比較了選為最不喜歡及認為聲音不夠溫暖的人數。

這項研究有其限制:參與者只聽了三句話,各聲音的評分很接近,而且試聽和實際通話畢竟有差別。接下來,我們會讓首次來電的使用者在真實通話中體驗新聲音,看看隔天回來使用的人會不會增加。

累了一天,想聽哪種聲音?

我們也問了參與者,筋疲力盡的那天,他們會想聽到哪種聲音。這次,現用聲音略勝一籌。差距雖小,卻讓我們想到一個更大的問題:為什麼我們這麼執著於找出一種完美的聲音?

在筋疲力盡的日子,67 位參與者想聽到現用聲音,63 位選擇勝出的新聲音,41 位選擇同一描述產生的另一個版本。

我們自己的聲音也不是一成不變的。我們會因情境改變語氣、語速和音量。如果 Juno 的聲音也能隨你的感受調整呢?當一個聲音的語速和音量接近自己的說話方式時,人們會更信任它(Levitan 等人,2016)。GPT-Live 已經能讓我們在通話途中調整 Juno 的說話方式。這正是我們接下來要測試的方向。你可以在 junocompanion.com/voice-study 試聽每種聲音,查看完整結果。

看到語音互動讓慢性病患者能做到以前很費力的事,日常生活也輕鬆許多,我們深受鼓舞。GPT-Live 是很好的基礎模型,在這個基礎上稍作調整,就能帶來切身可感的改變。

關於作者與公司

我是 Juno 創辦人 Marshall Gould。我和三位研究人員 Isaac Tolley、Sean Lees、Dawid Wraga 一起打造了 Juno 的聲音。Juno 是一家把使命放在首位的 AI 公司,致力於幫助人們管理慢性病,與疾病共處。我們引以為傲的是,團隊多數成員本身就有與慢性病共處的經驗。目前已有數十萬人使用 Juno,我們也希望有你加入,一起延續這項使命。詳見 junocompanion.com。


語音智慧體的下一步

語音的下一步,除了讓對話更自然,也要讓軟體在執行工作時繼續聆聽、在不同介面之間沿用上下文,並協調多個聲音,讓對話前後連貫。GPT-Live 能同時聽和說,讓開發者可以依循人們交談的節奏設計互動,不必讓使用者等輪到自己才能開口。

這四個故事呈現了實作的不同面向:Juno 邀請實際使用者試聽各種聲音,Picsart 讓對話和背景工作保持同步,Treater 從真實通話中學習,Weekend 則讓每個角色都擁有自己的聲音,同時掌握遊戲進程。

GPT-Live 讓人們多了一種與軟體互動的直覺方式,也拓展了智慧體能做到的事。人們可以邊聊邊發展創意、引導正在進行的工作,或走進故事裡,影響接下來的情節。當對話成為軟體運作的一部分,這些應用只是開發者能創造的眾多可能的開端。

想打造自己的語音體驗,可以從 GPT-Live 入門指南和工作委派與工具文件開始。