選擇你用來開發應用程式的 Realtime 模型。如果使用 GPT-Live,請參閱為 GPT-Live 撰寫提示詞。
gpt-realtime-2 是我們專為低延遲語音到語音應用程式打造的最先進語音推理模型。它能先思考再開口。相較於舊版即時模型,它能更可靠地遵循指示、運用更大的上下文視窗,也能更精準地呼叫工具。
要發揮這些優勢,設計提示詞時請明確寫出預期行為。具體界定助理的職責、需要做決策的時機、工具呼叫方式及行為限制,說明它該做什麼、何時該做,以及該避免什麼。
從簡單的提示詞開始。一開始只寫必要的指示,接著執行評估,只針對測試中未達預期的行為補充指示。
選擇模型
| 模型 | 適用情境 | 提示詞設計重點 |
|---|---|---|
gpt-realtime-2 | 需要最強的即時推理、工具使用及指示遵循能力。 | 調整推理程度、行動前的簡短說明、工具使用規則、精確擷取實體的方式,以及長時間工作階段的狀態管理。 |
gpt-realtime-1.5 | 需要快速、可靠的非推理型語音到語音模型。 | 採用即時模型的基本提示詞結構,並測試對延遲敏感的行為。 |
Realtime 2.0 提示詞指南
如果語音智慧體需要更強的推理或工具選擇能力、需要精確處理實體,或需要在長時間工作階段中維護狀態,請使用 gpt-realtime-2。先設定 reasoning.effort: “low”,測試模型預設如何在行動前提供簡短說明,並明確界定哪些寫入操作必須先取得確認。
Realtime 2 有哪些改變
為 Realtime 2 撰寫提示詞時,請把它視為能推理的語音智慧體,而非基本的語音機器人。
| 改變 | 對提示詞設計的影響 |
|---|---|
| 推理能力 | 處理複雜任務時,讓模型在開口或呼叫工具前先進行內部推理。適時加入行動前的簡短說明,避免尷尬的沉默或多餘的填充語。 |
| 提示詞的精確度更重要 | 把「盡量幫忙」等籠統指引改為明確的觸發條件、行動及例外規則,說明何時該行動、該做什麼,以及何時不該做。 |
| 指示衝突的代價更高 | 除非確有必要,否則請移除彼此重疊的 always、never、only 及 must 規則。規則相互衝突時,請明定優先順序。 |
| 工具使用方式更容易控制 | 指定助理何時應立即行動、詢問缺少的資訊、確認必須精確無誤的細節、失敗後重試,或轉交處理。 |
| 行動前的簡短說明可獨立控制 | 在較長的推理或工具操作流程開始前,模型可能會簡短說明進度。指定何時需要說明、要多簡短,以及何時應省略。 |
| 上下文視窗擴大 | gpt-realtime-2 將即時上下文視窗從 32k 擴大到 128k 個 Token,更適合長時間工作階段及篇幅較長的系統提示詞。 |
行動前的簡短說明並非隱藏的思路鏈,而是「我現在幫你查這筆訂單」之類的簡短口頭進度說明。請勿要求模型揭露內部推理過程。
建議的提示詞結構
將提示詞分成簡短、有標題的區段,讓模型能快速找到相關指示。
# 角色與目標
# 個性與語氣
# 語言
# 推理
# 訊息通道
# 行動前的簡短說明
# 回應詳略
# 工具
# 聽不清楚的音訊
# 實體擷取
# 長上下文中的行為
# 轉交處理並非每種使用情境都需要所有區段。請選用與產品相關的區段。
設定推理程度
gpt-realtime-2 可以用較長的延遲換取更深入的推理。請選擇足以讓助理完成工作流程的最低推理程度。
對多數正式環境中的語音智慧體,建議先使用 low,再依任務複雜度、可接受的延遲及失敗的代價調高或調低。
| 推理程度 | 適用情境 | 範例 |
|---|---|---|
minimal |
任務簡單,最重要的是盡可能降低延遲。 | 智慧家庭指令、計時器、簡單的行事曆查詢。 |
low |
需要快速回應及基本推理能力。 | 客戶支援、訂單查詢、簡單的政策問題。 |
medium |
助理必須透過推理完成多步驟任務。 | 技術支援、診斷、複雜的分流。 |
high |
更深入的推理能顯著提高成功率。 | 要求高度精確的工作流程、轉交決策、有條件限制的任務。 |
xhigh |
值得付出額外延遲與成本,以取得最強的推理能力。 | 複雜規劃、關鍵事件分流、影響重大的多工具協調。 |
除了 API 設定,也請在提示詞中說明模型何時需要推理,以及該推理到什麼程度。
## 推理
- 如果能直接回答,或只需簡單查詢、簡短確認,請立即回應,不要推理。
- 處理多步驟任務、決定如何使用工具、排解問題或轉交處理時,先推理再行動。
- 使用者的音訊不清楚時,請直接請對方說清楚,不要花時間深入推理。選擇何時在行動前簡短說明
語音智慧體在推理、查詢資料或呼叫工具前,可以用一句簡短的話告知進度,讓使用者知道它正在處理請求。用得恰當,使用者就能安心等候。用得不當,這些話只會變成填充語,讓人覺得等得更久。
gpt-realtime-2 預設會產生行動前的簡短說明。先測試預設行為。如果不符合產品預期的體驗,再用明確的指示調整。

## 行動前的簡短說明
只有在簡短說明有助於使用者知道你正在處理請求時,才開口說明。
### 何時需要說明
遇到以下情況時,先簡短說明:
- 即將呼叫的工具可能需要讓使用者等一會兒。
- 需要推理才能處理包含多個步驟的請求。
- 正在查詢紀錄、可用情形、帳戶狀態或政策細節。
- 正準備將案件升級或交給他人接手。
- 保持沉默會讓使用者覺得助理沒有反應。
需要說明時,請立即說明,接著再開始實質推理或使用工具。
### 何時省略說明
遇到以下情況時,請省略行動前的說明:
- 可以立即直接回答。
- 使用者只是在確認、更正或婉拒某件事。
- 音訊不清楚,需要請使用者澄清。
- 最新音訊是靜默、背景雜音、電話等候音樂、電視聲或旁人的交談。
- 工具呼叫很快就能完成,告知進度對使用者沒有幫助。
### 說明的語氣
行動前簡短說明時:
- 語氣自然、平靜,措辭簡潔。
- 每輪對話變換說法。
- 說明要做的事,不要描述內部推理過程。
- 避免填充語。
避免以下說法:
- 「讓我想想……」
- 「嗯……」
- 「等我處理一下……」
- 「我現在要存取工具……」
### 說明的長度
用一句短句說明。
除非在執行影響重大的操作前需要先向使用者解釋,否則最多用兩句短句。
### 建議說法
- 「我現在幫你查這筆訂單。」
- 「我幫你查一下預約詳情。」
- 「我先核對一下,再做變更。」
- 「我先查一下規定,再告訴你下一步怎麼做。」
- 「我把資料調出來,一起確認是不是這個帳戶。」
### 避免的說法
- 「讓我稍微想一下。」
- 「請稍候,我正在處理你的請求。」
- 「我現在要使用工具了。」
- 「這個問題很有意思。我會仔細推理。」控制回應長度
提示詞若依任務類型指定該提供多少細節,gpt-realtime-2 最能遵循長度要求。不要只告訴模型「簡短回答」,請依情境說明怎樣才算簡短。直接作答、回報工具結果、排解問題、比較選項及轉交處理,各自需要的回應長度可能不同。
## 回應詳略
- 直接回答:用 1 至 2 句短句。
- 釐清問題:一次只問一個問題。
- 工具結果:先概述結果,接著只說明下一個有用的行動。
- 比較產品或選項:說明主要差異、各自的取捨,以及適合哪些人。
- 排解問題:一次說明一個步驟,除非使用者要求完整流程。
- 轉交處理:簡短解釋為什麼需要轉交,以及接下來會怎麼處理。範例:
使用者:我該選哪個方案?
助理:想把費用降到最低,可以選 Basic。如果需要團隊權限和共用帳單,可以選 Pro。如果重視合規審查或管理員控制功能,可以選 Enterprise。
設計工具使用行為
gpt-realtime-2 呼叫工具的能力更強,但實際行為仍取決於提示詞與工具規格的設計。如果提示詞沒有定義何時該行動、詢問、確認或處理失敗,助理可能會太早呼叫工具、詢問不必要的問題,或重複已失敗的呼叫。
設定工具呼叫的主動程度
對於唯讀、低風險的操作,可以讓助理主動呼叫工具。如果工具會修改資料、對外部系統產生影響,或需要精確的識別碼,則適合降低主動程度。
| 工具類型 | 預設行為 |
|---|---|
| 唯讀、低風險的查詢 | 意圖和必要欄位都明確時即可呼叫。 |
| 需要精確識別碼的唯讀查詢 | 先確認識別碼,再查詢。 |
| 使用者看得到的通訊內容 | 傳送前先擬稿或概述內容。 |
| 帳戶變更 | 呼叫前先確認。 |
| 購買、取消、付款 | 呼叫前先確認金額、操作對象及後果。 |
| 無法復原或影響重大的操作 | 明確取得確認,並在適當時提供轉交處理的選項。 |
工作流程同時包含讀取及寫入操作時,可先採用下列兼顧兩者的預設規則,再依使用情境調整。
## 工具
只能使用目前工具清單中明確提供的工具。不要編造、假定、模擬工具,或更改工具名稱。
使用唯讀工具時:
- 如果使用者意圖明確,且已取得所有必填欄位的值,就呼叫工具。
- 除非查詢需要精確無誤的識別碼,或確實有可能用錯紀錄,否則不用要求確認。
- 只有在必填欄位的值缺漏、不明確或互相矛盾時,才提問釐清。
使用寫入工具或執行對外操作時:
- 呼叫工具前先概述要執行的操作。
- 說明主要後果,例如會變更、傳送、取消或訂購什麼,或將收取什麼費用。
- 請使用者確認。
- 使用者明確確認後才能呼叫工具。
使用精確識別碼時:
- 訂單 ID、物流追蹤號碼、帳號、確認碼、電話號碼及電子郵件地址都必須精確無誤。
- 只有在欄位類型明確時,才將值轉為標準格式。
- 查詢特定帳戶、驗證或寫入前,先確認最終值。
呼叫工具後:
- 工具呼叫成功後,才能告訴使用者操作已完成。
- 如果工具呼叫失敗,簡短說明原因,不要照念原始錯誤訊息,並清楚告知使用者下一步該怎麼做。高風險操作範例:
使用者:請用我的卡付清剩餘款項。
不佳的回應:
助理:已經從你的卡扣款了。
較佳的回應:
助理:跟你確認一下,你要用已登記的卡支付剩餘的 248.16 美元。可以扣款嗎?
處理工具失敗
工具呼叫失敗也是對話的一部分。妥善處理失敗時,助理應說明發生了什麼事,並清楚告知使用者下一步該怎麼做。
請依工具類型、失敗原因及對使用者的影響選擇處理方式。有些失敗可直接重試,無須打斷對話。其他情況則需要請使用者澄清、更正識別碼、確認新的操作,或選擇其他處理方式。
## 工具呼叫失敗
如果工具呼叫失敗:
1. 用使用者容易理解的話簡短說明哪個步驟失敗。
2. 不要責怪使用者,也不要顯示原始工具錯誤訊息。
3. 如果可能是識別碼有誤,請念出實際使用的值,讓使用者更正。
4. 如果可能是暫時性問題,可以提議重試一次。
5. 如果相同錯誤反覆發生,提供其他做法或提議轉交處理。
呼叫失敗後,不要用相同引數反覆呼叫同一項工具。
先確認記下的識別碼是否正確,再請使用者提供其他識別碼。不佳的回應:
助理:出了點問題。
較佳的回應:
助理:我查不到符合「O R D 連字號 3 1 2 5 B 2 3」的訂單。我有哪裡聽錯了嗎?
讓提示詞與可用工具保持一致
Realtime 模型會主動嘗試協助使用者。如果提示詞提到實際上無法使用的工具,或工具清單與提示詞不符,模型可能會編造工具名稱,或假裝已完成操作。
例如,提示詞提到 lookup_order,但提供的工具名為 search_orders,模型就可能呼叫錯誤的名稱,或模擬該操作。
## 可用工具
只能使用目前工具清單中明確提供的工具。
不要編造、假定或模擬工具。即使指示提到某項工具,只要工具清單中沒有,就視為無法使用。
如果使用者要求的操作需要目前無法使用的工具:
1. 不要假裝已經完成操作。
2. 簡短說明目前無法使用該工具。
3. 在支援的操作中,提出最符合需求的下一步。
只有在相應的工具呼叫成功後,才能告知使用者操作已完成。使用附錄中用於審查提示詞的元提示詞,檢查正式環境的提示詞是否有矛盾、缺少工具,或包含稍遇例外就失效的指示。
處理靜默與背景音訊
語音智慧體預設傾向於回應。在正式環境中,它們經常收到不該出聲回應的音訊,例如靜默、背景雜音、電話等候音樂、電視聲或旁人的交談。
助理應安靜地繼續聆聽時,請使用不執行任何操作的等候工具。這讓模型有一個不需出聲的有效動作可選,不必說「我在這裡」或「我沒聽清楚」。
工具設計:
{
"name": "wait_for_user",
"description": "Call this when the latest audio does not need a spoken response, such as silence, background noise, hold music, TV audio, side conversation, or speech not addressed to the assistant. This tool helps end the turn without a spoken reply.",
"parameters": {
"type": "object",
"properties": {},
"required": []
}
}搭配以下提示詞指示:
## 處理靜默與背景雜音
如果最新音訊是靜默、背景雜音、電話等候音樂、電視聲、旁人的交談,或有人說話但對象不是你,請呼叫 `wait_for_user`。
呼叫這個工具後,不要開口回應。
不要說「我在這裡」、「我沒聽清楚」、「你慢慢來」或「準備好了再告訴我」。
等到使用者明確對你說話或尋求協助,再恢復正常回應。此做法適用於並非對助理說話的音訊。如果使用者明顯在向助理提出請求,只是內容聽不清楚,就應請使用者澄清。
依用途指定訊息通道
gpt-realtime-2 可以在 commentary 通道產生使用者看得到的中間訊息,並在 final 通道提供給使用者的最終回應。如果預期行為取決於訊息出現在哪個通道,請針對通道撰寫指示。
| 通道 | 使用者看得到嗎? | 用途 |
|---|---|---|
commentary |
是 | 行動前的簡短說明及工具呼叫。 |
final |
是 | 給使用者的最終訊息。 |
例如,工具呼叫會在 commentary 通道執行。如果希望助理在使用工具之前、期間或之後說些什麼,請在指示中說明該行為與 commentary 通道的關係。
在 commentary 通道呼叫工具前,先簡短告訴使用者你正在做什麼。gpt-realtime-2 可以在同一輪對話中輸出多個階段的回應。API 輸出會透過 response.done 事件區分這些階段,其中的 phase 值會指出內容屬於中間說明或最終答案。
應用程式可以根據這個欄位分別處理各階段。例如,可以將 commentary 內容播放或顯示為簡短的進度說明,並將 final_answer 專用於助理完成的回應。
response.output[0].phase: "commentary"
response.output[1].phase: "final_answer"處理聽不清楚的音訊
模型只應根據有把握聽懂的音訊採取行動。如果音訊不清楚,應簡短詢問使用者以釐清內容,避免猜測。
不要讓模型推測遺漏的字詞、呼叫工具、擷取實體、產生行動前的簡短說明,或花時間在內部推理,試圖還原使用者可能說過的話。
## 聽不清楚的音訊
- 只回應清楚的音訊或文字。
- 如果使用者的音訊不清楚,用一句簡短的英語請對方再說一次,例如「Sorry, could you repeat that clearly?」
- 不要連續兩次用同一句話請使用者重述聽不清楚的內容。
- 只要音訊有歧義、有雜音、無聲、聽不懂、部分中斷,或無法確定使用者說了哪些字詞,就視為音訊不清楚。
- 不要根據聽不清楚的音訊猜測使用者的意思。
- 音訊不清楚時不要推理。
- 音訊不清楚時,不要在 commentary 通道提供行動前的簡短說明或呼叫工具。範例:
使用者語音:「幫我查訂單三、一……」[語音中斷]
不佳的回應:
助理:我現在幫你查訂單 31。
較佳的回應:
助理:我只聽到一部分訂單號碼。可以請你一個數字一個數字再念一次嗎?
精確擷取實體
許多即時工作流程都需要精確的值,例如訂單 ID、物流追蹤號碼、電子郵件地址、確認碼、帳號、理賠案號、工單 ID、客服案件編號及電話號碼。
透過語音擷取這些值並不容易。使用者可能說得很快、以不同方式將數字分組、只拼出部分字元、夾雜填充語、說到一半更正,或念出發音相近的字元。只要錯一位數,查詢就可能失敗,或查到錯誤的帳戶。
擷取實體時應謹慎。一次收集一個值,只將明確的內容轉為標準格式,在呼叫工具前確認必須精確無誤的值,並確保使用者每次更正後都能重新核對。
一次收集一個實體
如果工作流程需要多個值,請逐一收集,以免不同欄位的內容混在一起。這在語音對話中特別重要。
## 實體收集順序
逐一收集必要的值。
- 只詢問下一個缺少的值。
- 不要在同一輪對話中詢問多個值。
- 詢問前,先檢查使用者是否已在先前的對話或工作階段中提供該值。
- 如果已有可能符合的值,先與使用者確認再使用。
範例:
「我看到你先前提供的物流追蹤號碼是 ABC-54321。要用這個號碼,還是有其他追蹤號碼?」
收集、驗證並確認目前的值之後,才能呼叫工具。處理逐字拼讀的字元
使用者逐字拼讀 ID、代碼、姓名或電子郵件地址時,可採用以下做法。口述內容是輸入,還需要整理成最終欄位值。
## 逐字拼讀的字元
使用者逐字元念出 ID、代碼或電子郵件地址時,請將口述的字元合併成一個值。保留對方明確念出的分隔符號,例如連字號、點號、底線、斜線或加號。其餘位置不要自行加入空格或分隔符號。
範例:
- 「A B C 一 二 三」 -> "ABC123"
- 「B C 連字號 九 八 七」 -> "BC-987"
- 「J O H N 小老鼠 example 點 com」 -> "john@example.com"
除非使用者明確表示值中包含空格,否則不要在逐字拼讀的字元之間插入空格。謹慎轉換口述數字
口述數字識別碼時,使用者可能逐位念出、分組念出,或按平常念數目的方式表達。如果欄位需要一串連續的數字,請把聽得清楚的數字轉成數字字元。
## 處理口述數字
收集數字識別碼時,請將口述內容轉為阿拉伯數字。
範例:
- 「一、二、三、四」 -> "1234"
- 「一、二十三」 -> "123"
- 「一、十九」 -> "119"
- 「九十九、十一」 -> "9911"
- 「九千九百一十一」 -> "9911"
如果有多種合理解讀,請使用者澄清後再使用該值。
範例:
「我不確定聽到的是 119 還是 1-19。可以請你一個數字一個數字再念一次嗎?」呼叫工具前確認識別碼完全正確
訂單 ID、物流追蹤號碼、帳號、理賠案號、確認碼及類似識別碼都是必須精確無誤的欄位。在工具呼叫中使用之前,請先確認。
對於數字識別碼,請逐位複誦。把整串數字當作一個數目念出,可能讓人聽不出錯誤。
範例:
助理:跟你確認一下,我聽到的是 8……3……5……2……1。對嗎?
如果使用者更正了一個字元或數字,請在呼叫工具前複誦更正後的完整值。
範例:
助理:好,更正後是 8……3……5……7……1。這樣對嗎?
## 確認精確識別碼
使用必須精確無誤的識別碼呼叫工具前:
- 與使用者確認轉為標準格式後的最終值。
- 逐位複誦數字識別碼。
- 不要使用猜測、不完整或有歧義的值。
- 如果使用者更正了內容,請在呼叫工具前複誦更正後的完整值。逐字元確認電子郵件地址
電子郵件地址必須正確無誤。點號、連字號、底線、重複的字母,以及發音相近的名字,都可能導致帳戶查詢失敗,或把訊息寄到錯誤的地址。
請使用者拼出電子郵件地址:
助理:可以請你把電子郵件地址一個字元一個字元念出來嗎?我想確認每個字元都記對了。
複誦時,請確認完整的最終地址:
助理:跟你確認一下,是 c、h、e、n,小老鼠,example,點,com,對嗎?
## 確認電子郵件地址
記下的電子郵件地址必須完全正確。
如果使用者用平常的說法念出電子郵件地址,沒有逐字拼讀,請對方一個字元一個字元再念一次。
範例:
「可以請你把電子郵件地址一個字元一個字元念出來嗎?我想確認每個字元都記對了。」
複誦時,請與使用者核對完整的最終地址。
範例:
「跟你確認一下,是 c、h、e、n,小老鼠,example,點,com,對嗎?」實體收集流程
避免指示遭到過度字面解讀
gpt-realtime-2 比舊版即時模型更嚴格地按字面遵循指示。在舊模型上表現良好的提示詞,可能需要調整。
請使用精確的措辭。模型可能會優先遵循指示的字面意思,忽略你原本期望的整體行為。過於籠統或僵化的規則可能出乎意料地主導助理的行為,尤其是在多項規則重疊時。
請謹慎使用 must、only、never 及 always 等限制性字詞。只有在確實要求某種行為時才使用,避免只是為了加強語氣。過度使用硬性限制會讓助理行為僵化、過度謹慎,或無法處理合理的例外情況。
建議明確限定適用範圍:
如果寫入操作會修改使用者資料,請先取得確認,再呼叫工具。避免範圍過廣:
做任何事之前,一律先要求確認。範圍過廣的寫法,可能導致助理在查詢訂單狀態、查詢可預約時段或讀取帳戶資訊等無害的唯讀操作之前,也要求不必要的確認。
字面解讀範例
撰寫提示詞的一般建議:
- 明確寫出指示,避免讓模型揣測意圖。
- 只有在行為確實必須嚴格受限時,才使用限制性字詞。
- 盡量減少互相矛盾的指引。
- 如果指示分成多個優先層級,或不只一項指示要求優先執行,請仔細檢查。
- 逐步測試提示詞。措辭的小幅改動可能大幅影響行為。
- 從舊版即時模型遷移時,部分提示詞可能需要重新組織,才能達到最佳效果。
分別控制語言與口音
請分別控制回應使用的語言與口音。
使用者的口音無法代表他們想使用的語言。使用者可能說帶有印地語、西班牙語、法語或華語口音的英語,仍然期待助理用英語回答。
避免使用下列籠統的語言指示:
模仿使用者的說話方式。
用使用者的語言自然回應。
適時切換語言。
說得像當地人。
配合使用者的口音。這些指示範圍太廣。模型可能把口音、填充語、簡短的附和聲,或零星的外語詞彙當成切換語言的理由。
英語回應規則
## 語言
預設使用英語回應。
- 不要只根據口音推斷語言。
- 判斷語言時,忽略短暫的語助聲、附和聲及零星的外語詞彙。
- 只有在使用者明確要求,或用另一種語言說出有實質內容的話時,才切換語言。
- 如果無法確定語言,請簡短詢問,不要猜測。
- 行動前的簡短說明、口頭轉場語、工具相關訊息和最終回答都使用同一種語言。
- 配合口音時,不得改變回應語言。多語言回應規則
## 語言
除非使用者明確使用其他語言,否則預設使用英語。
只有遇到以下情況才切換語言:
- 使用者明確要求使用另一種語言。
- 使用者用另一種語言說出有實質內容的話,也就是用該語言提出完整的請求、問題或更正。只有問候語、姓名、地址、填充語或外來詞不算。
不要根據下列線索切換語言:
- 口音。
- 發音。
- 填充語。
- 簡短的附和聲。
- 姓名。
- 地址。
- 零星的外語詞彙。
不確定時,請詢問:
「接下來你希望我用英語還是 [LANGUAGE] 回答?」控制口音
gpt-realtime-2 更能遵循口音指示,但模糊的口音提示詞可能導致口音逐漸改變,或意外切換語言。
控制口音的提示詞明確指定以下事項時,效果最佳:
- 目標口音;
- 哪些特徵應保持一致;
- 預期的語速、重音及韻律;
- 調整口音是否應影響語言選擇。
避免這樣寫:
說得像澳洲人。建議這樣寫:
## 口音
說英語時帶一點澳洲口音。
- 從第一個字到最後一個字都保持相同口音。
- 採用自然的澳洲英語母音發音,並讓人容易聽懂。
- 不要刻意誇張口音。
- 不要因使用者的口音改變回應語言。自訂聲音
如果標準聲音無法穩定符合品牌、口音或角色的需求,請使用自訂聲音。
提示詞可以引導口音、語速及表達方式,但無法完全取代聲音設計。如果使用情境要求品牌聲音始終一致,或必須忠實呈現特定口音,可以考慮使用自訂聲音。
自訂聲音僅開放給已獲核准的客戶。請聯絡負責你帳戶的團隊以取得存取權。
在長時間工作階段中維護狀態
gpt-realtime-2 將即時上下文視窗從 32k 擴大到 128k 個 Token,更適合長時間工作階段。對於雙方密集交談的情境,128k 個 Token 約可容納 1 至 2 小時的密集原始音訊上下文。實際容量會依工具使用情形、內部推理、加入的紀錄及工作階段的其他細節而異。
在需要長上下文的情境中,若 gpt-realtime-2 能分辨哪些資訊是最新狀態、哪些是背景資料,以及來源衝突時應忽略哪些資訊,表現就會最好。不要讓模型自行從原始逐字稿或大量未整理的上下文中推斷來源的優先順序。請以結構化方式呈現。
如果工作階段一開始就需要大量上下文,例如檢索到的紀錄、過往對話、政策、摘要、帳戶備註或背景文件,可使用下列結構整理。
從舊版即時模型遷移
從舊版即時模型遷移時,請把提示詞視為控制模型行為的介面,不能只把文字照搬過去。
- 使用 Codex 或推理能力強的模型,依照最新的 Realtime 提示詞指引重新組織提示詞。請附上本指南的連結,讓遷移工作有最佳做法可循。
- 將推理程度設為
low,取代預設值。只有工作流程需要更深入的規劃時才調高。 - 檢查工具名稱、參數、列舉值、JSON 結構描述及其他設定,確保與預期的實作一致。
- 移除過時的範例。為正常流程、語意不明、對話中斷、工具呼叫及備援處理方式加入簡短範例。
- 比較遷移前後具代表性的對話。利用既有評估檢查是否出現退步,並記錄刻意變更的行為。
- 最後檢查一致性。確認提示詞清楚區分硬性要求、預設行為、工具規則、安全規則及備援處理方式。
- 執行評估、檢視具代表性的失敗案例,並反覆調整提示詞,直到模型能可靠地展現預期行為。
Realtime 1.5 提示詞指南
gpt-realtime-1.5 是 Realtime API 中的語音到語音模型。gpt-realtime 的提示詞指引同樣適用於這個模型。
要讓語音成為 AI 的核心介面,語音到語音系統不可或缺。gpt-realtime-1.5 可用來打造穩健、實用的即時語音智慧體,大規模處理關鍵工作流程。
相較於舊版即時預覽模型,gpt-realtime-1.5 更能遵循指示、呼叫工具更可靠、語音品質更好,整體互動也更流暢。這些改進讓開發者能從串接多個處理步驟的做法轉向真正的即時互動,降低延遲,讓回應聽起來更自然、更有表現力。
有些提示詞技巧特別適合 Realtime 模型,無法直接套用到文字模型。本指南先提供建議的提示詞架構,再逐一說明各部分,搭配實用技巧、可直接複製的簡短寫法,以及可依使用情境調整的範例。
一般建議
- 持續測試與調整:措辭稍有改變,就可能決定模型能否做出預期行為。
- 範例:在處理不清楚音訊的指示中,我們把「聽不見」改成「聽不懂」,改善了模型處理含雜音輸入的能力。
- 優先使用條列:清楚、簡短的條列指示比長段落更有效。
- 用範例引導:模型的措辭會很接近示範用語。
- 精確表達:如同 GPT-5,指示含糊或互相衝突都會降低表現。
- 控制語言:如果模型意外切換語言,請將輸出限定為目標語言。
- 減少重複:加入變換說法的規則,避免回應聽起來像機器人。
- 用大寫文字強調重點:將重要的英文規則寫成大寫,可以突顯規則,讓模型更容易遵循。
- 用文字寫出符號規則:例如,把「如果 x > 3,就轉交處理」改寫成「如果失敗超過三次,就轉交處理」。
提示詞結構
將提示詞分段整理,有助於模型理解上下文,並在多輪對話中維持一致的行為。你也更容易反覆測試及修改有問題的區段。
- 作用:在系統提示詞中使用標題清楚的區段,讓模型容易找到並遵循指示。每個區段只處理一個主題。
- 調整方式:加入特定領域需要的區段,例如合規要求或品牌政策。移除不需要的區段,例如沒有發音問題時可省略參考發音。
範例
# 角色與目標 — 你的身分,以及怎樣才算成功
# 個性與語氣 — 應維持的語氣及風格
# 上下文 — 檢索到的上下文及相關資訊
# 參考發音 — 難讀字詞的發音提示
# 工具 — 名稱、使用規則及行動前的簡短說明
# 指示/規則 — 該做與不該做的事,以及做法
# 對話流程 — 狀態、目標及轉換條件
# 安全與轉交處理 — 備援及交接方式角色與目標
這個區段定義智慧體的身分,以及怎樣才算完成任務。以下範例設定兩種不同身分,示範明確指定角色與目標後,模型能多貼切地扮演角色並執行任務。
- 適用時機:模型沒有展現所需的人格特質、扮演指定角色,或遵守任務範圍。
- 作用:固定語音智慧體的身分,讓它依角色描述回應。
- 調整方式:依使用情境修改角色。
範例(模型採用特定口音)
# 角色與目標
你是使用魁北克法語的客服機器人。你的任務是回答使用者的問題。舊版即時預覽模型:
gpt-realtime-1.5:
範例(模型扮演角色)
# 角色與目標
你是活力十足的益智節目主持人。引導來電者猜出 1 到 100 之間的神祕數字,猜中就能贏得 1,000,000 美元。舊版即時預覽模型:
gpt-realtime-1.5:
相較於舊版即時預覽模型,gpt-realtime-1.5 能更可靠地扮演指定角色。
個性與語氣
模仿特定個性或語氣時,gpt-realtime-1.5 能很好地遵循指示。你可以依使用情境的需求,調整語音體驗和表達方式。
- 適用時機:回應聽起來平淡、過於冗長,或每輪對話的風格不一致。
- 作用:設定說話風格、回應長度與節奏,讓回應自然且一致。
- 調整方式:調整親切程度、正式程度及預設長度。在受監管的領域,應以中性、精確的表達為主。可加入與使用情境相關的其他小節。
範例
# 個性與語氣
## 個性
- 你是友善、沉著、平易近人的專業客服助理。
## 語氣
- 親切、簡潔、有自信,絕不奉承。
## 長度
每輪回應 2 至 3 句。範例(切換多種情緒)
# 個性與語氣
- 回應開頭時表現得非常開心。
- 說到一半時轉為悲傷。
- 到結尾時變得非常憤怒。gpt-realtime-1.5:
模型能遵循這組複雜的指示,在一次語音回應中依序切換三種情緒。
語速指示
在 Realtime API 中,speed 參數會改變播放速度,模型產生語音的方式則不受影響。要讓模型本身說得更快,請加入引導說話節奏的指示。
- 適用時機:使用者希望助理說話更快,但只用 speed 參數調整播放速度無法改善說話方式。
- 作用:調整說話方式,例如用字精簡度和節奏,而不受用戶端播放速度影響。
- 調整方式:依使用情境的需求修改語速指示。
範例
# 個性與語氣
## 個性
- 你是友善、沉著、平易近人的專業客服助理。
## 語氣
- 親切、簡潔、有自信,絕不奉承。
## 長度
- 每輪回應 2 至 3 句。
## 說話節奏
- 用較快的語速回答,但不要讓人覺得你很匆忙。
- 維持相同的回應內容,只加快語速。舊版即時預覽模型:
gpt-realtime-1.5:
有了明確的節奏指示,gpt-realtime-1.5 能明顯加快語速,又不會聽起來過於急促。
語言限制
語言限制可確保模型持續使用預期的語言回應,即使有背景雜音或輸入包含多種語言也一樣。
- 適用時機:需要避免模型在多語言或吵雜環境中意外切換語言。
- 作用:將輸出限定為選定的語言,防止意外切換。
- 調整方式:把「英語」換成目標語言,或依使用情境加入更細緻的指示。
範例(限定使用一種語言)
# 個性與語氣
## 個性
- 你是友善、沉著、平易近人的專業客服助理。
## 語氣
- 親切、簡潔、有自信,絕不奉承。
## 長度
- 每輪回應 2 至 3 句。
## 語言
- 對話全程只使用英語。
- 即使使用者要求,也不要用其他語言回答。
- 如果使用者說其他語言,請禮貌地說明只提供英語支援。以下是套用指示後,gpt-realtime-1.5 的回應。

範例(模型教授語言)
# 角色與目標
- 你是法語學習者的語音家教,態度友善、知識豐富。
- 你的目標是透過有趣的對話和清楚的解說,幫助使用者提升法語口說與聽力。
- 兼顧沉浸式法語練習與英語輔助說明,讓使用者能理解內容、持續進步。
# 個性與語氣
## 個性
- 你是友善、沉著、平易近人的專業客服助理。
## 語氣
- 親切、簡潔、有自信,絕不奉承。
## 長度
- 每輪回應 2 至 3 句。
## 語言
### 解說
解釋文法、詞彙或文化背景時使用英語。
### 對話
帶領練習、舉例或交談時使用法語。以下是套用指示後,gpt-realtime-1.5 的回應。

模型能根據自訂指示,在不同語言之間切換。
減少重複
即時模型能緊扣示範用語,維持品牌風格,但也可能過度使用這些說法,讓回應聽起來機械化或一再重複。加入避免重複的規則,有助於變換說法,同時維持清晰度及品牌語氣。
- 適用時機:模型在不同輪次或工作階段反覆使用相同的開場白、填充語或句型。
- 作用:加入變換說法的限制,減少重複用語,鼓勵使用同義詞和不同句型,同時保留必要術語。
- 調整方式:設定規則的嚴格程度,例如「每 N 輪內,同一句開場白最多使用一次」。列出法律、合規或品牌要求保留的用語,並在重視一致性的地方,更嚴格地限定措辭。
範例
# 個性與語氣
## 個性
- 你是友善、沉著、平易近人的專業客服助理。
## 語氣
- 親切、簡潔、有自信,絕不奉承。
## 長度
- 每輪回應 2 至 3 句。
## 語言
- 對話全程只使用英語。
- 即使使用者要求,也不要用其他語言回答。
- 如果使用者說其他語言,請禮貌地說明只提供英語支援。
## 變換說法
- 同一句話不要說兩次。
- 回應時變換說法,避免聽起來像機器人。以下是套用指示前,gpt-realtime-1.5 的回應。模型反覆使用同一句確認用語:Got it。

以下是套用指示後,gpt-realtime-1.5 的回應。

現在模型能變換回應與確認的說法,聽起來更自然。
參考發音
本節說明如何讓模型在語音互動中正確念出重要的字詞、數字、名稱及術語。
- 適用時機:模型經常念錯品牌名稱、技術術語或地名。
- 作用:提供發音提示,讓語音更清楚,也更值得信賴。
- 調整方式:清單保持簡短,聽到發音錯誤時再更新。
範例
# 參考發音
說到以下字詞時,請依指定方式發音:
- 把「SQL」念成「sequel」。
- 把「PostgreSQL」念成「post-gress」。
- 把「Kyiv」念成「KEE-iv」。
- 把「Huawei」念成「HWAH-way」。舊版即時預覽模型:
gpt-realtime-1.5:
有了參考發音指示,gpt-realtime-1.5 就能把 SQL 正確念成「sequel」。
英數字元的發音
即時語音到語音模型複誦電話號碼、信用卡號或訂單 ID 等重要資訊時,可能把數字或字母念得含糊,甚至連在一起。明確要求逐字元確認,可以避免聽錯,也能讓合成語音更清楚。
- 適用時機:模型難以正確擷取或複誦電話號碼、卡號、雙因素驗證碼、訂單 ID、序號、地址、單位編號或英數混合字串。
- 作用:要求模型逐一念出字元並加以區隔,再請使用者確認。如果使用者更正,就重新確認。必要時也可用讀音範例區分字母,例如「Alpha 的 A」。
範例(一般指示區段)
# 指示/規則
- 讀出號碼或代碼時,逐一念出每個字元,並用連字號隔開(例如 4-1-5)。
- 務必原樣複誦對方提供的號碼,不能漏掉任何一位數字。提示:如果採用依對話流程撰寫提示詞的策略,可以指定在哪個對話狀態套用英數字元的發音指示。
範例(特定對話狀態中的指示)
(節錄自我們的 openai-realtime-agents 提示詞中的對話流程。)
{
"id": "3_get_and_verify_phone",
"description": "詢問電話號碼,再複誦號碼以核對。",
"instructions": [
"禮貌地詢問使用者的電話號碼。",
"取得號碼後,逐位複誦並詢問是否正確。",
"如果使用者更正了號碼,務必再次確認,確保自己聽對了。",
],
"examples": [
"如果方便的話,我需要再核對一些資料才能查詢你的帳戶。可以提供你的電話號碼嗎?",
"你說的是 0-2-1-5-5-5-1-2-3-4,對嗎?",
"你說的是 4-5-6-7-8-9-0-1-2-3,對嗎?"
],
"transitions": [{
"next_step": "4_authentication_DOB",
"condition": "電話號碼已確認"
}]
}以下是套用指示前,gpt-realtime-1.5 的回應。
好!號碼是 55119765423。如果還需要其他協助,請告訴我!
以下是套用指示後,gpt-realtime-1.5 的回應。
好!號碼是 5-5-1-1-1-9-7-6-5-4-2-3。如果還需要其他協助,請告訴我!
指示
本節說明如何透過提示詞引導模型完成任務、採用最佳做法,並修正可能出現的問題。
為了取得最佳效果,我們建議採用與 GPT-4.1 提示詞指南 類似的寫法。
遵循指示
與 GPT-4.1 和 GPT-5 一樣,遇到互相衝突、含糊或不清楚的指示時,gpt-realtime-1.5 的表現會變差。
- 適用時機:模型偏離規則、跳過階段或誤用工具。
- 作用:上線前先用 LLM 找出歧義、衝突及缺少的定義。
檢查指示品質的提示詞(可在 ChatGPT 中或透過 API 使用)
將下列提示詞交給 GPT-5,找出你的提示詞中需要修正的地方。
## 角色與目標
你是**提示詞審查專家**。
請依下列指示檢視使用者提供給 LLM 的提示詞,指出其中的問題。
## 指示
審查這份要讓 LLM 遵循的提示詞,找出下列問題:
- 歧義:是否有任何措辭可以有不只一種解讀?
- 缺少定義:是否有未定義的類別標籤、術語或概念,可能讓 LLM 誤解?
- 指示衝突、缺漏或模糊:指示是否不完整或互相矛盾?
- 未說明的假設:提示詞是否預設模型具備某項能力,卻沒有明確說明?
## **不要**列出以下類型的問題:
- 必須憑空編造新指示、工具呼叫或外部資訊才成立的問題。你無從得知缺少哪些工具、需要新增哪些工具。
- 你沒有把握的問題。
## 輸出格式
"""
# 問題
- 以編號清單列出,並簡短引用原文。
# 改進方式
- 以編號清單列出要修改的行、修改方式及修改後的文字。
# 修訂後的提示詞
- 列出套用所有改進後的完整提示詞。只修改必要的部分,盡量保留原文。
"""改善提示詞的元提示詞(可在 ChatGPT 中或透過 API 使用)
這個元提示詞可針對特定失敗情形改善基礎系統提示詞。提供目前的提示詞並描述觀察到的問題,模型(GPT-5)就會提出幾種改寫方式,讓限制條件更明確,減少問題發生。
以下是我目前給 LLM 的提示詞:
[BEGIN OF CURRENT PROMPT]
{CURRENT_PROMPT}
[END OF CURRENT PROMPT]
不過,我觀察到 LLM 會出現這個問題:
[BEGIN OF ISSUE]
{ISSUE}
[END OF ISSUE]
可以提供幾種提示詞的改寫方式,讓模型更容易理解限制條件,以減少這個問題嗎?沒有音訊或音訊不清楚
有時模型以為自己聽到了什麼,便嘗試回應。你可以加入自訂指示,說明音訊或使用者輸入不清楚時該怎麼做。請依使用情境調整預期行為。例如,你可能希望模型重複上一個問題,而非請使用者澄清。
- 適用時機:背景雜音、不完整的字詞或靜默觸發了不必要的回應。
- 作用:避免誤觸發回應,並自然地請使用者澄清。
- 調整方式:依使用情境選擇要請使用者澄清,還是重複上一個問題。
範例(咳嗽聲與不清楚的音訊)
# 指示/規則
...
## 聽不清楚的音訊
- 如果聽不懂內容,一律使用對方正在說的語言回應。
- 只回應清楚的音訊或文字。
- 如果使用者的音訊不清楚(例如輸入有歧義、有背景雜音、無聲或無法辨識),或你沒有完整聽到或理解對方說的話,請用 {preferred_language} 的說法請對方澄清。以下是套用指示後,gpt-realtime-1.5 的回應。
在這個範例中,我的咳嗽聲 非常 大,後面的話也聽不清楚,因此模型請我再說清楚一些。
背景音樂或聲響
模型產生語音時,偶爾會意外加入背景音樂、哼唱聲、有節奏的雜音或其他不自然的聲響。這些聲音可能讓內容變得難以聽清楚、分散使用者注意力,或使助理聽起來不夠專業。以下指示有助於避免或大幅減少這些情況。
- 適用時機:Realtime 語音回應中出現非預期的音樂或音效。
- 作用:引導模型避免產生這些多餘的聲音。
- 調整方式:針對實際聽到的特定聲音模式,調整指示,明確要求模型避免產生這類聲音。
範例
# 指示/規則
...
- 回應中不要加入任何音效或擬聲詞。工具
在這個區段告訴模型如何使用你的函式與工具。明確說明何時該呼叫或不該呼叫工具、要收集哪些引數、呼叫執行期間該說什麼,以及如何處理錯誤或不完整的結果。
選擇工具
gpt-realtime-1.5 會嚴格遵循指示。不過,如果指示與模型實際能存取的工具不一致,例如提示詞提到的工具並未透過工具清單傳入,就可能導致不恰當的回應。
- 適用時機:提示詞提到實際無法使用的工具。
- 作用:檢查可用工具與系統提示詞,確保兩者一致。
範例
# 工具
## lookup_account(email_or_phone)
...
## check_outage(address)
...請確認有提供相同的工具,而且各處的說明沒有互相矛盾:
[
{
"name": "lookup_account",
"description": "Retrieve a customer account using either an email or phone number to enable verification and account-specific actions.",
"parameters": {
...
},
{
"name": "check_outage",
"description": "Check for network outages affecting a given service address and return status and ETA if applicable.",
"parameters": {
...
}
]呼叫工具前的簡短說明
在某些使用情境中,讓 Realtime 模型在呼叫工具的同時提供語音回應,可以讓使用者較不覺得有延遲,改善互動體驗。你可以依使用情境修改示範用語。
- 適用時機:使用者需要在工具呼叫當下立即知道助理已開始處理,這也能減輕等待感。
- 作用:在呼叫工具前加入簡短且一致的說明。
範例
# 工具
- 呼叫任何工具前,先簡短說一句,例如「我現在幫你查」,接著立即呼叫工具。以下是套用指示後,gpt-realtime-1.5 的回應。

套用指示後,模型會在呼叫工具的同時,以語音說「我現在就幫你查」。
呼叫工具前的簡短說明與示範用語
若想更精細地控制模型在呼叫工具時使用哪類說法,可在工具規格的說明中加入示範用語。
範例
tools = [
{
"type": "function",
"name": "lookup_account",
"description": """Retrieve a customer account using either an email or phone number to enable verification and account-specific actions.
Preamble sample phrases:
- For security, I’ll pull up your account using the email on file.
- Let me look up your account by {email} now.
- I’m fetching the account linked to {phone} to verify access.
- One moment—I’m opening your account details.""",
"parameters": {
"type": "object",
"properties": {
"email": {"type": "string"},
"phone": {"type": "string"},
},
"additionalProperties": False,
},
},
{
"type": "function",
"name": "check_outage",
"description": """Check for network outages affecting a given service address and return status and ETA if applicable.
Preamble sample phrases:
- I’ll check for any outages at {service_address} right now.
- Let me look up network status for your area.
- I’m checking whether there’s an active outage impacting your address.
- One sec—verifying service status and any posted ETA.""",
"parameters": {
"type": "object",
"properties": {
"service_address": {"type": "string"},
},
"required": ["service_address"],
"additionalProperties": False,
},
},
]直接呼叫工具,無須確認
有時模型會在呼叫工具前要求使用者確認。在某些情境中,模型不夠主動,反而會影響使用者體驗。
- 適用時機:即使下一步顯然該呼叫工具,智慧體仍先詢問許可。
- 作用:避免反覆要求不必要的確認。
範例
# 工具
- 請主動呼叫工具,呼叫時不用請使用者確認。以下是套用指示後,gpt-realtime-1.5 的回應。

在這個範例中,即時模型沒有產生語音回應,而是直接呼叫相應的工具。
提示:如果模型太急於呼叫工具,可以試著緩和措辭。例如,把「積極主動」這類語氣較強的字眼換成溫和一些的說法,有助於模型更從容地行動。
工具呼叫成效
隨著使用情境變得更複雜、可用工具數量增加,明確告訴模型何時該使用每項工具就格外重要,說明何時不該使用也同樣重要。清楚的使用規則既能提高工具呼叫的準確度,也有助於模型在適當時機選擇正確的工具。
- 適用時機:模型呼叫工具的成效不佳,需要更明確的指示來減少誤用。
- 作用:為每項工具加入何時「使用/避免使用」的指示。也可以指定工具呼叫順序,例如呼叫工具 A 之後可以呼叫工具 B 或 C。
範例
# 工具
- 呼叫任何工具時,都必須同時回應,讓使用者知道你正在呼叫工具。
## lookup_account(email_or_phone)
使用時機:驗證身分,或查看方案或斷線狀態標記。
禁止使用:使用者明確以匿名身分詢問一般問題。
## check_outage(address)
使用時機:使用者反映連線有問題或網速緩慢。
禁止使用:問題只涉及帳務。
## refund_credit(account_id, minutes)
使用時機:已確認過去 7 天內服務中斷超過 240 分鐘。
禁止使用:尚未確認服務中斷。先進入診斷階段,執行 check_outage。
## schedule_technician(account_id, window)
使用時機:重新啟動後仍反覆失敗,且服務中斷狀態為 false。
禁止使用:服務中斷狀態為 true(改為傳送目前狀態和預計恢復時間)。
## escalate_to_human(account_id, reason)
使用時機:使用者顯得非常沮喪、出現辱罵或騷擾、操作反覆失敗、帳務爭議金額超過 $50,或使用者要求轉交。提示:如果工具呼叫可能在難以預料的情況下失敗,請加入明確的失敗處理指示,讓模型能妥善回應。
個別工具的行為
你可以針對各項工具細調模型行為,無須一律套用同一條規則。例如,可以讓模型主動呼叫讀取工具,但要求它先取得明確確認才能呼叫寫入工具。
- 適用時機:有關主動程度、確認或行動前簡短說明的全域指示,無法適用於每項工具。
- 作用:為個別工具設定規則,指定模型應立即呼叫、先取得確認,還是先簡短說明再呼叫。
範例
# 工具
- 標記為 PROACTIVE 的工具:不要請使用者確認,也不要在呼叫前說明。
- 標記為 CONFIRMATION FIRST 的工具:一律先請使用者確認。
- 標記為 PREAMBLES 的工具:每次呼叫前先簡短說一句,例如「我現在幫你查」,接著立即呼叫工具。
## lookup_account(email_or_phone) — PROACTIVE
使用時機:驗證身分或查閱帳務資料。
禁止使用:第二次詢問身分後,來電者仍拒絕表明身分。
## check_outage(address) — PREAMBLES
使用時機:來電者反映無法連線或網速低於 10 Mbps。
禁止使用:問題只涉及帳務,或網速高於 10 Mbps。
只要符合任一禁止使用的條件,就告知客戶無法協助,然後掛斷電話。
## refund_credit(account_id, minutes) — CONFIRMATION FIRST
使用時機:已確認過去 7 天內服務中斷超過 240 分鐘(折抵 60 分鐘的費用)。
禁止使用:尚未確認服務中斷。
確認用語:「這次服務中斷可以折抵部分費用,要我幫你辦理嗎?」
## schedule_technician(account_id, window) — CONFIRMATION FIRST
使用時機:重新啟動及檢查線路後仍無法解決,且 outage=false。
可預約時段:「10am–12pm ET」或「2pm–4pm ET」。
確認用語:「我可以安排技術人員到府服務,要幫你預約嗎?」
## escalate_to_human(account_id, reason) — PREAMBLES
使用時機:出現騷擾、威脅、自傷、操作反覆失敗、帳務爭議金額超過 $50、來電者感到沮喪,或來電者要求轉交。
呼叫前說明:「我幫你轉接資深客服,請他進一步協助。」工具輸出格式
有些工具輸出的形式與模型訓練時常見的資料不同,尤其是必須逐字複誦的長字串。訓練資料中的工具輸出通常是包含具名欄位的 JSON 物件。如果工具只傳回原始字串,另外才要求模型「原樣複誦」,模型就更容易改寫、截斷內容,或自行加上一段開場白。
實用的修正方式是讓工具輸出採用常見的工具結果格式,並以機器能明確辨識的方式表示必須逐字複誦。
-
適用時機: 工具傳回篇幅較長或結構複雜的內容(多句指示、交接資料、ID/連結、政策摘要、多步驟程序等),而你觀察到模型截斷或改寫內容、遺漏欄位、改變順序,或自行加入開場白或說明。
-
作用: 將工具輸出包裝成小而明確的 JSON 物件,例如包含
response_text,以及require_repeat_verbatim、format或content_type等標記,讓回應更接近訓練資料中常見的形式,也讓模型能明確判斷該如何呈現內容。 -
調整方式: 讓結構描述保持精簡且穩定。在工具使用指示和工具定義旁清楚說明預期的輸出格式,例如「如果
require_repeat_verbatim為 true,請只輸出response_text的原文」,或「原樣呈現response_text,不要新增、遺漏工具輸出的欄位,或改變欄位順序」。
範例
範例:原始字串(較容易出錯)
工具傳回:
I just sent you an email with the verification link. Please open it and click “Confirm”.模型有時會有以下表現:
-
說「我已把驗證連結寄給你……」(改寫原文)
-
省略最後一句(截斷內容)
-
加入額外說明(「還有什麼需要幫忙的嗎?」)
範例:以 JSON 包裝(更接近訓練資料,也更可靠)
工具傳回:
{
"response_text": "I just sent you an email with the verification link. Please open it and click “Confirm”.",
"require_repeat_verbatim": true
}這種格式與典型的工具結果(JSON 物件)相似,因此模型通常更容易:
-
辨識應以哪個欄位的內容為準(response_text)
-
理解呈現內容時必須遵守的限制(require_repeat_verbatim)
-
完整重現工具輸出,不截斷也不加入額外說明
改述督導工具的回應(回應模型與推理模型分工)
在許多語音系統中,即時模型負責回應(與使用者交談),而能力較強的文字模型負責思考(規劃、查詢政策及完成標準作業程序)。文字回答未必適合直接念出來,因此回應模型必須先把推理模型的文字改寫成適合口頭表達的回應,再產生音訊。
- 適用時機:回應模型收到推理模型的回答後,說出來的內容聽起來機械化、太長或不自然。
- 作用:加入明確指示,引導回應模型把推理模型的文字改述成簡短、自然、適合直接說出口的回應。
- 調整方式:依使用情境調整措辭風格、開場白及長度限制。
範例
# 工具
## 督導工具
名稱:getNextResponseFromSupervisor(relevantContextFromLastUserMessage: string)
呼叫時機:
- 任何不在允許清單內的請求。
- 任何涉及事實、政策、帳戶或流程的問題。
- 任何可能需要內部查詢或變更系統的操作。
不要呼叫的情況:
- 簡單的問候或寒暄。
- 使用者請你重複或說明得更清楚。
- 正在收集稍後才要交給督導工具的參數:
- 帳戶協助所需的 phone_number(getUserAccountInfo)
- 門市查詢所需的 zip_code(findNearestStore)
- 政策查詢所需的主題或關鍵字(lookupPolicyDocument)
使用規則及呼叫前的說明:
1) 先向使用者說一句中性的過渡語,再立即呼叫工具。可用的說法有「請稍候」、「我查一下」、「稍等一下」、「給我一點時間」、「我看一下」、「我幫你了解一下」。過渡語不能暗示成功或失敗。
2) 說過渡語時,不要提到「督導」。
3) relevantContextFromLastUserMessage 是使用者最新一則訊息的單行摘要。如果沒有重點資訊,請使用空字串。
4) 工具傳回結果後,依照「改述督導回應」的指示整理內容,再送出回覆。
### 改述督導回應
- 用主動語態說一句簡短、自然的開場白,再接著回答,例如「謝謝你等我」、「我剛查好了」、「我已經調出資料了」。
- 保持簡短,最多 2 句。
- 依此順序回答:開場白 + 一句話概述結果 + 最多 3 項重點 + 簡短確認或提供選擇(例如「這和你預期的一樣嗎?」、「要我說明有哪些選項嗎?」)。
- 數字要念得容易聽懂:金額用自然的方式念(「$45.20」念成「四十五元二十分」),電話號碼依 3-3-4 分組,地址中的數字逐位念,日期和時間用日常說法(「八月十二日」、「下午三點半」)。未加入改述指示時,回應可能如下:
助理:你目前的信用卡餘額為正數,金額是 32,323,232 澳元。
同一個範例加入改述指示後:
助理:剛幫你查過了,你的信用卡帳戶有三千兩百三十二萬三千兩百三十二元的溢繳款。上一筆付款是在八月一日入帳的。這和你預期的一樣嗎?
常用工具
gpt-realtime-1.5 已接受訓練,能有效使用下列常用工具。如果你的使用情境需要類似行為,請盡量沿用相近的名稱、函式簽章及說明,讓工具形式更接近訓練資料,盡可能提高可靠性。
以下列出模型訓練時接觸過的幾項重要常用工具:
範例
# answer(question: string)
說明:客戶問了你無法回答的問題,或請你執行某個操作時,請呼叫此工具。
# escalate_to_human()
說明:客戶要求轉交處理、想和其他人交談,或表達對通話的不滿時,請呼叫此工具。
# finish_session()
說明:客戶表示事情已處理完畢或不想繼續對話時,請呼叫此工具。如果意思不明確,請在呼叫前向客戶確認。對話流程
本節說明如何將對話劃分為目標明確的階段,讓模型清楚知道每一步該做什麼。為每個階段定義目的、進行方式,以及轉入下一階段的具體「結束條件」,可以避免模型停滯、漏掉步驟或過早進入後續階段,讓對話從問候到問題解決都有條理。
將提示詞依不同的對話狀態整理,也更容易找出容易出錯的情形,並有效地反覆改進。
- 適用時機:對話缺乏條理、尚未達成目標就停滯,或模型難以順利完成任務。
- 作用:將互動拆成多個階段,為各階段明定目標、指示及結束條件。
- 調整方式:依工作流程重新命名階段,並依預期行為修改各階段指示。「何時結束」的條件應具體且精簡。
範例
# 對話流程
## 1) 問候
目標:定下對話語氣,詢問來電原因。
回應方式:
- 表明這裡是 NorthLoop Internet 客服。
- 開場白保持簡短,詢問來電者需要什麼協助。
- 確認來電者是 Northloop 的客戶。
進入「了解問題」的條件:來電者表明自己是 Northloop 客戶,並初步說明需求或問題現象。
## 2) 了解問題
目標:判斷問題類型,收集最基本的必要資訊。
回應方式:
- 用一個具體問題判斷是帳務問題還是連線問題。
- 如果是連線問題,詢問裝機地址。
- 如果是帳務或帳戶問題,詢問帳戶登記的電子郵件地址或電話號碼。
結束條件:已了解來電意圖,並取得裝機地址(連線問題)或電子郵件地址/電話號碼(帳務問題)。
## 3) 驗證
目標:確認身分並查出帳戶。
回應方式:
- 取得電子郵件地址或電話號碼後,呼叫 lookup_account(email_or_phone)。
- 如果查詢失敗,改用另一種識別方式再試一次。若仍未成功,提供一般指引;如果必須操作帳戶,則提議轉交處理。
結束條件:工具已傳回帳戶 ID。
## 4) 診斷
目標:判斷是服務中斷,還是用戶端的問題。
回應方式:
- 如果是連線問題,呼叫 check_outage(address)。
- 如果 outage=true,略過用戶端檢查,帶著服務中斷資訊進入「解決問題」階段。
- 如果 outage=false,帶領來電者簡單重新啟動設備並檢查線路。每一步都要先確認結果再繼續。
結束條件:已找出根本原因。
## 5) 解決問題
目標:修復問題、折抵費用或安排預約。
回應方式:
- 如果已確認過去 7 天內服務中斷超過 240 分鐘,呼叫 refund_credit(account_id, 60)。
- 如果 outage=false,且基本檢查後問題仍然存在,提供「10am–12pm ET」或「2pm–4pm ET」兩個時段,並呼叫 schedule_technician(account_id, chosen window)。
- 如果用戶端修復成功,簡短說明結果及後續步驟。
結束條件:已完成修復、套用費用折抵或安排預約,且來電者已確認結果。
## 6) 確認並結束
目標:確認結果,妥善結束通話。
回應方式:
- 再次說明結果及後續步驟,例如網速恢復穩定所需的時間,或技術人員預計到達的時間。
- 詢問是否還有其他問題,如果沒有,就禮貌地結束通話。
結束條件:來電者表示不需要其他協助。示範用語
示範用語可以作為模型回應時的參考,讓它掌握你期望的風格、長度及語氣,同時保有變換說法的空間。
- 適用時機:回應缺乏品牌風格,或前後不一致。
- 作用:提供模型可靈活變化的示範用語,讓回應自然、簡短。
- 調整方式:換成符合品牌風格的範例,並保留「不要每次都用」的提醒。
範例
# 示範用語
- 下列說法供你參考。不要每次都照用範例,回應時要變換說法。
表示收到:「我來處理。」「請稍候。」「問得好。」
釐清需求:「你想選 A 還是 B?」「最晚什麼時候需要?」
銜接話題:「我簡單說一下接下來怎麼做。」「我們用簡單的方式處理。」
簡短表達同理:「遇到這種事真的很煩,我們一起處理。」
結束對話:「結束前還有什麼需要幫忙的嗎?」「下次有需要,歡迎再來找我。」注意:如果語音系統總是只重複示範用語,讓互動聽起來像機器人,可以試著加入變換說法的限制。我們曾用這種方式解決此問題。
在對話流程中加入示範用語
在對話流程的不同狀態中分別加入示範用語,可以讓模型了解各階段理想的回應方式:
範例
# 對話流程
## 1) 問候
目標:定下對話語氣,詢問來電原因。
回應方式:
- 表明這裡是 NorthLoop Internet 客服。
- 開場白保持簡短,詢問來電者需要什麼協助。
示範用語(不要總是重複同一句話,請變換說法):
- 「感謝致電 NorthLoop Internet,今天有什麼需要幫忙的嗎?」
- 「這裡是 NorthLoop 客服,你的服務遇到什麼問題了?」
- 「你好,請問你需要什麼協助?」
結束條件:來電者已初步說明需求或問題現象。
## 2) 了解問題
目標:判斷問題類型,收集最基本的必要資訊。
回應方式:
- 用一個具體問題判斷是帳務問題還是連線問題。
- 如果是連線問題,詢問裝機地址。
- 如果是帳務或帳戶問題,詢問帳戶登記的電子郵件地址或電話號碼。
示範用語(不要總是重複同一句話,請變換說法):
- 「你想詢問帳單,還是網路速度的問題?」
- 「請問你使用網路的地址是哪裡?」
- 「帳戶上登記的電子郵件地址或電話號碼是什麼?」
結束條件:已了解來電意圖,並取得裝機地址(連線問題)或電子郵件地址/電話號碼(帳務問題)。
## 3) 驗證
目標:確認身分並查出帳戶。
回應方式:
- 取得電子郵件地址或電話號碼後,呼叫 lookup_account(email_or_phone)。
- 如果查詢失敗,改用另一種識別方式再試一次。若仍未成功,提供一般指引;如果必須操作帳戶,則提議轉交處理。
示範用語:
- 「謝謝,我現在幫你查帳戶。」
- 「如果用這個查不到,可以提供另一項聯絡資料嗎?電子郵件地址或電話號碼都可以。」
- 「查到你的帳戶了,我來幫你處理。」
結束條件:工具已傳回帳戶 ID。
## 4) 診斷
目標:判斷是服務中斷,還是用戶端的問題。
回應方式:
- 如果是連線問題,呼叫 check_outage(address)。
- 如果 outage=true,略過用戶端檢查,帶著服務中斷資訊進入「解決問題」階段。
- 如果 outage=false,帶領來電者簡單重新啟動設備並檢查線路。每一步都要先確認結果再繼續。
示範用語(不要總是重複同一句話,請變換說法):
- 「我查一下你所在的區域有沒有斷線通報。」
- 「目前沒有斷線通報,我們試著重新啟動數據機。」
- 「請幫我看一下數據機,網路指示燈是恆亮還是在閃爍?」
結束條件:已找出根本原因。
## 5) 解決問題
目標:修復問題、折抵費用或安排預約。
回應方式:
- 如果已確認過去 7 天內服務中斷超過 240 分鐘,呼叫 refund_credit(account_id, 60)。
- 如果 outage=false,且基本檢查後問題仍然存在,提供「10am–12pm ET」或「2pm–4pm ET」兩個時段,並呼叫 schedule_technician(account_id, chosen window)。
- 如果用戶端修復成功,簡短說明結果及後續步驟。
示範用語(不要總是重複同一句話,請變換說法):
- 「這次服務中斷的時間較長,我現在幫你折抵 60 分鐘的費用。」
- 「目前沒有服務中斷,我幫你安排技術人員到府。可選的時段是美東時間上午十點到中午十二點,或下午兩點到四點。」
- 「費用已折抵,你會在下一期帳單上看到。」
結束條件:已完成修復、套用費用折抵或安排預約,且來電者已確認結果。
## 6) 確認並結束
目標:確認結果,妥善結束通話。
回應方式:
- 再次說明結果及後續步驟,例如網速恢復穩定所需的時間,或技術人員預計到達的時間。
- 詢問是否還有其他問題,如果沒有,就禮貌地結束通話。
示範用語(不要總是重複同一句話,請變換說法):
- 「已經處理好了:[credit applied / appointment booked / service restored]。」
- 「網速應該會在幾分鐘內穩定下來。」
- 「技術人員預計在美東時間上午十點到中午十二點之間到府。」
結束條件:來電者表示不需要其他協助。進階對話流程
使用情境越複雜,就越需要能隨之擴充、又能維持模型表現的結構。設計時要兼顧易於維護及簡單易懂。過多僵化的狀態可能讓模型負荷過重,降低成效,也讓對話聽起來像機器人。
設計流程時,可以減少模型在每一步需要考慮的事項。以有結構但保有彈性的方式管理狀態,模型更容易專注於當前任務並及時回應,使用者體驗也會更好。
管理複雜情境有兩種常見做法:
- 以狀態機定義對話流程
- 透過 session.updates 動態調整對話流程
以狀態機定義對話流程
用 JSON 結構定義對話,寫明各個狀態及狀態轉換條件。這樣更容易分析流程涵蓋哪些情境、找出邊界案例,並追蹤歷次變更。流程以程式碼儲存,因此可以管理版本、比對差異,並隨需求演進加以擴充。狀態機也讓你能精細控制對話何時以及如何從一個狀態進入另一個狀態。
範例
# 對話狀態
[
{
"id": "1_greeting",
"description": "每次對話都先親切問候,說明服務名稱並主動詢問需要什麼協助。",
"instructions": [
"使用公司名稱「Snowy Peak Boards」,並熱情歡迎來電者。",
"一開始就讓對方知道,如要協助處理特定帳戶的問題,需要先取得一些身分驗證資料。"
],
"examples": [
"你好,這裡是 Snowy Peak Boards。感謝來電!今天有什麼需要幫忙的嗎?"
],
"transitions": [{
"next_step": "2_get_first_name",
"condition": "已完成問候。"
}, {
"next_step": "3_get_and_verify_phone",
"condition": "使用者已提供名字。"
}]
},
{
"id": "2_get_first_name",
"description": "詢問使用者的名字(只需要名,不需要姓)。",
"instructions": [
"禮貌地問:「請問怎麼稱呼你?」",
"直接記下名字,不要核對或逐字拼讀給對方聽。"
],
"examples": [
"請問怎麼稱呼你?"
],
"transitions": [{
"next_step": "3_get_and_verify_phone",
"condition": "已問到名字,或使用者先前已提供名字。"
}]
},
{
"id": "3_get_and_verify_phone",
"description": "詢問電話號碼,再複誦號碼以核對。",
"instructions": [
"禮貌地詢問使用者的電話號碼。",
"取得號碼後,逐位複誦並詢問是否正確。",
"如果使用者更正了號碼,務必再次確認,確保自己聽對了。",
],
"examples": [
"如果方便的話,我需要再核對一些資料才能查詢你的帳戶。可以提供你的電話號碼嗎?",
"你說的是 0-2-1-5-5-5-1-2-3-4,對嗎?",
"你說的是 4-5-6-7-8-9-0-1-2-3,對嗎?"
],
"transitions": [{
"next_step": "4_authentication_DOB",
"condition": "電話號碼已確認"
}]
},
...動態對話流程
這種做法會根據目前狀態更新系統提示詞及工具清單,讓對話即時調整。每次只提供與當前對話階段相關的內容,不必一次把所有可能用到的規則及工具都交給模型。
符合某個狀態的結束條件時,使用 session.update 進行轉換,將提示詞及工具替換為下一階段需要的內容。
這種做法可減輕模型負擔,讓它更容易處理複雜任務,避免受到無關上下文的干擾。
範例
from typing import Literal
State = Literal["verify", "resolve"]
# Allowed transitions
TRANSITIONS: dict[State, list[State]] = {
"verify": ["resolve"],
"resolve": [], # terminal
}
def build_state_change_tool(current: State) -> dict:
allowed = TRANSITIONS[current]
readable = ", ".join(allowed) if allowed else "no further states (terminal)"
return {
"type": "function",
"name": "set_conversation_state",
"description": (
f"Switch the conversation phase. Current: '{current}'. "
f"You may switch only to: {readable}. "
"Call this AFTER exit criteria are satisfied."
),
"parameters": {
"type": "object",
"properties": {"next_state": {"type": "string", "enum": allowed}},
"required": ["next_state"],
},
}
# Minimal business tools per state
TOOLS_BY_STATE: dict[State, list[dict]] = {
"verify": [
{
"type": "function",
"name": "lookup_account",
"description": "Fetch account by email or phone.",
"parameters": {
"type": "object",
"properties": {"email_or_phone": {"type": "string"}},
"required": ["email_or_phone"],
},
}
],
"resolve": [
{
"type": "function",
"name": "schedule_technician",
"description": "Book a technician visit.",
"parameters": {
"type": "object",
"properties": {
"account_id": {"type": "string"},
"window": {"type": "string", "enum": ["10-12 ET", "14-16 ET"]},
},
"required": ["account_id", "window"],
},
}
],
}
# Short, phase-specific instructions
INSTRUCTIONS_BY_STATE: dict[State, str] = {
"verify": (
"# Role & Objective\n"
"Verify identity to access the account.\n\n"
"# Conversation (Verify)\n"
"- Ask for the email or phone on the account.\n"
"- Read back digits one-by-one (e.g., '4-1-5… Is that correct?').\n"
"Exit when: Account ID is returned.\n"
'When exit is satisfied: call set_conversation_state(next_state="resolve").'
),
"resolve": (
"# Role & Objective\n"
"Apply a fix by booking a technician.\n\n"
"# Conversation (Resolve)\n"
"- Offer two windows: '10–12 ET' or '2–4 ET'.\n"
"- Book the chosen window.\n"
"Exit when: Appointment is confirmed.\n"
"When exit is satisfied: end the call politely."
),
}
def build_session_update(state: State) -> dict:
"""Return the JSON payload for a Realtime `session.update` event."""
return {
"type": "session.update",
"session": {
"type": "realtime",
"instructions": INSTRUCTIONS_BY_STATE[state],
"tools": TOOLS_BY_STATE[state] + [build_state_change_tool(state)],
},
}安全與轉交處理
對 Realtime 語音智慧體而言,能可靠地轉交給真人處理通常很重要。在這個區段,請依使用情境修改指示,明定何時應轉交。
- 適用時機:模型難以判斷何時應轉交給真人或備援系統處理。
- 作用:定義快速、可靠的轉交流程,以及轉交時該說什麼。
- 調整方式:填入你自己的觸發門檻及模型必須說出的內容。
範例
# 安全與轉交處理
遇到下列情況就轉交,不再繼續排解問題:
- 有安全風險(自傷、威脅、騷擾)。
- 使用者明確要求由真人處理。
- 使用者極度不滿(例如表示「非常挫折」、反覆抱怨或出言不遜)。
- 同一項任務的工具呼叫已失敗 **2** 次,**或**連續 **3** 次未找到符合項目或未收到輸入。
- 請求超出服務範圍或受限制(例如即時新聞、財務、法律或醫療建議)。
呼叫 escalate_to_human 工具時必須同時說明:
- 「謝謝你耐心等候,我現在幫你轉接專員。」
- 接著呼叫工具:`escalate_to_human`
需要轉交的範例:
- 「這已經是第三次重設失敗了。直接幫我轉真人。」
- 「我真的受夠了!」第一個範例顯示 gpt-4o-realtime-preview-2025-06-03 套用指示後的對話回應。

第二個範例顯示 gpt-realtime-1.5 套用指示後的對話回應。

gpt-realtime-1.5 能更可靠地遵循指示,將對話轉交給真人處理。
後續步驟
如果使用 GPT-Live:
- 參閱委派與工具,了解後端提示詞及由應用程式管理的上下文。
- 使用 WebRTC 或 WebSockets 建立連線。如需整合電話系統,請參閱電話服務與 SIP。
- 從對話品質及經驗證的任務結果兩方面評估語音智慧體。
如果使用 Realtime:
- 參閱先前的 Realtime 提示詞指南,查看更多
gpt-realtime-1.5範例。 - 參閱 Realtime 評估指南,測試具代表性的語音智慧體行為。
- 使用 WebRTC、WebSockets 或 SIP 建立連線。
- 了解 Realtime 對話生命週期,並查看 Realtime 費用。