Realtime API 提供語音活動偵測(VAD)功能,可自動偵測使用者何時開始或停止說話。
即時語音到語音工作階段預設會啟用這項功能,也可以視需要關閉。
即時轉錄工作階段是否支援發言回合偵測,取決於轉錄模型。支援 VAD 的模型預設使用 server_vad。使用 gpt-live-transcribe 或 gpt-realtime-whisper 時,必須省略回合偵測設定,或將其設為 null。使用這兩個模型時,請傳送 input_audio_buffer.commit 來結束每個語音回合。
概覽
啟用 VAD 後,系統會自動將音訊分段。Realtime API 會傳送下列事件,指出使用者何時開始或停止說話:
input_audio_buffer.speech_started:發言回合開始input_audio_buffer.speech_stopped:發言回合結束
你可以在應用程式中使用這些事件來處理發言回合,例如管理對話狀態或分段處理轉錄文字。
若要設定 VAD,請透過 session.update 用戶端事件設定 session.audio.input.turn_detection。
VAD 有兩種模式:
server_vad:根據靜音時段自動將音訊分段。semantic_vad:模型根據使用者說話的內容,判斷使用者已經說完時才將音訊分段。
支援 VAD 的工作階段和模型預設使用 server_vad。
以下分別說明這兩種模式。
伺服器端 VAD
語音到語音工作階段預設使用伺服器端 VAD。轉錄工作階段若使用支援回合偵測的模型,也預設使用此模式。伺服器端 VAD 會根據靜音時段自動將音訊分段。
你可以調整下列屬性來微調 VAD 設定:
threshold:啟動門檻(0 到 1)。門檻越高,啟動模型所需的音量就越大,因此在嘈雜環境中的偵測效果可能更好。prefix_padding_ms:VAD 偵測到語音時,要往前保留多少毫秒的音訊。silence_duration_ms:判定使用者已停止說話所需的靜音時間(以毫秒為單位)。數值越小,系統就能越快偵測到回合結束。
以下是 VAD 設定範例:
{
"type": "session.update",
"session": {
"type": "realtime",
"audio": {
"input": {
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"prefix_padding_ms": 300,
"silence_duration_ms": 500,
"create_response": true, // only in conversation mode
"interrupt_response": true, // only in conversation mode
},
},
},
},
}
在轉錄工作階段中,請使用相同的 session.audio.input.turn_detection 欄位。使用 gpt-live-transcribe 或 gpt-realtime-whisper 時,請省略回合偵測設定,或將其設為 null。
create_response 和 interrupt_response 欄位僅適用於語音到語音對話。在轉錄工作階段中,VAD 只控制音訊的分段方式。
語意 VAD
語意 VAD 是一種新模式,會使用語意分類器,根據使用者說話的內容判斷對方何時說完。 分類器會根據使用者已經說完的機率為輸入音訊評分。機率低時,模型會等到逾時才判定回合結束。機率高時,則無須等待。 例如,使用者說到一半語尾漸弱時,模型的等待時間會比使用者明確說完一句話時更長。
在此模式下,模型在語音到語音對話中較不容易打斷使用者,也較不容易在使用者說完之前就將轉錄文字分段。
將 session.audio.input.turn_detection.type 設為 semantic_vad 即可啟用語意 VAD。
設定方式如下:
{
"type": "session.update",
"session": {
"type": "realtime",
"audio": {
"input": {
"turn_detection": {
"type": "semantic_vad",
"eagerness": "auto", // optional
"create_response": true, // only in conversation mode
"interrupt_response": true, // only in conversation mode
},
},
},
},
}
轉錄工作階段若使用支援 VAD 的模型,也適用相同的 session.audio.input.turn_detection 欄位。create_response 和 interrupt_response 欄位僅適用於對話模式。
你可以使用選用屬性 eagerness 調整最長等待時間,控制模型多快會打斷使用者。在轉錄模式下,即使模型不回覆,這項設定仍會影響音訊的分段方式。
auto是預設值,等同於medium。low會讓使用者有充裕的時間慢慢說完。high會儘快將音訊分段。
如果希望模型在對話模式下更頻繁地回覆,或在轉錄模式下更快傳回轉錄事件,可以將 eagerness 設為 high。
如果希望使用者在對話模式下能持續說話而不被打斷,或希望轉錄模式產生較長的轉錄文字片段,可以將 eagerness 設為 low。