如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

語音活動偵測(VAD)

瞭解 Realtime API 的自動語音活動偵測功能。

Realtime API 提供語音活動偵測(VAD)功能,可自動偵測使用者何時開始或停止說話。 即時語音到語音工作階段預設會啟用這項功能,也可以視需要關閉。 即時轉錄工作階段是否支援發言回合偵測,取決於轉錄模型。支援 VAD 的模型預設使用 server_vad。使用 gpt-live-transcribe 或 gpt-realtime-whisper 時,必須省略回合偵測設定,或將其設為 null。使用這兩個模型時,請傳送 input_audio_buffer.commit 來結束每個語音回合。

概覽

啟用 VAD 後,系統會自動將音訊分段。Realtime API 會傳送下列事件,指出使用者何時開始或停止說話:

  • input_audio_buffer.speech_started:發言回合開始
  • input_audio_buffer.speech_stopped:發言回合結束

你可以在應用程式中使用這些事件來處理發言回合,例如管理對話狀態或分段處理轉錄文字。

若要設定 VAD,請透過 session.update 用戶端事件設定 session.audio.input.turn_detection。

VAD 有兩種模式:

  • server_vad:根據靜音時段自動將音訊分段。
  • semantic_vad:模型根據使用者說話的內容,判斷使用者已經說完時才將音訊分段。

支援 VAD 的工作階段和模型預設使用 server_vad。

以下分別說明這兩種模式。

伺服器端 VAD

語音到語音工作階段預設使用伺服器端 VAD。轉錄工作階段若使用支援回合偵測的模型,也預設使用此模式。伺服器端 VAD 會根據靜音時段自動將音訊分段。

你可以調整下列屬性來微調 VAD 設定:

  • threshold:啟動門檻(0 到 1)。門檻越高,啟動模型所需的音量就越大,因此在嘈雜環境中的偵測效果可能更好。
  • prefix_padding_ms:VAD 偵測到語音時,要往前保留多少毫秒的音訊。
  • silence_duration_ms:判定使用者已停止說話所需的靜音時間(以毫秒為單位)。數值越小,系統就能越快偵測到回合結束。

以下是 VAD 設定範例:

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "audio": {
      "input": {
        "turn_detection": {
          "type": "server_vad",
          "threshold": 0.5,
          "prefix_padding_ms": 300,
          "silence_duration_ms": 500,
          "create_response": true, // only in conversation mode
          "interrupt_response": true, // only in conversation mode
        },
      },
    },
  },
}

在轉錄工作階段中,請使用相同的 session.audio.input.turn_detection 欄位。使用 gpt-live-transcribe 或 gpt-realtime-whisper 時,請省略回合偵測設定,或將其設為 null。

create_response 和 interrupt_response 欄位僅適用於語音到語音對話。在轉錄工作階段中,VAD 只控制音訊的分段方式。

語意 VAD

語意 VAD 是一種新模式,會使用語意分類器,根據使用者說話的內容判斷對方何時說完。 分類器會根據使用者已經說完的機率為輸入音訊評分。機率低時,模型會等到逾時才判定回合結束。機率高時,則無須等待。 例如,使用者說到一半語尾漸弱時,模型的等待時間會比使用者明確說完一句話時更長。

在此模式下,模型在語音到語音對話中較不容易打斷使用者,也較不容易在使用者說完之前就將轉錄文字分段。

將 session.audio.input.turn_detection.type 設為 semantic_vad 即可啟用語意 VAD。

設定方式如下:

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "audio": {
      "input": {
        "turn_detection": {
          "type": "semantic_vad",
          "eagerness": "auto", // optional
          "create_response": true, // only in conversation mode
          "interrupt_response": true, // only in conversation mode
        },
      },
    },
  },
}

轉錄工作階段若使用支援 VAD 的模型,也適用相同的 session.audio.input.turn_detection 欄位。create_response 和 interrupt_response 欄位僅適用於對話模式。

你可以使用選用屬性 eagerness 調整最長等待時間,控制模型多快會打斷使用者。在轉錄模式下,即使模型不回覆,這項設定仍會影響音訊的分段方式。

  • auto 是預設值,等同於 medium。
  • low 會讓使用者有充裕的時間慢慢說完。
  • high 會儘快將音訊分段。

如果希望模型在對話模式下更頻繁地回覆,或在轉錄模式下更快傳回轉錄事件,可以將 eagerness 設為 high。

如果希望使用者在對話模式下能持續說話而不被打斷,或希望轉錄模式產生較長的轉錄文字片段,可以將 eagerness 設為 low。