如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

语音活动检测(VAD)

了解 Realtime API 如何自动检测语音活动。

Realtime API 提供语音活动检测(VAD)功能,可自动检测用户何时开始或停止说话。 在语音到语音实时会话中,VAD 默认启用,您也可以将其关闭。 在转录实时会话中,是否支持轮次检测取决于转录模型。支持 VAD 的模型默认使用 server_vad。对于 gpt-live-transcribe 和 gpt-realtime-whisper,您必须省略轮次检测配置或将其设为 null。使用这两个模型时,请发送 input_audio_buffer.commit 来结束每一轮音频输入。

概览

启用 VAD 后,音频会自动分段,Realtime API 会发送以下事件,指示用户何时开始或停止说话:

  • input_audio_buffer.speech_started:用户开始本轮发言
  • input_audio_buffer.speech_stopped:用户结束本轮发言

您可以在应用中使用这些事件处理发言轮次,例如管理对话状态或分段处理转录文本。

您可以通过 session.update 客户端事件设置 session.audio.input.turn_detection,以配置 VAD。

VAD 有两种模式:

  • server_vad:根据静音时段自动对音频分段。
  • semantic_vad:模型根据用户说话的内容判断本轮发言是否结束,并在判断用户已经说完时对音频分段。

对于支持 VAD 的会话和模型,默认值为 server_vad。

下文分别介绍这两种模式。

服务端 VAD

语音到语音会话默认使用服务端 VAD。转录会话如果使用支持轮次检测的模型,也默认使用此模式。该模式根据静音时段自动对音频分段。

您可以调整以下属性来微调 VAD 设置:

  • threshold:激活阈值(0 到 1)。阈值越高,触发模型所需的音量就越大,因此在嘈杂环境中效果可能更好。
  • prefix_padding_ms:在音频片段开头保留的前置音频时长(以毫秒为单位)。这部分音频来自 VAD 检测到语音之前。
  • silence_duration_ms:判定用户已停止说话所需的静音时长(以毫秒为单位)。值越小,就能越快检测到本轮发言结束。

以下是 VAD 配置示例:

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "audio": {
      "input": {
        "turn_detection": {
          "type": "server_vad",
          "threshold": 0.5,
          "prefix_padding_ms": 300,
          "silence_duration_ms": 500,
          "create_response": true, // only in conversation mode
          "interrupt_response": true, // only in conversation mode
        },
      },
    },
  },
}

转录会话也使用 session.audio.input.turn_detection 字段。对于 gpt-live-transcribe 和 gpt-realtime-whisper,请省略轮次检测配置或将其设为 null。

create_response 和 interrupt_response 字段仅用于语音到语音对话。在转录会话中,VAD 仅控制音频的分段方式。

语义 VAD

语义 VAD 是一种新模式,它使用语义分类器,根据用户说话的内容判断用户是否已经说完。 分类器根据用户已经说完的概率为输入音频评分。概率较低时,模型会等到超时时间结束;概率较高时,模型无需等待。 例如,如果用户的声音逐渐变小,听起来像是还没说完,模型的等待时间就会比用户明确说完一句话时更长。

在这种模式下,模型在语音到语音对话中更不容易打断用户,也更不容易在用户说完之前就对转录文本分段。

将 session.audio.input.turn_detection.type 设为 semantic_vad 即可启用语义 VAD。

配置示例如下:

{
  "type": "session.update",
  "session": {
    "type": "realtime",
    "audio": {
      "input": {
        "turn_detection": {
          "type": "semantic_vad",
          "eagerness": "auto", // optional
          "create_response": true, // only in conversation mode
          "interrupt_response": true, // only in conversation mode
        },
      },
    },
  },
}

使用支持 VAD 的模型时,转录会话也使用 session.audio.input.turn_detection 字段。create_response 和 interrupt_response 字段仅适用于对话模式。

可选属性 eagerness 通过调整最长等待时间,控制模型多快会接话。在转录模式下,即使模型不回复,此属性也会影响音频的分段方式。

  • auto 是默认值,等同于 medium。
  • low 会给用户留出更充裕的发言时间。
  • high 会尽快对音频分段。

如果您希望模型在对话模式下更频繁地回复,或在转录模式下更快地返回转录事件,可以将 eagerness 设为 high。

如果您希望用户在对话模式下连续发言而不被打断,或希望在转录模式下获得更长的转录文本片段,可以将 eagerness 设为 low。