Realtime API 提供语音活动检测(VAD)功能,可自动检测用户何时开始或停止说话。
在语音到语音实时会话中,VAD 默认启用,您也可以将其关闭。
在转录实时会话中,是否支持轮次检测取决于转录模型。支持 VAD 的模型默认使用 server_vad。对于 gpt-live-transcribe 和 gpt-realtime-whisper,您必须省略轮次检测配置或将其设为 null。使用这两个模型时,请发送 input_audio_buffer.commit 来结束每一轮音频输入。
概览
启用 VAD 后,音频会自动分段,Realtime API 会发送以下事件,指示用户何时开始或停止说话:
input_audio_buffer.speech_started:用户开始本轮发言input_audio_buffer.speech_stopped:用户结束本轮发言
您可以在应用中使用这些事件处理发言轮次,例如管理对话状态或分段处理转录文本。
您可以通过 session.update 客户端事件设置 session.audio.input.turn_detection,以配置 VAD。
VAD 有两种模式:
server_vad:根据静音时段自动对音频分段。semantic_vad:模型根据用户说话的内容判断本轮发言是否结束,并在判断用户已经说完时对音频分段。
对于支持 VAD 的会话和模型,默认值为 server_vad。
下文分别介绍这两种模式。
服务端 VAD
语音到语音会话默认使用服务端 VAD。转录会话如果使用支持轮次检测的模型,也默认使用此模式。该模式根据静音时段自动对音频分段。
您可以调整以下属性来微调 VAD 设置:
threshold:激活阈值(0 到 1)。阈值越高,触发模型所需的音量就越大,因此在嘈杂环境中效果可能更好。prefix_padding_ms:在音频片段开头保留的前置音频时长(以毫秒为单位)。这部分音频来自 VAD 检测到语音之前。silence_duration_ms:判定用户已停止说话所需的静音时长(以毫秒为单位)。值越小,就能越快检测到本轮发言结束。
以下是 VAD 配置示例:
{
"type": "session.update",
"session": {
"type": "realtime",
"audio": {
"input": {
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"prefix_padding_ms": 300,
"silence_duration_ms": 500,
"create_response": true, // only in conversation mode
"interrupt_response": true, // only in conversation mode
},
},
},
},
}
转录会话也使用 session.audio.input.turn_detection 字段。对于 gpt-live-transcribe 和 gpt-realtime-whisper,请省略轮次检测配置或将其设为 null。
create_response 和 interrupt_response 字段仅用于语音到语音对话。在转录会话中,VAD 仅控制音频的分段方式。
语义 VAD
语义 VAD 是一种新模式,它使用语义分类器,根据用户说话的内容判断用户是否已经说完。 分类器根据用户已经说完的概率为输入音频评分。概率较低时,模型会等到超时时间结束;概率较高时,模型无需等待。 例如,如果用户的声音逐渐变小,听起来像是还没说完,模型的等待时间就会比用户明确说完一句话时更长。
在这种模式下,模型在语音到语音对话中更不容易打断用户,也更不容易在用户说完之前就对转录文本分段。
将 session.audio.input.turn_detection.type 设为 semantic_vad 即可启用语义 VAD。
配置示例如下:
{
"type": "session.update",
"session": {
"type": "realtime",
"audio": {
"input": {
"turn_detection": {
"type": "semantic_vad",
"eagerness": "auto", // optional
"create_response": true, // only in conversation mode
"interrupt_response": true, // only in conversation mode
},
},
},
},
}
使用支持 VAD 的模型时,转录会话也使用 session.audio.input.turn_detection 字段。create_response 和 interrupt_response 字段仅适用于对话模式。
可选属性 eagerness 通过调整最长等待时间,控制模型多快会接话。在转录模式下,即使模型不回复,此属性也会影响音频的分段方式。
auto是默认值,等同于medium。low会给用户留出更充裕的发言时间。high会尽快对音频分段。
如果您希望模型在对话模式下更频繁地回复,或在转录模式下更快地返回转录事件,可以将 eagerness 设为 high。
如果您希望用户在对话模式下连续发言而不被打断,或希望在转录模式下获得更长的转录文本片段,可以将 eagerness 设为 low。