Para criar um aplicativo de conversa por voz, comece com o GPT-Live. Ele consegue ouvir enquanto fala e dar continuidade à conversa enquanto um agente no backend raciocina, usa ferramentas ou conclui uma tarefa.
Siga o guia de início rápido de WebRTC para estabelecer a conexão da sua primeira conversa. Depois, escreva um prompt curto para o GPT-Live. Se você já tem um aplicativo que usa Realtime ou um agente de texto, siga o guia Migre para o GPT-Live.
Escolha outro fluxo de trabalho de áudio
Use a Realtime API quando precisar do modelo de sessões e ferramentas dessa API. Para transcrever, traduzir ou gerar fala sem um agente de conversação, escolha abaixo a API específica para a tarefa.
| O que você quer criar | Por onde começar | O que você controla |
|---|---|---|
| Um agente de fala para fala que usa o modelo de sessões e ferramentas da Realtime API | Realtime API | Turnos de fala, estado da sessão, ferramentas e interrupções. |
| Uma interface de voz para um agente de texto existente | Agentes de voz | Conversão de fala em texto, fluxo de trabalho do agente de texto e, por fim, conversão de texto em fala. |
| Uma transcrição de um arquivo de áudio | Transcrição de arquivos | Envio de arquivos, solicitações de escopo delimitado e formatos de transcrição compatíveis. |
| Legendas ao vivo sem resposta de voz do assistente | Transcrição ao vivo | Transmissão de áudio e eventos incrementais de transcrição. |
| Tradução contínua da fala | Tradução ao vivo | Uma sessão dedicada à tradução, sem o ciclo de turnos de um agente de voz. |
| Narração ou fala gerada | Conversão de texto em fala | Texto, voz e formato de saída. |
| Entrada ou saída de áudio em um aplicativo de chat existente | Áudio na API Chat Completions | Solicitações de chat multimodais com escopo delimitado. |
Desenvolva aplicativos com voz
Consulte o guia Agentes de voz para comparar arquiteturas. Comece pelo guia de prompts do GPT-Live ou da Realtime API. Depois, consulte os guias comuns às duas opções sobre vozes personalizadas, avaliação e otimização de custos. Cada guia indica quais comportamentos são específicos de um modelo ou de uma API.
Escolha uma conexão
Para áudio no navegador, comece com WebRTC. Para pipelines de áudio no servidor, use WebSockets. Para chamadas telefônicas, consulte Telefonia e SIP. Uma conexão de controle no servidor permite que um backend confiável monitore e controle uma sessão de mídia.
Selecione sua API em cada página de conexão. Mesmo quando o GPT-Live e a Realtime API usam o mesmo transporte, seus procedimentos de negociação da conexão, credenciais e formatos de eventos não são intercambiáveis. Consulte o guia de conexão para ver os pré-requisitos e as instruções de configuração.
Adicione áudio ao seu aplicativo existente
Os exemplos de Chat Completions agora estão no guia Áudio na API Chat Completions. Para começar a criar um agente de voz no navegador, use o guia de início rápido do GPT-Live com WebRTC.