O GPT-Live conduz a conversa por voz enquanto um agente no backend busca informações, usa ferramentas e executa tarefas. Ele consegue ouvir enquanto fala (full duplex). O envio de tarefas ao backend é chamado de delegação.
Por exemplo, uma pessoa pode perguntar sobre um pedido e acrescentar um detalhe enquanto o backend verifica o andamento do pedido. O GPT-Live pode continuar conversando com ela e explicar o resultado assim que o receber. Você escolhe o modelo ou agente do backend independentemente do modelo de voz.
Entenda o papel de cada parte
- O GPT-Live conduz a conversa. Ele ouve, fala e decide quando pedir ajuda ao backend. Dê a ele um prompt curto que defina o estilo da conversa e indique quando delegar tarefas.
- O backend executa as tarefas delegadas. Na delegação via Responses, use um modelo compatível com a API Responses. Na delegação pelo cliente, conecte qualquer modelo, harness de agente ou serviço executado pelo seu aplicativo. O backend raciocina, usa ferramentas e retorna os resultados para que o GPT-Live os comunique. Mantenha no backend as instruções detalhadas, as regras de negócio e os fluxos de trabalho que usam ferramentas.
Seu aplicativo verifica permissões, obtém as confirmações necessárias, executa funções que acessam seus sistemas e salva o progresso das tarefas. O backend pode continuar executando uma tarefa mesmo quando a pessoa que fez a chamada interrompe o assistente. Seu aplicativo decide se deve concluir ou cancelar a tarefa. Consulte Agentes de voz para comparar o GPT-Live com o Realtime e com aplicativos de voz que encadeiam etapas de processamento.
Escolha como executar o backend
Comece com a delegação via Responses para que a OpenAI execute o modelo do backend e faça a troca de contexto da conversa e de resultados entre o modelo e o GPT-Live. Seu aplicativo continua responsável por executar suas próprias ferramentas de função. Escolha a delegação pelo cliente para conectar um agente existente ou controlar diretamente o contexto do backend, sua execução e os resultados que ele retorna.
Consulte Como escolher um modo de delegação para comparar os modos e ver os detalhes de configuração. Escolha o modo ao criar a sessão. Para mudar de modo, inicie outra sessão.
Conecte sua primeira sessão
Comece pelo guia de início rápido do GPT-Live com WebRTC. O exemplo inclui código para o navegador e o servidor. Ele conecta a entrada de áudio do microfone e a saída de áudio do alto-falante e usa um backend com a API Responses que pode pesquisar na Web.
Você precisa de um microfone, de uma página que o navegador acesse via HTTPS ou em localhost e de um servidor confiável com uma chave de API de um projeto da OpenAI. Mantenha a chave no servidor.
- Escreva um prompt de conversa curto que indique ao GPT-Live quando pedir ajuda ao backend.
- Siga o guia de início rápido para conectar o microfone, a reprodução de áudio e o canal de eventos do navegador. Seu servidor cria a sessão, envia a oferta de conexão do navegador e recebe uma resposta.
- Aguarde o evento
session.started, fale e ouça a resposta. Para testar o backend de pesquisa na Web, faça uma pergunta que exija informações atualizadas. - Encerre a conversa e feche a sessão para obter os dados finais de uso e liberar a conexão.
No primeiro teste, ouça o assistente e verifique se a resposta reflete o resultado da pesquisa feita pelo backend.
A cobrança das sessões de voz do GPT-Live é por segundo de duração. Consulte os preços do modelo para ver o valor atual. O uso do modelo de backend e das ferramentas é cobrado separadamente. Consulte Otimização de custos para entender como o uso é contabilizado e como reduzir custos.
Aplicativos de exemplo e SDKs de cliente
- O OpenAI Live Console é um aplicativo de exemplo que você pode executar localmente para explorar as conversas com o GPT-Live, a delegação de tarefas e o uso de ferramentas pelo backend.
- O Switchboard OpenAI Live Toolkit é um SDK de terceiros para React Native que permite criar aplicativos com o GPT-Live no iOS.
Escolha uma conexão
- O WebRTC é recomendado para conexões de áudio em aplicativos de navegador, de dispositivos móveis e de servidor. Ele transmite áudio em faixas de mídia e eventos JSON em um canal de dados.
- WebSockets também são uma opção compatível. Uma única conexão transmite áudio e eventos de controle.
- Use telefonia e SIP para conectar chamadas telefônicas.
Para monitorar ou controlar uma sessão existente a partir do backend, adicione uma conexão no servidor. Essa conexão WebSocket adicional é chamada de sideband. O áudio continua pela conexão principal da sessão.
Integrações com parceiros
Se seu aplicativo já usa LiveKit, Twilio, Telnyx, Bandwidth ou Daily/Pipecat, siga a visão geral das integrações com parceiros para conectar ao GPT-Live as chamadas ou os fluxos de áudio que o aplicativo já utiliza.
Próximos passos
- Defina o estilo da conversa e quando delegar tarefas em Como escrever prompts para o GPT-Live.
- Conecte ferramentas e reduza a latência do backend em Delegação e ferramentas.
- Gerencie o contexto, as transcrições e o ciclo de vida das sessões em Gerenciamento de sessões.
- Escolha como migrar seu agente que usa o Realtime ou opera por texto em Migração para o GPT-Live.
- Teste os resultados das conversas e das tarefas em Avaliação de agentes de voz.