GPT-Live mantiene una conversación de voz mientras un agente de backend busca información, usa herramientas y completa tareas. Puede escuchar mientras habla (dúplex completo). Enviar tareas al backend se conoce como delegación.
Por ejemplo, un usuario puede preguntar por un pedido y agregar un detalle mientras el backend consulta su estado. GPT-Live puede seguir hablando con el usuario y explicarle el resultado cuando lo reciba. Puedes elegir el modelo o el agente del backend independientemente del modelo de voz.
Conoce los dos componentes
- GPT-Live se encarga de la conversación. Escucha, habla y decide cuándo pedir ayuda al backend. Dale un prompt breve que indique qué estilo de conversación debe usar y cuándo debe delegar tareas.
- El backend se encarga de las tareas delegadas. Si delegas mediante Responses, usa un modelo compatible con Responses. Si delegas desde el cliente, conecta cualquier modelo, arnés de ejecución de agentes o servicio que ejecute tu aplicación. El backend razona, usa herramientas y devuelve los resultados para que GPT-Live los comunique. Define en el backend las instrucciones detalladas, las reglas de negocio y los flujos de trabajo que usan herramientas.
Tu aplicación verifica los permisos, obtiene las confirmaciones necesarias, ejecuta funciones que acceden a tus sistemas y guarda el progreso de las tareas. Si la persona que llama interrumpe al asistente, el backend puede seguir trabajando. Tu aplicación decide si deja que el backend termine la tarea o si la cancela. Consulta Agentes de voz para comparar GPT-Live con Realtime y con las aplicaciones de voz que encadenan modelos.
Elige cómo ejecutar el backend
Empieza con la delegación mediante Responses para que OpenAI ejecute el modelo del backend y transfiera el contexto de la conversación y los resultados entre ese modelo y GPT-Live. Tu aplicación sigue ejecutando tus propias herramientas de tipo función. Elige la delegación desde el cliente para conectar un agente existente o controlar por tu cuenta el contexto del backend, su ejecución y los resultados que devuelve.
Consulta Cómo elegir un modo de delegación para comparar los modos y ver cómo configurarlos. Elige el modo al crear la sesión. Para cambiar de modo, inicia una sesión nueva.
Conecta tu primera sesión
Empieza con la guía de inicio rápido de GPT-Live con WebRTC. El código de ejemplo para el navegador y el servidor conecta la entrada de audio del micrófono y la salida de audio por los altavoces, y usa un backend de Responses que puede buscar información en la web.
Necesitas un micrófono, una página web que se sirva a través de HTTPS o desde localhost y un servidor de confianza con una clave de API de un proyecto de OpenAI. Mantén la clave en el servidor.
- Escribe un prompt de conversación breve que le indique a GPT-Live cuándo pedir ayuda al backend.
- Sigue la guía de inicio rápido para conectar el micrófono, la reproducción de audio y el canal de eventos del navegador. Tu servidor crea la sesión, envía la oferta de conexión del navegador y recibe una respuesta a cambio.
- Espera a que llegue
session.started, habla y escucha la respuesta. Haz una pregunta que requiera información actualizada para probar el backend de búsqueda web. - Termina la conversación y cierra la sesión para obtener los datos finales de uso y liberar la conexión.
En tu primera prueba, escucha al asistente y verifica que su respuesta refleje el resultado de la búsqueda del backend.
Las sesiones de voz de GPT-Live se facturan por segundo según su duración. Consulta los precios del modelo para ver la tarifa vigente. El uso del modelo del backend y de las herramientas se factura por separado. Consulta Optimización de costos para saber cómo se contabiliza el uso y cómo reducir los costos.
Aplicaciones de ejemplo y SDK de cliente
- OpenAI Live Console es una aplicación de ejemplo que se ejecuta de forma local y te permite explorar las conversaciones de GPT-Live, la delegación y el uso de herramientas en el backend.
- Switchboard OpenAI Live Toolkit es un SDK de React Native desarrollado por terceros para crear aplicaciones de GPT-Live en iOS.
Elige una conexión
- WebRTC es la opción recomendada para las conexiones de audio en aplicaciones de navegador, móviles y de servidor. Transmite el audio por pistas multimedia y los eventos JSON por un canal de datos.
- WebSockets también es una opción compatible. Una sola conexión transmite el audio y los eventos de control.
- Telefonía y SIP permiten conectar llamadas telefónicas.
Para monitorear o controlar una sesión existente desde tu backend, agrega una conexión del lado del servidor. Esta conexión WebSocket adicional se conoce como canal lateral. El audio sigue transmitiéndose por la conexión principal de la sesión.
Integraciones con socios
Si tu aplicación ya usa LiveKit, Twilio, Telnyx, Bandwidth o Daily/Pipecat, sigue la guía general de integraciones con socios para conectar a GPT-Live las llamadas o transmisiones de audio que ya maneja tu aplicación.
Continúa el desarrollo
- Define el estilo de conversación y cómo se delegan las tareas en Cómo escribir prompts para GPT-Live.
- Conecta herramientas y reduce la latencia del backend en Delegación y herramientas.
- Administra el contexto, las transcripciones y el ciclo de vida de las sesiones en Administración de sesiones.
- Elige cómo migrar tu agente de Realtime o tu agente basado en texto en Migración a GPT-Live.
- Comprueba los resultados de las conversaciones y de las tareas en Evaluación de agentes de voz.