GPT-Live mène la conversation à l’oral pendant qu’un agent recherche des informations, utilise des outils et exécute des tâches côté backend. GPT-Live peut écouter et parler en même temps (duplex intégral). Confier une tâche au backend s’appelle la délégation.
Par exemple, un utilisateur peut poser une question sur une commande, puis apporter une précision pendant que le backend vérifie l’état de la commande. GPT-Live peut poursuivre la conversation et expliquer le résultat dès qu’il le reçoit. Vous choisissez le modèle ou l’agent du backend indépendamment du modèle vocal.
Comprendre le rôle de chaque composant
- GPT-Live gère la conversation. Il écoute, parle et décide quand solliciter le backend. Donnez-lui un prompt court qui précise le style de conversation à adopter et les situations dans lesquelles déléguer une tâche.
- Le backend exécute les tâches déléguées. Avec la délégation via Responses, utilisez un modèle pris en charge par l’API Responses. Avec la délégation côté client, connectez le modèle, le harnais d’agent ou le service de votre choix, exécuté par votre application. Le backend raisonne, utilise des outils et renvoie les résultats à GPT-Live, qui les communique à l’utilisateur. Placez les instructions détaillées, les règles métier et les workflows d’utilisation des outils dans le backend.
Votre application vérifie les autorisations, obtient les confirmations requises, exécute les fonctions qui accèdent à vos systèmes et enregistre la progression des tâches. Lorsque l’appelant interrompt l’assistant, le backend peut poursuivre la tâche en cours. Votre application décide de la mener à terme ou de l’annuler. Consultez le guide Agents vocaux pour comparer GPT-Live à Realtime et aux applications vocales qui enchaînent plusieurs modèles.
Choisir comment exécuter le backend
Commencez par la délégation via Responses pour qu’OpenAI exécute le modèle du backend et se charge de transmettre le contexte de la conversation et les résultats entre ce modèle et GPT-Live. Votre application reste chargée d’exécuter vos propres fonctions exposées comme outils. Choisissez la délégation côté client pour connecter un agent existant ou contrôler vous-même le contexte du backend, son exécution et les résultats qu’il renvoie.
Consultez la section Choisir un mode de délégation pour comparer les modes et savoir comment les configurer. Choisissez le mode à la création de la session. Pour en changer, démarrez une nouvelle session.
Connecter votre première session
Commencez par le guide de démarrage rapide de GPT-Live avec WebRTC. L’exemple comprend du code pour le navigateur et le serveur. Il relie le microphone et les haut-parleurs à une session dont le backend Responses peut effectuer des recherches sur le Web.
Vous avez besoin d’un microphone, d’une page web servie via HTTPS ou depuis localhost et d’un serveur de confiance disposant d’une clé API de projet OpenAI. Conservez la clé sur le serveur.
- Rédigez un court prompt de conversation qui indique à GPT-Live quand solliciter le backend.
- Suivez le guide de démarrage rapide pour connecter le microphone du navigateur, la sortie audio et le canal d’événements. Votre serveur crée la session et obtient une réponse en échange de l’offre de connexion du navigateur.
- Attendez l’événement
session.started, puis parlez et écoutez la réponse. Posez une question qui nécessite des informations à jour pour tester la recherche web du backend. - Mettez fin à la conversation et fermez la session pour récupérer les données d’utilisation finales et libérer la connexion.
Lors de votre premier test, écoutez l’assistant et vérifiez que sa réponse tient compte du résultat de la recherche effectuée par le backend.
Les sessions vocales GPT-Live sont facturées à la seconde. Consultez la tarification du modèle pour connaître le tarif en vigueur. L’utilisation du modèle du backend et des outils est facturée séparément. Consultez le guide Optimisation des coûts pour comprendre comment l’utilisation est comptabilisée et comment réduire les coûts.
Exemples d’applications et SDK clients
- OpenAI Live Console est un exemple d’application à exécuter en local pour explorer les conversations avec GPT-Live, la délégation et l’activité des outils du backend.
- Switchboard OpenAI Live Toolkit est un SDK React Native tiers qui permet de créer des applications GPT-Live pour iOS.
Choisir un type de connexion
- WebRTC est recommandé pour les connexions audio dans les applications web, mobiles et serveur. Il transporte l’audio sur des pistes multimédias et les événements JSON sur un canal de données.
- Les WebSockets constituent une autre option prise en charge. Une seule connexion transporte l’audio et les événements de contrôle.
- Consultez le guide Téléphonie et SIP pour connecter des appels téléphoniques.
Pour surveiller ou contrôler une session existante depuis votre backend, ajoutez une connexion côté serveur. Cette connexion WebSocket supplémentaire est appelée canal auxiliaire. L’audio continue de transiter par la connexion principale de la session.
Intégrations partenaires
Si votre application utilise déjà LiveKit, Twilio, Telnyx, Bandwidth ou Daily/Pipecat, suivez le guide des intégrations partenaires pour connecter ses appels ou ses flux audio existants à GPT-Live.
Poursuivre le développement
- Définissez le style de conversation et les conditions de délégation à l’aide du guide Rédiger des prompts pour GPT-Live.
- Connectez des outils et réduisez la latence du backend à l’aide du guide Délégation et outils.
- Gérez le contexte, les transcriptions et le cycle de vie des sessions à l’aide du guide Gestion des sessions.
- Choisissez une stratégie de migration pour votre agent Realtime ou textuel à l’aide du guide Migrer vers GPT-Live.
- Testez les résultats des conversations et des tâches à l’aide du guide Évaluer les agents vocaux.