Nutze die native Integration der Decisions API in GPT-Live, um Entscheidungen mit geringer Latenz zu treffen, während dein Gegenüber noch spricht.
Bei der nativen Delegation entfällt der Umweg über deine App. Bei der benutzerdefinierten Delegation benachrichtigt Live deine App, die dann Decisions aufruft. Bei der nativen Delegation ruft Live Decisions direkt auf.
Zeitpunkt der Entscheidung festlegen
- Lass Live delegieren, sobald es eine Anfrage erkennt, die deine App bearbeiten kann. Lege die Auswahlmöglichkeiten in
session.delegationfest und gib Live vor, wann es delegieren soll. - Reagiere auf das Gespräch, während dein Gegenüber spricht oder Live antwortet. Konfiguriere
session.triggersfür Deltas im Eingabe- oder Ausgabetranskript.
Du kannst die Fragen während einer laufenden Live-Sitzung ändern. Sende session.update und warte auf das zugehörige session.updated, bevor du für diesen Schritt einen Entscheidungseintrag hinzufügst. Lege den Delegationstyp beim Erstellen der Sitzung fest. Er gilt für die gesamte Sitzung.
Live delegieren lassen
Mit einer einzigen Anfrage kann Live Decisions auffordern, aus den von dir definierten Aktionen auszuwählen und zu entscheiden, ob deine App die Responses API aufrufen soll.
Angenommen, du entwickelst einen Sprachassistenten für ein Auto. Wer am Steuer sitzt, kann darum bitten, die Temperatur zu erhöhen oder zu senken, die Defrostfunktion für die Frontscheibe ein- oder auszuschalten oder eine Route und ein Restaurant zu finden. Bei none bleibt die jeweilige Einstellung unverändert.
Innenraumklima anpassen
„Mir ist ein bisschen kalt.“
- InnenraumtemperaturErhöhen
- DefrostfunktionKeine Änderung
- Responses aufrufenNein
„Ich habe die Temperatur etwas erhöht.“
Eine Anfrage bearbeiten, die über die Klimasteuerung hinausgeht
- InnenraumtemperaturKeine Änderung
- DefrostfunktionEin
- Responses aufrufenJa
Nutze die Tool-Aufrufe von Responses, um die Navigation nach San Francisco zu starten und dort Restaurants zu finden. Gib beide Ergebnisse an Responses zurück.
Ob die Defrostfunktion eingeschaltet ist, ob die Navigation gestartet wurde und welche Restaurants die Suche gefunden hat.
Delegation konfigurieren
Du brauchst eine funktionierende Live-Verbindung und die Berechtigung api.decisions.write. Verwende deine üblichen Header für die Live-Verbindung. Ein spezieller Alpha-Header für Decisions ist nicht erforderlich.
Füge dieses Objekt in deiner WebRTC-Sitzungsanfrage unter session auf derselben Ebene wie das vorhandene Feld transport ein. Die Sitzungsanweisungen legen fest, wann Live delegieren soll. Die Auswahlfragen geben vor, was Decisions zurückgeben soll. Bei einer einzigen nativen Entscheidungsanfrage beantwortet Decisions alle drei Fragen unabhängig voneinander.
{
"model": "gpt-live-1",
"instructions": "Delegate the driver’s whole request, including cabin controls, navigation, and local search. Wait for the app to report what happened, then tell the driver in natural language.",
"delegation": {
"type": "decisions",
"decisions": {
"model": "gpt-6-luna",
"questions": [
{
"type": "choice",
"name": "cabin_temperature",
"instructions": "Choose temperature_up if the driver feels cold or wants more heat, temperature_down if they feel hot or want to cool down, or none if the request is unrelated.",
"choices": [
{ "value": "temperature_up" },
{ "value": "temperature_down" },
{ "value": "none" }
]
},
{
"type": "choice",
"name": "windshield_defogger",
"instructions": "Choose on if the driver reports a foggy windshield or asks to defog it, off if they say the glass is clear now or ask to turn the defogger off, or none if the request is unrelated.",
"choices": [
{ "value": "on" },
{ "value": "off" },
{ "value": "none" }
]
},
{
"type": "choice",
"name": "needs_response",
"instructions": "Choose yes if any part of the request goes beyond these cabin controls, such as getting directions or finding restaurants. Otherwise choose no.",
"choices": [{ "value": "yes" }, { "value": "no" }]
}
]
}
}
}
Live sendet das Gesprächstranskript automatisch an Decisions.
Aktionen ausführen und Ergebnisse melden
Speichere delegation.id aus session.delegation.created. Prüfe beim decision.event mit dieser delegation_id, ob event.type den Wert decision.completed hat. Lies dann in event.decision.answers anhand des jeweiligen Fragenamens die ausgewählte Option aus. Bei none führt die App für diese Aktion nichts aus. Wenn du WebRTC-Ereignisse filterst, lass sowohl session.delegation.created als auch decision.event zu.
Bei „Mir ist ein bisschen kalt“ wählt Decisions temperature_up, none und no. Erhöhe die Temperatur und lies die tatsächliche Einstellung aus. Angenommen, auf dem Armaturenbrett siehst du jetzt eine Solltemperatur von 22 °C im Automatikmodus und die Defrostfunktion ist ausgeschaltet. Sende diesen bestätigten Zustand der Klimasteuerung mit decision.item.create an Decisions.
{
"type": "decision.item.create",
"event_id": "evt_cabin_after_temperature_up_1",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "Use the latest cabin state snapshot as the current state. Cabin temperature is set to 22 °C in automatic mode. Windshield defogger is off."
}
]
}
}
Füge nur dann eine kompakte Momentaufnahme aller Klimaeinstellungen hinzu, wenn sich der angezeigte Zustand ändert. Verwende die neueste Momentaufnahme als aktuellen Zustand. Lass frühere Eingaben stehen, damit das Präfix für das Prompt-Caching erhalten bleibt.
Warte auf decision.item.created und sende das Ergebnis dann mit session.commentary.append an Live. Verwende dafür die Delegations-ID dieser Anfrage.
{
"type": "session.commentary.append",
"delegation_id": "del_cabin_1",
"content": "I raised the cabin temperature and confirmed the new setting on the dashboard."
}
Bei der Anfrage zu San Francisco wählt Decisions none, on und yes. Schalte die Defrostfunktion ein, lies ihren Zustand aus und füge wie oben beschrieben die aktualisierte Momentaufnahme hinzu. Rufe dann Responses von deinem Server aus mit der Berechtigung api.responses.write auf. Übermittle die Ergebnisse der Klimasteuerung und die vollständige Anfrage der Person am Steuer, damit Responses „dort“ auf San Francisco beziehen kann.
curl https://api.openai.com/v1/responses \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-6.1-sol",
"instructions": "The car has handled the cabin controls. Use the tools for the rest of the request, then briefly tell the driver what happened based on the results.",
"input": "Driver: My windshield is foggy, so please defog it, navigate to San Francisco, and find me some good restaurants there.\nCabin results: Windshield defogger confirmed on. Temperature unchanged.",
"tools": [
{
"type": "function",
"name": "start_navigation",
"description": "Start navigation to a destination and report whether the route started.",
"parameters": {
"type": "object",
"properties": { "destination": { "type": "string" } },
"required": ["destination"],
"additionalProperties": false
},
"strict": true
},
{
"type": "function",
"name": "find_restaurants",
"description": "Find well-rated restaurants in the named city or area.",
"parameters": {
"type": "object",
"properties": { "location": { "type": "string" } },
"required": ["location"],
"additionalProperties": false
},
"strict": true
}
]
}'Das ist die erste Anfrage im Ablauf für Funktionsaufrufe mit Responses. Führe für jeden function_call die angegebene Funktion mit den übermittelten Argumenten aus. Gib dann ein function_call_output mit dem tatsächlichen Ergebnis oder Fehler und der zugehörigen call_id zurück. Wiederhole das, bis Responses die endgültige Antwort zurückgibt.
Sende Live nur die knappe endgültige Antwort von Responses und den bestätigten Zustand der Klimasteuerung. Verwende session.commentary.append mit derselben delegation_id.
Auf Transkripte reagieren
Verwende einen Transkript-Trigger, wenn sich der Zeitpunkt einer Reaktion nach dem Gesprächsverlauf richten soll. Hört eine digitale Figur „Ich habe den Job bekommen!“, könnte sie lächeln und nicken, während ihr Gegenüber noch spricht. Ein Ausgabe-Trigger könnte die Figur breiter lächeln und sich nach vorn beugen lassen, während Live „Das ist wunderbar!“ sagt.
session.input_transcript.delta„Ich habe den Job bekommen!“
session.output_transcript.delta„Das ist wunderbar!“
session.input_transcript.delta„Ich habe den Job nicht bekommen.“
Füge session.triggers einen Trigger wie im folgenden Beispiel hinzu. Er fragt Gesichtsausdruck, Intensität und Geste jeweils separat ab.
{
"type": "decisions",
"event_type": "session.input_transcript.delta",
"decisions": {
"questions": [
{
"type": "choice",
"name": "expression",
"instructions": "Choose your expression as you listen to the person's latest words.",
"choices": [
{ "value": "neutral" },
{ "value": "happy" },
{ "value": "sad" },
{ "value": "concerned" }
]
},
{
"type": "choice",
"name": "intensity",
"instructions": "Choose how strongly to show that expression.",
"choices": [
{ "value": "low" },
{ "value": "medium" },
{ "value": "high" }
]
},
{
"type": "choice",
"name": "gesture",
"instructions": "Choose a gesture that fits what you just heard.",
"choices": [
{ "value": "none" },
{ "value": "nod" },
{ "value": "shake" },
{ "value": "lean" }
]
}
]
}
}
Um die Figur auch beim Antworten zu animieren, füge einen zweiten Trigger hinzu. Setze event_type auf session.output_transcript.delta und frage nach Optionen, die zu den Worten passen, die Live gerade spricht. Live gibt das Modell und die Trigger-ID vor. Transkript-Trigger laufen unabhängig von der Delegation.
Wenn du WebRTC-Ereignisse filterst, lass decision.event und das Transkriptereignis für jeden konfigurierten Trigger zu, also session.input_transcript.delta, session.output_transcript.delta oder beide. Live liefert ein Trigger-Ergebnis nur dann, wenn auch das auslösende Transkriptereignis zugelassen ist.
Jedes Trigger-Ergebnis gibt an, welches Transkript-Delta es ausgelöst hat. Für das Beispiel „Ich habe den Job bekommen!“ sind die folgenden Felder aus einem decision.event relevant.
{
"type": "decision.event",
"delegation_id": null,
"trigger_id": "trg_listening_1",
"source_event_type": "session.input_transcript.delta",
"source_event_id": "evt_input_42",
"event": {
"type": "decision.completed",
"decision": {
"answers": [
{ "type": "choice", "name": "expression", "choice": "happy" },
{ "type": "choice", "name": "intensity", "choice": "medium" },
{ "type": "choice", "name": "gesture", "choice": "nod" }
]
}
}
}
Ordne das Ergebnis anhand von source_event_id dem zugehörigen Transkript-Delta zu. Live kann ausstehende Deltas zusammenfassen, und Ergebnisse können in anderer Reihenfolge eintreffen. Verwende für Eingabe und Ausgabe jeweils das neueste relevante Ergebnis und steuere die Mundbewegungen anhand des Audiosignals.