En las aplicaciones con agentes y en las de varios turnos, nuestros modelos funcionan mejor cuando se conserva el razonamiento entre solicitudes a la API y las nuevas acciones e instrucciones se agregan siempre al final del contexto del modelo. Mantener el prefijo intacto es desde hace tiempo una práctica recomendada para el almacenamiento en caché de prompts. La caché busca coincidencias desde el inicio de cada solicitud, por lo que un cambio en el prefijo puede impedir que se reutilice la caché a partir de ese punto. Agregar los cambios al final permite reutilizar una mayor parte de la conversación almacenada en caché. Esto puede reducir considerablemente los costos de entrada y acelerar las respuestas.
A partir de los modelos de vanguardia más recientes, la API descartará los elementos de razonamiento que aparezcan después de un cambio en el prefijo como parte de nuestras medidas de protección. Cuando se descartan esos elementos, el modelo puede tener que repetir parte del razonamiento, lo que puede aumentar el consumo de tokens, el costo y la latencia. Si el modelo no logra recuperar el razonamiento perdido, también puede disminuir la calidad de la respuesta.
Para obtener el mejor rendimiento de nuestros modelos, te recomendamos mantener el prefijo intacto y agregar los cambios únicamente al final del contexto siempre que puedas.
¿Qué es un cambio en el prefijo?
El prefijo de un elemento de razonamiento es el historial de la conversación que lo precede. Acortar el resultado de una herramienta, reescribir un mensaje del desarrollador o sustituir turnos anteriores por un resumen son ejemplos de cambios en ese historial.
| Conversación original | Siguiente solicitud y cómo la procesa la API |
|---|---|
| Mensaje del usuarioVerifica el total del libro mayor. | El mismo mensaje |
| Razonamiento antes de la llamada a la herramienta | Reutilizable |
Llamada a la herramientalookup_ledger() | La misma llamada |
Resultado de la herramienta[{"amount": 40}, {"amount": 50}] | Las mismas filas |
| Razonamiento después de recibir el resultado de la herramienta | Reutilizable |
Cómo actualizar tu integración para evitar cambios en el prefijo
Puedes modificar el prefijo sin darte cuenta al actualizar parámetros de la API Responses como tools o text.format, al cambiar instructions en modelos anteriores a GPT-6.2 o al editar elementos anteriores de input. Revisa tu integración para detectar estos cambios.
La siguiente tabla muestra por qué las integraciones suelen modificar el prefijo y cómo lograr los mismos objetivos agregando elementos al final del contexto siempre que sea posible.
| Motivo habitual para modificar el prefijo | Cómo evitar cambios en el prefijo |
|---|---|
| Cambiar el esfuerzo de razonamiento | En vez de cambiar el parámetro reasoning.effort en la API Responses, agrega un elemento configuration_update con el nuevo esfuerzo de razonamiento al final de la lista de elementos de entrada. Mantén el valor original del parámetro en la solicitud. |
| Cambiar los esquemas de resultados estructurados | En vez de cambiar el parámetro text.format en la API Responses, agrega un elemento configuration_update con el nuevo esquema al final de la lista de elementos de entrada. Mantén el valor original del parámetro en la solicitud. |
| Cambiar las herramientas disponibles para el agente | Conserva el parámetro tools de la API Responses. Usa un elemento additional_tools para agregar herramientas, o usa tool_choice con allowed_tools para limitar las herramientas que el modelo puede invocar en un turno. Mantén el orden de las definiciones de herramientas existentes. Agrega additional_tools al final con el rol developer y un arreglo tools, y vuelve a enviarlo en su posición original. |
| Actualizar las instrucciones del desarrollador | Incluye las instrucciones reutilizables en el primer mensaje con el rol developer de la lista input. Cuando quieras actualizar esas instrucciones, agrega un nuevo mensaje con el rol developer al final del contexto del modelo y conserva el mensaje inicial del desarrollador.En GPT-6.2 y modelos posteriores, usa el parámetro de nivel superior instructions para los mensajes del desarrollador que se aplican a un solo turno. La API agrega estos mensajes después de input y cobra sus tokens a la tarifa de entrada sin caché. |
| Compactar el contexto | La compactación modifica el prefijo, lo que dificulta evitar los fallos de caché. Compactación de OpenAI. Si usas la compactación de OpenAI mediante /responses/compact o context_management, nuestros sistemas conservan los elementos de razonamiento posteriores aunque cambie el prefijo. Un elemento de compactación de OpenAI puede aparecer en cualquier parte del contexto. Cuando llames a /responses/compact, omite instructions y envía la ventana devuelta en la siguiente solicitud en su orden original. context_management conserva las actualizaciones de configuración y las herramientas que agregó el desarrollador. Si usas la compactación explícita, restáuralas en la siguiente solicitud.Compactación personalizada. Si usas otra estrategia de compactación o una que desarrollaste tú, agrega el elemento compactado al final del contexto del modelo, después de los turnos recientes. Si eliges otra ubicación, puedes aceptar que se descarten los elementos de razonamiento que aparecen después de ese punto en el historial original. |
| Acortar resultados anteriores de herramientas o reducir el tamaño de archivos o imágenes ya enviados | Algunas integraciones truncan elementos anteriores, como resultados de herramientas, archivos o imágenes, sin usar la compactación. Estas modificaciones cambian el prefijo. Te recomendamos especialmente usar la compactación o, si vas a acortar resultados extensos de herramientas o reducir el tamaño de imágenes o archivos, hacerlo antes de enviarlos al modelo por primera vez. |
Revisar tu integración para detectar cambios en el prefijo
Usa el diagnóstico de la caché de prompts para ver cuándo ocurren fallos de caché e investigar cambios en el prefijo. Para comparar una solicitud con una respuesta anterior, asigna a prompt_cache_options.comparison_response_id el ID de esa respuesta y revisa el motivo que indica el diagnóstico y la cantidad de tokens en caché. Usa esta información para reducir los cambios en el prefijo de tu integración. El diagnóstico informa la primera diferencia que logra identificar. No puede verificar si el modelo reutilizó el razonamiento.
Usa input_transformations en la respuesta de la API Responses para ver qué elementos de razonamiento eliminó la API de la entrada y por qué. Para investigar por qué se eliminó un elemento de razonamiento por prefix_mismatch, puedes usar el id para localizar el elemento correspondiente en el campo output de una respuesta anterior. Si tu integración modificó una entrada anterior, puedes aplicar los cambios recomendados en esta guía para conservar el razonamiento.