Dans les applications agentiques et les conversations à plusieurs tours, nos modèles donnent les meilleurs résultats lorsque le raisonnement est conservé d’une requête API à l’autre et que les nouvelles actions et instructions sont systématiquement ajoutées à la fin du contexte du modèle. Conserver le préfixe intact est depuis longtemps une bonne pratique pour la mise en cache des prompts. Le cache compare les requêtes depuis leur début. Une modification du préfixe peut donc empêcher la réutilisation du cache à partir du point où elle intervient. En ajoutant les changements à la fin du contexte, vous permettez la réutilisation d’une plus grande partie de la conversation mise en cache, ce qui peut réduire sensiblement les coûts liés aux entrées et accélérer les réponses.
À partir des modèles de pointe les plus récents, l’API supprimera les éléments de raisonnement qui suivent une modification du préfixe, dans le cadre de nos mesures de protection. Si l’API supprime ces éléments, le modèle peut devoir refaire une partie du raisonnement, ce qui peut augmenter la consommation de tokens, les coûts et la latence. Si le modèle ne parvient pas à reconstituer le raisonnement perdu, la qualité des sorties peut également diminuer.
Pour tirer le meilleur parti de nos modèles, évitez de modifier le préfixe et, dans la mesure du possible, faites évoluer le contexte de votre intégration uniquement par des ajouts à la fin.
Qu’est-ce qu’une modification du préfixe ?
Le préfixe d’un élément de raisonnement correspond à l’historique de la conversation qui le précède. Raccourcir un résultat d’outil, reformuler un message du développeur ou remplacer des tours plus anciens par un résumé sont autant de façons de modifier cet historique et donc le préfixe.
| Conversation d’origine | Requête suivante et traitement par l’API |
|---|---|
| Message de l’utilisateurVérifiez le total du grand livre. | Même message |
| Raisonnement avant l’appel d’outil | Réutilisable |
Appel d’outillookup_ledger() | Même appel |
Résultat de l’outil[{"amount": 40}, {"amount": 50}] | Mêmes lignes |
| Raisonnement après réception du résultat de l’outil | Réutilisable |
Adapter votre intégration pour éviter de modifier le préfixe
Vous pouvez modifier le préfixe sans le vouloir en changeant des paramètres de l’API Responses tels que tools ou text.format, en modifiant instructions avec les modèles antérieurs à GPT-6.2 ou en modifiant des éléments antérieurs de input. Vérifiez si votre intégration effectue ces changements.
Le tableau ci-dessous présente les cas courants où une intégration modifie le préfixe et explique comment atteindre les mêmes objectifs en ajoutant des éléments à la fin du contexte, lorsque c’est possible.
| Motif courant de modification du préfixe | Comment éviter de modifier le préfixe |
|---|---|
| Modification de l’effort de raisonnement | Conservez la valeur du paramètre reasoning.effort dans l’API Responses et ajoutez un élément configuration_update contenant le nouvel effort de raisonnement à la fin de la liste des éléments d’entrée. Gardez la valeur initiale au niveau de la requête. |
| Modification des schémas de sortie structurée | Conservez la valeur du paramètre text.format dans l’API Responses et ajoutez un élément configuration_update contenant le nouveau schéma à la fin de la liste des éléments d’entrée. Gardez la valeur initiale au niveau de la requête. |
| Modification des outils disponibles pour l’agent | Conservez le paramètre tools de l’API Responses. Utilisez un élément additional_tools pour ajouter des outils, ou utilisez tool_choice avec allowed_tools pour limiter les outils que le modèle peut appeler au cours d’un tour. Conservez l’ordre des définitions d’outils existantes. Ajoutez additional_tools à la fin avec le rôle developer et un tableau tools, puis renvoyez cet élément à sa position d’origine dans les requêtes suivantes. |
| Mise à jour des instructions du développeur | Placez les instructions réutilisables dans le premier message developer de input. Pour les mettre à jour, conservez le message initial du développeur et ajoutez un nouveau message developer à la fin du contexte du modèle.À partir de GPT-6.2, utilisez le paramètre de premier niveau instructions pour les messages du développeur qui s’appliquent à un seul tour. L’API ajoute ces messages après input et facture leurs tokens au tarif des entrées non mises en cache. |
| Compactage | Le compactage modifie le préfixe, ce qui rend les défauts de cache difficiles à éviter. Compactage OpenAI. Si vous utilisez le compactage OpenAI via /responses/compact ou context_management, nos systèmes conservent les éléments de raisonnement qui suivent, même si le préfixe a changé. Un élément de compactage OpenAI peut figurer à n’importe quel endroit du contexte. Lorsque vous appelez /responses/compact, omettez instructions et transmettez la fenêtre de contexte renvoyée à la requête suivante en respectant l’ordre d’origine. context_management conserve les mises à jour de configuration et les outils ajoutés par le développeur. Pour un compactage explicite, rétablissez ces éléments dans la requête suivante.Compactage personnalisé. Si vous utilisez une autre méthode de compactage ou une méthode développée en interne, placez l’élément compacté à la fin du contexte du modèle, après les tours récents. Si vous choisissez de le placer avant les tours récents, l’API supprimera les éléments de raisonnement qui le suivent dans l’historique d’origine. |
| Raccourcissement d’anciennes sorties d’outils ou réduction de la taille d’anciens fichiers ou images | Certaines intégrations tronquent des éléments antérieurs, comme les sorties d’outils, les fichiers ou les images, sans recourir au compactage. Ces modifications changent le préfixe. Nous vous recommandons vivement d’utiliser le compactage ou de raccourcir les sorties d’outils volumineuses et de réduire la taille des images ou des fichiers avant leur premier envoi au modèle. |
Repérer les modifications du préfixe dans votre intégration
Utilisez les diagnostics de mise en cache des prompts pour repérer les défauts de cache et analyser les modifications du préfixe. Pour comparer une requête à une réponse antérieure, définissez prompt_cache_options.comparison_response_id sur l’identifiant de cette réponse, puis examinez le motif indiqué par le diagnostic et le nombre de tokens mis en cache. Servez-vous de ces informations pour limiter les modifications du préfixe dans votre intégration. Les diagnostics indiquent la première différence qu’ils parviennent à détecter. Ils ne permettent pas de vérifier si le modèle a réutilisé le raisonnement.
Consultez input_transformations dans la réponse de l’API Responses pour savoir quels éléments de raisonnement l’API a supprimés de l’entrée et pour quelle raison. Pour examiner une suppression motivée par prefix_mismatch, recherchez l’élément de raisonnement portant le même id dans le champ output d’une réponse antérieure. Si votre intégration a modifié une entrée antérieure, appliquez les changements recommandés ci-dessus pour conserver le raisonnement.