Vous pouvez réduire le coût d’utilisation des modèles d’OpenAI de plusieurs façons. Coût et latence sont souvent liés. Réduire le nombre de tokens et de requêtes accélère généralement le traitement. L’API Batch d’OpenAI et le traitement flexible permettent également de réduire les coûts.
Coûts et latence
Pour réduire la latence et les coûts, envisagez les stratégies suivantes :
- Réduisez le nombre de requêtes : limitez le nombre de requêtes nécessaires pour accomplir chaque tâche.
- Limitez le nombre de tokens : utilisez moins de tokens en entrée et privilégiez des réponses plus courtes en sortie.
- Choisissez un modèle plus petit : utilisez un modèle qui réduit les coûts et la latence tout en conservant la précision requise.
Pour approfondir ces stratégies, consultez notre guide sur l’optimisation de la latence.
API Batch
Exécutez vos tâches de manière asynchrone. L’API Batch propose des points de terminaison simples à utiliser. Regroupez vos requêtes dans un seul fichier, puis lancez leur traitement par lot. Vous pouvez consulter l’état du lot pendant l’exécution des requêtes et récupérer l’ensemble des résultats une fois le traitement terminé.
Premiers pas avec l’API Batch →
Traitement flexible
Le traitement flexible réduit considérablement le coût des requêtes Chat Completions ou Responses, en contrepartie de délais de réponse plus longs et d’une indisponibilité occasionnelle des ressources. Il convient particulièrement aux tâches exécutées hors production ou moins prioritaires, comme l’évaluation de modèles, l’enrichissement de données ou les charges de travail asynchrones.