Hay varias formas de reducir los costos al usar los modelos de OpenAI. El costo y la latencia suelen estar relacionados. Usar menos tokens y enviar menos solicitudes suele acelerar el procesamiento. La Batch API de OpenAI y el procesamiento flexible también permiten reducir los costos.
Costo y latencia
Para reducir la latencia y el costo, considera estas estrategias:
- Reduce la cantidad de solicitudes: limita el número de solicitudes necesarias para completar cada tarea.
- Minimiza el uso de tokens: reduce la cantidad de tokens de entrada y procura que el modelo genere respuestas más breves.
- Elige un modelo más pequeño: usa modelos que reduzcan los costos y la latencia sin perder precisión.
Para profundizar en estas estrategias, consulta nuestra guía de optimización de la latencia.
Batch API
Procesa trabajos de forma asíncrona. La Batch API ofrece puntos de acceso fáciles de usar que te permiten agrupar varias solicitudes en un solo archivo e iniciar un trabajo para procesarlas por lotes. Puedes consultar el estado del lote mientras se ejecutan las solicitudes y recuperar todos los resultados cuando termine el procesamiento.
Procesamiento flexible
Reduce considerablemente el costo de las solicitudes a Chat Completions o Responses a cambio de tiempos de respuesta más largos y de que, en ocasiones, los recursos no estén disponibles. El procesamiento flexible es ideal para tareas que se ejecutan fuera de producción o que tienen menor prioridad, como las evaluaciones de modelos, el enriquecimiento de datos o las cargas de trabajo asíncronas.