Há várias maneiras de reduzir os custos ao usar os modelos da OpenAI. Custo e latência costumam estar relacionados. Em geral, usar menos tokens e fazer menos solicitações acelera o processamento. A Batch API da OpenAI e o processamento flexível também ajudam a reduzir os custos.
Custo e latência
Para reduzir a latência e o custo, considere as estratégias a seguir.
- Faça menos solicitações. Reduza o número de solicitações necessárias para concluir cada tarefa.
- Use menos tokens. Reduza o número de tokens de entrada e ajuste as solicitações para que o modelo gere respostas mais curtas.
- Escolha um modelo menor. Use modelos que reduzam o custo e a latência sem comprometer a precisão.
Para saber mais sobre essas estratégias, consulte nosso guia de otimização de latência.
Batch API
Execute tarefas de forma assíncrona. Com os endpoints da Batch API, você pode reunir várias solicitações em um único arquivo e iniciar o processamento em lote. Enquanto as solicitações são processadas, você pode consultar o status do lote. Quando o processamento terminar, você poderá recuperar todos os resultados.
Processamento flexível
Com o processamento flexível, as solicitações às APIs Chat Completions ou Responses custam bem menos, mas as respostas demoram mais e os recursos podem ficar indisponíveis ocasionalmente. Essa opção é ideal para tarefas fora de produção ou de menor prioridade, como avaliações de modelos, enriquecimento de dados ou cargas de trabalho assíncronas.