OpenAI のモデルを利用する際にコストを抑える方法はいくつかあります。コストとレイテンシには通常、関連があります。トークン数やリクエスト数を減らすと、一般に処理時間も短くなります。OpenAI の Batch API やフレックス処理を利用することでも、コストを削減できます。
コストとレイテンシ
レイテンシとコストを抑えるには、次の方法を検討してください。
- リクエスト数の削減：タスクの完了に必要なリクエストの回数を抑えます。
- トークン数の最小化：入力トークン数を減らし、モデルの出力も短くなるように調整します。
- 小規模なモデルの選択：必要な精度を維持しながら、コストとレイテンシを抑えられるモデルを選びます。
各手法の詳細は、レイテンシの最適化のガイドを参照してください。
Batch API
Batch API を使うと、ジョブを非同期で処理できます。使い方はシンプルです。複数のリクエストを 1 つのファイルにまとめ、API のエンドポイントからバッチ処理ジョブを開始します。各リクエストの処理中はバッチのステータスを確認でき、バッチが完了したら結果をまとめて取得できます。
フレックス処理
フレックス処理を使うと、Chat Completions や Responses のリクエストにかかるコストを大幅に削減できます。その代わり、応答に時間がかかり、リソースを一時的に利用できない場合があります。モデルの評価、データの拡充、非同期ワークロードなど、本番環境以外で実行するタスクや優先度の低いタスクに適しています。