OpenAI プラットフォームには、エージェントが一貫して正確に動作するかを確かめるための評価ツールが用意されています。
このページを参考に、エージェントワークフローの検証目的に合った評価方法を選んでください。
デバッグ段階の出発点となるトレース
ワークフロー全体に関わる問題を最も早く特定するには、トレースを採点します。トレースには、ワークフローを 1 回実行した際のモデル呼び出し、ツール呼び出し、ガードレール、ハンドオフが最初から最後まで記録されます。グレーダーを使えば、体系化した基準に沿って多数のトレースを採点し、リグレッションや失敗パターンを見つけられます。
トレースの採点は、次のような点を確認したい場合に役立ちます。
- エージェントは適切なツールを選んだか
- 必要なタイミングでハンドオフが行われたか
- ワークフローが指示や安全ポリシーに違反しなかったか
- プロンプトやルーティングを変更した結果、ワークフロー全体の動作が改善したか
トレース採点の手順
- ダッシュボードで Logs > Traces を開きます。
- SDK で構築したアプリから、代表的なワークフローのトレースを選んで内容を確認します。移行期間中は、既存の Agent Builder ワークフローのトレースも使えます。
- グレーダーを作成し、選択したトレースを採点します。
- 結果をもとに、プロンプト、ツールのインターフェース、ルーティングロジック、ガードレールを改善します。
SDK を使ってコードでワークフローを構築する場合は、まずインテグレーションとオブザーバビリティを参照してください。グレーダーの採点基準を固める前に、問題の特定に役立つトレースを取得できます。
再現性が必要な場合のデータセットを使った評価
「望ましい動作」が明確になったら、個々のトレースの確認から、同じデータセットで繰り返し評価を実行する段階に進みます。変更の効果をベンチマークで測定したい場合、プロンプトを比較したい場合、より大規模な評価を継続的に実施したい場合に適しています。
外部モデルを対象とした評価、評価 API、大規模なバッチ評価などの高度な機能が必要な場合は、データセットと併せて Evals を使用します。
評価に関連するツールとガイド
評価入門：データセット
評価結果を次の改善に生かし、このサイクルを繰り返します。
評価の実施方法
外部モデルを対象とした評価や、API 経由で評価を操作する方法などを説明します。
プロンプト最適化ツール
データセットを使ってプロンプトを自動で改善します。
Cookbook：評価を活用した堅牢なプロンプトの作成
評価結果を次の改善に生かし、このサイクルを繰り返します。