에이전트 워크플로우 평가하기

OpenAI 플랫폼은 에이전트가 일관되고 정확하게 동작하는지 확인할 수 있도록 다양한 평가 도구를 제공합니다.

이 가이드를 참고해 에이전트 워크플로우의 개발 단계와 평가 목적에 맞는 도구를 선택하세요.

동작을 디버깅하는 단계라면 트레이스부터 확인하세요

트레이스 채점은 워크플로우 전반의 문제를 가장 빠르게 파악하는 방법입니다. 트레이스에는 한 번의 실행에서 이루어진 모델 호출, 도구 호출, 가드레일 적용, 핸드오프가 처음부터 끝까지 기록됩니다. 채점기를 사용하면 체계적인 기준에 따라 여러 트레이스를 채점해 성능이 저하된 부분과 실패 유형을 대규모로 파악할 수 있습니다.

다음과 같은 질문에 답하려면 트레이스 채점을 사용하세요.

• 에이전트가 적절한 도구를 선택했나요?
• 필요한 시점에 핸드오프가 이루어졌나요?
• 워크플로우가 지침이나 안전 정책을 위반했나요?
• 프롬프트나 라우팅을 변경한 뒤 워크플로우 전체의 동작이 개선되었나요?

트레이스 채점 절차

1. 대시보드에서 Logs > Traces 메뉴를 여세요.
2. SDK 기반 앱에서 대표적인 워크플로우 트레이스를 골라 살펴보세요. 전환 기간에는 기존 Agent Builder 워크플로우의 트레이스도 살펴볼 수 있습니다.
3. 채점기를 만들고 선택한 트레이스를 대상으로 실행하세요.
4. 결과를 바탕으로 프롬프트, 도구 인터페이스, 라우팅 로직 또는 가드레일을 개선하세요.

SDK를 사용해 코드로 워크플로우를 구축한다면 먼저 통합 및 관측 가능성을 참고하세요. 채점 기준을 채점기로 구현하기 전에 동작을 진단하는 데 필요한 정보가 담긴 트레이스를 확보할 수 있습니다.

반복 평가가 필요하면 데이터셋으로 평가를 실행하세요

무엇을 ‘좋은 결과’로 볼지 명확해지면 개별 트레이스를 살펴보는 단계에서 벗어나 같은 데이터셋으로 평가를 반복 실행하세요. 변경 효과를 벤치마킹하거나 프롬프트를 비교하거나 장기간에 걸쳐 더 큰 규모로 평가하려는 경우에 적합합니다.

외부 모델을 대상으로 한 평가, 평가 API, 대규모 배치 평가와 같은 고급 기능이 필요하면 데이터셋과 함께 Evals를 사용하세요.

관련 평가 도구 및 가이드