레드팀 테스트는 적대적 테스트 케이스를 사용해 배포 전에 안전이나 보안을 위협하거나 정책을 위반하는 동작을 찾아내는 데 도움이 됩니다. 일반적인 품질 테스트에서 놓칠 수 있는 오용 사례, 실패 유형, 위험도가 높은 상호작용에 초점을 맞춰 평가를 보완합니다.
중요: OpenAI Red Teaming에는 직접 소유하거나 테스트할 권한을 명시적으로 부여받은 코드 또는 기타 자산만 제출하세요. OpenAI의 명시적인 서면 허가 없이 OpenAI Red Teaming을 사용해 오픈 소스 코드나 제3자 코드의 취약점을 분석하거나 보고해서는 안 됩니다.
Promptfoo로 오픈 소스 레드팀 테스트 수행하기
Promptfoo는 프롬프트, 에이전트, AI 애플리케이션을 평가하는 오픈 소스 프레임워크입니다. Promptfoo의 레드팀 테스트 워크플로우를 사용하면 적대적 테스트 케이스를 생성하고 테스트 대상이 어떻게 동작하는지 확인한 뒤, 그 결과를 바탕으로 시스템을 개선할 수 있습니다.
오픈 소스 레드팀 테스트 방법론 전반은 Promptfoo의 LLM 레드팀 테스트 가이드를 참고하세요.
엔터프라이즈 고객을 위한 서비스
AI 애플리케이션과 에이전트의 레드팀 테스트를 위한 관리형 서비스가 필요한 엔터프라이즈 고객은 OpenAI Red Teaming을 이용할 수 있습니다. 엔터프라이즈 워크플로우는 독립적으로 실행하는 로컬 워크플로우보다 더 폭넓은 업무 조율, 검토, 보고 요구 사항을 지원할 수 있습니다.
레드팀 테스트와 평가
평가를 통해 AI 시스템이 의도한 대로 동작하는지 측정하세요. 적대적이거나 악용을 목적으로 하는 입력, 또는 예상치 못한 입력에 시스템이 어떻게 반응하는지는 레드팀 테스트로 점검하세요. 체계가 잘 갖춰진 평가 프로그램에서는 두 방법을 함께 사용하는 경우가 많습니다.