OpenAI 아동 성착취물 이미지 분류기는 검토자가 아동 성착취물(CSAM)이 포함되었을 가능성이 있는 이미지를 우선 검토하도록 돕습니다. AI가 생성한 아동 성착취물도 검토 대상에 포함됩니다.
승인된 조직은 분류기를 무료로 사용할 수 있습니다. 사용 권한을 신청하세요.
작동 방식
분류기는 이미지 한 장을 입력받아 두 범주에 대한 신호를 반환합니다. 하나는 아동 성착취물일 가능성을, 다른 하나는 AI가 생성한 아동 성착취물일 가능성을 나타냅니다. 분류기를 사용하려면 모델을 omni-moderation-csam-latest로 설정하세요.
일반적인 콘텐츠 검토에는 omni-moderation-latest를 사용하세요. 이 모델은 이미지에서 성적 콘텐츠를 감지해 표시할 수 있지만, sexual/minors 범주는 텍스트에만 적용됩니다.
이미지 분류하기
소속 조직이 승인한 입력 데이터 처리 절차를 따르세요. 아동 성착취물로 확인된 자료는 제출하지 마세요.
OPENAI_API_KEY를 승인된 조직의 API 키로 설정하세요.- 콘텐츠 검토 생성 요청(
POST /v1/moderations)을 단독으로 보내세요. input배열에type: "image_url"을 지정하고 크기가 20 MB(20,000,000바이트) 이하인 정지 이미지 한 장만 보내세요.image_url.url에는 HTTP 또는 HTTPS 이미지 URL이나 base64로 인코딩한 이미지 데이터 URL을 지정하세요. 이 분류기는 텍스트 분류를 지원하지 않습니다.
다음 예제는 비누 이미지를 분류기에 보냅니다.
curl https://api.openai.com/v1/moderations \
-X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"model": "omni-moderation-csam-latest",
"input": [
{
"type": "image_url",
"image_url": {
"url": "https://cdn.openai.com/API/docs/images/soap.png"
}
}
]
}'응답 예시는 다음과 같습니다.
{
"id": "modr_example",
"model": "omni-moderation-csam-latest",
"results": [
{
"flagged": false,
"categories": {
"likely-csam": false,
"likely-csam/gen-ai": false
},
"category_scores": {
"likely-csam": 0.12,
"likely-csam/gen-ai": 0.01
},
"category_applied_input_types": {
"likely-csam": ["image"],
"likely-csam/gen-ai": ["image"]
}
}
]
}
결과 해석하기
results[0]에서 분류 결과를 확인하세요. 먼저 flagged 값을 확인한 다음 각 범주의 플래그를 확인하세요.
| 응답 필드 | 설명 |
|---|---|
flagged |
분류기가 이미지를 검토 대상으로 표시했는지 나타냅니다. |
categories |
각 범주에 설정된 판정 임계값에 따라 결정되는 불리언 플래그입니다. |
category_scores |
각 범주의 점수는 0에서 1 사이이며 단위는 없습니다. 동일한 범주와 모델 스냅샷 내에서는 점수가 높을수록 이미지가 해당 범주의 특성에 더 잘 부합합니다. 이 점수를 보정된 확률로 해석하거나 0.5가 모든 경우에 적용되는 임계값이라고 가정하지 마세요. |
category_applied_input_types |
각 범주에서 평가한 입력 유형입니다. 각 값은 ["image"]입니다. |
범주별 신호의 의미
| 범주 | 신호 |
|---|---|
likely-csam |
아동 성착취물일 가능성을 나타냅니다. |
likely-csam/gen-ai |
AI가 생성한 아동 성착취물일 가능성을 나타냅니다. |
범주 플래그만으로 해당 이미지가 아동 성착취물이라고 단정할 수 없습니다. 분류기는 콘텐츠를 관계 당국에 자동으로 신고하지 않습니다. 소속 조직의 검토, 상급 담당자 보고 및 신고 절차를 따르세요. 검토 대상으로 표시된 콘텐츠의 처리 권장 사항은 아동 성착취물 대응 지침을 참고하세요.
요청 문제 해결하기
요청이 실패하면 omni-moderation-csam-latest를 선택했는지, 승인된 조직의 API 키를 사용했는지, 크기 제한을 충족하는 이미지 한 장을 보냈는지 확인하세요.
이 분류기는 인라인 콘텐츠 검토와 Batch API를 지원하지 않습니다.
요청 한도 오류가 발생하면 소속 조직의 요청 한도와 요청 한도 지침을 확인하세요.
사용 권한
사용 권한을 요청하려면 분류기 사용 신청서를 제출하세요.