아동 성착취물 대응 지침

개발 단계부터 아동 안전 고려하기

OpenAI는 개발자가 아동 안전을 위해 지켜야 할 기준을 명확히 제시합니다. 개발자는 사용자가 OpenAI 서비스를 이용할 때 아동 성학대와 성착취를 범죄로 규정하는 법률을 비롯해 관련 법률을 준수하도록 할 책임이 있습니다. OpenAI 서비스를 이용해 만 18세 미만인 사람을 착취하거나 위험에 빠뜨리거나 성적으로 대상화해서는 절대 안 됩니다. OpenAI의 사용 정책을 확인하세요.

온라인 아동 성착취와 성학대는 다양한 제품과 서비스에서 발생하며, 아동을 대상으로 하지 않는 제품과 서비스에서도 일어날 수 있습니다. OpenAI는 개발자가 이러한 피해에 대응하기 위해 어떤 조치를 고려할 수 있는지 안내하고자 합니다.

가능한 한 이른 단계부터 사람들이 제품을 어떻게 악용할 수 있을지 검토하세요. 일찍 시작하면 제품이나 시스템이 이미 복잡해진 뒤에 보호 조치를 추가할 필요 없이 제품의 성장에 맞춰 아동 보호 조치를 확대할 수 있습니다. 개발팀과 조직은 규모에 관계없이 제품이 아동 성착취물(CSAM), 그루밍, 성적 협박, 아동의 성적 대상화, 학대 장면의 실시간 방송, 인신매매 등에 어떻게 악용될 수 있는지 평가해야 합니다. 특히 메시지 전송, 콘텐츠 업로드, 이미지 편집, 실시간 방송, 사용자나 콘텐츠 탐색 또는 결제 기능을 제공한다면 더욱 주의해야 합니다.

이 자료에서는 아동 성착취물을 중심으로 개발자가 아동을 보호하기 위해 실무에서 활용할 수 있는 지침을 소개합니다.

어디서부터 시작할까요?

무엇부터 해야 할지 판단하기 어려울 수 있습니다. 적절한 해결책과 구현 방법은 조직의 규모와 성숙도, 가용 자원에 따라 달라집니다.

아동 성착취물 대응을 시작할 때는 다음 체크리스트를 활용하세요. 모든 도구와 절차를 갖출 때까지 기다리지 말고 지금 할 수 있는 조치부터 취하세요.

예방

제품이나 서비스에 적용할 규칙을 명확히 정하고, 사용자가 이용 중 겪은 일을 알릴 수 있는 창구를 마련하세요.

• 명확한 규칙을 정하세요. 서비스 이용약관, 허용되는 사용에 관한 정책 또는 커뮤니티 가이드라인에서 아동 성착취와 성학대를 금지하세요. 전문가 지침과 실무 도구는 다음 자료에서 확인할 수 있습니다. TSPA Tech Coalition에서 무료로 운영하는 다음 프로그램도 참고하세요. Pathways 프로그램 여기에는 온라인 아동 성착취와 성학대를 금지하는 외부 기준에 관한 자료도 포함됩니다.
• 사용자가 신고할 수 있는 창구를 마련하세요. 사용자가 유해할 가능성이 있는 콘텐츠나 행동을 신고하는 방법을 쉽게 찾을 수 있도록 하세요. 접수한 신고는 정책에 따른 판단에 필요한 정보와 함께 담당자가 확인하는 대기열이나 접수처로 전달하세요. 자세한 지침은 호주 온라인안전위원회(eSafety Commissioner)의 자료를 참고하세요.
• 안전 식별자로 업로드와 사용자를 추적하세요. 제품이나 서비스에서 업로드된 각 항목을 해당 항목을 올린 사용자와 연결하세요. 지원되는 OpenAI 요청에 안전 식별자를 함께 전송하면 OpenAI가 악용을 모니터링하고 탐지하는 데 도움이 됩니다. 또한 OpenAI가 제품이나 서비스에서 정책 위반을 탐지했을 때 개발팀에 더 구체적인 피드백을 제공해 후속 조치를 돕는 데도 유용합니다. 안전 식별자를 사용하면 개발팀도 악용에 더 빠르게 대응할 수 있습니다. 각 활동을 어느 최종 사용자가 했는지 일관되게 추적할 수 있어 한 사용자의 악용으로 조직 전체의 서비스 이용이 제한될 가능성이 줄어듭니다. 사용자마다 고유한 문자열을 사용하세요. 개인을 식별할 수 있는 정보가 노출되지 않도록 이메일 주소나 사용자 이름은 해시 처리한 후 전송하세요. Images API를 직접 사용할 때는 동일한 고정 식별자를 safety_identifier 값으로 이미지 생성 및 이미지 편집 요청에 전송하세요. user 매개변수는 사용 중단 예정(deprecated)이지만 하위 호환성을 위해 계속 지원됩니다.

추가 조치를 취할 준비가 되면 다음 예방책도 고려하세요.

• 아동 성착취물 관련 키워드나 URL을 차단하거나 이를 포함한 요청을 거부하는 예방 조치를 추가하세요. 자세한 내용은 IWF에서 확인하세요.
• 아동 성착취물 관련 행위를 시도하는 사용자에게 경고나 안내 메시지를 표시하세요. 자세한 내용은 Stop It Now에서 확인하세요.
• 아동이 이용할 수 있는 서비스에서 사용자가 자신이 등장하는 성적인 이미지나 동영상이 플랫폼에 올라와 있다고 알리면 지원 서비스를 안내하세요. 예를 들어 IWF와 NSPCC의 Report Remove 프로그램을 통해 영국의 아동은 이미지나 동영상을 신고해 삭제 또는 차단을 요청할 수 있습니다. NCMEC의 Take It Down 서비스도 안내할 수 있습니다.
• 아동이 현재 위험에 처해 있거나 곧 피해를 입을 상황임을 알게 되면 다음과 같이 조치하세요.
  • 현지 경찰 등 긴급 대응 기관에 사건을 알리세요.
  • 아동에게 긴급 대응 기관에 연락하는 방법을 안내하세요.

탐지

정책을 위반했을 가능성이 있는 콘텐츠나 행위를 찾아 검토하고 필요한 조치를 취하세요.

이용 가능한 아동 성착취물 탐지 도구를 활용하세요.

• 지각 해시 매칭. 제품에서 이미지나 동영상의 업로드, 저장 또는 처리를 지원한다면 지각 해시 매칭 도입을 고려하세요. 이 기술은 이미지나 동영상의 디지털 지문을 생성하고 이를 이미 확인된 아동 성착취물의 지문과 비교합니다. 따라서 누군가 파일의 크기를 조정하거나 압축하는 등 파일을 변경한 후에도 기존에 확인된 자료를 식별하는 데 도움이 됩니다. PhotoDNA와 같은 해시 매칭 기술과 이미 확인된 아동 성착취물의 해시를 모아 둔 해시 목록이 모두 필요합니다. 서비스에 따라 둘 중 하나만 제공하기도 합니다.
  • 권장 해시 매칭 기술
    • Safer by Thorn 이미지와 동영상에서 기존에 확인된 아동 성착취물을 탐지하는 전용 기능을 제공합니다.
    • Tech Coalition은 자격을 갖춘 기업에 Microsoft의 PhotoDNA 서브라이선스를 제공합니다. Pathways 프로그램 이 무료 프로그램을 통해 서브라이선스를 신청할 수 있습니다.
    • Meta의 PDQ 해시 매칭 기술 이 기술도 활용할 수 있습니다.
    • YouTube의 CSAI Match는 해시 매칭을 통해 동영상에서 기존에 확인된 아동 성착취물을 식별합니다.
  • 권장 아동 성착취물 해시 목록
    • NCMEC는 이미 확인된 아동 성착취물, 착취성 콘텐츠, 생성형 AI로 만든 아동 성착취물의 해시 목록을 제공합니다. 전자 서비스 제공업체 담당팀에 문의하세요.
    • IWF는 자격을 갖춘 소기업과 스타트업을 위해 Image Intercept를 제공합니다. 이 해시 매칭 서비스는 전문 기술 지식이 많지 않아도 연동할 수 있습니다.
• 신규 아동 성착취물 탐지 분류기. 이 도구는 이전에 알려지거나 확인된 적이 없는 아동 성착취물을 탐지할 수 있습니다.
  • Safer by Thorn은 이미지와 동영상에서 신규 아동 성착취물로 의심되는 자료를 식별하고, 텍스트에서도 관련 착취 징후를 찾아내도록 설계된 분류기를 제공합니다.
  • Google의 Content Safety API는 AI로 이미지와 동영상을 분류하고 검토 우선순위를 지정합니다. 분류기가 지정한 우선순위가 높을수록 해당 이미지나 동영상에 아동 성착취물이 포함되어 있을 가능성이 높습니다.
• 위반자 탐지 및 제재. 사용자 이름, 이메일 주소, 기기 ID 등 이용 가능한 식별자와 정보를 바탕으로 아동 성착취물 관련 정책을 위반하거나 위반을 시도하는 데 사용된 계정을 영구 정지하거나 다른 방식으로 계정 활동을 제한하는 방안을 고려하세요. 제재를 우회하려는 반복 위반자가 있는지도 살피세요.

대응 및 신고

서비스에서 아동 성착취물이 발견되면 제품과 담당팀 차원에서 적절한 조치를 취할 수 있도록 준비하세요.

• 신고 기관에 등록하고 아동 성착취물을 관계 당국에 신고할 준비를 하세요. NCMEC에 등록하거나 현지 신고 핫라인에 등록하세요. NCMEC가 신고를 받고 실제로 조치하려면 어떤 정보가 필요한지, 신고가 아동 보호에 어떻게 도움이 될지 고려하세요. 신고가 적절한 관할 기관에 전달되고 용의자를 식별할 수 있도록 가능한 한 많은 정보를 포함하세요. NCMEC의 신고 항목 안내 문서에는 IP 주소, 기기 ID 등 신고에 포함할 수 있는 데이터가 나와 있습니다.

• 조사에 활용할 수 있는 기록과 식별자를 보관하세요. 신고할 때는 사건 기록과 위반자 식별에 도움이 될 수 있는 관련 데이터를 보관해 수사 기관의 요청에 대응할 수 있도록 하세요.
• 대응 매뉴얼을 작성하세요. 신고 검토 담당자, 긴급 사건을 조직 내외의 담당자나 기관에 전달하는 절차, 위반 사용자에게 취할 조치, 해당 조치를 결정할 권한이 있는 사람을 명시하세요. TSPA 자료를 참고하면 정책 집행 절차를 마련하는 데 도움이 됩니다.
• IWF와 다른 신고 핫라인 등 신뢰할 수 있는 전문 기관과 신고 협력망을 구축하는 방안을 고려하세요. 이들 기관은 전문성을 바탕으로 아동 성착취물로 의심되는 사례를 찾아 알릴 수 있습니다.
• 담당자를 교육하고 지원하세요. 검토와 대응 과정에는 사람이 참여하는 것이 중요합니다. 검토자, 지원팀, 당직 담당자가 정책과 긴급 사안의 보고 절차, 사용하는 자동화 시스템의 한계를 이해하도록 하세요.
• 콘텐츠 검토와 악용 대응에 필요한 도구를 사용하세요. 다음과 같은 도구도 아동 안전에 대한 위험과 피해에 대응하는 데 도움이 됩니다.
  • Moderation API는 텍스트와 이미지에서 유해할 가능성이 있는 콘텐츠를 탐지합니다. 자세한 내용은 omni-moderation-latest 모델 문서를 참고하세요. 이 API는 아동 성착취물 전용 탐지 도구를 대체하지 않습니다. 만 18세 미만인 사람이 관련된 성적 콘텐츠를 다루는 sexual/minors 범주도 제공하지만, 이 범주는 텍스트에만 적용됩니다. 탐지 결과는 다음과 같이 활용하세요.
    • 콘텐츠를 차단하거나 필터링하세요.
    • 콘텐츠를 담당자에게 전달해 검토하도록 하세요.
    • 해당 계정에 필요한 조치를 취하세요.
    • 반복적인 악용이 어려워지도록 이용 절차에 제약을 두고 제품이나 서비스에 맞는 제재를 적용하세요.
  • 도움이 될 만한 다른 콘텐츠 검토 도구도 고려하세요. 예를 들어 ROOST의 Coop은 텍스트, 멀티미디어, 프로필에서 정책 위반이 의심되는 사례를 선별하고 처리 우선순위를 정하는 오픈 소스 검토 콘솔입니다. 담당자의 직접 검토와 자동 검토를 모두 지원하며, 검토자의 심신 건강을 고려해 설계되었습니다. NCMEC CyberTipline 신고를 포함해 콘텐츠 검토와 조치의 전 과정을 아우르는 워크플로우를 지원합니다.

추가 조치를 취할 준비가 되면 다음 대응 및 신고 방안도 고려하세요.

• 아동 성착취물 대응 인력을 지원하세요. 조직은 아동 성착취물 검토자를 위한 교육과 지원, 심신 건강 프로그램에 투자해야 합니다. WeProtect의 권고 사항 검토자 지원 프로그램을 마련할 때 이 자료를 참고하세요.
• 전문가의 지원을 받으세요. 대규모 신뢰 및 안전 전담팀이 없어도 시작할 수 있습니다. Tech Coalition은 기업이 아동 보호 체계를 강화할 수 있도록 다음과 같은 지원을 제공합니다.
  • Pathways 스타트업과 중소 규모 플랫폼을 위해 설계된 무료 역량 강화 프로그램으로, 기업 규모에 관계없이 참여할 수 있습니다. 기업이 아동 보호 체계의 기반을 탄탄히 다질 수 있도록 실무 자료와 지침, 지원을 제공합니다. 자격을 갖춘 기업은 Pathways를 통해 PhotoDNA 서브라이선스도 신청할 수 있습니다.
  • Elevate 아동 안전 프로그램을 강화하고 특정 위험에 대응하는 데 실무 지원이 더 필요한 기업에 맞춤형 컨설팅과 실행 지원을 제공합니다.
  • Tech Coalition 회원 가입 회원으로 가입한 기업은 온라인 아동 성착취와 성학대에 대응하는 업계의 국제 협력에 참여할 수 있습니다. 다른 기업과 교류하고 전문 지식을 공유하며 공동 대응에 기여할 수 있습니다. 첫 상담은 Tech Coalition 담당팀에 문의하세요.
  • 개발자는 Tech Coalition의 아동 안전을 위한 모범 사례에서 추가 지침을 확인할 수 있습니다.

보호 조치 확대하기

적절한 통제 수단과 보호 조치는 제품의 특성, 개발 단계와 성숙도, 사용자와 기능, 서비스 제공 지역, 가용 자원에 따라 달라집니다.

실시간 방송, 이미지 생성 또는 편집, 파일 저장, 사용자 간 비공개 연결 등을 지원해 위험에 더 많이 노출되는 제품이라면 다음과 같은 보호 조치를 도입하고 강화하는 방안을 고려하세요.

• 출시 전과 고위험 기능이 변경될 때마다 제품의 위험을 평가하세요. Ofcom의 위험 평가 지침을 참고하세요.
• 서비스에 적합한 여러 탐지 수단을 함께 적용하세요. 해시 매칭, 이미지 또는 동영상 분류기, 텍스트에 나타나는 징후 분석, 키워드 탐지, URL 차단 등을 활용할 수 있습니다.
• 신뢰도가 높거나 심각한 피해를 시사하는 징후는 담당자가 직접 검토하도록 하세요. 이때 검토자의 심신 건강을 보호하고 유해 자료에 불필요하게 노출되는 일을 줄이는 도구를 사용하세요.
• 반복적인 악용이 어려워지도록 요청 한도를 설정하고 계정 통제와 악용 모니터링을 적용하세요.
• 정기적으로 테스트하고 효과를 측정해 보호 조치의 빈틈을 찾고 결과를 추적하며 통제 수단을 개선하세요.

이 권고 사항은 대응을 시작하기 위한 지침이며, 법률 자문이나 모든 경우에 적용되는 주의 의무의 기준은 아닙니다. 서비스 특성과 위험 수준, 적용되는 법률에 맞게 조정하세요.