CSAM 対策ガイド

子どもの安全に配慮した製品開発

OpenAI は、子どもの安全について開発者に求めることを明確に定めています。開発者には、児童の性的虐待や性的搾取を犯罪と定める法律を含め、ユーザーが適用法令を遵守して OpenAI のサービスを利用するようにする責任があります。18 歳未満の人を搾取する、危険にさらす、または性的な対象として扱う目的で、OpenAI のサービスを決して使用しないでください。OpenAI の利用ポリシーをご確認ください。

オンラインでの児童の性的搾取や性的虐待は、子どもを対象としていないものも含め、さまざまな製品やサービスに関わる問題です。OpenAI は、こうした被害への対策を検討する開発者を支援したいと考えています。

製品がどのように悪用され得るかを、できるだけ早い段階から検討してください。早期に取り組めば、すでに複雑になった製品やシステムに後から安全対策を組み込む必要がなく、製品の成長に合わせて子どもを守る対策を拡充できます。開発チームや組織は、規模を問わず、自社製品がどのように悪用され、被害につながり得るかを評価してください。想定すべき被害には、児童性的虐待コンテンツ（CSAM）、性的虐待を目的に子どもの信頼を得る行為（グルーミング）、性的脅迫、子どもを性的な対象として扱う行為、虐待のライブ配信、人身取引などがあります。特に、メッセージの送受信、コンテンツのアップロード、画像編集、ライブ配信、他のユーザーやコンテンツの検索・発見、決済に対応する製品では、この評価が重要です。

このガイドでは CSAM に焦点を当て、開発者が子どもを守るために取れる具体的な対策を紹介します。

対策の始め方

どこから着手すべきか、判断に迷うこともあります。適切な対策とその導入方法は、組織の規模や成熟度、利用できるリソースによって異なります。

CSAM 対策に着手する際は、次のチェックリストを活用してください。大切なのは、リスクへの対処を始めることです。すべてのツールや手順がそろうのを待たずに行動してください。

防止

製品やサービスのルールを明確に定め、ユーザーが実際に経験したことを伝えられる仕組みを設けてください。

• ルールを明確に定める。 利用規約、許容される利用に関するポリシー、またはコミュニティガイドラインで、児童の性的搾取や性的虐待を禁止してください。詳しくは、 TSPA や、Tech Coalition が無料で提供する Pathways プログラム を参照してください。専門家のガイダンスや実務に役立つツールのほか、オンラインでの児童の性的搾取や性的虐待を禁止する外部基準についての資料もあります。
• ユーザーが通報できるようにする。 有害な可能性のあるコンテンツや行為を通報する方法を、ユーザーにわかりやすく示してください。通報は、ポリシーに基づく判断に必要な情報とともに、担当者が確認しているキューや窓口に届けてください。詳しくは、オーストラリアの eSafety Commissioner のガイダンスを参照してください。
• 安全識別子でアップロードとユーザーを追跡する。 製品やサービスでは、アップロードごとに、実行したユーザーを紐づけてください。対応する OpenAI リクエストで安全識別子を送信すると、OpenAI が不正利用を監視し、検出しやすくなります。製品やサービスでポリシー違反を検出した場合には、OpenAI から開発チームに、対応に活かしやすい情報を提供しやすくなります。安全識別子は、チームが不正利用にすばやく対応するうえでも役立ちます。どのエンドユーザーが操作したかを一貫して追跡できるため、あるユーザーの不正利用が組織全体のサービス利用に影響する可能性を抑えられます。各ユーザーを一意の文字列で識別してください。プライバシーを保護し、個人を特定できる情報を開示しないよう、メールアドレスやユーザー名は送信前にハッシュ化してください。Images API を直接使用する場合は、safety_identifier にユーザーごとの固定識別子を指定し、画像生成と画像編集のどちらのリクエストでも、そのユーザーには同じ値を使用してください。user パラメーターは非推奨ですが、後方互換性のため引き続きサポートされています。

さらに対策を進める段階では、次の予防策も検討してください。

• CSAM に関連するキーワードや URL を対象に、予防的なブロックやリクエストの拒否を導入してください。詳しくは IWF の資料を参照してください。
• CSAM に関連する行為を試みているユーザーに、警告やメッセージを表示してください。詳しくは Stop It Now の資料を参照してください。
• 子どもが利用できるサービスで、自分の性的な画像や動画が掲載されているとユーザーから申告があった場合は、支援サービスを案内してください。たとえば、IWF と NSPCC の Report Remove プログラムでは、英国の子どもが画像や動画を通報し、削除やブロックを求めることができます。NCMEC の Take It Down も支援サービスの一つです。
• 子どもが現に危害を受けている、または危害が差し迫っているとわかった場合は、次のように対応してください。
  • 地元の警察などの緊急対応機関に事案を通報してください。
  • 緊急対応機関への連絡方法を子どもに伝えてください。

検出

ポリシーに違反している可能性のあるコンテンツや行為を特定し、確認と対応につなげてください。

利用可能な CSAM 検出ツールを活用してください。

• 知覚ハッシュ照合。 製品が画像や動画のアップロード、保存、処理に対応している場合は、知覚ハッシュ照合の導入を検討してください。この技術は、画像や動画の特徴を表すデジタル指紋を生成し、既知の CSAM の指紋と照合します。ファイルのサイズ変更や圧縮などの加工後も、既知のコンテンツの特定に役立ちます。照合には、PhotoDNA などのハッシュ照合技術と、既知の CSAM のハッシュ値を集めた CSAM ハッシュリストの両方が必要です。サービスによっては、どちらか一方しか提供していません。
  • 推奨するハッシュ照合技術
    • Safer by Thorn は、画像や動画に含まれる既知の CSAM の検出に特化した機能を提供しています。
    • Tech Coalition は、対象となる企業に Microsoft の PhotoDNA のサブライセンスを、無料の Pathways プログラム を通じて提供しています。
    • Meta の PDQ ハッシュ照合技術 も利用できます。
    • YouTube の CSAI Match は、ハッシュ照合によって動画内の既知の CSAM を特定します。
  • 推奨する CSAM ハッシュリスト
    • NCMEC は、既知の CSAM、搾取的なコンテンツ、生成 AI で作成された CSAM のハッシュリストを提供しています。電子サービスプロバイダー担当チームにお問い合わせください。
    • IWF は、対象となる小規模企業やスタートアップ向けに、Image Intercept を提供しています。高度な技術的専門知識がなくても導入できるハッシュ照合サービスです。
• 未知の CSAM を検出する分類器。 これらのツールは、これまで把握されていない CSAM や初めて確認される CSAM を検出できます。
  • Safer by Thorn は、画像や動画から未知の CSAM の可能性があるコンテンツを、テキストからは関連する性的搾取の兆候を特定するための分類器を提供しています。
  • Google の Content Safety API は、AI を使って画像や動画を分類し、レビューの優先度を割り当てます。分類器が割り当てた優先度が高いほど、その画像や動画に CSAM が含まれている可能性が高くなります。
• 不正利用者の検出と違反への対応。 ユーザー名、メールアドレス、デバイス ID など、利用可能な識別子や情報を活用し、CSAM に関するポリシーへの違反やその試みに使われたアカウントの永久停止や、その他の利用制限を検討してください。処分を回避しようとする常習的な違反者にも注意してください。

対応と通報

自社サービス上の CSAM を把握した際に、製品と運営チームの両方で適切に対応できるようにしてください。

• 通報先に登録し、CSAM を当局に通報する準備を整える。 NCMEC に登録するか、地域の通報窓口に登録してください。NCMEC が通報を受けて具体的な対応を取るにはどのような情報が必要か、その通報が子どもの保護にどう役立つかを検討してください。適切な管轄当局に通報が届き、容疑者の特定につながるように、できるだけ多くの情報を含めてください。NCMEC の通報項目のドキュメントには、IP アドレスやデバイス ID などのデータが記載されています。

• 後から活用できる記録と識別子を保管する。 通報する際は、法執行機関からの照会に対応できるよう、事案の記録と、違反者の特定に役立つ関連データを保管してください。
• 対応手順書を作成する。 誰が通報を確認するのか、緊急案件を組織内外のどこにどのように引き継ぐのか、違反したユーザーにどのような措置を取るのか、誰にその決定権があるのかを定めてください。違反に対処する体制を整えるには、TSPA の資料が役立ちます。
• IWF などの専門機関や通報窓口と連携し、信頼できる通報者のネットワークを築くことも検討してください。こうした通報者は、専門知識を活かして CSAM の疑いがある事案を知らせてくれます。
• 対応に携わる人を訓練し、支援する。 判断の過程に人が関わることが重要です。レビュー担当者、サポートチーム、オンコール担当者が、自社のポリシー、問題が生じた際の報告・対応経路、自動化システムの限界を理解していることを確認してください。
• コンテンツのモデレーションや不正利用への対応に必要なツールを使う。 子どもの安全を脅かすリスクや被害への対処には、次のようなツールも役立ちます。
  • Moderation API は、テキストや画像から有害な可能性のあるコンテンツを検出します。詳しくは、omni-moderation-latest モデルを参照してください。この API は、CSAM 専用の検出ツールの代わりにはなりません。18 歳未満の人が関わる性的なコンテンツを対象とする sexual/minors カテゴリもありますが、このカテゴリで検出できるのはテキストのみです。検出結果は次の対応に活用してください。
    • コンテンツのブロックやフィルタリング
    • 人によるレビューへの振り分け
    • アカウントに対する措置
    • 不正利用を繰り返しにくくするための制約の追加と、製品やサービスに応じた違反への対処
  • 他にも役立つモデレーションツールがないか検討してください。たとえば、ROOST の Coop は、テキスト、マルチメディア、プロフィールに見られるポリシー違反の疑いを調べ、対応の優先順位を付けるためのオープンソースのレビューコンソールです。人によるレビューと自動レビューの両方に対応し、レビュー担当者の心身の健康に配慮した設計になっています。NCMEC の CyberTipline への通報を含め、モデレーションの一連の作業を行えます。

さらに対策を進める段階では、対応と通報に関して次の取り組みも検討してください。

• CSAM 対策に携わる人を支援する。 組織は、CSAM のレビュー担当者向けの研修や支援、心身の健康を守るプログラムに投資してください。詳しくは、 WeProtect の推奨事項 を参照してください。
• 専門家の支援を受ける。 対策を始めるのに、大規模な信頼性・安全性の専門チームは必要ありません。Tech Coalition は、企業が子どもの安全を守る体制を強化できるよう、次のような支援を提供しています。
  • Pathways は、特にスタートアップや中小規模のプラットフォームが子どもの安全対策に取り組む力を養うための無料プログラムです。企業規模を問わず参加できます。企業が子どもの安全を守る体制の基礎を固められるよう、実務に役立つ資料やガイダンス、支援を提供しています。対象となる企業は、Pathways を通じて PhotoDNA のサブライセンスも申請できます。
  • Elevate は、子どもの安全対策の強化や個別のリスクへの対応について、より直接的な支援を必要とする企業に、各社の事情に合わせたコンサルティングと導入支援を提供しています。
  • Tech Coalition の会員制度 を通じて、企業は、オンラインでの児童の性的搾取や性的虐待に対する業界の国際的な取り組みに参加できます。同業他社と交流し、専門知識を共有しながら、共同で対策を進めることができます。初回のご相談は Tech Coalition の担当チームまでお問い合わせください。
  • 開発者向けの詳しい指針は、Tech Coalition の子どもの安全を守るための推奨事項を参照してください。

安全対策の拡充

適切な管理手段と安全対策は、製品の性質、開発段階と成熟度、ユーザーと機能、サービスを提供する地域、利用できるリソースによって異なります。

ライブ配信、画像生成や画像編集、ファイル保存、ユーザー同士の非公開のやり取りなどに対応する製品は、より大きなリスクにさらされます。こうした製品では、次のような安全対策の導入や強化を検討してください。

• 製品のリリース前と、リスクの高い機能を変更するたびにリスク評価を実施してください。Ofcom のリスク評価ガイダンスを参照してください。
• ハッシュ照合、画像や動画の分類器、テキストに現れる兆候の分析、キーワード検出、URL のブロックなど、サービスに応じて複数の手法を組み合わせた検出
• 確度の高い兆候や深刻な被害を示す兆候については、人がレビューしてください。担当者の心身の健康を守り、有害なコンテンツに必要以上に触れずに済むツールを使用してください。
• 不正利用を繰り返しにくくするためのレート制限、アカウント管理、不正利用の監視
• 対策の不備を見つけ、成果を追跡し、管理手段を改善するための定期的なテストと効果測定

これらの推奨事項は、対策を始める際の指針です。法的助言を提供するものでも、あらゆる場合に適用される注意義務の基準を定めるものでもありません。自社のサービス、そのリスクの特性、適用法令に合わせて調整してください。