OpenAI developed this resource with expert input from the Tech Coalition, Thorn, the 美國國家失蹤與受虐兒童中心(NCMEC), and the 網路觀察基金會(IWF).
將兒童安全納入產品開發
OpenAI 對開發人員有明確的兒童安全要求: 你有責任確保使用者在使用 OpenAI 服務時遵守適用法律,包括將兒童性虐待與性剝削列為犯罪的法律。嚴禁利用 OpenAI 服務剝削、危害任何未滿 18 歲的人,或將其性化。請參閱 OpenAI 的 使用政策 。網路兒童性剝削與性虐待問題影響各種產品和服務,包括並非以兒童為對象的產品和服務。OpenAI 希望協助開發人員瞭解可以考慮採取哪些措施來處理這類侵害。
盡早考慮人們可能如何濫用你的產品。及早著手,才能讓兒童安全防護措施隨產品發展而擴充,避免日後才試圖將這些措施加入已經複雜的產品或系統。無論規模大小,開發團隊和組織都應評估產品可能被濫用而造成的各種傷害,包括兒童性虐待內容(CSAM)、性誘拐、性勒索、兒童性化、性虐待直播及人口販運。若產品支援訊息傳送、內容上傳、圖像編輯、直播、探索或付款功能,更應留意這些風險。
本資源聚焦於 CSAM,為開發人員提供保護兒童的實務指引。
從何開始
你可能不確定該從何著手。適合的解決方案和實作方式,取決於組織的規模、成熟度及可用資源。
以下檢查清單是開始處理 CSAM 問題的良好起點。重點是開始處理風險:不要等到所有工具或步驟都準備就緒才採取行動。
預防
為產品或服務訂定明確規則,並建立機制,讓使用者能回報使用經驗。
- 訂定明確規則。 在服務條款、 可接受使用政策或社群準則中,禁止兒童性剝削與性虐待。你可以參考 TSPA 或 Tech Coalition 的免費 Pathways 計畫 ,取得專家指引與實用工具,其中也包含介紹禁止網路兒童性剝削與性虐待之外部標準的資源。
- 提供使用者檢舉管道。 提供容易找到的管道,讓使用者能標示可能有害的內容或行為,並將這些回報送至有人監看的佇列或位置,同時附上足夠資訊,以便依政策做出決定。如需更多指引,請參閱澳洲的網路安全專員。
- 透過安全識別碼追蹤上傳內容與使用者。 在產品或服務中,
將每次上傳與一位使用者建立關聯。
在支援的 OpenAI 請求中
傳送安全識別碼
,可協助 OpenAI 監控及偵測濫用情況。如果 OpenAI 偵測到你的產品或服務違反政策,
這能協助 OpenAI 向團隊提供更具體、
可據以採取行動的回饋。安全識別碼也能協助團隊
更快因應濫用情況。它們提供穩定的追蹤方式,讓活動可追溯至個別終端使用者,
並降低單一使用者的濫用行為
導致整個組織存取受阻的可能性。請以唯一的字串代表每位使用者。為保護隱私,
請先將電子郵件地址或使用者名稱雜湊後再傳送,
避免揭露可識別個人身分的資訊。直接使用 Images API 時,
此用途採用不同的參數:
請在圖像
生成與圖像
編輯請求中,將相同且穩定的識別碼作為
user傳送。
準備好採取更多行動時,可以考慮其他預防措施:
- 針對 CSAM 相關關鍵字或網址,加入以預防為目的的封鎖或拒絕機制。詳情請參閱 IWF 。
- 向試圖從事 CSAM 相關行為的使用者顯示警告或訊息。詳情請參閱 Stop It Now 。
- 如果你的服務開放兒童使用,且有使用者告知你,平台上有涉及他們的性影像或影片,請引導他們使用支援服務,例如 IWF 與 NSPCC 的 Report Remove 計畫,讓英國兒童能通報影像和影片,要求移除或封鎖;或是 NCMEC 的 Take It Down 服務。
- 如果你得知有兒童正遭受傷害,或即將遭受傷害:
- 將案件轉介給緊急服務單位,例如當地執法機關。
- 向兒童提供聯絡緊急服務單位的方法。
偵測
找出可能違規的內容或行為,以便審查並採取行動。
使用容易取得的 CSAM 偵測工具:
- 感知雜湊比對。 如果產品支援上傳、儲存或
處理視覺媒體,可以考慮導入感知雜湊比對。
這項技術會為圖像或影片建立數位指紋,
並與已知 CSAM 的指紋比對。即使有人調整檔案大小、壓縮檔案或做出其他修改,
仍有助於辨識已知內容。
你需要同時取得雜湊比對技術(例如 PhotoDNA)和 CSAM
雜湊清單,也就是儲存已知 CSAM 雜湊值的資料庫。並非所有服務
都同時提供這兩者。
- 建議使用的雜湊比對技術:
- Safer by Thorn 提供專為偵測圖像與影片中已知 CSAM 而設計的功能。
- Tech Coalition 向符合資格的公司提供下列技術的再授權: Microsoft 的 PhotoDNA ,取得管道為其免費的 Pathways 計畫 。
- Meta 的 PDQ 雜湊比對技術 。
- YouTube 的 CSAI Match 技術透過雜湊比對,識別影片中的已知 CSAM。
- 建議使用的 CSAM 雜湊清單:
- NCMEC 提供已知 CSAM、剝削內容,以及生成式 AI 產生的 CSAM 清單。請聯絡其電子服務供應商團隊。
- IWF 提供 Image Intercept ,這項雜湊比對服務適用於符合資格的小型企業與新創公司,只需少量技術專業知識即可整合。
- 建議使用的雜湊比對技術:
- 新出現 CSAM 的偵測分類器。 這些工具可以偵測未知或未曾見過的
CSAM。
- Safer by Thorn 提供分類器,旨在識別圖像和影片中可能新出現的 CSAM,以及文字中與剝削相關的訊號。
- Google 的 Content Safety API 使用 AI 對圖像和影片進行分類,並指定審查優先順序。分類器指定的優先順序越高,該媒體含有 CSAM 的可能性就越高。
- 偵測惡意行為者並執行處置。 運用可取得的識別資訊與 資料,例如使用者名稱、電子郵件地址及裝置 ID, 考慮永久停權或以其他方式限制曾被用於 違反或企圖違反 CSAM 政策的帳戶。留意屢次違規者 是否試圖規避處置。
應對與通報
確保當您得知服務中有 CSAM 時,產品與團隊能採取適當行動。
- 完成註冊,準備好向主管機關通報 CSAM。 向 NCMEC 註冊,或向您所在地的通報專線註冊。思考向 NCMEC 提交的通報應包含哪些內容,才能讓相關單位據以採取行動,並協助保護兒童。盡可能提供完整資訊,以便將通報轉交適當的管轄單位,並識別嫌疑人。NCMEC 的通報欄位說明文件 包含 IP 位址、裝置 ID 及其他資料。
各司法管轄區的當地法律與通報義務可能不同。
- 保留可供運用的紀錄與識別資訊。 通報時,請保存 事件紀錄及任何有助於識別違規行為者的 相關資料,以便回應執法機關的要求。
- 編寫應對手冊。 明確訂定由誰審查通報、如何將緊急案件升級交由內部與外部單位處理、對違規使用者採取哪些措施,以及誰有權做出這些決定。這份 TSPA 資源 可協助您建立違規處置作業。
- 考慮建立由可信任的專業通報者組成的網絡,納入 IWF 等組織及其他通報專線,讓他們運用專業知識,協助您標記 CSAM 案件。
- 為相關人員提供訓練與支援。 讓人員參與處理流程 至關重要。請確保審查人員、支援團隊與值班人員了解您的 政策、升級處理管道,以及任何自動化系統的限制。
- 使用所需工具,進行內容審核或應對濫用行為。 其他
工具也能協助您處理兒童安全風險與傷害:
- 內容審核 API 可偵測文字與圖像中
可能有害的內容。進一步了解
omni-moderation-latest模型。 這無法取代專門的 CSAM 偵測功能。其中仍包含sexual/minors類別,涵蓋涉及未滿 18 歲人士的性內容; 此類別僅適用於文字。您可以根據結果:- 封鎖或篩選內容。
- 將內容送交人工審查。
- 對帳戶採取介入措施。
- 提高反覆濫用的難度,並採取適合產品或服務的違規處置措施。
- 考慮其他可能有幫助的內容審核工具。例如, ROOST 的 Coop 是一套開放原始碼審查主控台,可對文字、多媒體及個人檔案中可能違反政策的內容進行分類處理。它支援人工與自動化審查,注重審查人員的身心健康,並支援端到端的內容審核工作流程,包括向 NCMEC CyberTipline 通報。
- 內容審核 API 可偵測文字與圖像中
可能有害的內容。進一步了解
準備好採取更多行動時,可考慮其他應對與通報措施:
- 支持參與處理 CSAM 的人員。 組織應投入資源, 為 CSAM 審查人員提供訓練、支援及身心健康計畫。請參閱 WeProtect 的建議 。
- 尋求專業支援。 即使沒有龐大的信任與安全團隊,也能
開始行動。Tech Coalition 提供多種方式,協助企業建立更完善的
兒童安全系統:
- Pathways 是一項免費的能力建構計畫,專為新創公司與中小型平台設計,同時也開放各種規模的企業參與。它提供實用資源、指引與支援,協助企業奠定穩固的兒童安全基礎。符合資格的企業也能透過 Pathways 申請 PhotoDNA 再授權。
- Elevate 為需要更多實務協助的企業提供量身打造的諮詢與實施支援,以強化其兒童安全計畫並應對特定風險。
- Tech Coalition 會員資格 讓企業得以參與業界的全球合作, 共同應對網路兒童性剝削與性虐待,與同業交流、 分享專業知識,並為集體行動貢獻心力。請聯絡 Tech Coalition 團隊,安排初步 諮詢。
- 開發人員可參考 Tech Coalition 的 兒童安全良好實務 ,取得進一步指引。
隨規模擴大安全防護
合適的管控與防護措施,取決於產品本身、開發階段與成熟度、使用者與功能、營運地區,以及可用資源。
風險較高的產品,例如支援直播、圖像生成或編輯、檔案儲存或私人連線的產品,應考慮導入並強化下列防護措施:
- 在產品推出前,以及每次高風險功能變更時,進行產品風險評估。請參閱 Ofcom 的風險評估指引 。
- 採用適合服務的多層次偵測機制,可包含雜湊比對、圖像或影片分類器、文字訊號、關鍵字偵測及 URL 封鎖。
- 對高可信度或高嚴重性的訊號進行人工審查,並使用能保護審查人員身心健康的工具,減少不必要的有害內容接觸。
- 透過速率限制、帳戶管控及濫用監控,提高反覆濫用的難度。
- 定期測試與衡量,以找出缺漏、追蹤成效並改善管控措施。
這些建議是起點,不是法律建議,也不是普遍適用的注意義務標準。請依您的服務、風險狀況及適用法律調整。