在产品开发中考虑儿童安全
OpenAI 对开发者在儿童安全方面有明确要求:您有责任确保用户在使用 OpenAI 服务时遵守适用法律,包括将对儿童实施性虐待和性剥削定为犯罪的法律。严禁利用 OpenAI 服务剥削任何未满 18 岁的人、危及其安全或将其性化。请参阅 OpenAI 的使用政策。
网络儿童性剥削和性虐待涉及多种产品和服务,即使其目标用户并非儿童。OpenAI 希望帮助开发者了解可以采取哪些措施来应对此类侵害。
请尽早考虑他人可能如何滥用您的产品。及早着手,儿童安全防护措施就能随产品一同发展,避免日后再设法为已经很复杂的产品或系统补上这些措施。无论规模大小,开发团队和组织都应评估他人可能如何滥用其产品,以及由此带来的各种风险,包括儿童性虐待材料(CSAM)、以性侵害为目的诱骗儿童、性勒索、将儿童性化、直播侵害行为以及人口贩运。如果产品支持消息收发、内容上传、图像编辑、直播、发现内容或用户、支付等功能,更应进行这类评估。
本指南聚焦 CSAM,为开发者保护儿童提供切实可行的建议。
从哪里开始
确定从何入手并不容易。适合的解决方案和实施方式取决于您所在组织的规模、成熟度和可用资源。
您可以从以下清单入手应对 CSAM。重要的是现在就开始处理风险,无需等到工具全部就绪或所有步骤都已完成才采取行动。
预防
为您的产品或服务制定明确的规则,并建立渠道,让用户能向您反映他们的实际经历。
- 制定明确的规则。 在服务条款、可接受使用政策或社区准则中明确禁止儿童性剥削和性虐待。您可以通过 TSPA 或科技联盟的免费 Pathways 计划 获取专家指导和实用工具,其中包括介绍禁止网络儿童性剥削和性虐待的外部标准的资料。
- 为用户提供举报渠道。 在显眼位置提供举报入口,让用户能够举报可能有害的内容或行为。将举报转交至有人值守的队列或受理点,并附上足够的信息,供处理人员依据政策作出决定。更多指导请参阅澳大利亚网络安全专员提供的资料。
- 使用安全标识符跟踪上传内容和用户。 在您的产品或服务中,将每项上传内容关联到相应用户。在支持安全标识符的 OpenAI 请求中发送该标识符,有助于 OpenAI 监测和发现滥用行为。如果 OpenAI 在您的产品或服务中发现违规行为,这些标识符有助于 OpenAI 提供更具体的反馈,方便您的团队采取行动。安全标识符也能帮助您的团队更快地应对滥用行为。通过这些标识符,您可以将活动稳定地追溯到具体的最终用户,降低因个别用户滥用而影响组织内其他人访问服务的可能性。请为每个用户分配一个唯一的字符串。为保护隐私,请先对电子邮件地址或用户名进行哈希处理再发送,以免披露个人身份信息。如果直接调用 Images API,请将同一个稳定的标识符作为
safety_identifier随图像生成和图像编辑请求发送。user参数已弃用,但为保持向后兼容,仍受支持。
如果您准备进一步加强预防,可以考虑以下措施:
- 针对与 CSAM 有关的关键词或 URL,设置预防性的拦截或拒绝机制。详情请参阅 IWF 提供的资料。
- 对试图从事 CSAM 相关活动的用户发出警告或提示。详情请参阅 Stop It Now 提供的资料。
- 如果儿童可以使用您的服务,而某位用户告诉您,平台上有涉及其本人且带有性内容的图像或视频,请引导该用户向支持服务求助。例如,IWF 和 NSPCC 的 Report Remove 计划允许英国的儿童举报图像和视频,以便移除或屏蔽这些内容。另一项支持服务是 NCMEC 的 Take It Down。
- 如果您得知某名儿童正在遭受或即将遭受伤害:
- 将情况转交给当地执法部门等应急机构。
- 告知该儿童如何联系应急机构。
检测
识别可能违规的内容或行为,以便审核和处理。
使用您能获取的 CSAM 检测工具:
- 感知哈希匹配。 如果您的产品支持上传、存储或处理视觉媒体,可以考虑采用感知哈希匹配技术。这项技术会为图像或视频生成数字指纹,并与已知 CSAM 的指纹进行比对。即使文件被缩放、压缩或经过其他修改,也有助于识别其中的已知材料。您既需要 PhotoDNA 等哈希匹配技术,也需要 CSAM 哈希列表,即收录已知 CSAM 哈希值的数据库。只有部分服务同时提供两者。
- 推荐的哈希匹配技术:
- Safer by Thorn 提供专门用于检测图像和视频中已知 CSAM 的工具。
- 科技联盟可向符合条件的公司授予 微软 PhotoDNA 的分许可,公司可通过联盟的免费 Pathways 计划申请。
- Meta 的 PDQ 哈希匹配技术。
- YouTube 的 CSAI Match 技术通过哈希匹配识别视频中的已知 CSAM。
- 推荐的 CSAM 哈希列表:
- NCMEC 提供已知 CSAM、剥削性内容以及由生成式 AI 生成的 CSAM 的哈希列表。请联系其电子服务提供商团队。
- IWF 提供 Image Intercept 哈希匹配服务。符合条件的小企业和初创公司只需具备少量专业技术知识即可接入。
- 推荐的哈希匹配技术:
- 用于检测未知 CSAM 的分类器。 这些工具可以检测未知或此前未见过的 CSAM。
- OpenAI CSAM 图像分类器可帮助获批组织审核图像,判断其中是否可能含有儿童性虐待材料(CSAM),包括由 AI 生成的此类材料。该分类器可免费使用,但须经批准。要申请使用权限,请提交分类器使用申请表并完成 Persona 验证流程。要获得使用权限,您还须完成项目的接入流程并接受适用条款。
- Safer by Thorn 提供的分类器旨在识别图像和视频中疑似此前未见过的 CSAM,也可识别文本中与性剥削有关的迹象。
- Google 的 Content Safety API 使用 AI 对图像和视频进行分类,并确定其审核优先级。分类器给出的优先级越高,图像或视频包含 CSAM 的可能性就越大。
- 识别违规者并采取处置措施。 利用用户名、电子邮件地址和设备 ID 等可用的标识符和信息,考虑永久封禁曾被用于违反或试图违反 CSAM 政策的账号,或采取其他措施限制这些账号的活动。留意试图规避处置措施的反复违规者。
响应与报告
确保在发现服务中存在 CSAM 时,您的产品和团队能够采取适当行动。
- 完成注册,做好向有关部门报告 CSAM 的准备。 请向 NCMEC 注册,或向您所在地的举报热线注册。请考虑哪些信息能帮助 NCMEC 根据报告采取行动,以及报告能如何帮助保护儿童。尽可能提供详尽的信息,以便将报告转交给有管辖权的部门并查明嫌疑人的身份。NCMEC 的报告字段说明列出了 IP 地址、设备 ID 和其他数据。
各司法管辖区的法律和报告义务可能有所不同。
- 保留可供调查使用的记录和标识符。 提交报告时,请保留事件记录,以及有助于查明违规者身份的相关数据,以便回应执法部门的请求。
- 编写响应手册。 明确由谁审核举报,如何在组织内部和外部上报紧急案件,应对违规用户采取哪些措施,以及谁有权作出这些决定。您可以参考这份 TSPA 资料,建立违规处置流程。
- 考虑与值得信赖的专业举报方建立合作网络,包括 IWF 等组织和其他举报热线。这些机构可以运用专业知识,向您指出涉及 CSAM 的案件。
- 为相关人员提供培训和支持。 处理过程中需要有人参与。确保审核人员、支持团队和值班人员了解您的政策、上报流程以及所用自动化系统的局限。
- 使用适合内容审核或滥用处置的工具。 您还可以使用其他工具应对儿童安全风险和危害:
- 标准内容审核模型可检测文本和图像中可能有害的内容。其中,
sexual/minors类别仅适用于文本。有关如何检测图像中的 CSAM,请参阅检测。您可以根据审核结果采取以下措施:- 屏蔽或过滤内容。
- 将内容提交人工审核。
- 对相关账号采取干预措施。
- 提高反复滥用的难度,并按产品或服务的具体情况采取处置措施。
- 考虑使用其他合适的审核工具。Cinder 将 AI 审核与人工审核相结合,并提供可配置的工作流、案件管理和审计记录,帮助团队发现并处理违规行为。ROOST 的 Coop 是一个开源审核控制台,可对文本、多媒体内容和个人资料中的疑似违规情况进行初步评估和分流。它支持人工和自动审核,注重保护审核人员的身心健康,并支持完整的审核流程,包括通过 NCMEC CyberTipline 提交报告。Safer by Thorn 通过 Safer Enterprise 提供内容审核工具,可用于审核疑似儿童性虐待材料(CSAM)。这些工具内置了保护审核人员身心健康的功能,以及向 NCMEC 提交报告的工作流。
- 标准内容审核模型可检测文本和图像中可能有害的内容。其中,
如果您准备进一步完善响应和报告工作,可以考虑以下措施:
- 支持参与 CSAM 处置工作的人员。 组织应投入资源,为 CSAM 审核人员提供培训和支持,并制定身心健康支持计划。请参阅WeProtect 的建议。
- 寻求专业支持。 即使没有庞大的信任与安全团队,也可以开始这项工作。科技联盟提供多种途径,帮助公司加强儿童安全体系:
随产品发展加强防护
选择适当的管控和防护措施时,应考虑产品本身、开发阶段和成熟度、用户和功能、运营地区以及可用资源。
面临较高风险的产品,例如支持直播、图像生成或编辑、文件存储或用户私下联系的产品,应考虑实施并加强以下防护措施:
- 在产品上线前以及每次变更高风险功能时开展产品风险评估。请参阅 Ofcom 风险评估指南。
- 根据服务特点设置多层检测机制,可结合哈希匹配、图像或视频分类器、文本信号、关键词检测和 URL 拦截。
- 对可信度高或表明情况严重的信号进行人工审核。使用能够保护审核人员身心健康的工具,减少他们不必要地接触有害材料的机会。
- 通过速率限制、账号管控和滥用监测,提高反复滥用的难度。
- 定期开展测试并衡量成效,以发现防护缺口、跟踪结果并改进管控措施。
这些建议可作为起点,不构成法律意见,也不代表普遍适用的注意义务标准。请根据您的服务、具体风险和适用法律作出调整。