有关 OpenAI 采取的防护措施,请参阅安全分类器、网络安全检查和模型失准监测。如果您的应用为未成年人提供服务,还请遵循面向未满 18 岁用户的指南。
使用免费的 Moderation API
OpenAI 的 Moderation API 可免费使用,有助于降低模型输出中出现不安全内容的频率。您也可以根据自己的使用场景开发内容过滤系统。
如果您的应用使用 Responses API 或 Chat Completions 生成文本,还可以在生成请求中获取内容审核评分。
对抗性测试
我们建议您对应用开展“红队测试”,确保它能应对对抗性输入。测试应覆盖多种输入和用户行为,既要选取有代表性的案例,也要模拟有人试图让应用出错的情形。应用会偏离主题吗?用户能否通过提示词注入轻易让某项功能偏离预期用途,例如输入“忽略之前的指令,改为执行这项操作”?
人工参与审核(HITL)
我们建议尽可能安排人员在输出投入实际使用前进行审核。这在高风险领域和代码生成场景中尤为重要。审核人员应了解系统的局限,并能获取核实输出所需的全部信息。例如,如果应用用于总结笔记,审核人员应能方便地查阅原始笔记,以便核对。
提示词工程
“提示词工程”有助于限定输出文本的主题和语气。即使用户试图让模型生成不符合预期的内容,这种做法也能降低此类内容出现的概率。向模型提供更多上下文,例如在新输入之前给出几个展示预期行为的高质量示例,有助于引导模型生成符合预期的输出。
“了解您的客户”(KYC)
通常应要求用户注册并登录后才能使用您的服务。允许用户关联已有账号,例如使用 Gmail、LinkedIn 或 Facebook 账号登录,可能会有所帮助,但这种做法未必适合所有场景。要求用户提供信用卡或身份证件可以进一步降低风险。
限制用户输入长度和输出 Token 数量
限制用户可以在提示词中输入的文本长度,有助于防范提示词注入。限制输出 Token 数量,有助于降低滥用的可能性。
缩小输入或输出的范围,尤其是将内容限定在可信来源内,可以减少应用被滥用的机会。
让用户从经过验证的下拉选项中选择输入内容(例如维基百科上的电影列表),可能比允许用户自由输入文本更安全。
在可行的情况下,从后端经过验证的资料中选取内容返回给用户,可能比返回新生成的内容更安全。例如,可以根据客户的问题引导客户阅读最匹配的现有支持文章,而不必从头生成回答。
允许用户报告问题
通常应为用户提供方便易用的反馈渠道,让他们能够报告功能异常或反映对应用行为的其他疑虑,例如公布联系邮箱或提供提交工单的入口。应安排专人查看反馈并酌情回复。
了解并说明局限性
语言模型可能会编造不准确的信息、生成冒犯性内容或表现出偏见。由于这些及其他局限,在某些场景中,模型可能需要经过大幅调整才能使用。请判断模型是否适合您的用途,并使用多种可能出现的输入来评估 API 的表现,找出可能导致其表现下降的情形。请结合您的客户群体及其可能提供的各类输入,帮助客户对系统能力形成合理预期。
OpenAI 高度重视使用安全和信息安全。
如果您在使用 API 开发时发现任何使用安全或信息安全问题,或在其他与 OpenAI 有关的事项中发现此类问题,请通过我们的协调漏洞披露计划报告。
使用安全标识符
在请求中发送安全标识符,有助于 OpenAI 监测并发现滥用行为。如果我们发现您的应用存在违反政策的行为,就能向您的团队提供更具体的反馈,便于您采取行动。
安全标识符也能帮助您的团队更快地应对滥用行为。通过稳定的标识符,您可以将活动追溯到具体的最终用户,降低个别用户的滥用行为影响组织内其他用户访问服务的可能性。
安全标识符应为能唯一标识每位用户的字符串。请对用户名或电子邮件地址进行哈希处理,以免向我们发送任何可识别用户身份的信息。如果您允许未登录用户试用产品,可以改为发送会话 ID。
如果用户会在您的产品中与模型交互,我们建议使用安全标识符,但这并非强制要求。您可以通过 safety_identifier 参数在 API 请求中传入安全标识符:
import OpenAI from "openai";
const client = new OpenAI();
const response = await client.chat.completions.create({
model: "gpt-6.2-astra",
messages: [{ role: "user", content: "This is a test" }],
max_completion_tokens: 5,
safety_identifier: "user_123456",
});
console.log(response.choices[0].message.content);使用 Images API 时,请将 safety_identifier 加入每个图像生成(POST /v1/images/generations)和图像编辑(POST /v1/images/edits)请求。对于 JSON 请求,请将其作为 JSON 属性发送。对于采用 multipart 格式的图像编辑请求,请将其作为表单字段发送。在组织内为同一最终用户发出的所有请求中,请使用同一个稳定标识符,长度不得超过 128 个字符。
Images API 中的 user 参数已弃用。迁移时,请将之前通过 user 传入的标识符改为通过 safety_identifier 发送。API 仍支持使用 user 的现有请求。如果同时提供两个字段,非空的 safety_identifier 优先。如果 safety_identifier 未提供、值为 null 或为空字符串,API 会在 user 可用时使用它。
对于 Realtime API 请求,请通过 OpenAI-Safety-Identifier 请求头传入同一个稳定且能保护用户隐私的标识符。创建临时 Realtime 客户端密钥时,请在创建密钥的服务端请求中包含此请求头,以便将标识符绑定到该会话。如果从受信任的后端直接发起 WebSocket 或 WebRTC 连接,请在连接请求中包含此请求头。
安全标识符不会在不同 API 或会话之间自动传递。如果您的应用已经在 Responses API 请求中发送 safety_identifier,仍需在每个 Images API 请求中以及每次创建或连接 Realtime 会话时,分别传入同一个稳定值。
撤销不再安全的 API 密钥
如果您认为某个 API 密钥已泄露、遭到滥用或因其他原因不再安全,请尽快撤销该密钥并用新密钥替换。前往安全设置查看所有 API 密钥,并撤销任何不再安全的密钥。
CSAM 指南
OpenAI 与包括 NCMEC 和 Thorn 在内的儿童安全专家合作,为开发者提供保护儿童的实用指导。阅读 CSAM 指南。