如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

內容審查

辨識文字和圖片中的有害內容。

使用 OpenAI 內容審查模型偵測文字和圖片中的有害內容。你可以使用內容審查端點單獨對輸入進行分類,也可以在要求模型生成回應時一併取得審查分數。應用程式可根據結果執行政策,例如過濾內容、將請求轉交審查,或對提交遭標記內容的帳號採取措施。

omni-moderation-latest 模型接受文字和圖片輸入,不支援音訊分類。內容審查端點可免費使用,每個圖片檔案的大小上限為 20 MB。

兒童安全: 請勿將已知或疑似兒童性虐待素材(CSAM)傳送至 Moderation API。此 API 並非為偵測或處理 CSAM 而設計,無法取代專門的兒童安全防護措施。如需瞭解如何預防、偵測、應對及通報 CSAM,請參閱我們的 CSAM 指引。

選擇內容審查流程

流程 適用情境
審查生成內容 應用程式使用 Responses API 或 Chat Completions API 生成文字,並需要審查結果作為判斷依據。
單獨對輸入進行分類 應用程式需要對文字或圖片進行分類,無須生成模型回應。
解讀審查結果 應用程式需要解讀標記、類別、分數或適用的輸入類型。
查看支援的類別 應用程式需要瞭解哪些有害內容類別適用於文字、圖片或兩者。

審查生成內容

如果應用程式需要同時取得生成的文字和審查分數,請在生成請求的最上層傳入 moderation 物件。API 會傳回模型輸入和生成輸出的審查分數,無須另外傳送審查請求。

模型仍會照常生成內容。在向使用者顯示輸出或執行後續動作前,請先檢查審查結果。

建立回應時,請設定 moderation.model:

生成回應並取得審查分數
from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6-astra",
    input=[
        {
            "role": "user",
            "content": (
                "A user asks for instructions to make a harmful weapon. "
                "Draft a brief refusal and offer a safer alternative."
            ),
        }
    ],
    moderation={"model": "omni-moderation-latest"},
)

input_moderation = response.moderation.input
output_moderation = response.moderation.output
if input_moderation.type == "error":
    raise RuntimeError(input_moderation.message)
if output_moderation.type == "error":
    raise RuntimeError(output_moderation.message)

print(input_moderation.flagged)
print(output_moderation.flagged)

Responses API 傳回的結果中,輸入的 moderation_result 物件位於 response.moderation.input,輸出的 moderation_result 物件位於 response.moderation.output。

隨回應傳回的審查結果與單獨請求審查時取得的結果使用相同的類別欄位。先根據 flagged 做初步判斷,再查看 categories 和 category_scores,以便記錄事件、分派請求、保留稽核紀錄或將內容加入人工審查佇列。即使模型拒絕請求或基於安全考量做出其他回應,只要回應提及有害內容,仍可能遭到標記。請將審查分數作為應用程式執行政策的參考依據,避免僅憑分數自動封鎖內容。

如果應用程式需要處理審查失敗的情況,請先檢查審查結果的類型,再讀取分數。如果某個審查步驟無法完成,對應的輸入或輸出審查欄位可能會包含錯誤,而非審查分數。

對於涉及工具呼叫的請求,只要工具呼叫的引數或工具輸出出現在對話內容中,就會納入審查。審查範圍不包括工具名稱、工具說明、工具結構描述或回應格式的結構描述。

如果以串流方式傳送生成的回應,必須等到完整輸出生成後才會收到審查分數。串流過程中逐步傳回的輸出片段不會包含分數。

單獨對輸入進行分類

使用內容審查端點即可對文字或圖片輸入進行分類,無須生成模型回應。下列分頁示範如何使用 OpenAI 程式庫和 omni-moderation-latest 模型:

取得輸入文字的分類資訊
from openai import OpenAI

client = OpenAI()

response = client.moderations.create(
    model="omni-moderation-latest",
    input="...text to classify goes here...",
)

print(response)

解讀審查結果

以下是審查一張戰爭電影畫面截圖時傳回的完整輸出範例。模型在圖片中辨識出暴力跡象,violence 類別的分數高於 0.8。

{
  "id": "modr-970d409ef3bef3b70c73d8232df86e7d",
  "model": "omni-moderation-latest",
  "results": [
    {
      "flagged": true,
      "categories": {
        "sexual": false,
        "sexual/minors": false,
        "harassment": false,
        "harassment/threatening": false,
        "hate": false,
        "hate/threatening": false,
        "illicit": false,
        "illicit/violent": false,
        "self-harm": false,
        "self-harm/intent": false,
        "self-harm/instructions": false,
        "violence": true,
        "violence/graphic": false
      },
      "category_scores": {
        "sexual": 2.34135824776394e-7,
        "sexual/minors": 1.6346470245419304e-7,
        "harassment": 0.0011643905680426018,
        "harassment/threatening": 0.0022121340080906377,
        "hate": 3.1999824407395835e-7,
        "hate/threatening": 2.4923252458203563e-7,
        "illicit": 0.0005227032493135171,
        "illicit/violent": 3.682979260160596e-7,
        "self-harm": 0.0011175734280627694,
        "self-harm/intent": 0.0006264858507989037,
        "self-harm/instructions": 7.368592981140821e-8,
        "violence": 0.8599265510337075,
        "violence/graphic": 0.37701736389561064
      },
      "category_applied_input_types": {
        "sexual": ["image"],
        "sexual/minors": [],
        "harassment": [],
        "harassment/threatening": [],
        "hate": [],
        "hate/threatening": [],
        "illicit": [],
        "illicit/violent": [],
        "self-harm": ["image"],
        "self-harm/intent": ["image"],
        "self-harm/instructions": ["image"],
        "violence": ["image"],
        "violence/graphic": ["image"]
      }
    }
  ]
}

JSON 回應中的欄位會指出輸入包含哪些類別的內容,以及模型對各類別判斷的信心程度。

輸出欄位說明
flagged

如果模型判定內容可能有害,值為 true,否則為 false。

categories

以字典列出各類別的違規標記。如果模型判定內容在某個類別違規,該類別的值為 true,否則為 false。

category_scores

以字典列出各類別的分數。每個分數表示模型對於輸入含有該類別內容的信心程度。分數介於 0 和 1 之間,越高表示模型越有信心。

category_applied_input_types

列出各類別分數適用的輸入類型。例如,如果 violence/graphic 類別同時適用於圖片和文字輸入,violence/graphic 屬性的值就是 ["image", "text"]。

我們計劃持續升級內容審查端點使用的底層模型。因此,如果自訂政策依賴 category_scores,日後可能需要重新校準。

查看支援的類別

下表說明內容審查端點可偵測的內容類別,以及各類別支援的輸入類型。

標示為「僅限文字」的類別不支援圖片輸入。如果只將圖片傳送給 omni-moderation-latest 模型,未附上文字,模型會針對這些不支援圖片的類別傳回 0 分。每個圖片檔案的大小上限為 20 MB。

類別說明輸入類型
harassment

使用騷擾性言語針對任何對象,或煽動、提倡使用此類言語的內容。

僅限文字
harassment/threatening

騷擾內容中還涉及對任何對象施加暴力或造成嚴重傷害。

僅限文字
hate

基於種族、性別、族裔、宗教、國籍、性傾向、身心障礙狀況或種姓,表達、煽動或宣揚仇恨的內容。針對非受保護群體(例如西洋棋棋手)的仇恨內容歸類為騷擾。

僅限文字
hate/threatening

基於種族、性別、族裔、宗教、國籍、性傾向、身心障礙狀況或種姓而針對特定群體的仇恨內容,且同時涉及對該群體施加暴力或造成嚴重傷害。

僅限文字
illicit

提供從事違法行為的建議或指示的內容。例如,「如何在商店行竊」就屬於此類別。

僅限文字
illicit/violent

符合 illicit 類別,且同時提及暴力或取得武器的內容。

僅限文字
self-harm

提倡、鼓勵或描繪自我傷害行為的內容,例如自殺、割傷自己或與飲食失調相關的行為。

文字和圖片
self-harm/intent

發言者表示自己正在或打算從事自我傷害行為的內容,例如自殺、割傷自己或與飲食失調相關的行為。

文字和圖片
self-harm/instructions

鼓勵自我傷害行為(例如自殺、割傷自己或與飲食失調相關的行為),或就如何從事這些行為提供指示或建議的內容。

文字和圖片
sexual

旨在引起性興奮(例如描述性行為)或宣傳性服務的內容,不包括性教育和性健康相關內容。

文字和圖片
sexual/minors

涉及未滿 18 歲人士的性內容。

僅限文字
violence描繪死亡、暴力或身體傷害的內容。文字和圖片
violence/graphic

露骨地描繪死亡、暴力或身體傷害細節的內容。

文字和圖片