如果您需要大規模稽核使用者生成的內容，那麼需要一個既能準確捕捉違規行為又不會過度標記合法帖子的系統。一個漏掉有害內容的風險很高，而過度標記則會激怒使用者。每個組織都有自己的政策，因此單一的分類器很少能滿足所有用例。在之前的文章中，我們展示瞭如何使用 Amazon SageMaker AI 微調 Amazon Nova 進行內容稽核。而提示方法不需要訓練資料或模型定製，您可以透過編輯提示來更新稽核策略，無需重新訓練模型。
本文介紹如何使用基於 MLCommons AILuminate 評估標準的結構化和自由形式方法來引導 Amazon Nova 2 Lite 進行內容稽核。這些提示技術以 AILuminate 分類法為例，但同樣適用於您自己的自定義稽核策略。您可以替換自己的類別定義，提示結構保持不變。我們還在三個公共資料集上對 Amazon Nova 2 Lite 的內容稽核能力與其他基礎模型進行了基準測試。
MLCommons AILuminate 評估標準
模型的內容稽核效能取決於其執行的政策。MLCommons AILuminate 評估標準 v1.1 提供了一個包含 12 個類別的風險分類法起點。該標準將類別分為三組（物理、非物理和情境風險），每組針對不同類別的危害。例如，暴力犯罪屬於物理風險，仇恨言論屬於非物理風險，而專業建議屬於情境風險。完整分類法還包括其他六個類別，詳情請參閱 AILuminate 評估標準。關於亞馬遜負責任 AI 的方法，請參閱 Amazon Nova 及我們對負責任 AI 的承諾。
使用 Amazon Nova 2 的內容稽核工作流
下圖展示了一個典型的基於 Amazon Nova 2 Lite 和 Amazon Bedrock 的內容稽核管道。Amazon Nova 2 Lite 是一款成本極低的多模態模型，推理速度快，非常適合高吞吐量的內容稽核場景。管道分為四個階段：首先，使用者生成的內容進入系統；然後，提示組裝步驟將內容與系統角色、政策定義和可選的少樣本示例包裝成結構式或自由形式提示；接著，將組裝好的提示傳送到 Amazon Bedrock 上的 Amazon Nova 2 Lite，模型返回稽核響應。建議的預設推理配置為溫度 0.7 和 top-p 0.9，以平衡輸出一致性和多樣性。對於高吞吐量管道，可考慮停用推理模式以降低延遲和成本，但需針對具體內容測試兩種模式以確認準確性。模型的輸出包括違規標誌（是/否）、違規類別和可選的解釋，然後您可以根據輸出允許、標記、移除或升級內容。
結構化內容稽核提示
當您的稽核管道需要格式化輸出以直接饋入自動化系統時，可使用 XML 或 JSON 的結構化提示。本部分的示例使用少樣本學習，即在提示中包含示例輸入-輸出對，使模型學習預期的響應模式。
XML 格式
XML 方法將政策、內容和輸出欄位包裹在帶標籤的部分中。模板包含三部分：開頭的指令告訴模型它是內容稽核員並指定輸出格式；<example> 塊提供少樣本演示；實際要稽核的內容出現在 <input> 和 </input> 標籤中。以下示例展示了一個同時違反多個政策類別的市場列表，這在電商和社交電商服務中很常見。模型正確識別了違規類別並解釋了觸發每個類別的具體虛假宣告。這種多類別檢測對市場稽核特別有用。
JSON 格式
對於消費 JSON 的系統，以下模板直接生成結構化的 JSON 輸出。提示末尾的“不要新增任何額外文本”指令至關重要，否則模型可能會在 JSON 周圍新增對話性文字，破壞下游解析。
自由形式內容稽核提示
當需要多樣化的輸出格式或稽核任務不適用於單一格式化結構時，自由形式提示很有用。以下三個示例故意使用不同的格式風格以展示靈活性。示例包括關於自殺和自傷、仇恨言論以及隱私的嚴重性評級。這些示例僅用於演示目的，不代表亞馬遜的觀點。
基準測試
我們在三個公共資料集上評估了 Amazon Nova 2 Lite 的內容稽核能力，包括 ToxiGen、HateXplain 和 CivilComments。結果顯示，Amazon Nova 2 Lite 在多個類別上與其他基礎模型（如 GPT-4、Claude 3 等）相比具有競爭力，尤其是在成本效益方面。詳細基準結果請參閱原文。
最佳實踐
建議在結構化提示中使用清晰的標籤，避免模板過度擬合；在自由形式提示中明確指示輸出格式以保持一致性。對於高吞吐量場景，可調整溫度和 top-p 引數以平衡速度與準確性。此外，定期測試提示更新以確保政策變更正確生效。