引导 Amazon Nova 2 进行内容审核

如果您需要大规模审核用户生成的内容，那么需要一个既能准确捕捉违规行为又不会过度标记合法帖子的系统。一个漏掉有害内容的风险很高，而过度标记则会激怒用户。每个组织都有自己的政策，因此单一的分类器很少能满足所有用例。在之前的文章中，我们展示了如何使用 Amazon SageMaker AI 微调 Amazon Nova 进行内容审核。而提示方法不需要训练数据或模型定制，您可以通过编辑提示来更新审核策略，无需重新训练模型。

本文介绍如何使用基于 MLCommons AILuminate 评估标准的结构化和自由形式方法来引导 Amazon Nova 2 Lite 进行内容审核。这些提示技术以 AILuminate 分类法为例，但同样适用于您自己的自定义审核策略。您可以替换自己的类别定义，提示结构保持不变。我们还在三个公共数据集上对 Amazon Nova 2 Lite 的内容审核能力与其他基础模型进行了基准测试。

MLCommons AILuminate 评估标准

模型的内容审核性能取决于其执行的政策。MLCommons AILuminate 评估标准 v1.1 提供了一个包含 12 个类别的风险分类法起点。该标准将类别分为三组（物理、非物理和情境风险），每组针对不同类别的危害。例如，暴力犯罪属于物理风险，仇恨言论属于非物理风险，而专业建议属于情境风险。完整分类法还包括其他六个类别，详情请参阅 AILuminate 评估标准。关于亚马逊负责任 AI 的方法，请参阅 Amazon Nova 及我们对负责任 AI 的承诺。

使用 Amazon Nova 2 的内容审核工作流

下图展示了一个典型的基于 Amazon Nova 2 Lite 和 Amazon Bedrock 的内容审核管道。Amazon Nova 2 Lite 是一款成本极低的多模态模型，推理速度快，非常适合高吞吐量的内容审核场景。管道分为四个阶段：首先，用户生成的内容进入系统；然后，提示组装步骤将内容与系统角色、政策定义和可选的少样本示例包装成结构式或自由形式提示；接着，将组装好的提示发送到 Amazon Bedrock 上的 Amazon Nova 2 Lite，模型返回审核响应。建议的默认推理配置为温度 0.7 和 top-p 0.9，以平衡输出一致性和多样性。对于高吞吐量管道，可考虑禁用推理模式以降低延迟和成本，但需针对具体内容测试两种模式以确认准确性。模型的输出包括违规标志（是/否）、违规类别和可选的解释，然后您可以根据输出允许、标记、移除或升级内容。

结构化内容审核提示

当您的审核管道需要格式化输出以直接馈入自动化系统时，可使用 XML 或 JSON 的结构化提示。本部分的示例使用少样本学习，即在提示中包含示例输入-输出对，使模型学习预期的响应模式。

XML 格式

XML 方法将政策、内容和输出字段包裹在带标签的部分中。模板包含三部分：开头的指令告诉模型它是内容审核员并指定输出格式；<example> 块提供少样本演示；实际要审核的内容出现在 <input> 和 </input> 标签中。以下示例展示了一个同时违反多个政策类别的市场列表，这在电商和社交电商服务中很常见。模型正确识别了违规类别并解释了触发每个类别的具体虚假声明。这种多类别检测对市场审核特别有用。

JSON 格式

对于消费 JSON 的系统，以下模板直接生成结构化的 JSON 输出。提示末尾的“不要添加任何额外文本”指令至关重要，否则模型可能会在 JSON 周围添加对话性文字，破坏下游解析。

自由形式内容审核提示

当需要多样化的输出格式或审核任务不适用于单一格式化结构时，自由形式提示很有用。以下三个示例故意使用不同的格式风格以展示灵活性。示例包括关于自杀和自伤、仇恨言论以及隐私的严重性评级。这些示例仅用于演示目的，不代表亚马逊的观点。

基准测试

我们在三个公共数据集上评估了 Amazon Nova 2 Lite 的内容审核能力，包括 ToxiGen、HateXplain 和 CivilComments。结果显示，Amazon Nova 2 Lite 在多个类别上与其他基础模型（如 GPT-4、Claude 3 等）相比具有竞争力，尤其是在成本效益方面。详细基准结果请参阅原文。

最佳实践

建议在结构化提示中使用清晰的标签，避免模板过度拟合；在自由形式提示中明确指示输出格式以保持一致性。对于高吞吐量场景，可调整温度和 top-p 参数以平衡速度与准确性。此外，定期测试提示更新以确保政策变更正确生效。