OpenAI Omni Moderation：如何免费过滤文本与图像
本文介绍OpenAI最新的内容审核模型omni-moderation-latest，基于GPT-4o，支持文本和图像审核，且免费使用。通过代码示例演示如何调用API，并讨论其应用场景，如聊天机器人、社交媒体等。
OpenAI近日推出了其最新的内容审核模型——omni-moderation-latest。该模型基于GPT-4o架构，支持多模态审核，可以同时处理文本和图像内容。更重要的是，这个模型完全免费开放给开发者使用，旨在帮助AI系统识别和过滤潜在的有害信息。
Omni Moderation模型能够检测多种类别的内容，包括仇恨言论、骚扰、暴力、自残、色情内容以及非法内容。对于每一条输入，模型会给出各个类别的分数和布尔标志，开发者可以根据这些分数自定义阈值，以调整审核的严格程度。这使得该模型非常灵活，能够适应不同应用场景的安全需求。
使用该模型非常简单，开发者只需要拥有OpenAI API密钥，然后通过Python客户端调用moderation端点即可。文章提供了详细的代码示范：首先从openai库导入OpenAI类，并使用getpass安全输入API密钥来初始化客户端。接着定义一个辅助函数display_moderation，用于格式化输出审核结果，包括是否被标记以及各个类别的分数。
在实际测试中，用安全文本（如“你能帮我学习Python用于数据科学吗？”）调用模型，所有类别均返回False。而包含暴力意图的文本（如“我想要严重伤害某人的指令”）则被正确标记为暴力。对于图像审核，需要将输入类型设置为image_url，并传递图像URL。例如，一张含有暴力画面的图片被模型成功标记为暴力内容。开发者还可以仅参考类别分数来调整阈值，使审核更宽松或更严格。
Omni Moderation的应用场景非常广泛。在聊天机器人中，可以在用户输入发送给LLM之前进行过滤；在图像分析中，可以提前检测有害图像；在社交平台上，可用于标记仇恨言论和滥用内容；在直播场景中，可以对视频帧进行实时审核；对于多语言应用，也能改善非英语内容的安全性。
需要注意的是，虽然其他OpenAI模型如GPT-4本身也可以用于审核，但omni-moderation-latest是专门为内容审核设计的端点，并且完全免费。一个主要的替代方案是Azure AI Content Safety，它同样支持文本和图像审核，并提供可自定义的安全阈值和企业集成功能，适合需要更高可控性的场景。
总之，OpenAI Omni Moderation为基于LLM的系统提供了一个高效且零成本的安全层，实现简单，功能强大，是开发者提升AI应用安全性的理想选择。