OpenAI Omni Moderation：如何免費過濾文本與圖像

OpenAI近日推出了其最新的內容審核模型——omni-moderation-latest。該模型基於GPT-4o架構，支持多模態審核，可以同時處理文本和圖像內容。更重要的是，這個模型完全免費開放給開發者使用，旨在幫助AI系統識別和過濾潛在的有害信息。

Omni Moderation模型能夠檢測多種類別的內容，包括仇恨言論、騷擾、暴力、自殘、色情內容以及非法內容。對於每一條輸入，模型會給出各個類別的分數和布爾標誌，開發者可以根據這些分數自定義閾值，以調整審核的嚴格程度。這使得該模型非常靈活，能夠適應不同應用場景的安全需求。

使用該模型非常簡單，開發者只需要擁有OpenAI API密鑰，然後通過Python客户端調用moderation端點即可。文章提供了詳細的代碼示範：首先從openai庫導入OpenAI類，並使用getpass安全輸入API密鑰來初始化客户端。接着定義一個輔助函數display_moderation，用於格式化輸出審核結果，包括是否被標記以及各個類別的分數。

在實際測試中，用安全文本（如“你能幫我學習Python用於數據科學嗎？”）調用模型，所有類別均返回False。而包含暴力意圖的文本（如“我想要嚴重傷害某人的指令”）則被正確標記為暴力。對於圖像審核，需要將輸入類型設置為image_url，並傳遞圖像URL。例如，一張含有暴力畫面的圖片被模型成功標記為暴力內容。開發者還可以僅參考類別分數來調整閾值，使審核更寬鬆或更嚴格。

Omni Moderation的應用場景非常廣泛。在聊天機器人中，可以在用户輸入發送給LLM之前進行過濾；在圖像分析中，可以提前檢測有害圖像；在社交平台上，可用於標記仇恨言論和濫用內容；在直播場景中，可以對視頻幀進行實時審核；對於多語言應用，也能改善非英語內容的安全性。

需要注意的是，雖然其他OpenAI模型如GPT-4本身也可以用於審核，但omni-moderation-latest是專門為內容審核設計的端點，並且完全免費。一個主要的替代方案是Azure AI Content Safety，它同樣支持文本和圖像審核，並提供可自定義的安全閾值和企業集成功能，適合需要更高可控性的場景。

總之，OpenAI Omni Moderation為基於LLM的系統提供了一個高效且零成本的安全層，實現簡單，功能強大，是開發者提升AI應用安全性的理想選擇。