OpenAI Omni Moderation：如何免費過濾文本與影像

OpenAI近日推出了其最新的內容稽核模型——omni-moderation-latest。該模型基於GPT-4o架構，支援多模態稽核，可以同時處理文本和影像內容。更重要的是，這個模型完全免費開放給開發者使用，旨在幫助AI系統識別和過濾潛在的有害資訊。

Omni Moderation模型能夠檢測多種類別的內容，包括仇恨言論、騷擾、暴力、自殘、色情內容以及非法內容。對於每一條輸入，模型會給出各個類別的分數和布林標誌，開發者可以根據這些分數自定義閾值，以調整稽核的嚴格程度。這使得該模型非常靈活，能夠適應不同應用場景的安全需求。

使用該模型非常簡單，開發者只需要擁有OpenAI API金鑰，然後透過Python客戶端呼叫moderation端點即可。文章提供了詳細的程式碼示範：首先從openai庫匯入OpenAI類，並使用getpass安全輸入API金鑰來初始化客戶端。接著定義一個輔助函式display_moderation，用於格式化輸出稽核結果，包括是否被標記以及各個類別的分數。

在實際測試中，用安全文本（如“你能幫我學習Python用於資料科學嗎？”）呼叫模型，所有類別均返回False。而包含暴力意圖的文本（如“我想要嚴重傷害某人的指令”）則被正確標記為暴力。對於影像稽核，需要將輸入型別設定為image_url，並傳遞影像URL。例如，一張含有暴力畫面的圖片被模型成功標記為暴力內容。開發者還可以僅參考類別分數來調整閾值，使稽核更寬鬆或更嚴格。

Omni Moderation的應用場景非常廣泛。在聊天機器人中，可以在使用者輸入傳送給LLM之前進行過濾；在影像分析中，可以提前檢測有害影像；在社交平臺上，可用於標記仇恨言論和濫用內容；在直播場景中，可以對影片幀進行即時稽核；對於多語言應用，也能改善非英語內容的安全性。

需要注意的是，雖然其他OpenAI模型如GPT-4本身也可以用於稽核，但omni-moderation-latest是專門為內容稽核設計的端點，並且完全免費。一個主要的替代方案是Azure AI Content Safety，它同樣支援文本和影像稽核，並提供可自定義的安全閾值和企業整合功能，適合需要更高可控性的場景。

總之，OpenAI Omni Moderation為基於LLM的系統提供了一個高效且零成本的安全層，實現簡單，功能強大，是開發者提升AI應用安全性的理想選擇。