Pangram AI生成文本分類器技術報告（2024）
Pangram Text是一種基於Transformer的神經網路，用於區分AI生成文本與人類寫作。在涵蓋10個文本領域和8種大語言模型的全面基準測試中，其錯誤率比DetectGPT等零樣本方法和領先商業檢測工具低38倍以上。該分類器透過硬負樣本挖掘與合成映象訓練演算法，在評論等高資料域實現了數量級更低的誤報率，且對非英語母語者無偏見。
Pangram公司近日釋出了一項技術報告，詳細介紹了其AI生成文本分類器Pangram Text。該分類器基於Transformer神經網路架構，專門用於區分由大型語言模型（LLM）生成的文本與人類撰寫的文本。研究團隊Bradley Emi和Max Spero於2024年2月首次提交論文，並於同年7月釋出了修訂版本（v3）。
根據報告，Pangram Text在包含10個文本領域的綜合基準測試中表現出色，這些領域包括學生寫作、創意寫作、科學寫作、書籍、百科全書、新聞、電子郵件、科學論文以及短問答。該分類器不僅評估了8種開源和閉源大語言模型（如GPT系列和開源模型），還直接與DetectGPT等零樣本方法以及領先的商業AI檢測工具進行了對比。結果顯示，Pangram Text的錯誤率比這些現有方法低超過38倍，展現出顯著的優勢。
Pangram Text的核心創新在於其提出的訓練演算法——硬負樣本挖掘與合成映象（hard negative mining with synthetic mirrors）。這一方法使得分類器在高資料密度領域（如評論、郵件等）實現了極低的誤報率，比傳統方法低數個數量級。例如，在評論資料集上，該演算法能夠有效識別那些難以區分的AI生成文本，同時極大減少對人工文本的誤判。
此外，研究團隊特別關注了公平性和泛化能力。實驗證明，Pangram Text對非英語母語者的英語寫作不存在偏見，這一特性在實際應用中至關重要，因為許多AI檢測工具往往對非母語寫作產生系統性偏差。同時，該分類器能夠很好地泛化到訓練中未見過的文本領域和模型型別，意味著它可以在新場景下保持良好效能，無需重新訓練。
論文全文已在arXiv上公開（arXiv:2402.14873），提供了詳細的實驗設定、資料來源和結果分析。Pangram Text的釋出為AI生成文本檢測領域提供了新的解決方案，其高效、公平和泛化特性使其在學術審查、內容稽核、教育評估等多個領域具有潛在應用價值。