Pangram AI生成文本分类器技术报告（2024）
Pangram Text是一种基于Transformer的神经网络，用于区分AI生成文本与人类写作。在涵盖10个文本领域和8种大语言模型的全面基准测试中，其错误率比DetectGPT等零样本方法和领先商业检测工具低38倍以上。该分类器通过硬负样本挖掘与合成镜像训练算法，在评论等高数据域实现了数量级更低的误报率，且对非英语母语者无偏见。
Pangram公司近日发布了一项技术报告，详细介绍了其AI生成文本分类器Pangram Text。该分类器基于Transformer神经网络架构，专门用于区分由大型语言模型（LLM）生成的文本与人类撰写的文本。研究团队Bradley Emi和Max Spero于2024年2月首次提交论文，并于同年7月发布了修订版本（v3）。
根据报告，Pangram Text在包含10个文本领域的综合基准测试中表现出色，这些领域包括学生写作、创意写作、科学写作、书籍、百科全书、新闻、电子邮件、科学论文以及短问答。该分类器不仅评估了8种开源和闭源大语言模型（如GPT系列和开源模型），还直接与DetectGPT等零样本方法以及领先的商业AI检测工具进行了对比。结果显示，Pangram Text的错误率比这些现有方法低超过38倍，展现出显著的优势。
Pangram Text的核心创新在于其提出的训练算法——硬负样本挖掘与合成镜像（hard negative mining with synthetic mirrors）。这一方法使得分类器在高数据密度领域（如评论、邮件等）实现了极低的误报率，比传统方法低数个数量级。例如，在评论数据集上，该算法能够有效识别那些难以区分的AI生成文本，同时极大减少对人工文本的误判。
此外，研究团队特别关注了公平性和泛化能力。实验证明，Pangram Text对非英语母语者的英语写作不存在偏见，这一特性在实际应用中至关重要，因为许多AI检测工具往往对非母语写作产生系统性偏差。同时，该分类器能够很好地泛化到训练中未见过的文本领域和模型类型，意味着它可以在新场景下保持良好性能，无需重新训练。
论文全文已在arXiv上公开（arXiv:2402.14873），提供了详细的实验设置、数据来源和结果分析。Pangram Text的发布为AI生成文本检测领域提供了新的解决方案，其高效、公平和泛化特性使其在学术审查、内容审核、教育评估等多个领域具有潜在应用价值。