关于AI文本检测
本文对AI文本检测公司Pangram进行技术审计和评论，指出其检测器在混合作者文本中准确率大幅下降，且公司倾向于宣扬最佳情况下的可靠性，可能导致误判和“猎巫”现象。文章强调个体误报率差异、证据不可伪造性以及公司激励机制问题。
AI文本检测技术在打击虚假信息方面被寄予厚望，但本文作者Ethan Smith通过对领先服务商Pangram的技术审计指出，这项技术可能并未准备好承担“真相仲裁者”的角色。
Pangram的检测器在处理纯人类或纯AI生成的文本时，误报率可低至万分之一。然而，当文本涉及混合创作——例如人类撰写后经AI润色或修改时，准确率显著下降。根据EditLens的报告，仅一次AI编辑就可能导致约15%的实例仍被归类为完全人类，而另有约6.5%被误判为完全AI。这意味着在常见的工作流程中，用户可能毫无防备地遭到误判。
更棘手的是，误报率并非均匀分布。诗歌等文体天生更易触发警报，频率可达1/200；而不同写作者的风格差异可能导致其个人误报率在百万分之一到百分之一之间变化。那些擅长简练、结构化表达的人，可能无意中更接近AI的语言模式，从而承受不成比例的风险。Pangram虽然减少了针对非英语母语者的偏见，但当今使用LLM学习英语的写作者可能面临新挑战。
除了技术局限，文章还尖锐地批评了Pangram的市场定位。公司的社交媒体账号和员工频频公开扫描并指责网络文章为AI生成，这种行为实际上以“免费营销”换取了检测结果的过度肯定。在证据难以否认（如无日志记录时）的情况下，指控往往演变为“作者的话”和“检测器判决”之间的僵局，类似于测谎仪在法庭上的争议。作者认为，这种缺乏可验证性的“证据”可能引发新的信任危机。
文章呼吁更透明的评估体系：检测器应清晰标注文本类别（如混合文本）对应的预期误报率，而非仅展示整体最优数字。基准测试也需纳入真实世界的多样场景，而非局限于实验室条件。最终，AI文本检测的应用必须辅以对个体差异和误判风险的清醒认知，否则可能适得其反，助长而非阻止AI生成内容泛滥。