美国面临着一个“万能句”问题

近期，美国出现了一连串引人注目的指控：有人被指使用AI生成文字冒充自己创作。这些指控的起点几乎都是同一个工具——Pangram。今年3月，一家大型出版社在预定发行日前几天撤下一部恐怖小说，部分原因就是Pangram识别出文本由AI生成。此外，人们利用Pangram指出《纽约时报》等主流报纸的文章、多个获奖短篇小说，甚至教皇利奥十四世关于AI危险的通谕中都有AI生成的痕迹。越来越多大学和科学协会也开始用它审查学生作业和研究论文。随着对AI写作的恐慌加剧，Pangram站在了风口浪尖。

几年前，即时可靠地判断文本是否由AI编写似乎还遥不可及。2023年，检测工具ZeroGPT竟将美国宪法判定为AI生成；同年，OpenAI因“准确率低”放弃了自家AI检测器。而当时ChatGPT的写作质量远不如现在。但最近检测工具进步显著，Pangram尤其脱颖而出，成为黄金标准：粘贴文本，它就能评估哪些部分是“AI生成”、“AI辅助”或“人工编写”。

然而，一个基本可靠的AI检测器可能比完全不可靠的更危险。Pangram正在积累毁灭声誉和职业生涯的力量，但它确实会犯错，程度可能超出当前认知。这样一来，AI指控很可能迅速演变成一场猎巫行动。

Pangram声称其算法准确率极高，错误地将文本识别为AI输出的概率仅万分之一。CEO Max Spero表示：“说某物是AI生成，责任重大，我们只会在极其确信时才会这样做。”几项独立分析也证实了它的优异表现。芝加哥大学的一篇论文发现，在大约3000个500-1000字的样本中，Pangram几乎没有误报。

但Pangram保证文本由人类书写的能力则较弱。Spero指出，假阴性率（错误地将AI文本标记为人工）接近七十分之一。

问题部分在于Pangram与主要AI实验室的军备竞赛，这些实验室致力于让ChatGPT和Claude的写作听起来尽可能自然和人性化。同时，Pangram还要应对AI“人性化”工具——专门用于伪装AI文本的程序。Reddit用户热烈推荐一种名为Walter Writes AI的工具。我亲自测试：让ChatGPT和Claude写简短文章，再粘贴进该工具。它做一些无关痛痒的改写，替换笨拙的过渡，引入语法怪异。例如，ChatGPT的“这些数字已经大到无法忽视”变成了“这些使用数据的庞大规模已经不容忽视”。当我将Walter Writes AI的输出粘贴进Pangram时，它无一例外地将二次加工的AI文章判定为人工编写。

换言之，Pangram只能提供有限洞见。纽约市一所公立高中的老师告诉我，他把自己学生的论文通过Pangram检测，结果显示“100%人工”，但他不相信。他了解学生的能力，尤其是那些有AI作弊前科的，有充分理由怀疑Pangram。但反过来，仅凭间接证据指控学生未经允许使用AI，风险极高：学生要么不及格，要么被证明清白后心生怨恨。“风险太高，”老师说，“但我们评估AI生成内容的方法还很不成型。”

更复杂的是Pangram等工具设计的不透明性。模型通过海量人工与AI示例训练而成——比如杂志上的人工书评，以及ChatGPT生成的相同书评——直到能区分二者。这类似于用数百万张猫狗图片训练图像识别算法。Pangram无法指出具体证据或模式来支持其判断。Spero承认算法内部机制“几乎不可解释”，尽管他希望让“AI辅助”标签更细致，但“仍不确定如何实现”。在对过度依赖AI聊天机器人的担忧中，我们可能又陷入对另一个黑箱算法的依赖。

Spero表示，Pangram“绝不应是最终裁决者”，而应是更深入调查的起点，公司会调查每个报告的错误。他还指出，烟雾探测器、TSA扫描仪等我们依赖的检测技术都有基准错误率。从某种程度来说，最大的问题不在于技术本身，而在于它们试图检测的对象。

随着AI写作指控不断升级，人们对Pangram的依赖只会增加。它已连接到Canvas教育平台，教师可用来扫描学生作业。美国有超过1000万高中生和2000万大学生，每人每年提交数十份书面作业。在此规模下，即使万分之一错误率，Pangram也会产生大量误判。

更糟的是，Pangram能否保持甚至提升当前能力也不确定。随着聊天机器人和AI人性化器调整，AI检测“会在我们无法预测的时间以无法预测的方式起伏”，NYU神经科学家Tim Requarth说。即使学校、出版商、科研机构更依赖AI检测，任何第三方评估都滞后数月，在加速发展的AI世界中近乎过时。基于AI检测可靠性制定规则，如同在退潮时建沙堡。

这一切似乎正酿成灾难。AI检测的模糊性为发起或否认指控留下了空间。本月，科技记者Taylor Lorenz在X上被指控用AI为《名利场》写稿，她坚决否认。Spero调查后发现Pangram出错。“感谢编辑历史记录，”Lorenz说。这次经历加剧了她对这类指控的担忧：“我非常偏执。”

“AI生成”和“AI辅助”容易被有意或无意混淆。《华尔街日报》编辑James Taranto最近称Pangram为“诽谤机器”，声称它错误标记了该报三篇专栏为AI生成；其中两位作者承认使用AI修改部分工作，Taranto认为将其描述为“AI生成”是不准确且不公平的。最初用Pangram分析教皇通谕的人指出，只有部分段落看起来像AI生成或辅助，或许不是教皇本人而是高级梵蒂冈官员使用了AI。这并未阻止诸如“教皇用AI撰写关于AI危险的通谕？”之类的标题。

这一切让人想起另一场关于作家不当行为的道德愤怒：2023-24年的剽窃战争，当时保守派活动人士动员指控知名学者和大学领导剽窃，最终导致哈佛大学前校长Claudine Gay辞职。许多指控是虚假的，很可能基于剽窃检测算法，正如我同事Ian Bogost当时判断的那样，这些算法相当无用。即将到来的AI检测战争可能更具争议。

明确地说，Pangram并非无用。但问题正在于此：它的结论太容易被曲解和争议，尤其是在没人真正认同哪些AI使用合乎伦理的情况下。就像聊天机器人一样，AI检测工具已经足够有效以供广泛使用，但还不足以完全信任。这样看来，Pangram和其他检测器正是它们所搜寻的AI产品的镜像。