计算器纪律——人工智能辅助的披露幻觉

2026年5月26日，研究员Stuart Paul Thomas发表了一篇题为《计算器纪律——人工智能辅助的披露幻觉》的工作论文。该论文深入探讨了AI辅助代码审查带来的副作用：正如历史上每一次生产力倍增器一样，AI使源代码审查变得廉价，也因此使错误变得更加廉价。开源安全社区在过去18个月中已经深刻感受到了这一后果：bug赏金接收队列被大量听似合理但实际虚构的漏洞报告所淹没，最突出的例子是curl项目在2026年1月关闭了其HackerOne项目。迄今为止，大部分讨论仅仅停留在抱怨层面，而这篇论文系统性地填补了缺失的部分：一个故障模式分类法、一个能够捕捉最常见机械性错误的预发送过滤器，以及来自研究人员自身的真实案例研究——作者本人也曾是这些“AI垃圾报告”的提交者之一。

论文提出了一个四类分类法：bug形状伪造（报告虚构的漏洞类型，如错误的内存泄漏或缓冲区溢出）、证据伪造（编造代码路径、测试用例或执行结果）、严重性夸大（将无害的问题描述为严重漏洞，如将格式良好的代码标记为安全风险）以及琐碎报告（将微小的、甚至根本不是漏洞的问题作为关键问题提交）。为了验证这些分类，论文展示了两个真实的披露撤回案例，均涉及OpenBSD项目（通过[email protected]和[email protected]提交），以及一个在发送前即被捕获的“未遂”案例。基于这些案例，作者开发了一个预发送检查工具hallucination_check.py（约35KB），该工具包含四个验证器，分别对应四种故障模式，旨在自动检测并阻止最常见的AI生成虚假报告。

论文的核心思想是：AI就像计算器——它使细心的用户更快地完成任务，但也使粗心的用户更快地犯错误。解决方案不是抛弃计算器，而是应用“计算器纪律”：即对AI的输出进行严格验证。作者强调，这篇论文是在LLM辅助下起草的（使用Claude，Anthropic），这是根据《2010年平等法》第20条对神经多样性作者作出的合理调整。但作者在出版前独立验证了所有引用的文件路径、提交哈希、人名和URL，确保内容的准确性。

论文以CC BY 4.0许可发布，附带工具hallucination_check.py以BSD 2-Clause许可单独分发。论文还引用了多个相关来源，包括Daniel Stenberg关于curl项目受AI垃圾报告影响的系列博客文章，以及BleepingComputer、Help Net Security、The New Stack和The Register等媒体的报道。通过这篇论文，Thomas希望推动开源安全社区从单纯抱怨转向实际行动，通过分类、工具和纪律来应对AI辅助披露带来的挑战。