計算器紀律——人工智能輔助的披露幻覺

2026年5月26日，研究員Stuart Paul Thomas發表了一篇題為《計算器紀律——人工智能輔助的披露幻覺》的工作論文。該論文深入探討了AI輔助代碼審查帶來的副作用：正如歷史上每一次生產力倍增器一樣，AI使源代碼審查變得廉價，也因此使錯誤變得更加廉價。開源安全社區在過去18個月中已經深刻感受到了這一後果：bug賞金接收隊列被大量聽似合理但實際虛構的漏洞報告所淹沒，最突出的例子是curl項目在2026年1月關閉了其HackerOne項目。迄今為止，大部分討論僅僅停留在抱怨層面，而這篇論文系統性地填補了缺失的部分：一個故障模式分類法、一個能夠捕捉最常見機械性錯誤的預發送過濾器，以及來自研究人員自身的真實案例研究——作者本人也曾是這些“AI垃圾報告”的提交者之一。

論文提出了一個四類分類法：bug形狀偽造（報告虛構的漏洞類型，如錯誤的內存泄漏或緩衝區溢出）、證據偽造（編造代碼路徑、測試用例或執行結果）、嚴重性誇大（將無害的問題描述為嚴重漏洞，如將格式良好的代碼標記為安全風險）以及瑣碎報告（將微小的、甚至根本不是漏洞的問題作為關鍵問題提交）。為了驗證這些分類，論文展示了兩個真實的披露撤回案例，均涉及OpenBSD項目（通過[email protected]和[email protected]提交），以及一個在發送前即被捕獲的“未遂”案例。基於這些案例，作者開發了一個預發送檢查工具hallucination_check.py（約35KB），該工具包含四個驗證器，分別對應四種故障模式，旨在自動檢測並阻止最常見的AI生成虛假報告。

論文的核心思想是：AI就像計算器——它使細心的用户更快地完成任務，但也使粗心的用户更快地犯錯誤。解決方案不是拋棄計算器，而是應用“計算器紀律”：即對AI的輸出進行嚴格驗證。作者強調，這篇論文是在LLM輔助下起草的（使用Claude，Anthropic），這是根據《2010年平等法》第20條對神經多樣性作者作出的合理調整。但作者在出版前獨立驗證了所有引用的文件路徑、提交哈希、人名和URL，確保內容的準確性。

論文以CC BY 4.0許可發佈，附帶工具hallucination_check.py以BSD 2-Clause許可單獨分發。論文還引用了多個相關來源，包括Daniel Stenberg關於curl項目受AI垃圾報告影響的系列博客文章，以及BleepingComputer、Help Net Security、The New Stack和The Register等媒體的報道。通過這篇論文，Thomas希望推動開源安全社區從單純抱怨轉向實際行動，通過分類、工具和紀律來應對AI輔助披露帶來的挑戰。