在評估AI助手節省時間的效果時,我們常常習慣用秒錶來計時:任務完成得快了多少,就認為節省了多少時間。但一篇新論文《計算繃帶:衡量AI節省的時間》指出,這種“秒錶視角”是片面的。作者Solomon Shalom Lijo主張採用“賬本視角”,即節省的時間應該被視為一種反事實,必須與工作過程中放過的錯誤一起閲讀。換句話説,AI帶來的加速可能伴隨着質量下降,真正的節省需要權衡速度與準確性。
論文的核心貢獻分為四個部分。首先,作者定義了一對無模型的數量:節省的時間(time saved)和超額逃逸缺陷(excess escaped defects),並由此構建了一個決策數字——盈虧平衡缺陷成本(break-even defect cost)。這個數字告訴我們需要在多大程度上容忍錯誤,才能讓AI節省的時間變得有價值。
其次,作者給出了一個檢查行為的基線模型。模型顯示,除非AI模型好到無需檢查,否則一個校準良好的工人的逃逸缺陷率並不取決於模型有多好;檢查時間隨模型錯誤率的對數增長;而過度信任雖然能在時鐘上省下幾分鐘,卻會以更大的總時間成本為代價。
第三,論文探討了隨機研究能識別什麼、不能識別什麼。作者利用METR開發者研究的公開數據進行了複製:同樣的246個問題,根據不同的估計目標,支持AI導致19%或24%的減速(如果不調整偶然失衡,則為34%),而AI在其中3%到82%的問題上提供了幫助。這一範圍之寬表明,估計目標的選擇對結論影響巨大。
最後,作者重新陳述了已發表的記錄,用明確的邊界代替了導入的點假設。在GDPval自己的“審查每個輸出”的工作流中,僅審查時間就將GPT-5的加速上限限制在3.6倍;而前沿之外的顧問速度更快,但錯誤也更頻繁。
為了檢驗模型的兩個預測,作者還進行了一個小規模預註冊實驗,讓AI審閲者檢查同類簡報的AI草稿,這些簡報基於模型訓練數據收集之後的SEC文件構建。當被告知起草者的真實錯誤率時,審閲者會隨着錯誤率上升而增加檢查,但表現為全有或全無,在提示成本盈虧平衡點附近切換。而當被告知起草者的出錯頻率比實際低十倍時,審閲者在9個數字中少檢查了7個,並在22.5%的簡報中放過了錯誤數字(原本為零):更快,但更糟,完全是因為減少了努力。
這項研究提醒我們,AI節省的時間不能只看時鐘,而必須放在錯誤成本的賬本上衡量。否則,我們可能只是在計算繃帶的數量,而忽略了傷口本身。