在评估AI助手节省时间的效果时,我们常常习惯用秒表来计时:任务完成得快了多少,就认为节省了多少时间。但一篇新论文《计算绷带:衡量AI节省的时间》指出,这种“秒表视角”是片面的。作者Solomon Shalom Lijo主张采用“账本视角”,即节省的时间应该被视为一种反事实,必须与工作过程中放过的错误一起阅读。换句话说,AI带来的加速可能伴随着质量下降,真正的节省需要权衡速度与准确性。
论文的核心贡献分为四个部分。首先,作者定义了一对无模型的数量:节省的时间(time saved)和超额逃逸缺陷(excess escaped defects),并由此构建了一个决策数字——盈亏平衡缺陷成本(break-even defect cost)。这个数字告诉我们需要在多大程度上容忍错误,才能让AI节省的时间变得有价值。
其次,作者给出了一个检查行为的基线模型。模型显示,除非AI模型好到无需检查,否则一个校准良好的工人的逃逸缺陷率并不取决于模型有多好;检查时间随模型错误率的对数增长;而过度信任虽然能在时钟上省下几分钟,却会以更大的总时间成本为代价。
第三,论文探讨了随机研究能识别什么、不能识别什么。作者利用METR开发者研究的公开数据进行了复制:同样的246个问题,根据不同的估计目标,支持AI导致19%或24%的减速(如果不调整偶然失衡,则为34%),而AI在其中3%到82%的问题上提供了帮助。这一范围之宽表明,估计目标的选择对结论影响巨大。
最后,作者重新陈述了已发表的记录,用明确的边界代替了导入的点假设。在GDPval自己的“审查每个输出”的工作流中,仅审查时间就将GPT-5的加速上限限制在3.6倍;而前沿之外的顾问速度更快,但错误也更频繁。
为了检验模型的两个预测,作者还进行了一个小规模预注册实验,让AI审阅者检查同类简报的AI草稿,这些简报基于模型训练数据收集之后的SEC文件构建。当被告知起草者的真实错误率时,审阅者会随着错误率上升而增加检查,但表现为全有或全无,在提示成本盈亏平衡点附近切换。而当被告知起草者的出错频率比实际低十倍时,审阅者在9个数字中少检查了7个,并在22.5%的简报中放过了错误数字(原本为零):更快,但更糟,完全是因为减少了努力。
这项研究提醒我们,AI节省的时间不能只看时钟,而必须放在错误成本的账本上衡量。否则,我们可能只是在计算绷带的数量,而忽略了伤口本身。