VERITAS：迈向通用科学研究复制工具

随着人工智能工具的快速发展，科学研究成果的出版速度大幅提升，但同行评审系统却难以同步跟进，这使得对已发表研究的独立验证变得愈发困难且至关重要。手动复制研究不仅耗时费力，而且成本高昂，因此研究者们开始探索利用编码代理来自动化部分复制流程。然而，现有的大部分自动化方法都是以基准测试（benchmark）的形式存在，它们配有针对特定管道的专用代理，无法在更广泛的领域内通用。迄今为止，科学界仍缺乏一个通用的自动化复制工具。

为了填补这一空白，Haokun Liu 及其合作者提出了 VERITAS，这是一个与具体研究领域无关的复制框架，其核心构建在命令行界面（CLI）编码代理之上。VERITAS 的工作流程如下：给定一篇论文、一个代码仓库，或者两者同时提供，它首先从论文中提取出核心的声明（claims），然后按照论文描述的方法运行实验，在运行过程中自动检测并解决可能出现的各类问题，最后根据实验结果判断每个声明是否得到了充分的支持。整个流程完全自动化。

VERITAS 的输出包括三个关键部分：一个基于声明重要性加权计算的复制分数（Replication Score），一个详细记录所有自动修复操作及其严重性等级的日志，以及一个经过修补、可以直接重新运行的代码库。为了全面评估 VERITAS 的性能，研究团队在 CORE-Bench 和 ReplicationBench 两个基准上进行了严格的测试，这两个基准共包含来自计算机科学、社会科学、医学和天体物理学等领域的 65 篇论文。实验结果显示，与同样基于强大模型和宿主环境的两个 Claude Code 基线相比，VERITAS 在两个基准上的所有评估指标均取得了领先成绩，达到了当前最优性能水平。

VERITAS 的诞生标志着通用自动化复制的可行性迈出了重要一步。它不仅有望大幅降低手动复制的人力成本，还能有效缓解困扰科学界多年的可重复性危机（reproducibility crisis），推动整个科学研究体系向更加透明、可信的方向发展。随着未来版本的迭代，VERITAS 有望成为科研工作者日常验证他人成果的标准工具。