VERITAS：邁向通用科學研究複製工具

隨着人工智能工具的快速發展，科學研究成果的出版速度大幅提升，但同行評審系統卻難以同步跟進，這使得對已發表研究的獨立驗證變得愈發困難且至關重要。手動複製研究不僅耗時費力，而且成本高昂，因此研究者們開始探索利用編碼代理來自動化部分複製流程。然而，現有的大部分自動化方法都是以基準測試（benchmark）的形式存在，它們配有針對特定管道的專用代理，無法在更廣泛的領域內通用。迄今為止，科學界仍缺乏一個通用的自動化複製工具。

為了填補這一空白，Haokun Liu 及其合作者提出了 VERITAS，這是一個與具體研究領域無關的複製框架，其核心構建在命令行界面（CLI）編碼代理之上。VERITAS 的工作流程如下：給定一篇論文、一個代碼倉庫，或者兩者同時提供，它首先從論文中提取出核心的聲明（claims），然後按照論文描述的方法運行實驗，在運行過程中自動檢測並解決可能出現的各類問題，最後根據實驗結果判斷每個聲明是否得到了充分的支持。整個流程完全自動化。

VERITAS 的輸出包括三個關鍵部分：一個基於聲明重要性加權計算的複製分數（Replication Score），一個詳細記錄所有自動修復操作及其嚴重性等級的日誌，以及一個經過修補、可以直接重新運行的代碼庫。為了全面評估 VERITAS 的性能，研究團隊在 CORE-Bench 和 ReplicationBench 兩個基準上進行了嚴格的測試，這兩個基準共包含來自計算機科學、社會科學、醫學和天體物理學等領域的 65 篇論文。實驗結果顯示，與同樣基於強大模型和宿主環境的兩個 Claude Code 基線相比，VERITAS 在兩個基準上的所有評估指標均取得了領先成績，達到了當前最優性能水平。

VERITAS 的誕生標誌着通用自動化複製的可行性邁出了重要一步。它不僅有望大幅降低手動複製的人力成本，還能有效緩解困擾科學界多年的可重複性危機（reproducibility crisis），推動整個科學研究體系向更加透明、可信的方向發展。隨着未來版本的迭代，VERITAS 有望成為科研工作者日常驗證他人成果的標準工具。