VERITAS：科学研究のための汎用再現ツールを目指して

人工知能技術の進歩により、科学論文の出版は加速していますが、それらを審査するシステムは追いついておらず、発表された研究の独立した検証は以前にも増して困難かつ重要な課題となっています。手動による再現は時間とコストがかかるため、コーディングエージェントを活用してプロセスの一部を自動化する研究が増加しています。しかし、既存の取り組みは主にベンチマークとそれに付属する専用エージェントとして提供されており、一般的な再現ツールは存在しませんでした。

この問題を解決するため、Haokun Liu 氏らは VERITAS を開発しました。VERITAS は、特定の研究分野に依存しない再現フレームワークであり、CLI（コマンドラインインターフェース）ベースのコーディングエージェントを中核としています。論文、コードリポジトリ、またはその両方を入力として受け取ると、VERITAS はまず論文から主張を抽出し、次に論文に記述された方法論を実行します。実行中に問題が発生した場合は自動的に解決を試み、最後に実験結果に基づいて各主張を評価します。

VERITAS の出力は、重要度で重み付けされた再現スコア（Replication Score）、適用された修正の深刻度別のログ、および修正済みのコードベースの3つです。研究チームは、CORE-Bench と ReplicationBench という2つのベンチマークを用いて VERITAS を評価しました。これらのベンチマークは、コンピュータ科学、社会科学、医学、天体物理学の4分野にわたる合計65本の論文で構成されています。同じモデルとホスト環境を使用した2つの強力な Claude Code ベースラインと比較した結果、VERITAS は両方のベンチマークのすべての指標において最先端の性能を達成しました。

この研究は、汎用的な自動再現ツールが実現可能であることを示すとともに、科学界における再現性の危機（reproducibility crisis）を緩和し、研究の透明性と信頼性を高める可能性を秘めています。VERITAS は、科学者が他の研究を検証する際の負担を大幅に軽減し、より堅牢な科学コミュニティの構築に貢献することが期待されます。