臨床データ科学エージェントには、異種かつ縦断的な患者記録を、監査可能で再現性のある分析へと変換する能力が求められる。しかし既存のベンチマークは、医学的質問応答、構造化テーブル推論、あるいは汎用科学リポジトリのいずれかに焦点を当てており、実際の臨床データ科学ワークフローを end-to-end で評価する設計にはなっていない。そこで提案されたのが CLINLENS である。これは、長期ホライズンの coding agent が縦断的マルチモーダル臨床データ科学を遂行できるかを測定する、200 の実行可能タスクからなるベンチマークである。
CLINLENS は、相互に連携する 5 つの MIMIC リソース上に構築されている。具体的には、構造化電子カルテ、臨床ノート、心電図、胸部 X 線写真、心エコー図である。これらは患者の受診過程における異なるモダリティと時点の情報を覆っており、エージェントにはモダリティ間の対応付け、時間セマンティクスの理解、そして実行可能な分析プログラムの生成が要求される。ベンチマークは 4×5 分類法を採用し、4 つの患者-時間スコープと 5 つの分析能力を交差させることで、単回受診から縦断的フォローアップまで、データ抽出から統計モデリングまでを体系的にカバーする。
タスク構築では「プログラム優先」の逆合成アプローチが用いられる。各タスクには境界の明確な準生データパッケージと、評価者専用の参照ワークフローが用意される。評価では最終回答だけでなく、必要な成果物、コホート定義、時間セマンティクスが正しいかも検査される。この設計により、「コードが実行できる」状態と「臨床分析として正しい」状態を明確に区別でき、単なる実行成功を合格基準にしてしまうことを避けている。
実験結果は大きな隔たりを示している。固定された 126 タスクのスイートにおいて、24 種類の標準化モデル-スキャフォールド構成のうち最強のものは scope-macro STRICTPASS で 56.3% を達成したが、EXECSUCCESS は 100% であった。つまり、すべての提出は正常に実行できるものの、約半数は臨床分析の正確性に関する厳格な基準を満たしていない。参考として、別途構成された coding agent は 126 タスク中 83 を解決し、GPT-4o-mini に適応させた 5 つの生物医学システムは最大でも scope-macro STRICTPASS 2.9% にとどまった。
これらの結果は、現在のエージェントが「実行可能」と「分析的に正しい」の間に実質的な溝を抱えていることを示す。臨床データ科学では、コードの実行に誤りがないだけでなく、コホート構築、時間ウィンドウ処理、マルチモーダル証拠の統合、統計的解釈が臨床セマンティクスに沿っている必要がある。CLINLENS はこの方向に再現可能な評価フレームワークを提供し、今後の長期ホライズン coding agent には、実行成功から臨床的信頼性へと進むために、計画・検証・自己レビューの能力がより強く求められることを示唆している。
本論文は 2026 年 7 月 28 日に投稿され、Yuan Zhu ら 4 名による成果で、cs.AI 分野に属し、arXiv 番号は 2607.26155 である。ベンチマークの公開により、臨床データ科学エージェントの評価が、汎用プログラミング能力から実際の医療分析プロセスを指向する体系的評価へと移行することが期待される。