最近、arXivに掲載された論文が、神経科学のデータ処理パイプラインにおける汎用コーディングエージェントの性能を系統的に評価した。研究チームはショウジョウバエの光遺伝学データから発見に至るパイプラインをテストベッドとして、エージェント型AIツールが科学研究におけるソフトウェア開発のボトルネックを自動化できるかどうかを探った。論文はKai A. Horstmann氏ら5名の著者によって執筆され、2026年6月5日に提出された。
研究チームは、科学研究パイプラインの多くの段階が領域専門家によって数日から数ヶ月かけて構築されることを指摘する。科学者が重視するのは実装の詳細ではなく、正確性と堅牢性である。そのため、既存のベンチマークよりもはるかに大規模なタスク、数桁大きいデータセット、そして領域専門家の基準に基づく評価基準を設計した。このような現実の科学研究に近い設定により、評価結果は実用的な意義を持つ。
実験の結果、エージェントは複数の独立したパイプライン段階を解決できることが示された。これは段階レベルの自動化が実現可能であることを示唆する。しかし、エージェントのコード反復プロセスを分析すると、事前定義された反復基準がない場合に最も困難に直面することが明らかになった。そのような状況では、エージェントは自身の科学的判断を用いて現在の解決策を評価する必要があるが、これが現在のエージェントの弱点である。エージェントは時折、科学者の実践を模倣して中間出力の視覚的検査を試みるが、見た内容を正しく解釈したり、適切に行動に移したりすることはほとんどできない。
さらに、パイプライン全体を正しく解決するには、すべての段階の成功を連鎖させる必要があり、これはエージェントの現在の能力を超えていると研究は強調する。また、既存のベンチマークではほとんど見られない課題として、計算リソースの管理や大規模なホールドアウトデータセットへの汎化能力を特定した。最後に、科学タスクを構築し、オープンエンドな問題を厳密に評価するための原則を抽出し、今後の研究に方向性を示した。
全体として、このケーススタディは科学自動化におけるエージェント型AIの可能性と限界を明らかにし、明確な基準がない場合にエージェントの科学的判断力を向上させることの重要性を強調するとともに、より現実に即した評価ベンチマークの設計に貴重な洞察を提供している。