ニューロサイエンスのデータから発見へのパイプラインにおけるAIエージェント評価のケーススタディ
この実証研究は、汎用コーディングエージェントをハエの光遺伝学データから発見へのパイプラインで評価します。エージェントは個々のステージを解決できますが、事前定義された基準がなく科学判断が必要な場合に苦戦します。エンドツーエンドの自動化は依然として現在の能力を超えています。
エージェント型AIツールは、科学研究パイプラインにおけるソフトウェア開発のボトルネックを自動化する有望な道を提供します。特に、ドメイン専門家が構築に数日から数か月を要する段階において、科学者は実装の詳細ではなく正確性と堅牢性を重視します。本論文では、ハエの光遺伝学データから発見へのパイプラインにおける汎用コーディングエージェントの実証研究を紹介します。この研究では、既存のベンチマークよりもはるかに大規模なタスク、桁違いに大きなデータセット、そしてドメイン専門家の基準に基づいた評価基準でエージェントを評価します。
研究により、エージェントはいくつかの個別のパイプラインステージを解決できることが示され、ステージレベルの自動化は実現可能であることが示唆されます。しかし、エージェントのコード反復を分析すると、事前定義された反復基準がない場合に最も苦戦することがわかりました。そのような場合、エージェントは科学的判断を用いて現在の解決策を評価する必要があり、これが重要な未解決の課題です。科学的実践を反映して、エージェントは中間出力の視覚検査による自己評価を試みることがありますが、大部分は見たものを適切に解釈したり行動に移したりできません。
エンドツーエンドのパイプラインを正しく完了するには、すべてのパイプラインステージでの成功を連鎖させる必要があり、これは現在のエージェントの能力を超えています。研究では、既存のベンチマークではほとんど見られない課題も特定されています。これには、計算リソース管理や大規模な保留データコレクションへの汎化が含まれます。最後に、著者らは科学的タスクの構築とオープンエンド問題に対する厳格な評価基準のための原則を抽出しています。