ARC-AGI-1における抽象的推論と汎化のためのコスト効率の良いエージェントハーネス
研究者らは、Explorer-Definer PipelineとReflective Orchestratorという2つのコスト効率の良いエージェントアーキテクチャを提案し、ARC-AGI-1ベンチマークでそれぞれ57.50%と67.25%のpass@2を達成、タスクあたり0.25ドルと0.62ドルのコストで、ベンチマーク固有のトレーニングや大量のテスト時計算を必要としません。
arXivに投稿された新しい論文では、ARC-AGI-1ベンチマークにおける抽象的推論と汎化のためのコスト効率の良いエージェントアーキテクチャが紹介されています。Kabir Mogheらの研究では、オープンウェイトモデルDeepSeek V3.2の非思考モードを厳格な予算下で使用し、ARC固有の微調整を一切行わずに、アーキテクチャのみでどれだけの性能が得られるかを探求しています。
まず、Explorer-Definer Pipelineが導入されました。これはパターン発見と実行可能な変換合成を明確に分離する2段階のエージェントパイプラインです。第1段階でパターンを探索し、第2段階で発見されたパターンに基づいて変換を定義・実行します。ARC-AGI-1の公開400タスク評価セットにおいて、このパイプラインはタスクあたり0.25ドルという低コストで57.50%のpass@2を達成しました。
次に、Reflective Orchestratorが提案されました。これは、パイプラインが生成した仮説がトレーニングペアで失敗した場合に、新しい変換を自律的に探索する拡張機能です。適応的再探索により、オーケストレーターはタスクあたり0.62ドルで67.25%のpass@2を達成しました。これらのアーキテクチャは、15.50%のワンショットベースラインを約52ポイント引き上げ、ベンチマーク固有のトレーニングや大量のテスト時計算を必要としません。
論文では、オーケストレーターによる向上がパイプラインの生成する反証可能な診断をテストしています。バイアスのないpass@k分析は、パイプラインが選択制約ではなく生成制約であることを示唆しており（トレーニングペアの精度による選択は候補上限の約95%を捕捉）、大幅な改善にはより良いランキングではなく、より広範な生成が必要であると予測しています。オーケストレーターは適応的再探索を通じてこの予測を実装し、バイアスのないpass@1の9.81ポイント向上（選択介在のpass@2向上と一致）を確認しました。さらに、パイプラインのアブレーション実験により、思考ツールが重要なコンポーネントであることが特定され、その除去によりpass@2が5.75ポイント低下しました。
この研究の重要性は、大規模な計算資源や専用トレーニングに頼らず、巧妙なエージェントアーキテクチャの設計だけで抽象推論タスクにおいて顕著な進歩を達成できることを示した点にあります。これはリソースに制約のある研究チームや実用的な応用にとって価値が高く、将来の推論システム設計に新たな方向性を提供します。