なぜ二度解決するのか？転送効率的なMLエンジニアリングのための階層的スキル蓄積
本論文では、HASTEという階層型マルチエージェントシステムを提案。競技間の知識をグローバル、ドメイン、競技固有の3つのスコープ階層に整理し、LLM駆動の抽象化で階層間の学習を促進する。MLE-Bench Liteベンチマークで、Claude Sonnet 4.6を使用し1競技あたり12時間で77.3%のメダル率を達成。ウォームスタートではリファインメントイテレーションが52%減少し、知識組織化がモデル強度や計算予算を部分的に代替できることを示した。
機械学習エンジニアリングエージェントは、各競技でゼロから始めるため、既知の技術を再発見するために計算リソースを浪費しています。この問題に対処するため、研究チーム（Yongbin Kimら）はHASTE（階層的スキル蓄積と転送効率システム）を提案しました。これは、競技をまたいでスキルを蓄積・再利用する階層型マルチエージェントシステムです。HASTEの主要な革新は、知識をグローバル、ドメイン、競技固有の3つのスコープ階層に整理し、各階層にマッチしたエージェントレベルを対応付けた点にあります。オーケストレーターがドメイン専門家を調整し、LLM駆動の抽象化を通じて階層間の学習を促進します。
制御アブレーション実験では、8つの競技で159のスキルを一定に保った場合、階層的ローディングは100%のメダル率を達成しましたが、フラットローディングは62.5%にとどまり、スキルをロードしない場合と同じメダル率で、出力トークンは2倍でした。完全なMLE-Bench Liteベンチマーク（22のKaggle競技）では、HASTEはClaude Sonnet 4.6を使用し、1競技あたり12時間で77.3%のメダル率を達成しました。コールドスタートではシステムは蓄積スキルなしで開始しますが、ウォームスタートでは以前の競技から学習したスキルを再ロードし、転送にはグローバルおよびドメインレベルのスキルのみを使用します。ウォームスタートではリファインメントイテレーションが52%減少し、エージェントが保持する提案変更の割合は、スキルが少ない場合の42%から50以上のスキルが利用可能になると85%に上昇しました。
これらの結果は、より優れた知識組織化がモデル強度や計算予算を部分的に代替できることを示唆しており、効率的な機械学習エンジニアリングエージェントの構築に新たな道を開きます。本論文はICML 2026のDeep Learning for Codeワークショップ（DL4C）で採択されました。