MLエンジニアリングエージェントは、毎回のコンペティションがコールドスタートであるため、既知の手法を再発見するcomputeを浪費しがちです。この問題を解決するため、Yongbin KimらはHASTEという階層型マルチエージェントシステムを提案しました。HASTEは、競技間の知識をグローバル、ドメイン、競技固有という3つのスコープ層に組織化し、それぞれを対応するエージェントレベルに結合します。オーケストレーターはドメインスペシャリストを調整し、LLM駆動の抽象化を通じて層間の学習を促進します。
階層的ローディングの有効性を検証するため、制御されたアブレーション実験が行われました。8つの競技で159のスキルインベントリを一定に保つと、層状ローディングは100%のメダル率を達成しましたが、フラットローディングは62.5%にとどまり、これはスキルを全くロードしない場合と同じメダル率でした。さらに、フラットローディングは出力トークンを2倍消費しました。これらの結果は、スキルを単に保有するだけでは不十分であり、その組織化が重要であることを示しています。
MLE-Bench Liteベンチマーク全体（22のKaggle競技）では、HASTEはClaude Sonnet 4.6を使用し、各競技12時間の設定で77.3%のメダル率を達成しました。コールドスタート実行では、システムは累積スキルなしで開始します。一方、ウォームスタート実行では、以前の競技から学習したスキルを再ロードしますが、競技間の転移にはグローバル層とドメイン層のスキルのみを使用します。
ウォームスタートはコールドスタートと比較して、リファインメント反復を52%削減しました。また、スキルインベントリの増加に伴い、エージェントが提案した変更を保持する割合が上昇しました。スキルインベントリが少ない場合は42%でしたが、利用可能なスキルが50以上になると85%に達しました。これらの発見は、知識の組織化を改善することで、モデルの強さや計算予算の一部を代替できる可能性を示唆しています。
本論文はICML 2026のDeep Learning for Codeワークショップに採択され、19ページから成り、arXivに公開されています。