大規模言語モデル（LLM）を基盤とするエージェントシステムは、プロンプト、スキル、メモリ、ツールといった編集可能な外部ハーネスを中心に構築されることが増えている。これらのハーネスはモデルのパラメータを変更せずにタスク実行の振る舞いを形作る。ハーネス自己進化とは、実行から得られた証拠に基づいてこれらのハーネスを更新し、エージェントを適応させる仕組みである。しかし、モデルのタスク解決における基礎能力がハーネス自己進化の能力を予測できるかは明らかになっていない。どのモデルが有用なハーネス更新を生み出し、どのモデルが実際にその更新から利益を得るのか、という問いである。
この問いに答えるため、新たな論文はハーネス自己進化を二つの能力に分解して評価した。第一は「ハーネス更新」能力で、実行証拠から有用で永続的なハーネス更新を生成する能力である。第二は「ハーネス利益」能力で、タスク解決中に更新されたハーネスから利益を得る能力である。研究チームは様々な能力層のモデルを体系的に分析し、二つの主要な発見を得た。
第一の発見は、ハーネス更新能力が基礎能力層に対して驚くほど平坦であることだ。異なる能力層のモデルが生成するハーネス更新は、ほぼ同様の性能向上をもたらす。Qwen3.5-9Bのような比較的小さなモデルでも、Claude Opus 4.6などの強力なモデルと同等の更新効果を示す。これは、有用なハーネス更新を生み出すために極端に高いタスク解決能力は必要なく、弱いモデルでも進化器の役割を果たせることを示唆している。
第二の発見はより複雑で、ハーネス利益と基礎能力の関係は非単調である。弱いモデルは更新されたハーネスからほとんど利益を得られず、中位の能力を持つモデルが最も大きな利益を得る。一方、強いモデルは中位モデルよりも利益が少ない。研究チームは弱いモデルの利益が低い理由を二つの失敗モードに帰着させた。一つは、弱いモデルが関連するハーネス成果物を起動できないこと。もう一つは、起動はできてもその指示に忠実に従えないことである。
これらの発見はエージェントシステムの設計に重要な示唆を与える。まず、能力予算を進化器モデルに大量に投入するよりも、タスク解決エージェント自体の基礎能力を高めることに集中すべきである。進化器の出力品質はモデル間で大きく変わらないため、タスク解決エージェントの能力が更新を有効活用できるかを直接左右する。次に、エージェントの訓練ではハーネス呼び出しと長期的な指示遵守能力に特に注目すべきである。これらは弱いモデルの主なボトルネックだからだ。
この論文はarXivに収録されており、番号は2605.30621、2026年5月28日に提出された。全24ページで、9つの図と12の表を含む。著者はMinhua Lin氏ら17名である。ソースコードはGitHubで公開されており、リポジトリA-EVO-Lab/a-evolveのrelease/harness-evolutionブランチから入手できる。コミュニティによる再現とさらなる研究が期待される。