arXiv:2609.02889 のプレプリントで、Michael Nguyen氏と5人の共同研究者は、自己進化型LLMエージェントの研究で一般的な前提に挑戦している。多くの既存手法は、凍結したLLMの周りに置くテキスト的足場、つまり「ハーネス」全体を、平らな一続きの文字列としてとらえ、それをリフレクション型の最適化器で書き換える。しかし、この方法では、変更が実際にどこで効いたのかが見えにくい。そこで著者らは、ハーネスを「役割」「タスク戦略」「ツール/フォーマット規則」「振り返り/制御」という4つの独立して進化可能なスロットに分解する HARNESSEVO を導入した。
同じリフレクション型最適化器を等予算条件下で使い、leave-one-in(特定スロットだけを進化させる)と leave-one-out(特定スロットを取り除く)の帰属分析を行う。凍結された7Bパラメータのモデルを使うALFWorldでは、HARNESSEVO全体の二値成功率は0.657で、元のハーネス(0.642)やフラット文字列進化(0.642)と比べても有意な改善は見られなかった。しかしスロット単位で見ると、有用な最適化価値のほとんどは「振り返り/制御」スロットに偏在し、このスロットだけを進化させると+0.119の利得があった。逆に他の3スロットは単独では効果がなかった。
さらに、予算の均等配分が有害であることを示す。進化に64回のロールアウトを使える場合、4スロットへ均等に配分すると1スロットあたり16回しか使えず、最適化器が有効に探索できる下限を下回る。その結果、すべてのスロットが空の初期シードのまま凍結し、どのコンポーネントにも価値がないように見える。対照的に、高い帰属スコアを持つ「振り返り/制御」スロットへ予算を集中させると、均等配分時の半分の予算で成功率を0.761へ引き上げられた。
ただし、この現象はタスク依存である。WebShopでは、すべてのスロットが空のまま凍結し、進化手法はどれも元のハーネスと同程度だった。著者らは、これはWebShopに最適化対象となる「繰り返し現れる、言葉で記述可能な制御失敗」が存在しないためだと解釈している。つまり、予算不足や探索能力の問題ではなく、そもそも改善のとっかかりがないのだ。
結論として、ハーネスの最適化価値は局所的であり、均等な予算分割は積極的に悪影響を及ぼし得る。そして、構造化されたエージェント進化を行う前には、まずクレジット割り当て(どのスロットが失敗の原因かを特定すること)が必要だ、と論文は主張している。開発者は、役割・戦略・形式・振り返りのすべてのプロンプトを同時に書き換えるよりも、失敗パターンを特定して、その修正に最も関係するスロットへ資源を集中させるべきだ。