1回の書き換えで十分：実運用環境におけるスキル記述最適化からの実証的教訓

エンタープライズAIエージェントは、ユーザーのクエリを自然言語のスキル記述と照合して専門的なスキルにルーティングする。しかし、2つのスキルの記述が重複していると、ルーティングLLMがクエリを誤ったスキルに割り当ててしまう。この問題はスキル衝突と呼ばれ、エージェントが数十のスキルに拡大するにつれて、記述の手動調整は大きなエンジニアリング上のボトルネックとなる。

この課題に取り組むため、研究者らは本番環境のエンタープライズグループチャットエージェント（9スキル、372件の回帰テストケース）に自動記述最適化パイプラインを導入した。その結果、パイプラインが生成した記述の平均F1スコアは79.2%であり、手動調整による79.4%とほぼ同等（スキルあたりの平均差-0.20%、マルチシードノイズフロア0.78%以内）だった。さらに、スキルあたりのエンジニアリング工数は120分から3.8分へと32倍短縮された。

本研究の核心は、どのパイプラインコンポーネントがこの性能を実現しているかを明らかにした点にある。本番システムとToolBench（16,000ツール）を用いた系統的なアブレーション実験の結果、偽陽性と偽陰性の事例を利用した単一のLLM書き換えが、得られる改善の大部分を占めることが判明した。反復予算、フィードバック信号の構成、混乱ペアの二重編集、訓練データサイズといった他の設計選択が最終F1スコアに与える影響はすべて0.5%未満であった。つまり、実運用では、誤ったルーティング事例を収集し、LLMにそれらに基づいて1回だけ記述を書き換えさせるだけで、手動調整とほぼ同等の効果が得られる。

ただし、記述最適化は記述の重複によるスキル衝突にのみ有効であり、2つのスキルの本来のスコープが真に重複するケースには効果がない。研究者らは、訓練セットと検証セットのF1スコアに大きな差がある場合、それはスコープの真の重複を示唆し、テキストレベルではなくアーキテクチャレベルでの介入（スキルの再設計や統合など）が必要であると診断する方法を提案している。

この研究は、大規模AIエージェントシステムにおけるスキル記述管理に実践的な指針を提供する。単純な書き換え戦略の有効性を強調するとともに、その限界を明確に示しており、多スキルAIエージェントを構築・運用するエンジニアリングチームにとって、ルーティング精度を維持しながら記述調整の人的コストを大幅に削減する方法を示している。