SkillCorpus: 実世界LLMエージェントのためのオープンスキルエコシステムの統合と評価

SkillCorpus：実世界LLMエージェントのためのオープンスキルエコシステムの統合と評価

大規模言語モデル（LLM）エージェントの能力を拡張する手段として、「スキル」と呼ばれるSKILL.mdファイルが広く使われています。これらのファイルは、LLMエージェントが再利用可能な手続き的知識をパッケージ化したもので、現在公開リポジトリには多数のスキルがホストされています。しかし、これらのスキルは断片的で、重複が多く、品質が不均一であり、実際のタスクにおける価値は明確ではありません。そこで、本研究では、オープンソースのSKILL.mdエコシステムを統合し、実世界のエージェントタスクに対する効果を評価する枠組み「SkillCorpus」を提案します。

SkillCorpusは、大規模なスキルエコシステムを収集、キュレーション、マッチング、評価するフレームワークです。まず、約82万1千のクロールされたスキルを多段階パイプラインでフィルタリングし、最終的に9万6千401のスキルを抽出します。これらのスキルは、16クラスの分類法（コード、データ処理、検索など）と、実用性、ロバストネス、安全性の3つの品質側面に基づいて整理されます。さらに、タスクに関連するスキルを効率的にマッチングするために、ファインチューニングされた検索・選択スタックが組み込まれています。

評価は、3つのベンチマーク（SkillsBench、GDPVal、QwenClawBench）を用いて行われました。2つのハーネス（エージェントフレームワーク）と2つのオープンバックボーンモデルを採用し、フロンティアロバストネスチェックも実施しています。実験の結果、SkillCorpusの統合により、すべてのベンチマークで一貫した性能向上が確認されました。特にSkillsBenchでは、最大7.5パーセンテージポイントの改善を達成しています。運用分析により、その改善はカバレッジ境界とハーネス境界に起因することが明らかになりました。カバレッジ境界はスキルライブラリの広さが性能に与える影響を指し、ハーネス境界はエージェントフレームワークとスキルマッチングメカニズムの相互作用に関連しています。

SkillCorpusの重要な貢献は、コミュニティスキルコーパスがいつ実際のエージェントタスクを改善し、いつ改善しないかをエンドツーエンドで示した最初の研究であることです。この研究は、スキル統合の効果を定量的に評価し、その限界を明確にしています。論文が受理され次第、データセット、モデル、コードは公開される予定です。