人工知能の分野において、エージェント型言語モデルはツールを呼び出すタイミング、ツール応答を消費するタイミング、そして直接回答するタイミングを学習する必要があります。これにより、マルチティーチャー・オンポリシー蒸留が自然な訓練戦略となります。すなわち、一方の教師はツール呼び出し、他方は直接回答に特化し、学生モデルは自身の生成分布上で両方から学習します。しかし、最新の研究は、この戦略が集約損失のみからは見えない行動変化を引き起こす可能性があることを示しています。
2教師ツール使用設定では、バニラ汎化知識蒸留はツール呼び出しのリコールを向上させる一方で、本来直接回答すべき事例に対してツールを呼び出す過剰呼び出しを引き起こします。集約的な説明では不十分であり、ツール呼び出しサンプルがより多くのトークン露出を受けるわけではなく、全シーケンスのトークンごとの発散もツール呼び出し教師の方が大きいわけではありません。
代わりに、研究者は行動レバレッジ不均衡を分析します。すなわち、モードエントリや構造的位置（特殊トークンや関数名など）における局所的なトークンレベルの信号が、全体的な生成モードに対して不釣り合いな制御力を持つ可能性があります。そこで、Soft Clampを提案します。これは、トークンごとの発散調整手法であり、極端なトークンレベルのジェンセン・シャノンダイバージェンスを動的に圧縮しつつ、非ゼロ勾配を保持します。
APIGen-MTベンチマークでは、Soft ClampはバニラGKDと比較して過剰呼び出し率を13.7%から9.0%に低減し、決定精度を維持しました。BFCLマルチターン診断では、GKD変種の中でツール呼び出しループと繰り返し呼び出しを低減しました。
これらの結果は、マルチティーチャーOPDにおいて、教師信号の大きさだけでなく、どこで作用するかを監視すべきであることを示唆しています。Soft Clampは効果的な調整手段を提供し、より信頼性の高いインテリジェントエージェントシステムの構築に貢献します。本研究はJiabin Shenらによって行われ、2026年7月8日にarXivに投稿されました（17ページ、6図を含む）。