ルーターを構築するな。小規模モデルにいつ大規模モデルに委譲するかを学習させる

要点

• 2段階カスケード：小規模モデルがほとんどの簡単なターンを処理し、フロンティアモデルが困難な少数を処理することで、コストと精度のバランスを実現。
• 小規模モデルは、自身の能力を超えた場合に「defer_to_larger_model」ツール呼び出しを発行するよう訓練されており、別途ルーターを必要としない。
• 航空会社サポートデモでは、小規模モデルが約96%のターンを処理し、最も難しい約4%のみをエスカレーション。品質は統計的に全フロンティアモデルと差がない。
• 訓練は知識蒸留に基づく：教師モデルが困難なターンをマークし、生徒モデルがそれを認識することを学習し、合成データで拡張する。