AIエージェントにルーターを組み込むのは簡単に思える。簡単なリクエストは安価なモデルに、難しいタスクは高価なモデルに振り分けるだけだ。しかしIBM Researchの経験から、モデルルーティングは分類問題ではなくシステム最適化問題であることが明らかになった。コスト、複雑性、レイテンシの3つの次元が特に難しい。
まず、コストはモデル価格だけでは決まらない。AppWorldテストでは、Claude Sonnet 4.6の総コストがGPT-4.1を下回った。その理由はキャッシュにある。エージェントのワークロードはコンテキストを再利用するため、キャッシュヒット率が高いと実効コストが劇的に下がる。Sonnetのキャッシュ読み取り価格が低いことが、基本価格の高さと長い推論ステップを補った。ルーターが価格表だけを見ていると、誤った数字に対して最適化することになる。
第二に、タスクの複雑性はルーティング時点では見えないことが多い。「契約書を要約して」というリクエストは単純に見えるが、実際には検索、コンプライアンスチェック、ツール使用、複数回の洗練を必要とするかもしれない。一方、高度な技術的プロンプトが小型の専門モデルで効率的に処理されることもある。ルーターはコスト、品質、レイテンシ、コンプライアンス、信頼性を同時に考慮しなければならない。エンタープライズ環境では、データ所在地ルールやプライバシー制約などの追加要件が加わる。
第三に、レイテンシはモデルサイズだけで決まらない。ルーティング自体のオーバーヘッド、ハードウェア、キャッシュの状態、エンドポイントの混雑度が応答時間を大きく左右する。ルーティングの粒度も重要で、ステップごとのルーティングは柔軟性を高めるが、レイテンシと運用複雑性を増す。
IBM Researchはこれらの課題に対し、ルーティングを最適化問題として再定義した。コスト、品質、レイテンシを同時に最適化するアルゴリズムは、1タスクあたり約6ミリ秒と2KBのメモリしか消費しない。AppWorldテストでは、Opus単体と比較してコストを21%削減、レイテンシを9%改善し、精度はわずか4%低下した。標準的な難易度ベースのルーターは同様の精度範囲に達するものの、コストが高く、トレードオフ空間を十分に探索できない。
結論として、ルーティングはモデル選択ではなく、システム全体の最適化である。キャッシュ動作、インフラ状態、コンプライアンス制約、ワークロードパターンがすべて変数となる。うまく機能するルーターは、単一のタスクに最適なモデルを見つけるのではなく、システム全体の最適な動作点を見つける。これは分類よりも難しい問題だが、解決する価値がある。