模型路由看似簡單，實則不然？
本文探討了AI代理中模型路由的複雜性，指出路由不僅僅是分類問題，而是系統優化問題。文章通過三個維度（成本、複雜度、延遲）揭示了常見誤解，並介紹了IBM Research團隊構建的基於優化的路由解決方案。
在AI代理系統中，模型路由看似是一個簡單的分類問題：將簡單請求分配給廉價模型，複雜請求留給昂貴模型。然而，IBM Research團隊在實踐中發現，這實際上是一個系統優化問題，涉及成本、複雜度和延遲三個維度。
首先，成本並非僅由模型定價決定。例如，在AppWorld測試中，Claude Sonnet 4.6的總成本低於GPT-4.1，儘管其標價更高。原因在於緩存：Sonnet的緩存讀取價格較低，而代理工作負載通常重複使用上下文，使得緩存命中率成為關鍵因素。緩存行為使實際成本與模型標價脱鈎，路由器若僅依賴定價表，將優化錯誤的數字。
其次，任務複雜度的評估常常滯後。一個看似簡單的請求（如“總結合同”）可能涉及檢索、合規檢查等多步驟，而一個技術性強的任務卻可能由小型專用模型高效完成。此外，路由器還須同時考慮成本、延遲、合規性等多種約束。企業部署更增加了合規要求、數據駐留規則、隱私限制和批准模型列表等約束。路由器面臨的是多目標權衡問題。
最後，延遲不僅取決於模型大小。路由本身帶來開銷，基礎設施狀態（如硬件、緩存温度）往往主導端到端響應時間。此外，路由粒度的選擇也需權衡靈活性與複雜度：每任務路由一次開銷較小，但每步路由提供更大靈活性，卻也增加了延遲和操作複雜性。
IBM Research團隊因此放棄了分類思路，轉而採用優化算法。該算法同時優化成本、質量和延遲，每次路由僅需約6毫秒和2KB內存。在AppWorld測試中，優化路由在保持高準確率的同時，實現了21%的成本降低和9%的延遲改善，而基於難度的標準路由器則無法探索完整的權衡空間。
結論是：模型路由的真正挑戰在於優化整個系統，而非選擇單個模型。緩存行為、基礎設施狀態、合規約束和工作負載模式都是關鍵變量。當路由生效時，很少是因為它找到了某個任務的“最佳”模型，而是因為它找到了整個系統的最佳運行點。這遠比分類型問題複雜，但值得攻克。