模型路由看似简单，实则不然？
本文探讨了AI代理中模型路由的复杂性，指出路由不仅仅是分类问题，而是系统优化问题。文章通过三个维度（成本、复杂度、延迟）揭示了常见误解，并介绍了IBM Research团队构建的基于优化的路由解决方案。
在AI代理系统中，模型路由看似是一个简单的分类问题：将简单请求分配给廉价模型，复杂请求留给昂贵模型。然而，IBM Research团队在实践中发现，这实际上是一个系统优化问题，涉及成本、复杂度和延迟三个维度。
首先，成本并非仅由模型定价决定。例如，在AppWorld测试中，Claude Sonnet 4.6的总成本低于GPT-4.1，尽管其标价更高。原因在于缓存：Sonnet的缓存读取价格较低，而代理工作负载通常重复使用上下文，使得缓存命中率成为关键因素。缓存行为使实际成本与模型标价脱钩，路由器若仅依赖定价表，将优化错误的数字。
其次，任务复杂度的评估常常滞后。一个看似简单的请求（如“总结合同”）可能涉及检索、合规检查等多步骤，而一个技术性强的任务却可能由小型专用模型高效完成。此外，路由器还须同时考虑成本、延迟、合规性等多种约束。企业部署更增加了合规要求、数据驻留规则、隐私限制和批准模型列表等约束。路由器面临的是多目标权衡问题。
最后，延迟不仅取决于模型大小。路由本身带来开销，基础设施状态（如硬件、缓存温度）往往主导端到端响应时间。此外，路由粒度的选择也需权衡灵活性与复杂度：每任务路由一次开销较小，但每步路由提供更大灵活性，却也增加了延迟和操作复杂性。
IBM Research团队因此放弃了分类思路，转而采用优化算法。该算法同时优化成本、质量和延迟，每次路由仅需约6毫秒和2KB内存。在AppWorld测试中，优化路由在保持高准确率的同时，实现了21%的成本降低和9%的延迟改善，而基于难度的标准路由器则无法探索完整的权衡空间。
结论是：模型路由的真正挑战在于优化整个系统，而非选择单个模型。缓存行为、基础设施状态、合规约束和工作负载模式都是关键变量。当路由生效时，很少是因为它找到了某个任务的“最佳”模型，而是因为它找到了整个系统的最佳运行点。这远比分类型问题复杂，但值得攻克。