自动LLM路由,优化成本与速度
Factory Router 自动为每个编码任务选择最佳的AI模型,在保持性能的同时将成本降低高达25%。它通过分类器对模型进行评分,并路由到成本更优的选项,同时不牺牲质量。现已提供私有预览。
Factory Router 是 Factory 推出的一项新功能,旨在自动为每个编码会话选择最合适的大型语言模型(LLM),从而在保持性能的同时降低成本。传统的做法是工程师为每个任务手动选择模型,通常默认使用最强大的模型以确保性能,导致成本高昂。Factory Router 通过一个名为“router-classifier”的组件解决了这一问题,该组件读取用户的第一个消息、最近的工具调用和仓库信号,为每个候选模型生成质量概率评分。然后根据阈值(如0.70)和成本排序,选择满足质量要求的最便宜模型。
在基准测试中,与始终使用 Claude Opus 4.7 相比,Factory Router 能维持前沿性能,同时每个会话的成本降低高达25%。例如,对于“重置我的密码”这样的简单任务,路由器会选择像 Kimi K2.6 这样的成本更低的模型,而对于“设计缓存层”这样的复杂任务,则会选择更强但更昂贵的模型。这种智能路由不仅节省了成本,还确保了企业级输出质量。
除了成本优化,Factory Router 还提供了高可靠性。它支持跨模型、跨提供商的路由,当一个提供商出现降级或达到速率限制时,会话会自动切换到健康的提供商,保证99.9%以上的请求可靠性。企业客户还可以获得专用的每分钟令牌数(TPM),确保关键工作的持续运行。
对于管理员,Factory Router 允许设置路由指导规则,使自动模型选择符合组织的实际工作方式。例如,可以设定常规重构、格式化和文档更新倾向于成本高效的模型,而涉及身份验证和支付等关键路径则保持使用前沿模型。这些规则与现有的安全策略一致,无需单独管理。
Factory Router 目前以私有研究预览形式提供,适用于 Factory CLI 和桌面应用。启用后,所有用户无需额外设置即可在模型选择器中看到该选项。长期运行的任务也能享受相同的自动模型选择和成本节省。企业用户可以通过联系销售获取更多信息。