AI News HubLIVE
站内改写1 分鐘閱讀

自動LLM路由,優化成本與速度

Factory Router 自動為每個編碼任務選擇最佳的AI模型,在保持性能的同時將成本降低高達25%。它通過分類器對模型進行評分,並路由到成本更優的選項,同時不犧牲質量。現已提供私有預覽。

來源Hacker News AI作者: terezatizkova

Factory Router 是 Factory 推出的一項新功能,旨在自動為每個編碼會話選擇最合適的大型語言模型(LLM),從而在保持性能的同時降低成本。傳統的做法是工程師為每個任務手動選擇模型,通常默認使用最強大的模型以確保性能,導致成本高昂。Factory Router 通過一個名為“router-classifier”的組件解決了這一問題,該組件讀取用户的第一個消息、最近的工具調用和倉庫信號,為每個候選模型生成質量概率評分。然後根據閾值(如0.70)和成本排序,選擇滿足質量要求的最便宜模型。

在基準測試中,與始終使用 Claude Opus 4.7 相比,Factory Router 能維持前沿性能,同時每個會話的成本降低高達25%。例如,對於“重置我的密碼”這樣的簡單任務,路由器會選擇像 Kimi K2.6 這樣的成本更低的模型,而對於“設計緩存層”這樣的複雜任務,則會選擇更強但更昂貴的模型。這種智能路由不僅節省了成本,還確保了企業級輸出質量。

除了成本優化,Factory Router 還提供了高可靠性。它支持跨模型、跨提供商的路由,當一個提供商出現降級或達到速率限制時,會話會自動切換到健康的提供商,保證99.9%以上的請求可靠性。企業客户還可以獲得專用的每分鐘令牌數(TPM),確保關鍵工作的持續運行。

對於管理員,Factory Router 允許設置路由指導規則,使自動模型選擇符合組織的實際工作方式。例如,可以設定常規重構、格式化和文檔更新傾向於成本高效的模型,而涉及身份驗證和支付等關鍵路徑則保持使用前沿模型。這些規則與現有的安全策略一致,無需單獨管理。

Factory Router 目前以私有研究預覽形式提供,適用於 Factory CLI 和桌面應用。啓用後,所有用户無需額外設置即可在模型選擇器中看到該選項。長期運行的任務也能享受相同的自動模型選擇和成本節省。企業用户可以通過聯繫銷售獲取更多信息。