自動LLM路由,最佳化成本與速度
Factory Router 自動為每個編碼任務選擇最佳的AI模型,在保持效能的同時將成本降低高達25%。它透過分類器對模型進行評分,並路由到成本更優的選項,同時不犧牲質量。現已提供私有預覽。
Factory Router 是 Factory 推出的一項新功能,旨在自動為每個編碼會話選擇最合適的大型語言模型(LLM),從而在保持效能的同時降低成本。傳統的做法是工程師為每個任務手動選擇模型,通常預設使用最強大的模型以確保效能,導致成本高昂。Factory Router 透過一個名為“router-classifier”的元件解決了這一問題,該元件讀取使用者的第一個訊息、最近的工具呼叫和倉庫訊號,為每個候選模型生成質量機率評分。然後根據閾值(如0.70)和成本排序,選擇滿足質量要求的最便宜模型。
在基準測試中,與始終使用 Claude Opus 4.7 相比,Factory Router 能維持前沿效能,同時每個會話的成本降低高達25%。例如,對於“重置我的密碼”這樣的簡單任務,路由器會選擇像 Kimi K2.6 這樣的成本更低的模型,而對於“設計快取層”這樣的複雜任務,則會選擇更強但更昂貴的模型。這種智慧路由不僅節省了成本,還確保了企業級輸出質量。
除了成本最佳化,Factory Router 還提供了高可靠性。它支援跨模型、跨提供商的路由,當一個提供商出現降級或達到速率限制時,會話會自動切換到健康的提供商,保證99.9%以上的請求可靠性。企業客戶還可以獲得專用的每分鐘令牌數(TPM),確保關鍵工作的持續執行。
對於管理員,Factory Router 允許設定路由指導規則,使自動模型選擇符合組織的實際工作方式。例如,可以設定常規重構、格式化和文件更新傾向於成本高效的模型,而涉及身份驗證和支付等關鍵路徑則保持使用前沿模型。這些規則與現有的安全策略一致,無需單獨管理。
Factory Router 目前以私有研究預覽形式提供,適用於 Factory CLI 和桌面應用。啟用後,所有使用者無需額外設定即可在模型選擇器中看到該選項。長期執行的任務也能享受相同的自動模型選擇和成本節省。企業使用者可以透過聯絡銷售獲取更多資訊。