Gumloop藉助Fireworks AI在3周內將開源模型使用量提升7倍
Gumloop通過與Fireworks AI合作，在三週內將開源模型代理對話量提升7倍，成本降低高達72%，同時保持輸出質量不變。
人工智能團隊正面臨一個轉折點。開源權重模型的能力已足以支撐實際生產工作負載，為構建和擴展AI應用提供了更大的靈活性。對於Gumloop而言，這一轉變帶來了重新思考AI代理動力來源的機會。
隨着使用量的增長，推理成本對Gumloop及其客户都構成壓力。團隊發現，許多代理工作負載可由開源模型處理，但前提是這些模型需達到生產環境所需的可靠性和質量。在針對開源模型優化代理框架並與Fireworks AI合作進行推理後，Gumloop將開源模型作為平台的一等公民選項。短短三週內，運行在開源模型上的代理對話量增長了7倍。
Gumloop幫助團隊構建AI驅動的工作流和代理，實現跨組織的複雜任務自動化。這些代理執行信息提取、分類、路由、摘要等任務。隨着採用率上升，AI的經濟性成為日益重要的考量。每個新增工作流都可能帶來更多模型調用和更高的推理成本。
與此同時，GLM-5.2和DeepSeek V4 Pro等新型開源模型的能力已達到足以勝任生產代理工作負載的水平。剩下的問題是它們能否提供用户期望的體驗。Gumloop通過公司內部最重要的代理——一個全體員工用於訪問公司數據和回答問題的助手——進行了測試。此前將這一代理從前沿模型遷移到開源替代品的嘗試均告失敗，員工立即察覺差異，團隊不得不換回Opus。
當Gumloop將代理從Opus 4.8遷移到運行在Fireworks AI上的GLM-5.2時，情況發生了改變：沒有人注意到差異。輸出與Opus保持一致，這給了Gumloop信心，使開源模型成為推薦的生產選項。首席產品官Gonzalo Soto Mallqui表示：“頓悟時刻是我們決定是否將GLM-5.2作為推薦模型選項時。Fireworks讓我們有信心這麼做，而無需擔心可靠性。當我們把公司內部代理從Opus 4.8遷移到GLM-5.2時，沒人察覺到體驗上的差異。”
為了採用開源模型，Gumloop優化了整個代理體驗。團隊針對開源模型優化了代理框架，並在內部驗證模型後才向客户開放。開源模型現在不僅驅動代理工作流，還支持分類、標記和評估等支撐操作。遷移後，Gumloop實現了高達72%的成本節省，同時保持了相同的用户體驗。
Gumloop在評估多家推理提供商後，選擇了Fireworks AI作為開源模型的默認推理提供商。Gonzalo Soto Mallqui指出：“最大的好處是可靠性。我們嘗試了其他提供商，但Fireworks在這方面領先，而且對我們的請求和查詢響應非常快。”憑藉Fireworks AI，Gumloop有信心將開源模型作為生產代理工作負載的推薦選項。
結合優化的代理框架和Fireworks AI推理平台，Gumloop取得了顯著成果：三週內開源模型代理對話量增長7倍；內部生產代理從Opus 4.8遷移到GLM-5.2後成本節省高達72%；有信心推薦開源模型用於生產代理工作負載；並擁有可靠的架構來擴展開源模型採用。Fireworks AI首席執行官Lin Qiao評論道：“Gumloop是一個引人入勝的例子，展示了每家公司如何構建適合自身工作流和數據的AI代理。AI的未來屬於基於開源模型構建的專門智能，我們很自豪Fireworks提供了讓這些代理以生產所需的速度、可靠性和效率運行的架構。”
Gumloop的經歷反映了AI發展的更廣泛轉變。隨着開源模型改進，團隊有更多靈活性根據能力、成本和控制為每個工作負載選擇合適的模型。對於Gumloop，突破點在於開源模型既能提供用户期望的質量，又能改善運行AI代理的經濟性。藉助Fireworks AI的推理能力，Gumloop正在將這一方法推廣到生產規模。