Gumloop借助Fireworks AI在3周内将开源模型使用量提升7倍
Gumloop通过与Fireworks AI合作，在三周内将开源模型代理对话量提升7倍，成本降低高达72%，同时保持输出质量不变。
人工智能团队正面临一个转折点。开源权重模型的能力已足以支撑实际生产工作负载，为构建和扩展AI应用提供了更大的灵活性。对于Gumloop而言，这一转变带来了重新思考AI代理动力来源的机会。
随着使用量的增长，推理成本对Gumloop及其客户都构成压力。团队发现，许多代理工作负载可由开源模型处理，但前提是这些模型需达到生产环境所需的可靠性和质量。在针对开源模型优化代理框架并与Fireworks AI合作进行推理后，Gumloop将开源模型作为平台的一等公民选项。短短三周内，运行在开源模型上的代理对话量增长了7倍。
Gumloop帮助团队构建AI驱动的工作流和代理，实现跨组织的复杂任务自动化。这些代理执行信息提取、分类、路由、摘要等任务。随着采用率上升，AI的经济性成为日益重要的考量。每个新增工作流都可能带来更多模型调用和更高的推理成本。
与此同时，GLM-5.2和DeepSeek V4 Pro等新型开源模型的能力已达到足以胜任生产代理工作负载的水平。剩下的问题是它们能否提供用户期望的体验。Gumloop通过公司内部最重要的代理——一个全体员工用于访问公司数据和回答问题的助手——进行了测试。此前将这一代理从前沿模型迁移到开源替代品的尝试均告失败，员工立即察觉差异，团队不得不换回Opus。
当Gumloop将代理从Opus 4.8迁移到运行在Fireworks AI上的GLM-5.2时，情况发生了改变：没有人注意到差异。输出与Opus保持一致，这给了Gumloop信心，使开源模型成为推荐的生产选项。首席产品官Gonzalo Soto Mallqui表示：“顿悟时刻是我们决定是否将GLM-5.2作为推荐模型选项时。Fireworks让我们有信心这么做，而无需担心可靠性。当我们把公司内部代理从Opus 4.8迁移到GLM-5.2时，没人察觉到体验上的差异。”
为了采用开源模型，Gumloop优化了整个代理体验。团队针对开源模型优化了代理框架，并在内部验证模型后才向客户开放。开源模型现在不仅驱动代理工作流，还支持分类、标记和评估等支撑操作。迁移后，Gumloop实现了高达72%的成本节省，同时保持了相同的用户体验。
Gumloop在评估多家推理提供商后，选择了Fireworks AI作为开源模型的默认推理提供商。Gonzalo Soto Mallqui指出：“最大的好处是可靠性。我们尝试了其他提供商，但Fireworks在这方面领先，而且对我们的请求和查询响应非常快。”凭借Fireworks AI，Gumloop有信心将开源模型作为生产代理工作负载的推荐选项。
结合优化的代理框架和Fireworks AI推理平台，Gumloop取得了显著成果：三周内开源模型代理对话量增长7倍；内部生产代理从Opus 4.8迁移到GLM-5.2后成本节省高达72%；有信心推荐开源模型用于生产代理工作负载；并拥有可靠的架构来扩展开源模型采用。Fireworks AI首席执行官Lin Qiao评论道：“Gumloop是一个引人入胜的例子，展示了每家公司如何构建适合自身工作流和数据的AI代理。AI的未来属于基于开源模型构建的专门智能，我们很自豪Fireworks提供了让这些代理以生产所需的速度、可靠性和效率运行的架构。”
Gumloop的经历反映了AI发展的更广泛转变。随着开源模型改进，团队有更多灵活性根据能力、成本和控制为每个工作负载选择合适的模型。对于Gumloop，突破点在于开源模型既能提供用户期望的质量，又能改善运行AI代理的经济性。借助Fireworks AI的推理能力，Gumloop正在将这一方法推广到生产规模。