在不烧令牌的情况下将AI工作流投入生产

将AI（或LLM的能力）投入生产是当今大多数工程师的核心指标或目标。本文探讨了在将AI引入生产的同时控制令牌成本的最佳方式，使成本与收益的天平倾向于收益一侧，为业务增加价值。

让流程变得Agentic

市场的趋势是使用代理流程（Agentic flows）。代理流程是指让模型决定如何处理请求或流程，期望其解析和理解上下文的能力能带来最佳结果。随着模型变得成熟和“智能”，结果质量会更高，超过人为编码的固定算法。然而，完全依赖模型调用的用例在生产环境中可能带来巨大的令牌成本，尤其是高并发场景。当账单到来时，成本可能超出预期。此外，一致性、延迟、安全性和治理问题也不容忽视。

生产中的AI

想对所有事情都用AI的直觉并不错，但并非始终合理。团队开始思考：哪些步骤真正需要“智能”，哪些只需要规则或逻辑？这不仅能解决令牌支出问题，还能改善延迟和一致性。一个常见的例子是费用审批：传统上由人工审核或基于规则的HR系统处理。如果采用纯AI代理读取政策并审批所有请求，虽然灵活且看似高效，但令牌成本可能很高。

优化AI使用

更好的方法是：结合AI和确定性规则。在每次政策更新时，让AI提取规则、创建测试场景并让人类验证，然后将规则部署到生产环境。对于费用请求，用户可以提交结构化数据（减少模型调用），规则优先处理大部分请求，仅在规则无法覆盖时调用模型。这样可以将令牌成本降低80-90%，同时保持灵活性和一致性。

判断 vs 逻辑

在每个工作流步骤中，问自己：这一步是需要理解上下文、生成语言或做出微妙决策，还是仅仅遵循规则？大多数步骤在诚实评估后会发现比最初看起来更简单。需要判断的任务如分类模糊输入、总结文档；需要逻辑的任务如基于已知字段值路由、验证数字阈值。

关于Unmeshed平台

Unmeshed帮助团队在单一工作流中混合模型调用、确定性规则、API集成、人工审批和可观测性。工程团队可以可视化工作流中的每一步，将成本归因到具体工作流，设置预算和范围，并将重复性决策从模型调用转移到确定性逻辑。通过决策表（规则引擎），可以使用AI创建规则并由人类验证，然后以极低成本运行。

如果你的团队正在将AI融入业务流程并开始关注成本、延迟和结果，Unmeshed提供了设计、运行、观察和优化工作流的统一平台。