在不燒令牌的情況下將AI工作流投入生產

將AI（或LLM的能力）投入生產是當今大多數工程師的核心指標或目標。本文探討了在將AI引入生產的同時控制令牌成本的最佳方式，使成本與收益的天平傾向於收益一側，為業務增加價值。

讓流程變得Agentic

市場的趨勢是使用代理流程（Agentic flows）。代理流程是指讓模型決定如何處理請求或流程，期望其解析和理解上下文的能力能帶來最佳結果。隨着模型變得成熟和“智能”，結果質量會更高，超過人為編碼的固定算法。然而，完全依賴模型調用的用例在生產環境中可能帶來巨大的令牌成本，尤其是高併發場景。當賬單到來時，成本可能超出預期。此外，一致性、延遲、安全性和治理問題也不容忽視。

生產中的AI

想對所有事情都用AI的直覺並不錯，但並非始終合理。團隊開始思考：哪些步驟真正需要“智能”，哪些只需要規則或邏輯？這不僅能解決令牌支出問題，還能改善延遲和一致性。一個常見的例子是費用審批：傳統上由人工審核或基於規則的HR系統處理。如果採用純AI代理讀取政策並審批所有請求，雖然靈活且看似高效，但令牌成本可能很高。

優化AI使用

更好的方法是：結合AI和確定性規則。在每次政策更新時，讓AI提取規則、創建測試場景並讓人類驗證，然後將規則部署到生產環境。對於費用請求，用户可以提交結構化數據（減少模型調用），規則優先處理大部分請求，僅在規則無法覆蓋時調用模型。這樣可以將令牌成本降低80-90%，同時保持靈活性和一致性。

判斷 vs 邏輯

在每個工作流步驟中，問自己：這一步是需要理解上下文、生成語言或做出微妙決策，還是僅僅遵循規則？大多數步驟在誠實評估後會發現比最初看起來更簡單。需要判斷的任務如分類模糊輸入、總結文檔；需要邏輯的任務如基於已知字段值路由、驗證數字閾值。

關於Unmeshed平台

Unmeshed幫助團隊在單一工作流中混合模型調用、確定性規則、API集成、人工審批和可觀測性。工程團隊可以可視化工作流中的每一步，將成本歸因到具體工作流，設置預算和範圍，並將重複性決策從模型調用轉移到確定性邏輯。通過決策表（規則引擎），可以使用AI創建規則並由人類驗證，然後以極低成本運行。

如果你的團隊正在將AI融入業務流程並開始關注成本、延遲和結果，Unmeshed提供了設計、運行、觀察和優化工作流的統一平台。