迈向可靠的LLM驱动代理工作流设计：优化延迟-可靠性-成本权衡
本文分析了大型语言模型（LLM）驱动的代理工作流中延迟、可靠性和成本之间的基本权衡，提出了一种参数化指数可靠性函数来建模LLM代理的计算投入与输出质量关系，并推导了最优令牌分配策略（注水算法）以及影子价格表征。
文章情报
要点
- LLM代理工作流面临延迟、可靠性和成本的三难权衡。
- 提出基于指数可靠性函数的性能模型，量化计算投入与输出质量的关系。
- 提出注水令牌分配策略，在延迟和成本约束下优化工作流可靠性。
为什么重要
这条新闻值得关注，因为LLM代理工作流面临延迟、可靠性和成本的三难权衡。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
现代人工智能系统越来越依赖于由多个交互代理组成的工作流，其中一些代理由大型语言模型（LLM）驱动，而另一些则由常规计算模块驱动。这种设计虽然灵活，却引入了延迟、可靠性和成本之间的复杂权衡。一篇发表于arXiv的论文（ID: 2605.23929）系统分析了这一三角关系，并提出了优化设计方法。
论文作者Ya-Ting Yang和Quanyan Zhu首先为LLM代理和非LLM代理建立了性能模型。对于LLM代理，他们引入了一种参数化指数可靠性函数，该函数将推理和输出令牌的计算投入与输出质量联系起来。这一模型的关键洞察是：增加令牌分配（即更多推理计算）可以提升可靠性，但边际收益递减。该模型基于大量实验数据，能够准确刻画不同LLM在特定任务上的可靠性曲线。
基于该模型，论文研究了在延迟和成本约束下设计顺序工作流的问题。主要成果包括一个“注水”令牌分配策略：该策略类似于通信中的注水算法，在不同代理之间动态分配令牌预算，以最大化整体工作流可靠性。具体而言，算法会根据各代理的可靠性增益函数，将令牌分配给边际收益最高的环节，直至预算耗尽。同时，论文还以影子价格的形式刻画了最优工作流可靠性的边界条件，为系统设计者提供了量化的决策依据。例如，影子价格可以告诉你增加一个单位的延迟预算能带来多少可靠性提升。
这项研究为LLM代理系统的实际部署提供了理论指导，尤其适用于对延迟和成本敏感的场景，如实时交互系统或资源受限的边缘设备。论文还讨论了在实际系统中如何估计可靠性函数参数的方法，以及非顺序工作流扩展的初步思路。未来，该框架有望扩展到更复杂的非顺序工作流和多目标优化场景，例如同时考虑能源消耗和公平性问题。