面向流式系统中事件触发的大语言模型调用的不确定性感知序列决策规则
该研究将何时调用大语言模型（LLM）的问题形式化为基于风险的序列停止问题，并证明了六个理论结果，包括最小事件间隔时间、阈值策略的最优性以及遗憾界。在涡扇退化数据上的实验表明，异常得分驱动的风险函数在Pareto AUC上比基线方法高出一个数量级。
随着流式推理管道的广泛应用，轻量级快速模型与大语言模型（LLM）的组合日益常见。LLM提供了丰富的语义理解能力，但调用成本高昂。因此，何时触发LLM调用成为一个关键问题。现有研究对此缺乏正式的理论处理。本文提出了一种基于风险的序列停止问题框架，当观测历史的风险函数超过某个阈值时，触发策略决定调用LLM。
在该框架下，作者证明了六个重要理论结果：最小事件间隔时间界（防止触发器抖动）、通过平滑粘贴的阈值策略最优性、近似SPRT保证、平稳流上的O(sqrt(T log T))遗憾界（扩展到C_T个变点时的O(sqrt((C_T+1)T log T))）、自适应阈值的在线梯度下降收敛速度为O(1/sqrt(T))，以及校准到误报率的传递不等式。这些结果使框架能够涵盖事件触发、最优停止、SPRT、CUSUM和贝叶斯触发器等多个经典触发器家族。
为验证理论，作者在涡扇退化数据集CMAPSS上进行了实验，使用真实LLM调用。实验验证了理论假设，消融研究了风险函数设计，并与包括RouteLLM风格路由器和上下文赌博机在内的六种基线进行了比较。结果证实了次线性遗憾（alpha=0.75），并表明异常得分驱动的风险函数在Pareto AUC上比替代方案高出约一个数量级。成本敏感性分析和LLM故障模式分析进一步揭示了框架的实用性。
该框架为流式系统中的LLM调用决策提供了坚实的理论基础和实用的算法设计，有望推动更高效、更可靠的AI管道发展。论文已被ECML PKDD 2026研究轨道接收，共计18页，5张图表。