面向流式系統中事件觸發的大語言模型調用的不確定性感知序列決策規則
該研究將何時調用大語言模型（LLM）的問題形式化為基於風險的序列停止問題，並證明了六個理論結果，包括最小事件間隔時間、閾值策略的最優性以及遺憾界。在渦扇退化數據上的實驗表明，異常得分驅動的風險函數在Pareto AUC上比基線方法高出一個數量級。
隨着流式推理管道的廣泛應用，輕量級快速模型與大語言模型（LLM）的組合日益常見。LLM提供了豐富的語義理解能力，但調用成本高昂。因此，何時觸發LLM調用成為一個關鍵問題。現有研究對此缺乏正式的理論處理。本文提出了一種基於風險的序列停止問題框架，當觀測歷史的風險函數超過某個閾值時，觸發策略決定調用LLM。
在該框架下，作者證明了六個重要理論結果：最小事件間隔時間界（防止觸發器抖動）、通過平滑粘貼的閾值策略最優性、近似SPRT保證、平穩流上的O(sqrt(T log T))遺憾界（擴展到C_T個變點時的O(sqrt((C_T+1)T log T))）、自適應閾值的在線梯度下降收斂速度為O(1/sqrt(T))，以及校準到誤報率的傳遞不等式。這些結果使框架能夠涵蓋事件觸發、最優停止、SPRT、CUSUM和貝葉斯觸發器等多個經典觸發器家族。
為驗證理論，作者在渦扇退化數據集CMAPSS上進行了實驗，使用真實LLM調用。實驗驗證了理論假設，消融研究了風險函數設計，並與包括RouteLLM風格路由器和上下文賭博機在內的六種基線進行了比較。結果證實了次線性遺憾（alpha=0.75），並表明異常得分驅動的風險函數在Pareto AUC上比替代方案高出約一個數量級。成本敏感性分析和LLM故障模式分析進一步揭示了框架的實用性。
該框架為流式系統中的LLM調用決策提供了堅實的理論基礎和實用的算法設計，有望推動更高效、更可靠的AI管道發展。論文已被ECML PKDD 2026研究軌道接收，共計18頁，5張圖表。