ストリーミング推論パイプラインでは、軽量で高速なモデルと大規模言語モデル（LLM）を組み合わせることが増えています。LLMは豊かな意味理解を提供しますが、呼び出しコストが大きいため、いつLLMを呼び出すかが重要な課題です。本論文では、これをリスクベースの逐次停止問題として定式化し、観測履歴上のリスク関数が閾値を超えたときにトリガーが発動するフレームワークを提案します。
著者らは、このフレームワーク内で6つの理論的結果を証明しました：最小イベント間時間によるトリガーチャタリングの排除、スムーズペースティングによる閾値ポリシーの最適性、推定パラメータ下での近似SPRT保証、定常ストリームでのO(sqrt(T log T))後悔（C_T個の変化点ではO(sqrt((C_T+1)T log T))）、適応閾値のオンライン勾配降下のO(1/sqrt(T))収束、およびキャリブレーションからミス率への転送不等式。これらの結果により、イベントトリガー、最適停止、SPRT、CUSUM、ベイズトリガーなどの古典的なトリガーファミリーがこのフレームワークの特殊ケースとして表現できます。
理論を検証するため、ターボファン劣化データ（CMAPSS）を用いて実LLM呼び出しによる実験を行いました。理論的仮定を検証し、リスク関数設計をアブレーションし、RouteLLMスタイルルーターや文脈的バンディットを含む6つのベースラインと比較しました。結果は、サブリニア後悔（alpha=0.75）を確認し、異常スコア駆動型リスク関数がPareto AUCで代替手法を約一桁上回ることを示しました。コスト感度分析とLLM障害モード分析も実施し、フレームワークの実用性を実証しています。
本論文は、ストリーミングシステムにおけるLLM呼び出し判断に堅牢な理論基盤と実用的アルゴリズムを提供し、より効率的で信頼性の高いAIパイプラインの開発に貢献します。論文はECML PKDD 2026研究トラックに採択され、18ページ、5図から構成されています。