LLM 级联与模型路由的核心思路，是让简单查询交给小模型处理、把困难查询升级给大模型，从而降低推理成本。然而论文指出，目前大多数已部署的路由器依赖未校准的置信度分数，并且需要针对每个工作负载单独调整阈值，这限制了它们在真实生产环境中的可靠性与可移植性。针对这一问题，作者 Varun Kotte 提出了 UCCI，一种“校准优先”的路由器。该论文于 2026 年 5 月 11 日提交至 arXiv，编号 2605.18796，属于机器学习（cs.LG）与计算与语言（cs.CL）方向，全文共 9 页、2 张图、4 张表，并附有代码链接。
UCCI 的做法是：首先把 token 级别的 margin 不确定性，通过等渗回归（isotonic regression）映射为每个查询的误差概率，然后通过带约束的成本最小化来选择升级阈值。作者给出了理论层面的论证：在三个明确假设下，基于校准分数的阈值策略具有成本最优性；同时，等渗校准在期望校准误差（ECE）上达到 O(n^{-1/3}) 的样本复杂度。这意味着该方法不仅有工程上的收益，也在统计学习理论上有相应的保证。
在实验方面，作者采用了一个生产级的命名实体识别（NER）工作负载，共包含 75,000 条查询，由运行在 H100 GPU 上的 4B 与 12B 指令微调模型共同服务。结果显示，在 micro-F1 达到 0.91 的情况下，UCCI 将推理成本降低了 31%（95% 置信区间为 [27%, 35%]），同时把期望校准误差从 0.12 降至 0.03。在相同的工作点上，UCCI 的表现优于熵阈值方法、split-conformal 路由，以及 FrugalGPT 风格的习得阈值方案。
论文特别强调了实验设置的严谨性：所有级联结果都基于真实模型输出的端到端路由，并使用实测的 H100 延迟，而不是依据全局准确率或名义 API 价格进行的模拟路由。这一细节对于评估路由方法的实际价值尤为关键，因为模拟环境往往会高估或低估真实部署中的成本收益。总体而言，UCCI 将不确定性校准与成本约束优化结合起来，为 LLM 级联路由提供了一条兼顾理论保证与生产可用性的路径。