CogniConsole：将推理时控制外部化作为可靠LLM交互的形式化抽象
新研究CogniConsole提出，大型语言模型的可靠性不仅取决于模型能力，还受推理时控制影响。通过结构化接口（结合程序化协调与有界提示推理），实验证明增加结构支架可系统性地降低输出方差和失败率，表明许多失效模式源于控制不足。
大型语言模型（LLM）的可靠性通常被认为主要取决于模型本身的能力，例如参数规模、训练数据等。然而，来自arXiv的一篇新论文《CogniConsole: Externalizing Inference-Time Control as a Formal Abstraction for Reliable LLM Interactions》挑战了这一传统观念。作者Vanessa Figueiredo和Wilter Franceschi提出，可靠性在很大程度上受到“推理时控制”（inference-time control）的影响——即任务框架设定和上下文选择这一计算层。
为此，他们引入了CogniConsole架构。该架构将推理时控制外部化为一个结构化接口，结合了程序化协调和有界提示推理。程序化协调负责管理任务流程和约束，而有界提示推理则利用语言模型的灵活推理能力，但将其限制在明确的边界内。这种设计旨在解决LLM交互中常见的失效模式，如上下文漂移和不一致的约束遵守。
研究团队通过“可控性导向探针”（controllability-oriented probes）在交互式环境中进行了489次测试。他们比较了从非结构化到完全结构化的不同支架水平对模型输出的影响。结果显示，在固定模型架构下，增加结构支架系统性地降低了输出方差和失败率。这表明，许多看似由能力不足导致的错误，实际上是由于推理时控制不够明确造成的。
论文的结论强调，应将推理时控制视为一级抽象，而不是仅仅依赖模型扩展。这为设计更可靠的LLM系统提供了新方向，同时也为评估标准带来了新的考量。未来，CogniConsole有望成为构建稳健LLM应用的重要工具。