CogniConsole：將推理時控制外部化作為可靠LLM互動的形式化抽象
新研究CogniConsole提出，大型語言模型的可靠性不僅取決於模型能力，還受推理時控制影響。透過結構化介面（結合程式化協調與有界提示推理），實驗證明增加結構支架可系統性地降低輸出方差和失敗率，表明許多失效模式源於控制不足。
大型語言模型（LLM）的可靠性通常被認為主要取決於模型本身的能力，例如引數規模、訓練資料等。然而，來自arXiv的一篇新論文《CogniConsole: Externalizing Inference-Time Control as a Formal Abstraction for Reliable LLM Interactions》挑戰了這一傳統觀念。作者Vanessa Figueiredo和Wilter Franceschi提出，可靠性在很大程度上受到“推理時控制”（inference-time control）的影響——即任務框架設定和上下文選擇這一計算層。
為此，他們引入了CogniConsole架構。該架構將推理時控制外部化為一個結構化介面，結合了程式化協調和有界提示推理。程式化協調負責管理任務流程和約束，而有界提示推理則利用語言模型的靈活推理能力，但將其限制在明確的邊界內。這種設計旨在解決LLM互動中常見的失效模式，如上下文漂移和不一致的約束遵守。
研究團隊透過“可控性導向探針”（controllability-oriented probes）在互動式環境中進行了489次測試。他們比較了從非結構化到完全結構化的不同支架水平對模型輸出的影響。結果顯示，在固定模型架構下，增加結構支架系統性地降低了輸出方差和失敗率。這表明，許多看似由能力不足導致的錯誤，實際上是由於推理時控制不夠明確造成的。
論文的結論強調，應將推理時控制視為一級抽象，而不是僅僅依賴模型擴充套件。這為設計更可靠的LLM系統提供了新方向，同時也為評估標準帶來了新的考量。未來，CogniConsole有望成為構建穩健LLM應用的重要工具。