尽管语言模型努力仍会犯错：用于自纠正科学生成的共形预测
本研究提出科学可行性控制（SFC）框架，一种图结构共形预测方法，为科学推理的有效性提供统计保证。SFC将科学推理分解为原子单元，通过渐进式绝对一致事实性验证，在检测到违反科学原则时动态分支到替代生成路径。实验表明，SFC在PhyX等多模态科学推理基准上达到50.1%的准确率，超过DeepSeek-R1和GPT-4，同时将科学定律违反减少73%，并提供91.7%的科学有效性保证。
大型语言模型在生成技术内容时经常违反基本科学原则，这削弱了它们在科学应用中的可靠性。为了应对这一挑战，来自研究团队的最新论文《Though Language Models Err While They Strive: Conformal Prediction for Self-Correcting Scientific Generation》提出了科学可行性控制（Scientific Feasibility Control, SFC）框架。SFC是一种基于图结构的共形预测方法，能够为科学推理的有效性提供统计保证，通过渐进式绝对一致事实性验证来实现。
SFC的核心思想是将科学推理分解为原子化的绝对一致事实性单元，这些单元既要求每个断言相对于物理定律的正确性，也要求其与前后文逻辑一致。这种方法有效解决了科学推理中的级联效应——早期的科学错误会污染后续推理步骤。与将断言孤立处理的独立方法不同，SFC将逻辑依赖建模为近似可推导图，并通过实时验证运行。当检测到科学违规时，系统会动态分支到替代生成路径，并以已验证的上下文作为基础。
研究团队在多个公认的科学推理基准上评估了SFC，包括PhyX多模态物理推理、MATH、ScienceQA和ARC Challenge。结果显示，SFC在PhyX物理推理任务上达到50.1%的准确率，显著优于近期推理模型，如DeepSeek-R1（49.8%）和GPT-4（45.8%）。同时，SFC提供了91.7%的科学有效性保证（在α=0.10置信水平下），并将科学定律违反减少了73%。这些结果跨越多种模型架构，证明了框架的通用性和鲁棒性。
SFC的提出为在科学领域安全部署语言模型迈出了重要一步。通过结合共形预测的统计保障和动态错误校正机制，该框架有望成为未来科学AI系统的基础组件。论文还讨论了当前方法的局限性及未来研究方向，包括扩展到更复杂的推理链和多步骤实验设计。