儘管語言模型努力仍會犯錯：用於自糾正科學生成的共形預測
本研究提出科學可行性控制（SFC）框架，一種圖結構共形預測方法，為科學推理的有效性提供統計保證。SFC將科學推理分解為原子單元，通過漸進式絕對一致事實性驗證，在檢測到違反科學原則時動態分支到替代生成路徑。實驗表明，SFC在PhyX等多模態科學推理基準上達到50.1%的準確率，超過DeepSeek-R1和GPT-4，同時將科學定律違反減少73%，並提供91.7%的科學有效性保證。
大型語言模型在生成技術內容時經常違反基本科學原則，這削弱了它們在科學應用中的可靠性。為了應對這一挑戰，來自研究團隊的最新論文《Though Language Models Err While They Strive: Conformal Prediction for Self-Correcting Scientific Generation》提出了科學可行性控制（Scientific Feasibility Control, SFC）框架。SFC是一種基於圖結構的共形預測方法，能夠為科學推理的有效性提供統計保證，通過漸進式絕對一致事實性驗證來實現。
SFC的核心思想是將科學推理分解為原子化的絕對一致事實性單元，這些單元既要求每個斷言相對於物理定律的正確性，也要求其與前後文邏輯一致。這種方法有效解決了科學推理中的級聯效應——早期的科學錯誤會污染後續推理步驟。與將斷言孤立處理的獨立方法不同，SFC將邏輯依賴建模為近似可推導圖，並通過實時驗證運行。當檢測到科學違規時，系統會動態分支到替代生成路徑，並以已驗證的上下文作為基礎。
研究團隊在多個公認的科學推理基準上評估了SFC，包括PhyX多模態物理推理、MATH、ScienceQA和ARC Challenge。結果顯示，SFC在PhyX物理推理任務上達到50.1%的準確率，顯著優於近期推理模型，如DeepSeek-R1（49.8%）和GPT-4（45.8%）。同時，SFC提供了91.7%的科學有效性保證（在α=0.10置信水平下），並將科學定律違反減少了73%。這些結果跨越多種模型架構，證明了框架的通用性和魯棒性。
SFC的提出為在科學領域安全部署語言模型邁出了重要一步。通過結合共形預測的統計保障和動態錯誤校正機制，該框架有望成為未來科學AI系統的基礎組件。論文還討論了當前方法的侷限性及未來研究方向，包括擴展到更復雜的推理鏈和多步驟實驗設計。