大型語言模型(LLM)在生成流暢文本方面取得了顯著成功,但其生成內容的可靠性一直缺乏原則性保證。傳統觀點認為,透過增加嚴謹的推理機制來提升可信度會帶來無法承受的計算開銷。然而,近期一篇由Leslie G. Valiant提交至arXiv的論文(編號2605.14036)提出了一種創新方法,有望在保持高效的同時實現原則性推理。
該方法的核心包含兩個階段。首先對輸入資料進行預處理,將其轉換為一種名為“Unary Relational Integracode”的顯式關係表示。這種編碼方式更清晰地表達了文本中描述的實體及其相互關係,避免了傳統分散式表示中資訊分散的問題。隨後,使用標準但可能經過精簡的機器學習過程進行學習,不僅預測文本內容,還學習預測這些顯式關係。
這一方法可被理解為構建了一個“世界模型”,並能夠應用於視覺、行動等多模態場景。例如,輸入中提到的某個物件的多個屬性會被顯式整合,而非分散在不同引用中。論文進一步利用“魯棒邏輯”系統來執行基於已學習(可能不確定)資訊的原理性鏈式推理,並證明這種重新編碼具有一個令人驚喜的特性:儘管編碼本身簡潔,但它使得學習訓練資料中世界關係規則的核心子集在多項式時間內可解(多項式複雜度取決於規則的複雜性)。這一結果支援了在單次分類器呼叫以及多次呼叫之間進行合理推理的可能性。
該方案的另一大優勢是相容性:它允許保留當前大部分軟體和硬體基礎設施,從而降低了實際部署的障礙。Valiant教授指出,該方法的效率足以應用於大型語言模型的實踐,同時保持了對現有計算資源的友好性。這項研究為提升LLM推理能力提供了新思路,有望在不犧牲效率的前提下增強模型的可信度和可解釋性,為人工智慧系統的可靠性提供更堅實的理論基礎。