大型語言模型(LLMs)越來越多地應用於需要多輪信息交換的交互式場景中,例如虛擬助手、故障排除和醫療諮詢。然而,現有的系統通常以被動方式處理對話,缺乏一種原則性機制來推理哪些信息缺失以及下一步應該詢問什麼問題。這種被動性導致效率低下和用户體驗差。
針對這一挑戰,來自斯坦福大學和加州大學伯克利分校的研究人員提出了一種新穎的方法:BALAR(貝葉斯智能循環主動推理)。BALAR是一種無需微調的任務無關外循環算法,旨在使LLM代理能夠與用户進行結構化的多輪交互。該算法的核心在於維護一個關於潛在狀態的貝葉斯信念,並利用期望互信息最大化來選擇最具信息量的澄清性問題。噹噹前的狀態表示不足以解決問題時,BALAR能夠動態擴展其狀態表示,以獲取更全面的信息。
研究團隊在三個不同的基準測試上評估了BALAR的性能:AR-Bench-DC(偵探案例)、AR-Bench-SP(思維謎題)和iCraft-MD(臨牀診斷)。在每個基準測試中,BALAR都顯著優於所有基線方法:在偵探案例上準確率提高14.6%,在思維謎題上提高38.5%,在臨牀診斷上提高30.5%。這些結果證明了貝葉斯方法在增強LLM交互智能方面的潛力。
值得注意的是,BALAR無需對底層LLM進行任何微調,這意味着它可以與任何預訓練模型結合使用,極大地降低了部署成本。此外,其任務無關的特性使得它能夠廣泛應用於各種領域,從日常問答到專業診斷。
這項研究不僅為主動推理提供了新的視角,也為開發更智能、更高效的AI交互系統鋪平了道路。隨着LLM在現實世界中的應用日益廣泛,像BALAR這樣的框架將成為推動人機協同的關鍵技術。