跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

雙院模型:並行語言模型間的雙向隱藏狀態耦合

文章摘要

雙院模型透過可訓練的神經介面耦合兩個凍結的語言模型,實現隱藏狀態級別的連續通訊,無需文本序列化。在算術、邏輯謎題和數學推理任務上顯著提升效能。

來源arXiv Computational Linguistics作者: Cedric Flamant, Udaya Ghai, Kanna Shimizu
雙院模型:並行語言模型間的雙向隱藏狀態耦合
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

當前,多模型協作和工具增強系統普遍採用文本生成作為通訊媒介,每個互動步驟都需要將資訊序列化為離散詞彙。這種序列機制效率低下,且嚴重限制了資訊傳輸的頻寬和豐富度。為了解決這一問題,Cedric Flamant及其合作者提出了雙院模型(Bicameral Model),透過一個輕量可訓練的神經介面,在兩個完全凍結的預訓練語言模型的中間隱藏狀態之間建立雙向耦合,從而實現連續併發的隱藏狀態級資訊交換。

雙院模型的核心由兩個並行執行的模型組成:主模型專注於驅動目標任務,而輔助模型則負責操作外部工具(如計算器、約束求解器和Python沙箱)、求解約束或執行程式碼。在每個生成時間步,兩個模型嚴格同步執行,並透過一個翻譯網路(translation network)和一個學習到的抑制門(suppression gate)相互調節彼此的啟用值。這個抑制門僅佔模型總引數的約1%,卻能純粹從任務損失訊號中自主學會一種選擇性通訊協議,無需任何預先定義的格式或語法。

研究團隊在三種不同的工具後端上驗證了該方法的有效性。在算術任務中,兩個引數規模為0.5B的模型透過隱藏狀態耦合與計算器結合,在測試集上的準確率從基線模型的36%大幅提升至96%。在邏輯網格謎題ZebraLogic上,兩個0.6B模型耦合Z3約束求解器後,效能達到未增強基線的1.7倍。最令人驚歎的是在數學推理任務中,輔助模型僅透過隱藏狀態訊號就能生成針對特定問題的Python程式碼,並且在不接觸問題文本的情況下成功執行。這些結果表明,隱藏狀態耦合不僅能有效傳遞任務相關資訊,還能讓輔助模型在沒有文本輸入的情況下完成複雜的程式碼生成任務。

隱藏狀態級通訊正規化從根本上改變了多模型協作的方式。傳統方法需要將複雜的高維資訊壓縮成低維離散文本,這不可避免地導致資訊損失。而雙院模型允許連續、高維的隱藏狀態直接傳遞,保留了資訊的完整性和豐富性。此外,由於主輔兩個模型在整個訓練過程中保持凍結,僅訓練微量的耦合引數,因此訓練成本極低,具有很高的實際應用價值。

儘管雙院模型目前仍處於概念驗證階段,但它在多個具有挑戰性的任務上取得的顯著改進強有力地表明,隱藏狀態耦合可能成為未來多模型系統和工具增強人工智慧的關鍵使能技術。研究團隊已公開論文全文和程式碼,以鼓勵學界進一步探索這一方向。

展開要點與分析

文章情報

工程師進階

要點

  • 兩個凍結的語言模型透過隱藏狀態耦合,實現連續併發通訊
  • 輔助模型可操作工具、求解約束或執行程式碼,與主模型同步執行
  • 在算術任務中準確率從36%提升至96%,邏輯謎題效能提升1.7倍
  • 僅需約1%的額外引數,門控機制從任務損失中學習選擇性通訊協議

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。