跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

AI Mindmeld:一種潛空間互連協議

文章摘要

研究人員提出潛空間互連協議(LIP),透過獨立訓練的聯結器把蛋白質和小分子專家模型的內部表示直接對映進大語言模型內部狀態,從而繞過以文本等多模態格式傳遞資訊的瓶頸。他們在凍結的Gemma 3與Kimi K2.6上驗證了跨領域零樣本遷移和組合能力,同時指出當前LLM尚未針對專家表示進行原生訓練,可靠理解與推理仍是主要侷限。

來源arXiv Machine Learning作者: Siavash Golkar, Jake Kovalic, Shirley Ho
AI Mindmeld:一種潛空間互連協議
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

arXiv 於 2026 年 10 月 21 日(週三 15:47:56 UTC,1,304 KB)收錄了預印本論文《AI Mindmeld: A Latent Interconnect Protocol》(AI 心靈融合:一種潛在互連協議),作者為 Siavash Golkar 及另外兩位合著者,編號 arXiv:2610.30215v1,主分類為機器學習(cs.LG),交叉分類包括生物分子(q-bio.BM)與機器學習統計方向(stat.ML)。DOI 為 https://doi.org/10.48550/arXiv.2610.30215,由 DataCite 發放,目前尚待註冊。

論文的問題起點是:大語言模型已經可以作為科學智慧體,透過呼叫工具諮詢領域專家、執行實驗。但專家資訊必須以文本、影像、音訊或影片等形式進入模型的上下文,這就形成了擁有豐富高維表示的模型之間的瓶頸。作者主張直接的表示交換,即一種“心靈融合”(mindmeld),它傳遞的不只是單一結果,而是包含許多屬性的資訊,其中甚至包括 LLM 自己不會想到去請求的資訊。作者為該機制提出三項要求:可擴充套件到新的專家模型;能靈活應對不同問題與任務;以及在多個獨立連線的專家之間具備組合性,且無需聯合訓練。

為此,作者提出潛在互連協議(Latent Interconnect Protocol,LIP),學習將專家表示對映到 LLM 內部狀態的聯結器(connector),並且只訓練聯結器。作者強調,這種設計隨 LLM 規模增長與迭代演進仍具實用性,因為預訓練模型本身無需改動。

實驗設定方面,研究者將三個蛋白質專家模型與三個小分子專家模型連線到 Gemma 3(40 億與 120 億引數兩個版本)以及 Kimi K2.6(總引數 1 萬億、啟用引數 320 億),並凍結所有預訓練模型。實驗顯示,獨立訓練出的聯結器能夠提供有用資訊,既不改變 LLM,也不影響已有的聯結器,並且支援針對未見物件提出熟悉的問題型別與全新的問題型別。作者還展示了在無聯合訓練條件下向跨領域任務的零樣本遷移。總體而言,任務效能與組合性隨 LLM 能力提升而改善,零樣本任務遷移上的增益尤為明顯。

作者也明確列出侷限:當前 LLM 並非以專家表示為原生輸入訓練而成;僅僅獲得這些表示的訪問許可權,並不保證模型能可靠地解釋、整合並在推理中使用它們。因此,作者呼籲專家模型開發者提供一致的表示介面,並特別呼籲 LLM 開發者訓練模型去接收、組合並基於這類輸入進行推理。作者認為,這些努力可以擴充套件科學智慧體可獲取的資訊,同時保留傳統工具的靈活性。資料、預訓練聯結器以及用於訓練、評估和互動式推理的程式碼已在 https://github.com/PolymathicAI/AI-Mindmeld 公開。

展開要點與分析

文章情報

工程師進階

要點

  • LIP只訓練聯結器,凍結全部預訓練模型,使方法在LLM持續演進時仍具實用性
  • 將三個蛋白質專家與三個小分子專家接入Gemma 3(4B、12B)和Kimi K2.6(1T總引數、32B啟用)
  • 獨立訓練的聯結器可在不聯合訓練的情況下實現跨領域任務的零樣本遷移與組合
  • 侷限在於LLM未將專家表示作為原生輸入訓練,獲取資訊不等於能可靠解釋和推理

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。