多智能體人工智能系統在相互作用過程中可能形成內部聯盟,這些新興的羣體層級結構對於AI安全與價值對齊至關重要。然而,僅通過觀察智能體的外部行為往往不足以區分真正的信息耦合與虛假的相似性,因為具有重要意義的聯盟可能在內部表徵層面形成,然後才表現為行為變化。針對這一問題,一篇發表於arXiv的論文(arXiv:2605.06696)提出了一種從多智能體系統內部神經表徵中檢測聯盟結構的實用方法。該方法通過構建智能體隱藏狀態之間的成對互信息圖,並應用頻譜劃分技術,能夠識別出最顯著的聯盟邊界。研究團隊在兩個領域驗證了該方法的有效性。首先,在多智能體強化學習(MARL)環境中,該方法成功恢復了預設的層級和動態聯盟結構,並正確拒絕了僅由行為協調導致的假陽性。其次,在大語言模型(LLM)中,該方法能夠識別由描述性提示隱含的聯盟結構,跟蹤動態團隊再分配,並揭示了明確標籤主導表徵層級的現象。值得注意的是,該方法揭示的亞羣組織形式是標量跨智能體互信息度量無法區分的。這些結果表明,通過頻譜劃分分析隱藏狀態互信息,能夠提供一種可擴展的診斷工具,用於識別表徵層面的聯盟,從而為監控分佈式AI系統中的新興結構提供了寶貴手段。這一工作對於AI安全與對齊具有重要意義,因為它使得在聯盟形成初期就能被檢測到,為干預提供了可能。
多智能體AI中的隱藏聯盟:基於內部表示的頻譜診斷方法
文章摘要
本文介紹一種從多智能體系統內部神經表徵中檢測聯盟結構的新方法,通過構建隱藏狀態的成對互信息圖並應用頻譜劃分來識別最顯著的聯盟邊界。在MARL和LLM領域的實驗驗證了該方法能有效恢復真實聯盟並拒絕虛假陽性。
多智能體AI中的隱藏聯盟:基於內部表示的頻譜診斷方法