SociaLLM工程：論如何操縱AI代理及其應對措施
一種名為'SociaLLM工程'的新型社會工程攻擊正針對大型語言模型驅動的AI代理。這些攻擊透過利用LLM的隱式社交理解和缺乏信任邊界，操縱其洩露敏感資訊或執行未授權操作。真實案例包括Instagram賬戶接管、GitHub工作流資料洩露以及AI瀏覽器的'BioShock'攻擊。文章分析了LLM為何特別脆弱——因其設計追求服從、單一通道處理以及無記憶力——並提出了人工監督和強化防護欄等緩解措施。
近年來，隨著大型語言模型（LLM）驅動的AI代理逐漸取代傳統客服人員，一種名為“SociaLLM工程”的新型社會工程攻擊正在迅速蔓延。這類攻擊利用社會工程技巧，透過操縱AI代理的決策來誘導其執行未經授權的操作，例如洩露敏感資訊或篡改賬戶。與傳統社會工程不同的是，SociaLLM工程直接針對AI系統，利用LLM的隱式社交理解和指令跟隨特性，使其難以區分可信與不可信的輸入。
文章中列舉了多個真實案例。2026年4月至5月間，攻擊者利用Instagram的AI輔助賬戶恢復系統，成功入侵超過2萬個賬戶，包括巴拉克·歐巴馬的白宮賬戶和絲芙蘭品牌賬戶。攻擊者僅透過使用商業VPN偽裝成目標位置，然後指示AI代理將恢復碼傳送到其控制的郵箱，從而繞過安全檢測。另一個案例是GitHub的Agentic Workflow功能中的“Gitlost”漏洞，攻擊者透過在GitHub Issue中隱藏命令，誘使代理執行超出範圍的操作，如訪問私有倉庫中的敏感檔案。此外，還有“BioShocking”技術，透過讓AI瀏覽器相信其不在現實世界中，從而迫使執行惡意命令，例如洩露憑證或安裝惡意軟體。
為什麼AI代理如此容易受到SociaLLM工程的影響？首先，通用LLM的設計初衷是服從指令並取悅使用者。透過人類反饋強化學習（RLHF）等微調技術，模型更加偏向於提供有幫助且順從的響應，而天然缺乏對指令來源可信度的判斷。其次，LLM缺乏傳統系統中的許可權分割機制。所有輸入和輸出都透過同一個通道流動，系統指令、敏感資料和不可信內容混雜在一起，攻擊者可以輕鬆透過語言上的細微操縱來覆蓋安全指令。最後，LLM無法從過往經驗中學習，這意味著它們會反覆執行相同的危險任務而不會觸發警報，而人類社會工程攻擊往往只有一次機會。
為應對這些威脅，文章建議對敏感操作保留“人在迴路中”的監督，實施嚴格的信任邊界，並採用AI防護欄來限制代理的許可權和自主性。隨著AI代理在企業中的應用日益廣泛，防範SociaLLM工程將成為網路安全領域的重要課題。