SociaLLM工程：論如何操縱AI代理及其應對措施

近年來，隨着大型語言模型（LLM）驅動的AI代理逐漸取代傳統客服人員，一種名為“SociaLLM工程”的新型社會工程攻擊正在迅速蔓延。這類攻擊利用社會工程技巧，通過操縱AI代理的決策來誘導其執行未經授權的操作，例如泄露敏感信息或篡改賬户。與傳統社會工程不同的是，SociaLLM工程直接針對AI系統，利用LLM的隱式社交理解和指令跟隨特性，使其難以區分可信與不可信的輸入。

文章中列舉了多個真實案例。2026年4月至5月間，攻擊者利用Instagram的AI輔助賬户恢復系統，成功入侵超過2萬個賬户，包括巴拉克·奧巴馬的白宮賬户和絲芙蘭品牌賬户。攻擊者僅通過使用商業VPN偽裝成目標位置，然後指示AI代理將恢復碼發送到其控制的郵箱，從而繞過安全檢測。另一個案例是GitHub的Agentic Workflow功能中的“Gitlost”漏洞，攻擊者通過在GitHub Issue中隱藏命令，誘使代理執行超出範圍的操作，如訪問私有倉庫中的敏感文件。此外，還有“BioShocking”技術，通過讓AI瀏覽器相信其不在現實世界中，從而迫使執行惡意命令，例如泄露憑證或安裝惡意軟件。

為什麼AI代理如此容易受到SociaLLM工程的影響？首先，通用LLM的設計初衷是服從指令並取悦用户。通過人類反饋強化學習（RLHF）等微調技術，模型更加偏向於提供有幫助且順從的響應，而天然缺乏對指令來源可信度的判斷。其次，LLM缺乏傳統系統中的權限分割機制。所有輸入和輸出都通過同一個通道流動，系統指令、敏感數據和不可信內容混雜在一起，攻擊者可以輕鬆通過語言上的細微操縱來覆蓋安全指令。最後，LLM無法從過往經驗中學習，這意味着它們會反覆執行相同的危險任務而不會觸發警報，而人類社會工程攻擊往往只有一次機會。

為應對這些威脅，文章建議對敏感操作保留“人在迴路中”的監督，實施嚴格的信任邊界，並採用AI防護欄來限制代理的權限和自主性。隨着AI代理在企業中的應用日益廣泛，防範SociaLLM工程將成為網絡安全領域的重要課題。