將AI智能體視為熱心但容易犯錯的人類實習生——在失去控制之前

AI智能體正在從簡單的聊天機器人快速演變為具備自主行動能力的數字員工，它們被授權直接操作應用和數據。然而，這種能力也伴隨着一系列安全與治理隱患。在最近的Snowflake峯會上，專家小組建議將AI智能體視為“熱心但容易犯錯的人類實習生”——需要同樣嚴格的指導和監督。

約束、意圖與上下文是關鍵。Resolve AI的創始人兼CTO Mayank Agarwal警告説：“如果你告訴智能體買雙鞋，它可能直接給你買輛車。”因此，必須仔細考慮賦予智能體的權限，並設置不可動搖的限制。1Password的CTO Nancy Wang強調，僅僅知道智能體被創建來做什麼是不夠的，還需要了解它在誰的授權下行動，以及它將如何處理訪問到的數據。

與傳統的軟件開發不同，AI智能體的行為路徑不再可預測。Agarwal指出，過去工程師可以精確規劃API之間的調用順序，但在智能體世界中，智能體會動態連接各種工具，甚至可能在無意間將數據從一處轉移到不應出現的地方。這引發了“影子AI”的擔憂——例如，一個客户發現其框架中存在12個未授權的OpenClaw實例，訪問着API、源代碼，並通過Telegram與承包商通信。

這種不可預測性使得事後追蹤責任變得困難。Wang表示，當系統發生操作時，團隊往往無法確定是人為操作、服務賬户還是智能體所為，因為智能體擁有所有權限，看起來既像人類又像服務賬户。因此，必須在治理與訪問之間找到平衡：過度限制會扼殺生產力，而過度放任則帶來風險。

專家建議重點關注員工的配置：檢查Copilot、Claude Chat或Gemini等工具中用户創建的智能體，查看其配置是否錯誤、訪問了哪些數據，以及提示詞與什麼系統通信。Wang強調，最大的風險來自“權限過大且擁有長期憑證的智能體”。最終，智能體需要“非常具體的指令”，即便有時它們仍會偏離路徑。治理的關鍵在於從一開始就設定正確的意圖，並確保該意圖貫穿智能體的每一步行動。