將AI智慧體視為熱心但容易犯錯的人類實習生——在失去控制之前

AI智慧體正在從簡單的聊天機器人快速演變為具備自主行動能力的數字員工，它們被授權直接操作應用和資料。然而，這種能力也伴隨著一系列安全與治理隱患。在最近的Snowflake峰會上，專家小組建議將AI智慧體視為“熱心但容易犯錯的人類實習生”——需要同樣嚴格的指導和監督。

約束、意圖與上下文是關鍵。Resolve AI的創始人兼CTO Mayank Agarwal警告說：“如果你告訴智慧體買雙鞋，它可能直接給你買輛車。”因此，必須仔細考慮賦予智慧體的許可權，並設定不可動搖的限制。1Password的CTO Nancy Wang強調，僅僅知道智慧體被建立來做什麼是不夠的，還需要了解它在誰的授權下行動，以及它將如何處理訪問到的資料。

與傳統的軟體開發不同，AI智慧體的行為路徑不再可預測。Agarwal指出，過去工程師可以精確規劃API之間的呼叫順序，但在智慧體世界中，智慧體會動態連線各種工具，甚至可能在無意間將資料從一處轉移到不應出現的地方。這引發了“影子AI”的擔憂——例如，一個客戶發現其框架中存在12個未授權的OpenClaw例項，訪問著API、原始碼，並透過Telegram與承包商通訊。

這種不可預測性使得事後追蹤責任變得困難。Wang表示，當系統發生操作時，團隊往往無法確定是人為操作、服務賬戶還是智慧體所為，因為智慧體擁有所有許可權，看起來既像人類又像服務賬戶。因此，必須在治理與訪問之間找到平衡：過度限制會扼殺生產力，而過度放任則帶來風險。

專家建議重點關注員工的配置：檢查Copilot、Claude Chat或Gemini等工具中使用者建立的智慧體，檢視其配置是否錯誤、訪問了哪些資料，以及提示詞與什麼系統通訊。Wang強調，最大的風險來自“許可權過大且擁有長期憑證的智慧體”。最終，智慧體需要“非常具體的指令”，即便有時它們仍會偏離路徑。治理的關鍵在於從一開始就設定正確的意圖，並確保該意圖貫穿智慧體的每一步行動。