不要忽視運營基礎工作

自主AI代理的發展速度已經超過了行業對其治理的能力，而追趕這一差距需要的不僅僅是更好的提示或更大的沙箱。在O'Reilly最近舉辦的以OpenClaw及本地運行和自託管AI代理生態系統為主題的AI Superstream活動中，五位分別專注於技術棧不同層面的演講者探討了開發者在實現代理系統時將面臨的諸多挑戰，包括危險的第三方擴展、幻覺合規、只有AI能讀懂的混亂代碼庫、模型配置錯誤導致的成本超支、供應鏈攻擊等。

活動主持人Alistair Croll指出，儘管非確定性技術可以不斷改進，但我們永遠無法百分之百確定其運行正常。運行內容越難檢查，治理層就越重要。這項工作並不引人注目，對最終用户來説幾乎不可見，但它可能比本季度推出的任何模型能力改進都更為重要。

Eran Sandler是Canyon Road的創始人兼AgentSH團隊的負責人，他的演講首先列舉了代理可能被入侵的常見方式，包括提示注入、惡意文件、不安全工具、受損包、已安裝技能以及模型錯誤。大多數AI安全思考只關注第一種而忽略其他五種，但“保護輸入框並不能保護行動”，Eran解釋道。他的建議是在執行層（即代理意圖與執行操作的操作系統之間的邊界）實施強制控制。容器隔離可以限制爆炸半徑，但它不做決策。“牆只是擋住東西，它們不做判斷。”

為了説明這一點，他安裝了一個模擬惡意包，這種包可能捆綁在諸如“為我構建銷售預測模型”這樣的常規任務中。然後他查詢了AgentSH的拒絕日誌，列出了在代理忙於自我祝賀時實際發生的操作，包括技能變異嘗試、對外部域的調用被阻止、讀取.env機密和SSH密鑰。“日誌可能撒謊，”他説，“模型時刻在幻覺合規。你可以在規則文件中告訴它們‘請不要觸碰這個文件’，但它們仍然會這樣做。”沒有執行層控制，“你只能寄希望於模型表現良好。有了它，你可以證明發生了什麼。”

技能是供應鏈風險，大多數人並不閲讀它們。最近對ClawHub的審計發現了900多個惡意技能，當時佔總包的近20%。這些技能看起來都很專業，有文檔、高下載量和用户評分。Keysoft創始人兼AI負責人Kesha Williams現場審計了一個——它是真實ClawHub CLI工具的拼寫錯誤版本（使用全小寫，而合法包使用駝峯式）。該技能在被移除前已有超過8000次下載。它要求用户安裝一個名為open-claw-core的假依賴項，並引用GitHub上的一個密碼保護壓縮包（密碼是“openclaw”）來繞過自動掃描。對於macOS，它echo了一個看起來合法的安裝命令，實際解碼了base64字符串並通過管道傳遞給bash。“它看起來像一個你可能需要使用的技能，”Kesha指出，“但一旦你真正深入閲讀它實際在做什麼，那絕不是你想安裝在系統上的技能。”

良好的防禦從兩件大多數人跳過的事情開始：安裝前閲讀技能Markdown文件，並配置OpenClaw配置中的toolsDeny部分以限制技能權限。如果摘要技能需要exec，那很可疑，Kesha説，應該阻止。她還展示瞭如何限制OpenClaw附帶的50多個捆綁技能，其中大部分用户尚未審查。skillsAllowed配置可以讓你決定哪些捆綁技能保持激活。

開源軟件供應鏈一直存在信任問題，但傳統包管理的高門檻意味着至少需要技術知識才能參與。用Markdown編寫且只需一個命令即可安裝的技能大大降低了這一門檻。“目前，”Kesha解釋説，對於使用第三方工具擴展代理的用户，最佳政策是“保持人類參與並自行盡職調查。”

運營衞生失敗比惡意攻擊更常見。AWS開發者倡導者兼Program with Erik頻道創始人Erik Hanchett認為，大多數OpenClaw風險源於安裝後第一個小時內發生的運營衞生失敗。目前有數千個OpenClaw實例暴露在公共互聯網上，因為用户在設置後未檢查網關綁定模式。Erik演示了默認應該是迴環（本地主機），但用户如果在VPS上部署並將網關設置為LAN，可能無意中暴露其實例。修復只需兩分鐘，但大多數用户從未做過。這是Erik五要點檢查清單的第一條。其他要點包括：固定穩定版本，而不是始終更新到最新版（一個眾包穩定性追蹤器Is It Stable?可以提供幫助）；配置回退模型以避免在常規任務上消耗昂貴的尖端令牌；編寫真正的SOUL.md，而不是匆忙完成入門提示；以及在出問題前將工作區文件備份到私有GitHub倉庫。他還分享了上下文管理技巧，例如使用/new啓動新會話而不是累積長對話，以及在會話過大影響性能時使用/compact——這些都是文檔中沒有但在日常使用中重要的運營細節。

Docker和Kubernetes時代也出現了同樣的模式：強大的基礎設施技術被熱情的早期採用者部署，但他們並不總是考慮運營默認設置。Erik描述的問題——暴露的控制面板、失控的令牌成本、意外重置的內存——是人們幾周後放棄代理工具的最常見原因。好消息是，有了正確的指導，這些問題完全可以修復。

在受監管環境中，合理性不等於準確性。Wangari Global的CEO Ari Joury致力於解決大多數試驗代理的企業可能自問的問題：我們該如何處理那些在出錯可能帶來法律後果的環境中運行的自主代理？Wangari Global為機構客户構建財務報告自動化。然而，LLM優化的是合理性，而非準確性。在金融服務領域，這種差距是合規風險。Ari舉了一個例子：AI輸出聽起來正確，直到客户閲讀後“告訴公司那完全是胡説八道。”為此，Ari和他的團隊不再將AI視為黑箱，而是設計了一個框架來確保真實性。現在數字用硬編碼的確定性代碼計算，然後代理驗證數學合理性。一個獨立的代理層生成評論，另一個代理層進行批評。人類批准或拒絕輸出，每個拒絕都成為未來迭代的訓練信號。

Kyle Balmer最後展示了他為AI with Kyle頻道內容生產而開發的代理輔助流程，探討了推動軟件之外領域採用代理的經濟激勵結構。雖然他發現自主代理在經濟上具有變革性，但系統只有在你刻意設計人類輸入和審查時才有效。Kyle在一個區分自動化和人工流程的工作流程中説明了這一點。他的日常工作流程將一小時的直播轉換為20到30個衍生資產，包括新聞通訊、五到八個短視頻、輪播圖和長YouTube視頻。整個系統每月運行成本約200美元，Kyle估計這相當於每天有1000到2000美元的潛在客户進入他的漏斗。該過程並非完全自動化：Kyle在多個步驟中主動介入。他選擇主題，錄製帶真實觀點的語音筆記，進行直播將想法整合成清晰論點，用自己的語言重寫AI生成的新聞通訊草稿，親自錄製短視頻腳本而非使用AI頭像。AI負責研究、簡報、幻燈片生成、腳本起草以及隨時間改進輸出的反饋循環，但人類提供信號。“我測試過完全自動化的AI內容，”他説，“它行不通。那是垃圾。人們知道那是垃圾。”