AI News HubLIVE
站內改寫4 分鐘閱讀

不要忽視運營基礎工作

自主智能體的發展速度超過了行業的治理能力,面對第三方擴展風險、幻覺合規、混亂代碼庫等問題,不僅需要更好的提示或更大的沙箱,更需要從執行層安全、技能供應鏈審查、運營衞生習慣、合規環境設計到人工參與的全方位治理。

來源O'Reilly AI & ML Radar作者: Michelle Smith

自主智能體的發展速度超過了行業治理能力,而彌補這一差距需要的不僅僅是更好的提示詞或更大的沙箱。在O'Reilly最近舉辦的聚焦OpenClaw及本地運行和自託管AI代理生態系統的AI Superstream活動中,五位演講者分別從技術棧的不同層面探討了開發者在實現代理系統時面臨的諸多挑戰,包括危險的第三方擴展、幻覺合規、只有AI能讀懂的混亂代碼庫,以及模型配置錯誤導致的成本超支、供應鏈攻擊等更嚴重的問題。

活動主持人Alistair Croll指出,我們可以在非確定性技術上不斷進步,但永遠無法百分之百確定它是否正常工作。運行系統越難檢查,治理層就越重要。這項工作並不光鮮,大多對終端用户不可見,但可能比本季度任何模型能力改進都更重要。

在執行層保護代理的操作

Canyon Road創始人兼AgentSH團隊負責人Eran Sandler在演講中列舉了代理可能被入侵的常見方式,包括提示注入、惡意文件、不安全工具、受損包、已安裝技能和模型錯誤。大多數AI安全思考只關注第一點而忽略其他五點,但“保護輸入框並不能保護操作”,Eran解釋道。他的建議是在執行層實施強制策略,即代理意圖與執行該意圖的操作系統之間的邊界。容器隔離可以限制爆炸半徑,Eran承認,但它不做決策。“圍牆能阻隔事物,但它們不做出判斷。”

為了説明這一點,他安裝了一個模擬惡意包——這種包可能捆綁在日常任務中,例如“為我構建一個銷售預測模型”。然後他查詢了AgentSH的拒絕日誌,列出了在代理忙於自我表揚時實際發生的情況,包括一次嘗試的技能突變、一次對外的域名調用被阻止,以及對.env密鑰和SSH密鑰的讀取。“轉錄可能撒謊,”他説,“模型一直幻覺合規。你可以在規則文件中告訴它們‘請勿觸碰此文件’,但它們仍然會這樣做。”沒有執行層控制,Eran説,“你只能寄希望於模型行為正常。有了它,你可以證明發生了什麼。”

技能是供應鏈風險,大多數人不閲讀它們

最近對ClawHub的審計發現了超過900個惡意技能,當時這意味着近20%的包是危險的。這些技能大多看起來很專業,有文檔、高下載量和用户評分。Keysoft創始人兼AI負責人Kesha Williams現場審計了一個——一個真實ClawHub CLI工具的拼寫錯誤變體(全小寫,而合法包使用駝峯式)。該技能在被移除前下載量超過8000次。

它的工作原理如下:先決條件部分要求用户安裝一個名為open-claw-core的虛假依賴,然後引用一個帶密碼保護的GitHub zip文件(密碼是“openclaw”),專門用於繞過自動掃描。對於macOS,它echo了一條看起來合法的安裝命令,但實際上解碼了一個base64字符串並將其管道到bash。“它看起來像一個你確實可能需要的技能,”Kesha指出,“但一旦你真正深入閲讀它在做什麼,那絕不是你想安裝到系統上的技能。”

好的防禦從兩件大多數用户跳過的事情開始:在安裝前閲讀技能Markdown文件,以及配置OpenClaw配置文件中的toolsDeny部分來限制技能訪問。如果一個摘要器技能需要exec,那是可疑的,Kesha説。要阻止它。她還展示瞭如何限制OpenClaw附帶的50多個內置技能——大多數用户從未審查過它們。skillsAllowed配置讓你能精確決定哪些內置技能保持激活。

開源軟件供應鏈一直存在信任問題,但傳統包管理的高門檻意味着你至少需要技術知識才能參與。用Markdown編寫並通過一條命令安裝的技能顯著降低了這個門檻。“現在,”Kesha解釋説,任何用第三方工具擴展其代理的人最好“保持人在迴路中,並做好自己的盡職調查。”

運營衞生問題比對抗性攻擊更常見

大多數OpenClaw風險是安裝後第一個小時內發生的運營衞生問題,AWS開發者倡導者兼Program with Erik頻道創建者Erik Hanchett認為。目前有數千個OpenClaw實例公開暴露在互聯網上,因為用户在設置後沒有檢查網關綁定模式。正如Erik演示的,默認應該是迴環地址(localhost),但用户如果在VPS上部署並將網關設置為LAN,可能無意中暴露其實例。修復只需兩分鐘,但大多數人從不這樣做。

這是Erik五點檢查清單中的第一條。其他包括:固定到穩定版本而非總是更新到最新版(一個眾包穩定性追蹤器Is It Stable?可以提供幫助);配置後備模型以避免在常規任務上燒掉昂貴的旗艦token;編寫真正的SOUL.md而不是在安裝提示中匆忙填寫;以及在一切出問題之前將工作空間文件備份到私有GitHub倉庫。他還分享了上下文管理技巧,如使用/new開始新會話而不是累積一個長對話,以及在會話過大影響性能時使用/compact。這些操作細節不會出現在文檔中,但日常使用中很重要。

Docker和Kubernetes時代產生了同樣的模式:強大的基礎設施技術被熱情的早期採用者部署,他們並未總是思考操作的默認配置。Erik描述的問題——暴露的儀表盤、失控的token成本、意外重置的內存——是人們在幾周後放棄代理工具的最常見原因。好消息是,有了正確的指導,這些問題完全可以解決。

在監管環境中,合理性不等於準確性

Wangari Global首席執行官Ari Joury正在解決大多數嘗試代理的企業可能自問的問題:我們應該如何對待在法律後果環境中運行的自主代理?

Wangari Global為機構客户構建財務報告自動化。然而,LLM優化的是合理性,而非準確性。在金融服務領域,這一差距是合規風險。Ari舉了一個例子:AI輸出聽起來正確……直到客户閲讀後“告訴公司這完全是胡説八道”。

作為回應,Ari和他的團隊不再將AI視為黑箱,而是設計了一個框架以確保真實性。現在,數字通過硬編碼確定性代碼計算,然後代理驗證其數學合理性。另一個代理層生成評論,另一個對其批評。人類批准或拒絕輸出,每個拒絕成為未來迭代的訓練信號。

人工輸入是唯一阻止大規模AI垃圾的方法

Kyle Balmer用他代理輔助的內容生產過程結束演講,該過程用於他的AI with Kyle頻道,討論了推動代理在軟件開發之外採用的經濟激勵結構。雖然他發現了自主代理在經濟上的變革性,但系統只有在你刻意設計人工輸入和審查時才有效,Kyle在他的工作流程中區分了自動化和人工流程。

他日常的工作流程將一小時的直播轉化為20到30個衍生資產,包括一份通訊、5到8個短視頻、輪播圖和長格式YouTube視頻。整個系統每月大約花費200美元,Kyle估計這相當於每天有1000到2000美元的潛在客户進入他的漏斗。

這個過程並非完全自動化:Kyle在多個步驟中將自己注入系統。他選擇主題。他錄製自己實際觀點的語音筆記。他進行直播,將這些想法整合成清晰的論點。他重寫AI生成的通訊草稿,使用自己的語氣。他親自錄製短視頻腳本,而不是使用AI頭像。AI負責研究、簡報、幻燈片生成、腳本草稿以及改善輸出反饋循環,但人類提供信號。

“我測試過完全自動化的AI內容,”他説,“它不奏效。那是垃圾。人們也知道那是垃圾。”