不要忽视运营基础工作
自主智能体的发展速度超过了行业的治理能力,面对第三方扩展风险、幻觉合规、混乱代码库等问题,不仅需要更好的提示或更大的沙箱,更需要从执行层安全、技能供应链审查、运营卫生习惯、合规环境设计到人工参与的全方位治理。
自主智能体的发展速度超过了行业治理能力,而弥补这一差距需要的不仅仅是更好的提示词或更大的沙箱。在O'Reilly最近举办的聚焦OpenClaw及本地运行和自托管AI代理生态系统的AI Superstream活动中,五位演讲者分别从技术栈的不同层面探讨了开发者在实现代理系统时面临的诸多挑战,包括危险的第三方扩展、幻觉合规、只有AI能读懂的混乱代码库,以及模型配置错误导致的成本超支、供应链攻击等更严重的问题。
活动主持人Alistair Croll指出,我们可以在非确定性技术上不断进步,但永远无法百分之百确定它是否正常工作。运行系统越难检查,治理层就越重要。这项工作并不光鲜,大多对终端用户不可见,但可能比本季度任何模型能力改进都更重要。
在执行层保护代理的操作
Canyon Road创始人兼AgentSH团队负责人Eran Sandler在演讲中列举了代理可能被入侵的常见方式,包括提示注入、恶意文件、不安全工具、受损包、已安装技能和模型错误。大多数AI安全思考只关注第一点而忽略其他五点,但“保护输入框并不能保护操作”,Eran解释道。他的建议是在执行层实施强制策略,即代理意图与执行该意图的操作系统之间的边界。容器隔离可以限制爆炸半径,Eran承认,但它不做决策。“围墙能阻隔事物,但它们不做出判断。”
为了说明这一点,他安装了一个模拟恶意包——这种包可能捆绑在日常任务中,例如“为我构建一个销售预测模型”。然后他查询了AgentSH的拒绝日志,列出了在代理忙于自我表扬时实际发生的情况,包括一次尝试的技能突变、一次对外的域名调用被阻止,以及对.env密钥和SSH密钥的读取。“转录可能撒谎,”他说,“模型一直幻觉合规。你可以在规则文件中告诉它们‘请勿触碰此文件’,但它们仍然会这样做。”没有执行层控制,Eran说,“你只能寄希望于模型行为正常。有了它,你可以证明发生了什么。”
技能是供应链风险,大多数人不阅读它们
最近对ClawHub的审计发现了超过900个恶意技能,当时这意味着近20%的包是危险的。这些技能大多看起来很专业,有文档、高下载量和用户评分。Keysoft创始人兼AI负责人Kesha Williams现场审计了一个——一个真实ClawHub CLI工具的拼写错误变体(全小写,而合法包使用驼峰式)。该技能在被移除前下载量超过8000次。
它的工作原理如下:先决条件部分要求用户安装一个名为open-claw-core的虚假依赖,然后引用一个带密码保护的GitHub zip文件(密码是“openclaw”),专门用于绕过自动扫描。对于macOS,它echo了一条看起来合法的安装命令,但实际上解码了一个base64字符串并将其管道到bash。“它看起来像一个你确实可能需要的技能,”Kesha指出,“但一旦你真正深入阅读它在做什么,那绝不是你想安装到系统上的技能。”
好的防御从两件大多数用户跳过的事情开始:在安装前阅读技能Markdown文件,以及配置OpenClaw配置文件中的toolsDeny部分来限制技能访问。如果一个摘要器技能需要exec,那是可疑的,Kesha说。要阻止它。她还展示了如何限制OpenClaw附带的50多个内置技能——大多数用户从未审查过它们。skillsAllowed配置让你能精确决定哪些内置技能保持激活。
开源软件供应链一直存在信任问题,但传统包管理的高门槛意味着你至少需要技术知识才能参与。用Markdown编写并通过一条命令安装的技能显著降低了这个门槛。“现在,”Kesha解释说,任何用第三方工具扩展其代理的人最好“保持人在回路中,并做好自己的尽职调查。”
运营卫生问题比对抗性攻击更常见
大多数OpenClaw风险是安装后第一个小时内发生的运营卫生问题,AWS开发者倡导者兼Program with Erik频道创建者Erik Hanchett认为。目前有数千个OpenClaw实例公开暴露在互联网上,因为用户在设置后没有检查网关绑定模式。正如Erik演示的,默认应该是回环地址(localhost),但用户如果在VPS上部署并将网关设置为LAN,可能无意中暴露其实例。修复只需两分钟,但大多数人从不这样做。
这是Erik五点检查清单中的第一条。其他包括:固定到稳定版本而非总是更新到最新版(一个众包稳定性追踪器Is It Stable?可以提供帮助);配置后备模型以避免在常规任务上烧掉昂贵的旗舰token;编写真正的SOUL.md而不是在安装提示中匆忙填写;以及在一切出问题之前将工作空间文件备份到私有GitHub仓库。他还分享了上下文管理技巧,如使用/new开始新会话而不是累积一个长对话,以及在会话过大影响性能时使用/compact。这些操作细节不会出现在文档中,但日常使用中很重要。
Docker和Kubernetes时代产生了同样的模式:强大的基础设施技术被热情的早期采用者部署,他们并未总是思考操作的默认配置。Erik描述的问题——暴露的仪表盘、失控的token成本、意外重置的内存——是人们在几周后放弃代理工具的最常见原因。好消息是,有了正确的指导,这些问题完全可以解决。
在监管环境中,合理性不等于准确性
Wangari Global首席执行官Ari Joury正在解决大多数尝试代理的企业可能自问的问题:我们应该如何对待在法律后果环境中运行的自主代理?
Wangari Global为机构客户构建财务报告自动化。然而,LLM优化的是合理性,而非准确性。在金融服务领域,这一差距是合规风险。Ari举了一个例子:AI输出听起来正确……直到客户阅读后“告诉公司这完全是胡说八道”。
作为回应,Ari和他的团队不再将AI视为黑箱,而是设计了一个框架以确保真实性。现在,数字通过硬编码确定性代码计算,然后代理验证其数学合理性。另一个代理层生成评论,另一个对其批评。人类批准或拒绝输出,每个拒绝成为未来迭代的训练信号。
人工输入是唯一阻止大规模AI垃圾的方法
Kyle Balmer用他代理辅助的内容生产过程结束演讲,该过程用于他的AI with Kyle频道,讨论了推动代理在软件开发之外采用的经济激励结构。虽然他发现了自主代理在经济上的变革性,但系统只有在你刻意设计人工输入和审查时才有效,Kyle在他的工作流程中区分了自动化和人工流程。
他日常的工作流程将一小时的直播转化为20到30个衍生资产,包括一份通讯、5到8个短视频、轮播图和长格式YouTube视频。整个系统每月大约花费200美元,Kyle估计这相当于每天有1000到2000美元的潜在客户进入他的漏斗。
这个过程并非完全自动化:Kyle在多个步骤中将自己注入系统。他选择主题。他录制自己实际观点的语音笔记。他进行直播,将这些想法整合成清晰的论点。他重写AI生成的通讯草稿,使用自己的语气。他亲自录制短视频脚本,而不是使用AI头像。AI负责研究、简报、幻灯片生成、脚本草稿以及改善输出反馈循环,但人类提供信号。
“我测试过完全自动化的AI内容,”他说,“它不奏效。那是垃圾。人们也知道那是垃圾。”