不要忽视运营基础工作

自主AI代理的发展速度已经超过了行业对其治理的能力，而追赶这一差距需要的不仅仅是更好的提示或更大的沙箱。在O'Reilly最近举办的以OpenClaw及本地运行和自托管AI代理生态系统为主题的AI Superstream活动中，五位分别专注于技术栈不同层面的演讲者探讨了开发者在实现代理系统时将面临的诸多挑战，包括危险的第三方扩展、幻觉合规、只有AI能读懂的混乱代码库、模型配置错误导致的成本超支、供应链攻击等。

活动主持人Alistair Croll指出，尽管非确定性技术可以不断改进，但我们永远无法百分之百确定其运行正常。运行内容越难检查，治理层就越重要。这项工作并不引人注目，对最终用户来说几乎不可见，但它可能比本季度推出的任何模型能力改进都更为重要。

Eran Sandler是Canyon Road的创始人兼AgentSH团队的负责人，他的演讲首先列举了代理可能被入侵的常见方式，包括提示注入、恶意文件、不安全工具、受损包、已安装技能以及模型错误。大多数AI安全思考只关注第一种而忽略其他五种，但“保护输入框并不能保护行动”，Eran解释道。他的建议是在执行层（即代理意图与执行操作的操作系统之间的边界）实施强制控制。容器隔离可以限制爆炸半径，但它不做决策。“墙只是挡住东西，它们不做判断。”

为了说明这一点，他安装了一个模拟恶意包，这种包可能捆绑在诸如“为我构建销售预测模型”这样的常规任务中。然后他查询了AgentSH的拒绝日志，列出了在代理忙于自我祝贺时实际发生的操作，包括技能变异尝试、对外部域的调用被阻止、读取.env机密和SSH密钥。“日志可能撒谎，”他说，“模型时刻在幻觉合规。你可以在规则文件中告诉它们‘请不要触碰这个文件’，但它们仍然会这样做。”没有执行层控制，“你只能寄希望于模型表现良好。有了它，你可以证明发生了什么。”

技能是供应链风险，大多数人并不阅读它们。最近对ClawHub的审计发现了900多个恶意技能，当时占总包的近20%。这些技能看起来都很专业，有文档、高下载量和用户评分。Keysoft创始人兼AI负责人Kesha Williams现场审计了一个——它是真实ClawHub CLI工具的拼写错误版本（使用全小写，而合法包使用驼峰式）。该技能在被移除前已有超过8000次下载。它要求用户安装一个名为open-claw-core的假依赖项，并引用GitHub上的一个密码保护压缩包（密码是“openclaw”）来绕过自动扫描。对于macOS，它echo了一个看起来合法的安装命令，实际解码了base64字符串并通过管道传递给bash。“它看起来像一个你可能需要使用的技能，”Kesha指出，“但一旦你真正深入阅读它实际在做什么，那绝不是你想安装在系统上的技能。”

良好的防御从两件大多数人跳过的事情开始：安装前阅读技能Markdown文件，并配置OpenClaw配置中的toolsDeny部分以限制技能权限。如果摘要技能需要exec，那很可疑，Kesha说，应该阻止。她还展示了如何限制OpenClaw附带的50多个捆绑技能，其中大部分用户尚未审查。skillsAllowed配置可以让你决定哪些捆绑技能保持激活。

开源软件供应链一直存在信任问题，但传统包管理的高门槛意味着至少需要技术知识才能参与。用Markdown编写且只需一个命令即可安装的技能大大降低了这一门槛。“目前，”Kesha解释说，对于使用第三方工具扩展代理的用户，最佳政策是“保持人类参与并自行尽职调查。”

运营卫生失败比恶意攻击更常见。AWS开发者倡导者兼Program with Erik频道创始人Erik Hanchett认为，大多数OpenClaw风险源于安装后第一个小时内发生的运营卫生失败。目前有数千个OpenClaw实例暴露在公共互联网上，因为用户在设置后未检查网关绑定模式。Erik演示了默认应该是回环（本地主机），但用户如果在VPS上部署并将网关设置为LAN，可能无意中暴露其实例。修复只需两分钟，但大多数用户从未做过。这是Erik五要点检查清单的第一条。其他要点包括：固定稳定版本，而不是始终更新到最新版（一个众包稳定性追踪器Is It Stable?可以提供帮助）；配置回退模型以避免在常规任务上消耗昂贵的尖端令牌；编写真正的SOUL.md，而不是匆忙完成入门提示；以及在出问题前将工作区文件备份到私有GitHub仓库。他还分享了上下文管理技巧，例如使用/new启动新会话而不是累积长对话，以及在会话过大影响性能时使用/compact——这些都是文档中没有但在日常使用中重要的运营细节。

Docker和Kubernetes时代也出现了同样的模式：强大的基础设施技术被热情的早期采用者部署，但他们并不总是考虑运营默认设置。Erik描述的问题——暴露的控制面板、失控的令牌成本、意外重置的内存——是人们几周后放弃代理工具的最常见原因。好消息是，有了正确的指导，这些问题完全可以修复。

在受监管环境中，合理性不等于准确性。Wangari Global的CEO Ari Joury致力于解决大多数试验代理的企业可能自问的问题：我们该如何处理那些在出错可能带来法律后果的环境中运行的自主代理？Wangari Global为机构客户构建财务报告自动化。然而，LLM优化的是合理性，而非准确性。在金融服务领域，这种差距是合规风险。Ari举了一个例子：AI输出听起来正确，直到客户阅读后“告诉公司那完全是胡说八道。”为此，Ari和他的团队不再将AI视为黑箱，而是设计了一个框架来确保真实性。现在数字用硬编码的确定性代码计算，然后代理验证数学合理性。一个独立的代理层生成评论，另一个代理层进行批评。人类批准或拒绝输出，每个拒绝都成为未来迭代的训练信号。

Kyle Balmer最后展示了他为AI with Kyle频道内容生产而开发的代理辅助流程，探讨了推动软件之外领域采用代理的经济激励结构。虽然他发现自主代理在经济上具有变革性，但系统只有在你刻意设计人类输入和审查时才有效。Kyle在一个区分自动化和人工流程的工作流程中说明了这一点。他的日常工作流程将一小时的直播转换为20到30个衍生资产，包括新闻通讯、五到八个短视频、轮播图和长YouTube视频。整个系统每月运行成本约200美元，Kyle估计这相当于每天有1000到2000美元的潜在客户进入他的漏斗。该过程并非完全自动化：Kyle在多个步骤中主动介入。他选择主题，录制带真实观点的语音笔记，进行直播将想法整合成清晰论点，用自己的语言重写AI生成的新闻通讯草稿，亲自录制短视频脚本而非使用AI头像。AI负责研究、简报、幻灯片生成、脚本起草以及随时间改进输出的反馈循环，但人类提供信号。“我测试过完全自动化的AI内容，”他说，“它行不通。那是垃圾。人们知道那是垃圾。”