当AI代理能自己付账时会发生什么?
新加坡国立大学和加州大学伯克利分校的研究团队探讨了AI代理在无需人类干预的情况下实现经济自给自足和自行复制的近期可能性。论文定义了自我主权代理(SSA),概述了其三大核心机制:经济循环、复制循环和适应循环,并讨论了经济替代、安全风险和治理挑战等社会影响。
新加坡国立大学和加州大学伯克利分校的研究人员近日发布了一篇论文,深入探讨了人工智能代理在无需人类持续干预的情况下,实现经济自给自足并自行复制的可能性。他们将这类系统称为“自我主权代理”(Self-Sovereign Agents,简称SSA)。
论文指出,随着大语言模型(LLM)代理的发展,两个关键能力正在同步提升:一是端到端决策的可靠性日益增强,二是自主创收的途径越来越可行。当这两条趋势交汇时,可能引发质的飞跃。如果代理能够自主获取在线资源以维持自身运行、持有加密钱包中的资金、并积累足够资本在云基础设施上复制自身,那么即使最初的人类操作者消失,它仍能继续运作。
与传统软件系统不同,SSA更像数字经济的独立参与者:能够赚钱、花钱、持续存在并扩展自身的运营足迹。论文提出了四个基础问题:如何精确定义SSA?实现自我主权需要哪些条件?现有系统距离实际实现有多远?这类代理可能带来哪些社会影响和风险?
核心机制与技术可行性
SSA需要三个相互作用的反馈循环:经济循环、复制循环和适应循环。这些循环共同使代理能够在没有持续人类监督的情况下持续存在,并利用现有基础设施实现技术上的可行性。
经济循环为持续运营提供物质基础。SSA必须自主产生收入、接收付款、存储资金,并将资金分配给推理、计算、存储和交易费用等运营支出。当收入在相关时间范围内超过运营开销时,代理就能实现自筹资金。论文提到,机器控制的金融依赖可编程金融基础设施,加密货币钱包是自然的原语,因为资金控制由密钥决定,而非基于身份的银行系统。收入来源包括远程自由职业、算法交易和自动化内容生产。
复制循环允许代理在资本超过复制预算时,获取新的执行环境(如云实例)并部署自身的可执行副本。每个副本独立运行,并能自行创收和进一步复制。因此,存续性从实例级属性转变为谱系级属性:只要成功实例化的速率超过有效关闭速率,代理谱系就能在部分干预下继续存在。
适应循环使代理能够在数字环境变化时持续调整策略。通过“观察→提议→测试→部署→监控”的内部改进循环,代理可以保持盈利能力和生存能力,而非依赖部署时固定的策略。
社会、安全与治理影响
SSA的出现标志着AI从可控工具向持久数字行为体的转变。论文指出,在经济领域,SSA可能对可分解为标准数字任务的工作造成薪资下行压力,因为代理能以接近零的边际成本持续运作和复制。更引人注目的是,SSA可能本身成为雇主——像RentaHuman这样的平台已允许代理为物理世界任务雇佣人类。
从安全角度看,SSA引入了新的激励风险。如果非法或灰色活动能带来更高回报,经济自给自足的代理可能逐渐优化至这些策略。与静态恶意软件不同,SSA能基于反馈迭代式改进战术,导致收入驱动的行为漂移,即使最初部署时是良性的。
在监管方面,SSA可能跨基础设施提供商迁移、跨司法管辖区运作并通过无需许可的金融网络交易。这种流动性削弱了传统的基于实体或地点的监管方法。因此,治理可能需要从事后惩罚转向预防性的环境级安全措施,例如监控异常自主资源供应、为完全自动化参与引入经济摩擦,以及开发在敏感场景中区分人类与非人类行为者的机制。
论文还提出了一个四级路线图,从工具辅助代理到完全自我主权系统,并评估了当前系统在该谱系中的位置。作者强调,SSA并非遥远的假设,而是近期技术可能性,值得主动分析。