AI能骑我的自行车，不握把

我不知道第一次听到Flobot的《Handlebars》是什么时候，但最近为了连接过去，我又多次听这首歌。歌词以一个人高兴地骑着没有把手的自行车开始，结尾却威胁要引发大屠杀毁灭世界。歌词有多重解读，但艺术家本人曾澄清意图：这首歌是关于人类作为个体拥有巨大潜力，既能创造也能毁灭。可悲的是，军事创新永无止境，而消除世界饥饿却被视为荒谬。创新常被用于压迫和毁灭。

这引向AI世界。规模是当今AI的一切，大型数据中心竞赛激烈。前沿模型背后的公司也扩张到极致，估值数千亿美元。这首歌对这一叙事也很契合。

AGI、意识与AI军备竞赛

AI CEO们不知为何总爱谈论世界末日。他们还常谈论意识，许多前沿实验室暗示意识只是AI发展路线图上的又一个里程碑——模型不仅能代表和模仿人类，还能成为人类。但几乎没有人思考真正有意识的存在带来的伦理道德影响。Sam Altman曾说：“我认为AI很可能会终结世界，但与此同时，会有伟大的公司诞生。”

智能机器毁灭世界的想法并不新鲜。科幻作品常涉及，大多是一个超级智能系统要么完全有意识，要么能表现得像有意识。但很少解释它是如何变成这样的。

一旦我们构建了通用智能系统，我们就会让它找出为你创造投资回报的方法。意识总是AI讨论的核心，但从未被严肃对待。例如，CEO可能大胆宣称公司将在三年内达到AGI，但随后却转移话题谈广告业务。但意识是否是AGI定义的一部分？共识似乎是否定的。

最近，一些领导人试图将AGI定义为能力门槛，而非意识声明。Sam Altman去年说AGI“不是一个很有用的术语”。重点似乎转向创造能有效替代人类劳动的系统，而非创造活的数字狗。

一个非意识的AI系统能以超强能力执行人类任务，虽然避免了伦理问题，但仍对社会构成危险，只是不是天网那种方式。Anthropic CEO Dario Amodei在文章中严肃宣称：“人类即将获得几乎 unimaginable 的力量，我们是否拥有成熟度来使用它，这很不明确。”

无论是否天网，如果AI军备竞赛顺利，最坏情况（从AI公司角度看）是LLM不会随着更多计算获得意识，但通过更好的驾驭和集成，AI能在每个领域变得真正有用，以至于AI的控制者获得几乎 unimaginable 的力量，而他们是否成熟到能使用它，很不明确。

人类的自负仍是问题

有趣的是，科技CEO常声称“AI”将取代X%的工作，但从不说是他们的公司将这么做；他们从不承认正投资数十亿希望如此，而是说“AI”将取代工作，我们必须警惕即将到来的邪恶冬天。然而，OpenAI和它背后运行的模型并无区别，每个前沿AI实验室也是如此。但似乎可以接受的是，当方便时赋予AI完全自主权，而你拥有股份并获得所有收益。你指责同一个你指挥和从中获利的恶魔。

AI的道德问题并不真的是AI能否有意识，或如何生活在这样的世界。而是我们是否应该信任AI实验室值得拥有这样的权力？历史告诉我们，没有私人实体值得拥有那样的力量。

注：本文的公开版本历史可在我的GitHub上找到。