AI News HubLIVE
站内改写2 分钟阅读

导入AI 457:AI震网病毒;有问题的Muon优化器;以及积极对齐

本期Import AI报道了四个重要话题:一款名为fast16.sys的古老病毒,它专门破坏高精度计算软件,类似于《三体》中的智子;Muon优化器导致神经元死亡的问题及新优化器Aurora的出现;关于'积极对齐'的立场文件,探讨在确保安全后如何让AI帮助人类繁荣;以及LLM自主优化其他LLM训练的实验,显示其工程能力但缺乏创造力。

来源Import AI作者: Jack Clark

本期Import AI涵盖了四个重要话题,涉及AI安全、优化器研究和未来发展方向。

首先,关于一个名为fast16.sys的古老病毒。SentinelOne的研究人员发现,这款软件大约有20年历史,能够针对高精度计算软件进行选择性破坏。它通过修补内存中的代码来篡改计算结果,并结合自我传播机制,旨在使整个设施产生等效的失准计算。这种攻击方式让人联想到科幻小说《三体》中的“智子”——一种用于干扰地球高能物理实验的外星技术。进一步调查显示,该病毒针对的软件包括LS-DYNA 970、PKPM和MOHID等工程和模拟套件,这些软件用于碰撞测试、结构分析和环境建模。LS-DYNA尤其被引用在伊朗涉嫌违反JCPOA Section T的报告中,与核武器开发相关的计算机建模有关。通过引入微小但系统的错误,该病毒可能削弱或减慢科研项目,甚至造成灾难性破坏。这引发深思:一个超级智能可能将“AI不扩散”视为与核不扩散同等重要。

第二个话题是Muon优化器的问题。Tilde Research的研究人员发现,Muon优化器存在缺陷,会导致神经网络中的神经元永久死亡。具体来说,Muon的更新继承了行范数各向异性,在训练初期就有大量神经元死亡且无法恢复。在500步时,超过四分之一的神经元死亡,产生双峰分布。作为回应,他们提出了Aurora优化器,专门针对矩形矩阵设计。在1.1B参数的Transformer模型上训练约100B tokens,Aurora达到了比Muon和NorMuon更低的最终损失,并在MMLU等基准测试上提升了10分。Pleias的研究人员Alexander Doria在600M参数模型上独立验证了Aurora优于Muon和AdamW。这再次凸显了构建优于AdamW的优化器的困难。

第三,一个由牛津大学、谷歌DeepMind、OpenAI、Anthropic等机构的学者共同撰写的立场论文提出了“积极对齐”的概念。与传统的“消极对齐”专注于避免失败不同,积极对齐旨在开发既安全又主动支持人类和生态繁荣的AI系统。论文指出,仅注重安全可能导致社会停留在“空洞帮助”的局部最优。作者批评了主流AI安全的一些局限性,例如只有下限没有上限、偏好与福祉的背离、隐藏的价值体系以及可扩展性问题。积极对齐要求多元化和去中心化的治理,而不是中央集权。这一方向直面技术安全成功后的挑战:如何让AI成为人类美好生活的伙伴。

最后,Prime Intellect的研究展示了当前LLM在AI研究任务中的能力。他们用Codex(基于GPT5.5)和Claude Code(Opus4.7)挑战nanoGPT速度优化任务,目标是在仅改变优化器、调度、初始化等条件下降低达到目标验证损失的步数。两个代理进行了约1万次运行,消耗约1.4万H200小时,每次都打破了人类基准。然而,代理在提出新想法方面表现不佳,且倾向于添加组件而不进行精简。这表明当前AI在工程优化方面已具备相当能力,但创造性仍需人类介入。