跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

導入AI 457:AI震網病毒;有問題的Muon優化器;以及積極對齊

文章摘要

本期Import AI報道了四個重要話題:一款名為fast16.sys的古老病毒,它專門破壞高精度計算軟件,類似於《三體》中的智子;Muon優化器導致神經元死亡的問題及新優化器Aurora的出現;關於'積極對齊'的立場文件,探討在確保安全後如何讓AI幫助人類繁榮;以及LLM自主優化其他LLM訓練的實驗,顯示其工程能力但缺乏創造力。

來源Import AI作者: Jack Clark
導入AI 457:AI震網病毒;有問題的Muon優化器;以及積極對齊
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

本期Import AI涵蓋了四個重要話題,涉及AI安全、優化器研究和未來發展方向。

首先,關於一個名為fast16.sys的古老病毒。SentinelOne的研究人員發現,這款軟件大約有20年曆史,能夠針對高精度計算軟件進行選擇性破壞。它通過修補內存中的代碼來篡改計算結果,並結合自我傳播機制,旨在使整個設施產生等效的失準計算。這種攻擊方式讓人聯想到科幻小説《三體》中的“智子”——一種用於干擾地球高能物理實驗的外星技術。進一步調查顯示,該病毒針對的軟件包括LS-DYNA 970、PKPM和MOHID等工程和模擬套件,這些軟件用於碰撞測試、結構分析和環境建模。LS-DYNA尤其被引用在伊朗涉嫌違反JCPOA Section T的報告中,與核武器開發相關的計算機建模有關。通過引入微小但系統的錯誤,該病毒可能削弱或減慢科研項目,甚至造成災難性破壞。這引發深思:一個超級智能可能將“AI不擴散”視為與核不擴散同等重要。

第二個話題是Muon優化器的問題。Tilde Research的研究人員發現,Muon優化器存在缺陷,會導致神經網絡中的神經元永久死亡。具體來説,Muon的更新繼承了行範數各向異性,在訓練初期就有大量神經元死亡且無法恢復。在500步時,超過四分之一的神經元死亡,產生雙峯分佈。作為回應,他們提出了Aurora優化器,專門針對矩形矩陣設計。在1.1B參數的Transformer模型上訓練約100B tokens,Aurora達到了比Muon和NorMuon更低的最終損失,並在MMLU等基準測試上提升了10分。Pleias的研究人員Alexander Doria在600M參數模型上獨立驗證了Aurora優於Muon和AdamW。這再次凸顯了構建優於AdamW的優化器的困難。

第三,一個由牛津大學、谷歌DeepMind、OpenAI、Anthropic等機構的學者共同撰寫的立場論文提出了“積極對齊”的概念。與傳統的“消極對齊”專注於避免失敗不同,積極對齊旨在開發既安全又主動支持人類和生態繁榮的AI系統。論文指出,僅注重安全可能導致社會停留在“空洞幫助”的局部最優。作者批評了主流AI安全的一些侷限性,例如只有下限沒有上限、偏好與福祉的背離、隱藏的價值體系以及可擴展性問題。積極對齊要求多元化和去中心化的治理,而不是中央集權。這一方向直面技術安全成功後的挑戰:如何讓AI成為人類美好生活的夥伴。

最後,Prime Intellect的研究展示了當前LLM在AI研究任務中的能力。他們用Codex(基於GPT5.5)和Claude Code(Opus4.7)挑戰nanoGPT速度優化任務,目標是在僅改變優化器、調度、初始化等條件下降低達到目標驗證損失的步數。兩個代理進行了約1萬次運行,消耗約1.4萬H200小時,每次都打破了人類基準。然而,代理在提出新想法方面表現不佳,且傾向於添加組件而不進行精簡。這表明當前AI在工程優化方面已具備相當能力,但創造性仍需人類介入。

展開要點與分析

文章情報

工程師進階

要點

  • fast16病毒是一種20多年前的惡意軟件,能夠暗中破壞高精度科學計算,類似於一種現實版的'智子'攻擊。
  • 研究發現Muon優化器在訓練大型模型時會導致大量神經元死亡,新提出的Aurora優化器在1.1B參數模型上表現更優,MMLU得分提升10點。
  • 多機構聯合發表的立場論文提出'積極對齊'概念,主張AI系統不僅應安全,還應主動支持人類和生態的繁榮,且需多元化和去中心化治理。
  • Prime Intellect的實驗顯示,當代LLM能夠自主優化其他LLM的訓練過程並打破人類基準,但在提出新想法方面仍有侷限。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。