跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

元神經細胞自動機 (MetaNCA) 實現架構泛化

文章摘要

本文提出元神經細胞自動機 (MetaNCA) 框架,通過局部更新規則自組織神經網絡權重,無需反向傳播即可為不同架構生成權重,並泛化到未見架構。

來源arXiv Machine Learning作者: Meet Barot, Daniel Berenberg, Sina Khajehabdollahi
元神經細胞自動機 (MetaNCA) 實現架構泛化
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

自組織是生命的一種湧現特性,由個體組件基於局部信息的集體行為驅動。生物神經元通過突觸傳遞的局部交互能夠高效學習,並在生物體生命週期內調整連接。受這些適應性和局部交互特性的啓發,神經細胞自動機(NCA)模型已成功通過局部更新規則學習形態發生,展現出多次更新下的穩定性和對擾動的魯棒性。典型的 NCA 模型由一組細胞組成,每個細胞根據自身和鄰居的狀態更新其狀態,從而產生複雜的全局模式。這些模型已被應用於模擬生物發育、圖像生成和計算問題求解。然而,傳統的 NCA 主要關注形態學任務,尚未廣泛應用於神經網絡權重學習。

在此工作中,研究者提出了元神經細胞自動機(MetaNCA)框架,旨在學習能夠自組織人工神經網絡權重的局部規則。該框架包含一個規則網絡,它僅利用計算圖上的局部交互,迭代更新任務網絡的權重。規則網絡採用新穎的權重變換器(Weight Transformer)架構,通過線性注意力機制聚合來自相鄰權重和隱藏狀態的信號。具體而言,Weight Transformer 將每個權重視為一個節點,其鄰居包括計算圖中直接相連的權重和對應的隱藏狀態。線性注意力機制允許高效地聚合信息,避免傳統注意力二次複雜度的計算瓶頸。這種設計使得規則網絡能夠在不訪問全局信息的情況下,逐步調整任務網絡的權重,類似於生物神經元基於局部突觸可塑性進行學習。

MetaNCA 在訓練完成後,無需反向傳播即可生成不同架構的任務網絡權重。在訓練過程中,規則網絡學習如何根據任務網絡當前狀態和輸入輸出信號來更新權重。一旦訓練完成,對於新架構,只需隨機初始化其權重,然後應用規則網絡進行多次迭代更新,即可獲得有效的權重配置。實驗方面,研究者測試了 MetaNCA 在 MNIST 和 CIFAR-100 數據集上的表現,成功為前饋 MLP、CNN 和 ResNet 生成權重,並擴展到包含 200 萬參數的網絡。在 MNIST 上,MetaNCA 生成的權重達到了與反向傳播訓練相近的準確率,而在 CIFAR-100 上也有競爭性的表現。更重要的是,MetaNCA 能夠泛化到元訓練階段未見的架構,例如在訓練中僅使用 MLP 和 CNN,測試時卻能為 ResNet 生成有效權重。此外,訓練過程中架構的多樣性顯著增強了這種泛化能力:使用更多樣化的架構進行元訓練,規則網絡能更好地適應未知架構。該論文已提交至 arXiv(編號 2607.07743),並將在人工生命會議(ALIFE 2026)的論文集中發表,共 9 頁和 6 張圖。作者包括 Meet Barot 等三位研究者。這一工作為無需反向傳播的神經網絡訓練提供了新思路,並展示了局部規則在權重生成中的巨大潛力。未來工作可能包括將 MetaNCA 應用於更大規模的網絡和更多樣化的任務,以及探索與其他學習範式的結合。

展開要點與分析

文章情報

工程師進階

要點

  • MetaNCA 受生物神經元局部交互啓發,利用局部規則更新網絡權重。
  • 提出權重變換器 (Weight Transformer) 架構,通過線性注意力聚合鄰居權重信號。
  • 在 MNIST 和 CIFAR-100 上成功生成 MLP、CNN、ResNet 權重,最大 200 萬參數。
  • MetaNCA 能泛化到元訓練未見架構,且訓練時架構多樣性增強泛化。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。