元神经细胞自动机 (MetaNCA) 实现架构泛化

自组织是生命的一种涌现特性，由个体组件基于局部信息的集体行为驱动。生物神经元通过突触传递的局部交互能够高效学习，并在生物体生命周期内调整连接。受这些适应性和局部交互特性的启发，神经细胞自动机（NCA）模型已成功通过局部更新规则学习形态发生，展现出多次更新下的稳定性和对扰动的鲁棒性。典型的 NCA 模型由一组细胞组成，每个细胞根据自身和邻居的状态更新其状态，从而产生复杂的全局模式。这些模型已被应用于模拟生物发育、图像生成和计算问题求解。然而，传统的 NCA 主要关注形态学任务，尚未广泛应用于神经网络权重学习。

在此工作中，研究者提出了元神经细胞自动机（MetaNCA）框架，旨在学习能够自组织人工神经网络权重的局部规则。该框架包含一个规则网络，它仅利用计算图上的局部交互，迭代更新任务网络的权重。规则网络采用新颖的权重变换器（Weight Transformer）架构，通过线性注意力机制聚合来自相邻权重和隐藏状态的信号。具体而言，Weight Transformer 将每个权重视为一个节点，其邻居包括计算图中直接相连的权重和对应的隐藏状态。线性注意力机制允许高效地聚合信息，避免传统注意力二次复杂度的计算瓶颈。这种设计使得规则网络能够在不访问全局信息的情况下，逐步调整任务网络的权重，类似于生物神经元基于局部突触可塑性进行学习。

MetaNCA 在训练完成后，无需反向传播即可生成不同架构的任务网络权重。在训练过程中，规则网络学习如何根据任务网络当前状态和输入输出信号来更新权重。一旦训练完成，对于新架构，只需随机初始化其权重，然后应用规则网络进行多次迭代更新，即可获得有效的权重配置。实验方面，研究者测试了 MetaNCA 在 MNIST 和 CIFAR-100 数据集上的表现，成功为前馈 MLP、CNN 和 ResNet 生成权重，并扩展到包含 200 万参数的网络。在 MNIST 上，MetaNCA 生成的权重达到了与反向传播训练相近的准确率，而在 CIFAR-100 上也有竞争性的表现。更重要的是，MetaNCA 能够泛化到元训练阶段未见的架构，例如在训练中仅使用 MLP 和 CNN，测试时却能为 ResNet 生成有效权重。此外，训练过程中架构的多样性显著增强了这种泛化能力：使用更多样化的架构进行元训练，规则网络能更好地适应未知架构。该论文已提交至 arXiv（编号 2607.07743），并将在人工生命会议（ALIFE 2026）的论文集中发表，共 9 页和 6 张图。作者包括 Meet Barot 等三位研究者。这一工作为无需反向传播的神经网络训练提供了新思路，并展示了局部规则在权重生成中的巨大潜力。未来工作可能包括将 MetaNCA 应用于更大规模的网络和更多样化的任务，以及探索与其他学习范式的结合。