Sakana AI 的误差扩散训练符合戴尔原则的双流网络，无需反向传播即可在MNIST上达到96.7%，在CIFAR-10上达到61.7%

反向传播主导了深度学习，但它使用了大脑可能无法实现的机制。具体来说，反向传播需要前向权重矩阵的精确转置，这就是所谓的“权重传输问题”。Sakana AI 的新论文《Diffusing Blame》直接面对这一约束。研究团队训练了遵循戴尔原则（Dale's principle）的网络，同时完全避免了权重传输。

什么是误差扩散？

误差扩散（Error Diffusion，ED）是一种局部学习规则，最早由Kaneko（2000）提出。每个权重更新仅依赖于三个信号：突触前活动、突触后激活导数和一个全局误差符号。因此，ED从不传输前向权重的转置或使用随机反馈矩阵。这种局部性使ED天然符合戴尔原则。然而，先前的工作仅展示了ED在二分类和MNIST上的应用。

双流架构

为了满足戴尔原则，研究团队将每一层分为两个流：兴奋性流（p）和抑制性流（n）。前向传播计算每个流的兴奋性减去抑制性的预激活：

p_i = φ_i( +p_{i-1} Wpp − n_{i-1} Wnp + bp ) n_i = φ_i( +n_{i-1} Wnn − p_{i-1} Wpn + bn )

这里，四个权重矩阵都是元素非负的。偏置bp和bn是例外，不需要非负。此外，Wnp和Wpn前的负号是结构性的，而非学习得到的。因此，跨流连接保持抑制性，而所有可学习权重保持非负。这种设计每层需要四个权重子矩阵，因此参数数量约为单流网络的4倍。对于相同架构，这大约为3200万 vs DFA的800万。

模误差路由

有了这个架构，主要的扩展是模误差路由（Modulo Error Routing）。这使误差扩散超越了二分类。对于隐藏单元i，路由定义为r(i) = i mod C，其中C是输出维度。该单元从路由的误差分量中学习。简而言之，每个隐藏单元被分配一个固定的输出通道。与DFA使用随机反馈矩阵不同，ED使用这种结构化的对应关系。

三项分类创新

基于该路由，研究团队添加了三项修复措施用于多类分类：

1. 层特定sigmoid宽度：使用φi(z) = 1/(1 + e−2z/αi)。由于sigmoid导数直接门控误差信号，衰减严重。事後分析显示，从输出到第一个隐藏层有25倍的衰减。更宽的sigmoid保持导数较大，防止过早饱和。团队对CIFAR-10卷积层设置α=3.0，全连接层设置α=6.0。

1. 按批次中心的类误差：减去每个类的小批量均值。这使得一对多误差在每个类上批次均值为零，从而减少由9:1目标不平衡引起的持续抑制。

1. 非对称初始化：将兴奋性权重缩放1.5倍，抑制性权重缩放0.5倍。这使得期望的E/I比例约为3:1，而输出层保持对称。

性能

凭借这三项创新，误差扩散在MNIST上达到96.7%，在CIFAR-10上达到61.7%。相比之下，没有创新的种子ED分别降到50.4%和11.6%。DFA在两个任务上得分更高，但违反了戴尔原则，使用了约284万个负权重。值得注意的是，这是误差扩散首次训练卷积网络。此前Fujita（2026）使用扁平化MLP在CIFAR-10上达到约55.2%。即便如此，61.7%仍远低于标准基于梯度的方法。

| 方法 | MNIST | CIFAR-10 | 符合戴尔原则 | 备注 | |------|-------|----------|--------------|------| | 提出的ED | 96.7% | 61.7% | 是 | 所有权重非负；首次将ED用于CNN | | 种子ED | 50.4% | 11.6% | 是 | 无创新；α=1.0，原始误差，对称初始化 | | DFA | 97.6% | 69.1% | 否 | 随机反馈；约284万个负权重 |

消融反转

有趣的是，创新的重要性在不同任务间翻转。在MNIST上，移除层特定宽度是灾难性的（-71.4个百分点），准确率下降近乎随机。批次中心化几乎没有影响（-0.3个百分点）。而在CIFAR-10上，顺序相反。移除批次中心化误差成为最大的下降（-47.9个百分点），使五个种子中的四个崩溃。这种反转揭示了任务依赖的信用分配瓶颈，这是单基准评估无法发现的。

强化学习中的误差扩散

除了分类，研究团队将误差扩散与近端策略优化（PPO）结合，称为ED-PPO，并在Brax locomotion和Craftax上进行测试。策略输出误差通过输出通道路由到隐藏单元。对于标量价值网络，误差广播到所有单元。重要的是，ED-PPO完全放弃了三项分类创新。在五个种子上，ED-PPO在HalfCheetah上优于BP-PPO（5494 vs 3520；p<0.01），在Humanoid上匹配BP-PPO（2767 vs 2566；p=0.581）。在Craftax上，ED-PPO持平DFA-PPO，超过BP-PPO约300%，而参数增加可忽略。

代码片段

关键实现包括：

• 双流前向：返回p_next, n_next
• 路由函数：为每个隐藏单元分配一个输出通道
• ED更新：基于突触前活动和局部后驱动

主要结论

1. Sakana AI的误差扩散无需权重传输或随机反馈矩阵即可训练符合戴尔原则的双流网络。
2. 模误差路由将规则扩展到多类分类，实现MNIST 96.7%和CIFAR-10 61.7%。
3. 三项分类创新在MNIST和CIFAR-10上的重要性反转，揭示了任务依赖的信用分配瓶颈。
4. ED-PPO将相同架构应用于强化学习，在Brax上匹配DFA-PPO，在Craftax上超越。
5. 戴尔原则相对于DFA造成0.9-7.4个百分点的分类性能代价，量化了非负权重的成本。

论文链接：请查看原文。