神经网络内的几何计算器
研究发现，Llama 3.1 8B 模型内部存在一个通用加法模块，利用圆形表示（傅里叶特征）对数字进行编码和加法计算，并将其复用至月份、星期等循环概念的推理任务中。该模块位于第18层，通过并行计算各模数的和来实现加法，并通过引导实验证实了其因果作用。
文章情报
要点
- 在 Llama 3.1 8B 的第18层发现了一个通用加法模块。
- 该模块使用圆形表示（傅里叶特征）来编码数字，每个数字由多个模运算圆组成。
- 模块通过并行计算各模数的和来实现加法，并在不同任务（如月份、星期加法）中复用。
- 通过引导实验（steering）证实了该模块的因果作用。
为什么重要
这条新闻值得关注，因为在 Llama 3.1 8B 的第18层发现了一个通用加法模块。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
研究人员在一项新的研究中发现，开源大语言模型 Llama 3.1 8B 内部隐藏着一个通用的“加法模块”，它利用一种看似奇特却极为高效的几何机制来执行加法运算。这项发现不仅揭示了神经网络处理数值推理的内部工作原理，也为理解模型的行为和泛化能力提供了新的视角。
该加法模块位于模型的第18层。研究团队通过追踪信息在层与层之间的流动，并采用因果干预方法证实，这一模块不仅用于处理纯数字加法（如“7+9”），还能处理涉及循环概念的推理，例如“八个月后的月份”或“周五之后的两天”。这种跨任务的重用是模型在参数有限的情况下优化资源分配的结果。
那么，神经网络是如何表示数字的呢？研究发现，Llama 模型并不像人类或传统计算机那样使用线性数轴或二进制编码，而是采用一组“圆形”表示。每一个数字被编码为在多个不同模数（例如2、5、10、100）下的余数，这些余数对应激活空间中的圆形特征。这种表示方式类似于数学上的傅里叶分解，允许模型以模块化的方式处理信息。
加法模块的工作方式是将大问题分解为许多小问题并行求解。对于每个模数圆，模块只需要计算该模数下的和。例如，计算“6+8”时，模块分别计算 (6 mod 2)+(8 mod 2)=0、(6 mod 5)+(8 mod 5)=4、(6 mod 10)+(8 mod 10)=4，等等。最终，这些模数结果共同确定了总和14。研究人员通过可视化工具展示了模型在计算过程中各模数圆上的实际激活情况，提供了强有力的相关性证据。
为了进一步证明该模块的因果作用，研究团队采用了“引导”（steering）技术：通过人为调整加法模块中所有圆形特征的强度，观察模型对后续单词预测的改变。结果表明，操控这些圆形特征可以直接改变模型输出的月份，从而证实了该计算模块的真实性和功能。此外，单个神经元的激活模式也显示出清晰的分工：有些神经元专门负责模2子问题，有些负责模5，依此类推。
这项研究最重要的启示是：神经网络不仅存储几何化的概念表征，还利用这些表征进行实际计算。加法模块只是一个例子，团队正在开发能够自动发现这类机制的方法。理解这些机制对于调试、控制以及设计更先进的AI系统至关重要。正如研究者所言：“如果我们要理解模型行为、控制它、调试它并最终设计更好的模型，我们就需要同时理解模型构建的表征以及在这些表征上执行的计算。”