无权重神经网络：用查找表替代乘法，将AI能耗降低千倍

现代人工智能模型普遍依赖乘法运算。从生成回答到整理照片、推荐歌曲，神经网络都在进行数百万甚至数十亿次输入与权重的乘法。但德克萨斯大学奥斯汀分校的电气与计算机工程教授Lizy K. John认为，这些模型的工作量远超实际需求。

John教授在过去五年中专注于一种称为"无权重神经网络"的模型。与传统方法不同，这类网络不反复进行乘法运算，而是通过互连的查找表传递二进制输入——更像是查阅预先存储的答案，而非重复解决相同的算术问题。根据任务不同，这些网络在保持可比精度的同时，体积或速度可达传统方案的千分之一。

团队目前的工作集中在小型特定问题上：医疗传感器、活动追踪、关键词识别。但John认为，同样的方法最终可以触及更大的目标，包括当今聊天机器人背后的Transformer模型。

从权重到查找表的转变

John偶然受邀参加一个每周例会，讨论使用查找表替代权重的方法。这项技术并非全新：20世纪80年代英国曾有人围绕它构建了商业产品用于模式识别，随后销声匿迹。巴西里约联邦大学的几位教授默默研究了多年，但仅限于一个研究小组。John的硬件实现经验使她能够将这一想法变为现实。六个月内，团队在FPGA上成功运行了这种网络，创建了极小的神经网络，无需GPU即可运行，体积是其他方案的千分之一。

能源效率的关键

John指出，当前AI模型虽然令人惊叹，但生成每个单词时涉及数十亿次乘法运算。而人脑仅消耗约20瓦特能量就能完成类似任务。查找表方法本质上是查找0或1，决定路径方向，无需30位或16位权重。乘法运算是硬件中能耗最高的操作之一，也是人类学习中最困难的部分之一。因此，避免乘法可显著节省能源。

实际应用与成果

在人体活动识别、医疗监测（ECG、EEG、血压）等数据集上，无权重神经网络能耗降低1000倍。通常，智能传感器只能收集原始数据并发送到服务器处理，但John的网络足够小，可直接嵌入传感器。针对某个问题，最佳的紧凑型AI模型大小为17MB，而他们的模型仅为14KB——体积缩小1000倍以上。这不仅节省能源，还增强隐私，因为数据无需离开设备。在关键词识别（如唤醒词"Alexa"）方面，当前最佳工业模型每次推理消耗超过5000纳焦，而他们的方法仅需42至79纳焦。

未来展望：医疗监测与聊天机器人

John团队的首要目标是医疗监测，例如一种类似创可贴的可穿戴设备，可连续监测一周，无需昂贵连接设备。化学实验领域也是方向之一：将AI直接置于实验点，立即返回结果。对于聊天机器人，团队已成功替换Transformer中的多层感知器部分（约占网络一半），尚未替换注意力机制，但语言模型最终将是目标。

此外，团队在新型芯片制造上取得进展：在塑料可弯曲基底上构建了心律失常检测器，仅需约1万个逻辑门（传统芯片可容纳数十亿个）。这种基底更可持续，制造过程用水更少。传统神经网络无法在如此小的基底上运行，但他们的网络可以。

生态系统兼容性

John强调，现有技术栈无需改变。数据可以沿用当前模型使用的数据，甚至可能需要更少。训练目前仍在GPU上进行，但未来希望使用基于FPGA的硬件，因为FPGA已内建小型查找表，自然适合训练和推理。FPGA使用查找表已有30多年历史，但在AI领域并不普及。近期有一些研究用查找表替代部分乘法，但倾向于使用单个大型查找表，而非像他们那样互连多个小型查找表。John认为，过去没有迫切需求，现在有了。

挑战与机遇

相比Transformer，研究无权重神经网络的人少得多。John认为，当现有方法可行且负担得起时，人们缺乏转变的理由。目前仅在小问题上验证成功，对于更大问题，人们缺乏信心。但每当她在会议或大学演讲时，听众都印象深刻并希望参与。她希望能在更大的语言模型上验证成功，从而吸引更多研究者。