無權重神經網絡：用查找表替代乘法，將AI能耗降低千倍

現代人工智能模型普遍依賴乘法運算。從生成回答到整理照片、推薦歌曲，神經網絡都在進行數百萬甚至數十億次輸入與權重的乘法。但德克薩斯大學奧斯汀分校的電氣與計算機工程教授Lizy K. John認為，這些模型的工作量遠超實際需求。

John教授在過去五年中專注於一種稱為"無權重神經網絡"的模型。與傳統方法不同，這類網絡不反覆進行乘法運算，而是通過互連的查找表傳遞二進制輸入——更像是查閲預先存儲的答案，而非重複解決相同的算術問題。根據任務不同，這些網絡在保持可比精度的同時，體積或速度可達傳統方案的千分之一。

團隊目前的工作集中在小型特定問題上：醫療傳感器、活動追蹤、關鍵詞識別。但John認為，同樣的方法最終可以觸及更大的目標，包括當今聊天機器人背後的Transformer模型。

從權重到查找表的轉變

John偶然受邀參加一個每週例會，討論使用查找表替代權重的方法。這項技術並非全新：20世紀80年代英國曾有人圍繞它構建了商業產品用於模式識別，隨後銷聲匿跡。巴西里約聯邦大學的幾位教授默默研究了多年，但僅限於一個研究小組。John的硬件實現經驗使她能夠將這一想法變為現實。六個月內，團隊在FPGA上成功運行了這種網絡，創建了極小的神經網絡，無需GPU即可運行，體積是其他方案的千分之一。

能源效率的關鍵

John指出，當前AI模型雖然令人驚歎，但生成每個單詞時涉及數十億次乘法運算。而人腦僅消耗約20瓦特能量就能完成類似任務。查找表方法本質上是查找0或1，決定路徑方向，無需30位或16位權重。乘法運算是硬件中能耗最高的操作之一，也是人類學習中最困難的部分之一。因此，避免乘法可顯著節省能源。

實際應用與成果

在人體活動識別、醫療監測（ECG、EEG、血壓）等數據集上，無權重神經網絡能耗降低1000倍。通常，智能傳感器只能收集原始數據併發送到服務器處理，但John的網絡足夠小，可直接嵌入傳感器。針對某個問題，最佳的緊湊型AI模型大小為17MB，而他們的模型僅為14KB——體積縮小1000倍以上。這不僅節省能源，還增強隱私，因為數據無需離開設備。在關鍵詞識別（如喚醒詞"Alexa"）方面，當前最佳工業模型每次推理消耗超過5000納焦，而他們的方法僅需42至79納焦。

未來展望：醫療監測與聊天機器人

John團隊的首要目標是醫療監測，例如一種類似創可貼的可穿戴設備，可連續監測一週，無需昂貴連接設備。化學實驗領域也是方向之一：將AI直接置於實驗點，立即返回結果。對於聊天機器人，團隊已成功替換Transformer中的多層感知器部分（約佔網絡一半），尚未替換注意力機制，但語言模型最終將是目標。

此外，團隊在新型芯片製造上取得進展：在塑料可彎曲基底上構建了心律失常檢測器，僅需約1萬個邏輯門（傳統芯片可容納數十億個）。這種基底更可持續，製造過程用水更少。傳統神經網絡無法在如此小的基底上運行，但他們的網絡可以。

生態系統兼容性

John強調，現有技術棧無需改變。數據可以沿用當前模型使用的數據，甚至可能需要更少。訓練目前仍在GPU上進行，但未來希望使用基於FPGA的硬件，因為FPGA已內建小型查找表，自然適合訓練和推理。FPGA使用查找表已有30多年曆史，但在AI領域並不普及。近期有一些研究用查找表替代部分乘法，但傾向於使用單個大型查找表，而非像他們那樣互連多個小型查找表。John認為，過去沒有迫切需求，現在有了。

挑戰與機遇

相比Transformer，研究無權重神經網絡的人少得多。John認為，當現有方法可行且負擔得起時，人們缺乏轉變的理由。目前僅在小問題上驗證成功，對於更大問題，人們缺乏信心。但每當她在會議或大學演講時，聽眾都印象深刻並希望參與。她希望能在更大的語言模型上驗證成功，從而吸引更多研究者。