無權重神經網路：用查詢表替代乘法，將AI能耗降低千倍

現代人工智慧模型普遍依賴乘法運算。從生成回答到整理照片、推薦歌曲，神經網路都在進行數百萬甚至數十億次輸入與權重的乘法。但德克薩斯大學奧斯汀分校的電氣與計算機工程教授Lizy K. John認為，這些模型的工作量遠超實際需求。

John教授在過去五年中專注於一種稱為"無權重神經網路"的模型。與傳統方法不同，這類網路不反覆進行乘法運算，而是透過互連的查詢表傳遞二進位制輸入——更像是查閱預先儲存的答案，而非重複解決相同的算術問題。根據任務不同，這些網路在保持可比精度的同時，體積或速度可達傳統方案的千分之一。

團隊目前的工作集中在小型特定問題上：醫療感測器、活動追蹤、關鍵詞識別。但John認為，同樣的方法最終可以觸及更大的目標，包括當今聊天機器人背後的Transformer模型。

從權重到查詢表的轉變

John偶然受邀參加一個每週例會，討論使用查詢表替代權重的方法。這項技術並非全新：20世紀80年代英國曾有人圍繞它構建了商業產品用於模式識別，隨後銷聲匿跡。巴西里約聯邦大學的幾位教授默默研究了多年，但僅限於一個研究小組。John的硬體實現經驗使她能夠將這一想法變為現實。六個月內，團隊在FPGA上成功執行了這種網路，建立了極小的神經網路，無需GPU即可執行，體積是其他方案的千分之一。

能源效率的關鍵

John指出，當前AI模型雖然令人驚歎，但生成每個單詞時涉及數十億次乘法運算。而人腦僅消耗約20瓦特能量就能完成類似任務。查詢表方法本質上是查詢0或1，決定路徑方向，無需30位或16位權重。乘法運算是硬體中能耗最高的操作之一，也是人類學習中最困難的部分之一。因此，避免乘法可顯著節省能源。

實際應用與成果

在人體活動識別、醫療監測（ECG、EEG、血壓）等資料集上，無權重神經網路能耗降低1000倍。通常，智慧感測器只能收集原始資料併傳送到伺服器處理，但John的網路足夠小，可直接嵌入感測器。針對某個問題，最佳的緊湊型AI模型大小為17MB，而他們的模型僅為14KB——體積縮小1000倍以上。這不僅節省能源，還增強隱私，因為資料無需離開裝置。在關鍵詞識別（如喚醒詞"Alexa"）方面，當前最佳工業模型每次推理消耗超過5000納焦，而他們的方法僅需42至79納焦。

未來展望：醫療監測與聊天機器人

John團隊的首要目標是醫療監測，例如一種類似創可貼的可穿戴裝置，可連續監測一週，無需昂貴連線裝置。化學實驗領域也是方向之一：將AI直接置於實驗點，立即返回結果。對於聊天機器人，團隊已成功替換Transformer中的多層感知器部分（約佔網路一半），尚未替換注意力機制，但語言模型最終將是目標。

此外，團隊在新型晶片製造上取得進展：在塑膠可彎曲基底上構建了心律失常檢測器，僅需約1萬個邏輯閘（傳統晶片可容納數十億個）。這種基底更可持續，製造過程用水更少。傳統神經網路無法在如此小的基底上執行，但他們的網路可以。

生態系統相容性

John強調，現有技術棧無需改變。資料可以沿用當前模型使用的資料，甚至可能需要更少。訓練目前仍在GPU上進行，但未來希望使用基於FPGA的硬體，因為FPGA已內建小型查詢表，自然適合訓練和推理。FPGA使用查詢表已有30多年曆史，但在AI領域並不普及。近期有一些研究用查詢表替代部分乘法，但傾向於使用單個大型查詢表，而非像他們那樣互連多個小型查詢表。John認為，過去沒有迫切需求，現在有了。

挑戰與機遇

相比Transformer，研究無權重神經網路的人少得多。John認為，當現有方法可行且負擔得起時，人們缺乏轉變的理由。目前僅在小問題上驗證成功，對於更大問題，人們缺乏信心。但每當她在會議或大學演講時，聽眾都印象深刻並希望參與。她希望能在更大的語言模型上驗證成功，從而吸引更多研究者。