無需深度神經網路的大語言模型：新架構、優勢與案例研究

近日，一篇題為《LLMs Without Deep Neural Networks: New Architecture, Benefits and Case Study》的論文在arXiv上釋出，提出了一種顛覆性的大語言模型（LLM）架構。該架構摒棄了傳統的深度神經網路（DNN），轉而採用徑向基函式（RBF）網路，實現了在單次迭代中透過閉式解找到損失函式的全域性最優解，從而徹底消除了繁瑣的訓練步驟。

論文作者Vincent Granville指出，這一發現與中國研究人員近期對RBF網路的興趣不謀而合，但有所不同的是，他的模型獨立發現，且無需依賴DNN。RBF網路作為一種替代方案，具有更高的可解釋性和準確性，而Granville的模型透過數學上的閉式解法進一步簡化了訓練過程。

該架構的核心優勢在於其高效性：傳統DNN需要多次迭代和大量計算資源，而新模型透過一次計算即可獲得最優引數。這不僅大幅降低了訓練成本，還使得模型更易於部署和解釋。此外，論文透過案例研究展示了該技術在實際應用中的表現，並與現有方法進行了對比，驗證了其有效性。

雖然該技術仍處於早期階段，但其潛力巨大。如果能夠得到驗證和推廣，可能會改變大語言模型的開發正規化，使更多資源有限的研究機構和企業能夠參與其中。論文還提供了詳細的數學推導和實驗結果，為後續研究奠定了基礎。

在具體實現上，Granville的模型利用RBF網路的特性，將輸入對映到高維空間，然後透過求解線性方程組獲得全域性最優權重。這與傳統DNN依賴反向傳播和梯度下降的迭代最佳化形成鮮明對比。由於閉式解的存在，模型訓練時間從數天或數週縮短到幾分鐘甚至更短。此外，RBF網路固有的區域性響應特性增強了模型的可解釋性，使得我們可以理解每個輸入對輸出的影響。

論文還討論了該架構在自然語言處理任務中的應用潛力，包括文本分類、情感分析和機器翻譯等。初步實驗結果表明，在多個標準資料集上，新模型在保持較高準確率的同時，訓練速度提升了幾個數量級。作者還比較了與支援向量機（SVM）和極限學習機（ELM）等方法的異同，指出RBF網路的閉式解是其獨特優勢。

儘管當前研究主要集中在中小規模模型，但作者認為該架構具有良好的可擴充套件性。未來工作將探索如何利用稀疏化技術和平行計算來處理更大規模的引數。此外，作者還計劃釋出開原始碼，以促進社群的進一步研究和應用。

總之，這篇論文為LLM研究提供了一條嶄新的路徑，挑戰了深度神經網路在語言模型中的核心地位。對於關注模型效率和可解釋性的研究者和工程師而言，這一工作值得深入研讀和試驗。