語言模型架構的神經激活模式：認知任務性能的全面分析
該研究分析了六種不同的大型語言模型架構在十二類認知任務中的神經激活模式，發現數學推理任務在所有架構中均產生最高的注意力熵，而解碼器模型的稀疏度顯著高於編碼器模型。研究結果為模型選擇與優化提供了關鍵見解。
一篇最新發表在arXiv上的研究論文對六種不同的大型語言模型（LLM）架構進行了全面分析，揭示了它們在十二類認知任務中的神經激活模式差異。該研究通過系統測量最終激活值、注意力熵和稀疏度模式，展示了編碼器和解碼器架構在處理不同認知任務時的根本差異。
研究對象包括六種不同的LLM架構，涵蓋編碼器與解碼器兩種主要類型。研究者對144個任務-模型組合進行了分析，結果表明數學推理任務在所有架構中均表現出最高的注意力熵，這意味着模型在處理數學問題時需要更廣泛的注意力分佈。同時，解碼器模型相比編碼器模型展現出顯著更高的稀疏度模式，表明其在處理信息時更傾向於激活少數關鍵神經元。
這些發現對於理解現代語言模型的計算特性及其任務特定的神經行為具有重要意義。研究結果可為大數據應用中的模型選擇和優化提供指導，幫助開發者根據具體任務需求選擇最合適的架構。例如，在處理數學推理任務時，可能需要選擇注意力熵較高的模型，而在處理其他任務時則需考慮稀疏度等因素。
該論文題為“Neural Activation Patterns Across Language Model Architectures: A Comprehensive Analysis of Cognitive Task Performance”，由Mahdi Naser-Moghadasi等撰寫，已被IEEE BigData 2025會議錄用，全文共8頁。該研究不僅揭示了不同架構在認知任務上的表現差異，還為未來模型設計和應用提供了理論依據。