语言模型架构的神经激活模式：认知任务性能的全面分析
该研究分析了六种不同的大型语言模型架构在十二类认知任务中的神经激活模式，发现数学推理任务在所有架构中均产生最高的注意力熵，而解码器模型的稀疏度显著高于编码器模型。研究结果为模型选择与优化提供了关键见解。
一篇最新发表在arXiv上的研究论文对六种不同的大型语言模型（LLM）架构进行了全面分析，揭示了它们在十二类认知任务中的神经激活模式差异。该研究通过系统测量最终激活值、注意力熵和稀疏度模式，展示了编码器和解码器架构在处理不同认知任务时的根本差异。
研究对象包括六种不同的LLM架构，涵盖编码器与解码器两种主要类型。研究者对144个任务-模型组合进行了分析，结果表明数学推理任务在所有架构中均表现出最高的注意力熵，这意味着模型在处理数学问题时需要更广泛的注意力分布。同时，解码器模型相比编码器模型展现出显著更高的稀疏度模式，表明其在处理信息时更倾向于激活少数关键神经元。
这些发现对于理解现代语言模型的计算特性及其任务特定的神经行为具有重要意义。研究结果可为大数据应用中的模型选择和优化提供指导，帮助开发者根据具体任务需求选择最合适的架构。例如，在处理数学推理任务时，可能需要选择注意力熵较高的模型，而在处理其他任务时则需考虑稀疏度等因素。
该论文题为“Neural Activation Patterns Across Language Model Architectures: A Comprehensive Analysis of Cognitive Task Performance”，由Mahdi Naser-Moghadasi等撰写，已被IEEE BigData 2025会议录用，全文共8页。该研究不仅揭示了不同架构在认知任务上的表现差异，还为未来模型设计和应用提供了理论依据。