言語モデルアーキテクチャにおけるニューラル活性化パターン：認知タスク性能の包括的分析
本研究では、6つの大規模言語モデルアーキテクチャにおける12種類の認知タスクに対するニューラル活性化パターンを分析し、数学的推論がすべてのアーキテクチャで最も高い注意エントロピーを生成し、デコーダーモデルがエンコーダーモデルよりも有意に高いスパース性を示すことを明らかにした。この結果は、ビッグデータアプリケーションにおけるモデル選択と最適化に重要な洞察を提供する。
arXivに最近発表された研究論文では、6つの異なる大規模言語モデル（LLM）アーキテクチャにおける神経活性化パターンの包括的分析が行われ、12種類の認知タスクにおける性能の違いが明らかにされました。この研究では、最終活性化値、注意エントロピー、およびスパース性パターンを体系的に測定し、エンコーダーとデコーダーのアーキテクチャが多様な認知タスクを処理する方法の根本的な違いを示しています。
研究対象は6つの異なるLLMアーキテクチャで、エンコーダーとデコーダーの両方の主要タイプを網羅しています。研究者らは144のタスク-モデル組み合わせを分析した結果、数学的推論がすべてのアーキテクチャで最も高い注意エントロピーを示すことを発見しました。これは、モデルが数学的問題を処理する際により広範な注意分布を必要とすることを意味します。同時に、デコーダーモデルはエンコーダーモデルに比べて有意に高いスパース性パターンを示し、情報処理において少数の重要なニューロンを活性化する傾向があることを示しています。
これらの発見は、現代の言語モデルの計算特性とタスク固有の神経行動を理解する上で重要な意味を持ちます。研究結果は、ビッグデータアプリケーションにおけるモデル選択と最適化の指針となり、開発者が特定のタスク要件に応じて最適なアーキテクチャを選択するのに役立ちます。例えば、数学的推論タスクでは注意エントロピーが高いモデルを選択し、他のタスクではスパース性などの要因を考慮する必要があります。
この論文は「Neural Activation Patterns Across Language Model Architectures: A Comprehensive Analysis of Cognitive Task Performance」と題され、Mahdi Naser-Moghadasiらによって執筆され、IEEE BigData 2025会議で採択されました。全文は8ページです。この研究は、異なるアーキテクチャが認知タスクで示す性能差を明らかにし、将来のモデル設計と応用に理論的根拠を提供しています。