言語間でのLLM数学パラメータ：共有か分離か？

多言語大規模言語モデル（LLM）の数学的推論能力は言語間で大きな変動を示すが、その原因が言語固有のパラメータによるのか、あるいは言語ごとに異なる形で現れる共有メカニズムによるのかは不明であった。この疑問に答えるため、Behzad Shomaliら8名の研究者は、言語横断的なメカニズム分析手法を提案し、LLMにおける数学推論を支えるパラメータを特定・比較した。本論文はarXiv:2606.18453として2026年6月16日に提出され、ACL 2026 Student Research Workshop (SRW) に採択された。

研究者らは、数学に関連するパラメータを抽出し、それらが言語間で部分的に重複することを発見した。特に、モデルの中間層において重複が最も顕著であることが明らかになった。さらに、英語が一貫して最大の数学関連パラメータセットを持つ一方、低リソース言語では関連パラメータセットが小さいことが観察された。これらの結果は、多言語LLMの数学関連行動が完全に言語不変でも完全に言語固有でもなく、部分的なパラメータ重複と体系的な言語依存差異を示すことを示唆している。

本研究の意義は、LLMの言語横断的推論メカニズムの理解を深め、将来の多言語モデル開発に具体的な指針を提供する点にある。例えば、低リソース言語の数学性能を向上させるためには、それらの言語に特化したパラメータを増強するか、中間層の共有パラメータを最適化するなどの戦略が考えられる。また、研究チームはコードと翻訳データセットを公開しており、プロジェクトウェブサイト（https://math-across-languages.github.io）から入手可能である。これにより、他の研究者が結果を再現し、さらなる発展を遂げることが期待される。

研究者は、活性化パッチングに類似した手法を用いて、数学推論に関与するパラメータを特定した。彼らは異なる言語からの入力に対するモデルの内部表現を比較し、言語間で共通の活性化パターンを示すパラメータを抽出した。このアプローチにより、モデルのどの層が言語に依存しない数学的概念を符号化しているかを明らかにできる。実験では複数の言語ペアが評価され、結果は言語間で一貫していた。中間層での重複が最も強く、浅層と深層では言語固有のパラメータが優勢であった。

さらに、研究では数学推論の種類（算術、代数など）によってパラメータの重複パターンが異なる可能性も示唆された。基本的な算術では高い共有が見られたが、複雑な推論では言語固有のパラメータがより関与する傾向があった。この知見は、多言語モデルのトレーニング戦略に重要な示唆を与える。

この研究は5ページの短い論文であるが、提案された分析フレームワークはLLMの多言語能力を研究するための強力なツールとなる。工学的な観点からは、モデル選択、推論コスト、製品の数学的能力、評価ベンチマークに影響を与える可能性がある。評価ベンチマークを設計する際には、言語依存の差異を考慮することが重要である。

今後は、より多くの言語やモデルにわたる分析の拡張や、数学以外の領域での言語横断的パラメータ共有のパターン調査が期待される。本研究は、多言語AIシステムの公平性と性能向上に貢献する重要な一歩である。