言語間転移における言語の関連性とタスク調整の分離

新しい研究論文「言語間転移における言語の関連性とタスク調整の分離」は、大規模言語モデルの言語間転移メカニズムを詳細に調査しました。研究者らは、パラメータ数40億から6710億の7種類のモデルをアラビア語で微調整し、セム語族（ヘブライ語など）と非セム語族の対照言語に対するゼロショット読解力をテストしました。目的は、言語の系統的関連性が転移効果に与える影響を明らかにすることです。

実験には高密度アーキテクチャと混合専門家（MoE）アーキテクチャが含まれています。驚くべきことに、結果はセム語特有の転移を示す証拠を全く見つけられませんでした。対象言語がアラビア語と系統的に近いかどうかに関わらず、モデルの性能向上パターンは一貫していました。初期性能が低かったモデルは微調整後、すべての言語で顕著な改善を示しましたが、既に高い性能を持つモデルは対象言語に関係なくわずかな向上しか見られませんでした。この発見は、微調整による改善が言語間の知識転移ではなく、タスク形式への適応に起因することを示唆しています。

この仮説をさらに検証するため、研究チームは思考連鎖（Chain-of-Thought）によるアブレーション実験も実施しました。微調整から最も恩恵を受けたモデルが、思考連鎖推論からも同等の恩恵を受けることが判明し、両方のメカニズムが実際にはモデルのタスク形式の把握を修正しているに過ぎず、言語固有の知識を伝達しているわけではないことを強く示唆しています。

本研究は、現在の多言語モデルの訓練および評価方法に重要な疑問を投げかけ、言語間能力を追求する際には、タスク調整による改善と真の言語理解の進歩をより注意深く分離する必要があると主張しています。この論文は2026年4月にarXivに提出され、コンピュータ科学と人工知能の分野で注目を集めています。