大規模言語モデルにおける階層的グレーディング
本論文では、トランスフォーマーの表現空間にグレーディング（次数付け）を導入し、埋め込み、自己注意、訓練目的にわたって誘導される重み付きスカラー作用を伝播する代数フレームワーク「Graded Large Language Models (GLLMs)」を提案する。表現力、漸近計算複雑度、推論コストを維持しながら、 graded neural network 及び graded transformer を自己回帰言語モデルに拡張する。幾何学的には不変式論に基づき、グレーディングの利点はKempf-Ness汎関数で表現され、最適なグレードは2つのモーメント写像の一致点として閉形式で与えられる。通常のトランスフォーマーは境界上の半安定等方点として現れる。さらに、階層構造を持つターゲットに対して、グレーディング事前分布と均一事前分布の間のミニマックス分離が証明され、リスクの指数関数的減少が示される。
近年、大規模言語モデル（LLM）は目覚ましい進歩を遂げていますが、データの階層構造を効果的に活用することは依然として課題です。最近の論文「Hierarchical Grading in Large Language Models」では、Graded Large Language Models（GLLMs）と呼ばれる代数的フレームワークを提案し、トランスフォーマーの表現空間にグレーディング（次数付け）を導入することで、表現力と効率性の向上を目指しています。
このフレームワークは、トランスフォーマーの表現空間に代数構造を付与し、その誘導する重み付きスカラー作用を埋め込み、自己注意機構、訓練目的関数全体に伝播させます。表現力と漸近計算複雑度を維持しつつ、graded neural network 及び graded transformer の理論を自己回帰言語モデルに拡張します。これにより、推論コストを増やすことなく、データ内の階層構造をより効果的に捉えることが可能になります。
幾何学的には、この研究は不変式論に基づいています。グレーディングの利点はKempf-Ness汎関数によって定量化され、最適なグレードは2つのモーメント写像の一致点として閉形式で与えられます。注目すべきことに、通常のトランスフォーマーはグレーディングファミリーの中の半安定等方点として現れ、孤立した最適点ではなく、より大きなファミリーの一員であることが示されます。この発見は、トランスフォーマーの最適性に関する従来の認識に挑戦し、標準的なトランスフォーマーが実際にはより大きなグレーディングファミリーの特殊なケースであることを示しています。
階層構造を持つターゲットに対しては、グレーディング事前分布がミニマックス分離をもたらすことが証明されています。特定のサンプルサイズのウィンドウ内で、グレーディングに基づく推定器のリスクは均一モデルよりも大幅に低く、この分離は階層の数に応じて指数関数的に拡大します。必要なグレード構成は訓練前にオフライン推定で凸計画問題を解くことで得られ、これにより訓練前に最適なグレードを決定する理論的保証が与えられます。
訓練後、グレーディング情報は学習されたパラメータに吸収されるため、各GLLMはアーキテクチャと推論複雑度が同一の標準トランスフォーマーにコンパイルできます。つまり、GLLMは推論コストを増加させることなく性能を向上させる汎用的な手法を提供します。著者らは、この手法が自己回帰言語モデルに限らず、他のアーキテクチャにも適用可能であると述べています。本研究は、より効率的でデータ構造に適応した言語モデルの設計に新たな道を開くものであり、自然言語処理分野において重要な理論的価値と実践的意義を持ちます。今後、研究者はこのフレームワークに基づいてより複雑なグレーディング構造を探求し、多層的なタスクにおけるモデルの性能をさらに向上させることが期待されます。