arXivに掲載された論文「Prism Transformer: Progressive Head Schedules for Hierarchical Attention Processing」は、Transformerのマルチヘッド注意力における見落とされがちな構造的ボトルネックを解決する新しいアーキテクチャを提案している。従来のTransformerでは、各層で隠れ次元をすべてのヘッドに均等に分割し、各ヘッドの次元をdh = dmodel/hに固定している。この均一な割り当てがモデル全体の深さにわたって適用されるため、浅い層のヘッドは限られた次元空間しか持たず、複雑で高次元の文脈パターンを忠実に捉えることが難しい。
著者のShubham Aggarwal氏は、この静的な均一構成がモデルの表現能力を制限していると指摘する。そこで提案されたのがPrism Transformerである。これは固定されたヘッド構成を漸進的ヘッドスケジュールに置き換える。具体的には、浅い層ではヘッドの数を少なくし、各ヘッドを非常に広くすることで、複雑な局所的な構成パターンを捉える。層が深くなるにつれてヘッド数を単調に増やし、各ヘッドの次元を狭くすることで、浅い層で捉えたパターンを専門的な言語特徴に分解していく。これにより、局所から大域へという自然な表現階層が確立される。
重要な点は、この構造変化がパラメータ中立かつ計算中立であることだ。Prism Transformerは標準的なTransformerと同一の重み行列とFLOP予算を維持し、トレーニングや推論に追加のオーバーヘッドを一切導入しない。つまり、既存のリソースの配分を変えるだけで、モデルの潜在能力を引き出している。
有効性を検証するため、著者は124M、354M、757Mの3つのモデル規模で実験を行った。すべての規模で、Prism Transformerは均一なヘッド構成のベースラインを一貫して上回った。具体的には、検証損失の持続的な減少に加え、PIQA、HellaSwag、ARC-Easy、WinoGrandeといった複数の下流ゼロショットベンチマークで一貫した改善が見られた。これらの結果は、非均一な部分空間割り当てが、標準的なTransformerの予算内で潜在能力を解放し、モデル容量をより効果的に活用できることを示している。
論文は14ページ、4図、5表からなり、2026年6月25日に投稿され、機械学習（cs.LG）に分類されている。この研究は、追加のパラメータや計算負担なしに、内部リソース配分を最適化する簡単なスケジューリング戦略によって性能向上が得られることを示し、Transformerアーキテクチャ設計に新たな視点を提供する。