深層Transformerの訓練において残差接続は中心的な役割を果たす。標準的なPreNorm残差ストリームはサブレイヤー更新を固定の単位重みで集約するが、最近のAttention Residualsは内容依存の深さ方向ルーティングに置き換え、Block Attention Residualsはブロックレベルの残差要約をルーティングすることで効率化を図った。しかし、単一のブロック要約はブロック内の低周波総残差変位のみを保存し、注意対MLPの不均衡や初期対後期のブロックダイナミクスなどの方向性構造を失ってしまう。
そこで、本研究ではWAV v1を提案する。これはデコーダのみのTransformerのための軽量なマルチレゾリューション残差ルーティング手法である。各ブロックを累積残差和のみで表現する代わりに、WAV v1は2つの方向性詳細ベースを追加する。位相ベースは注意とMLPの更新を対比し、分割ベースは初期と後期のサブレイヤー更新を対比する。これらのベースは標準のブロック要約とともに同じ深さ方向ソフトマックスミキサーでルーティングされる。さらに、負の詳細ソース初期化と分離RMSマッチングにより訓練を安定化する。
文字レベルのTinyStoriesとText8言語モデリングにおいて、WAV v1は明確な深さ依存の利点を示した。12層では一貫した効果が見られないが、24層で競争力を発揮し、48層では全ベースラインを上回った。48層では、WAV v1はBlock AttnResと比較して検証損失をTinyStoriesで0.4960から0.4738、Text8で0.9363から0.9305に低減し、追加パラメータは無視できる量であった。
これらの結果は、ブロックレベルの和だけでなく方向性残差詳細が、深層Transformerにおける残差ルーティングのスケーリングに重要であることを示唆している。