Sakana AIが提案するDiffusionBlocks：残差ネットワークを独立して訓練可能なデノイジングモジュールに変換するブロック単位学習フレームワーク

Sakana AIと東京大学の研究者らは、Transformerベースのネットワークをブロックごとに訓練するDiffusionBlocksを提案。訓練メモリをブロック数B分の1に削減しつつ、多様なアーキテクチャで性能を維持する。残差接続を拡散モデルのオイラー法ステップと解釈し、スコアマッチングによる原理的な局所目的を実現する。