最近、arXivに掲載された論文「アクティブSAE特徴平面はより多くのホロノミーを持つのか?Gemmaにおける事前登録による逆転」は、Gemma 2 2Bモデルにおける特定の仮説を検証した。この研究では、アクティブなスパースオートエンコーダ(SAE)特徴平面が非アクティブまたは混合特徴平面よりも多くのホロノミー(holonomy)を持つかどうかを事前登録実験で調べた。ホロノミーは、残差ストリーム読み出し点において、局所フレームを小さなループに沿って輸送し、回転量を面積で正規化することで測定される。
研究チームは、実験デザイン、重要性閾値、分析、判定ルールを事前に設定し、測定結果を確認する前にこれらのルールを凍結した。しかし、実験結果は元の仮説を有意に覆すものとなった。アクティブ特徴平面は、一致させた混合特徴対照群よりも少ないホロノミーを示し、調整後の対数コントラストは-0.29439、95%信頼区間は[-0.43989, -0.14889]であった。この結果は、「アクティブ特徴平面がより多くのホロノミーを持つ」という予測を否定するものである。
さらに分析を進めた結果、大きさのみによる説明はこのデザインでは支持されなかった。一致させた大きさにおいて、ランダム、混合特徴、アクティブ特徴平面の3方向順序は、共通サポートの失敗により未定義となった。事後診断では、同じ読み出し点で面積則が検証され(小さな検証サブセット上で)、単純なペア回帰により一致中心変位が制約され、輸送歪みが可能性のあるメカニズムまたは交絡因子として特定された。
著者らは、この結果は狭く監査可能な操作的逆転であり、「意味がホロノミーを抑制する」という因果的な主張ではないと強調している。アクティブ特徴平面がより少ないホロノミーを示す原因は依然として未解明であり、活性化強度の幾何学、特徴関与の程度、辞書の幾何学、一致中心変位、活性化多様体の近接性、輸送せん断などが候補として挙げられている。