新しい研究が、大規模言語モデル（LLM）が少数の例からタスクの同一性をどのようにエンコードするかについてのこれまでの理解に挑戦しています。論文「単一位置介入の失敗：分散型出力テンプレートがインコンテキスト学習を駆動する」は、Bryan ChengとJasper Zhangによって執筆され、2026年の学習と知的最適化会議（LION）およびICLR 2026のいくつかのワークショップで受理されました。
研究者らは線形プロービングを使用してタスク表現を特定しようとしましたが、プロービングの精度が因果的重要性をまったく予測できないことを発見しました。Llama-3.2-3Bモデルの全28層をテストしたところ、単一位置の活性化介入ではタスク転送が0%であり、同じ位置でのプロービング精度は100%でした。このヌル結果自体が重要な発見であり、タスクエンコーディングが本質的に分散型であることを示しています。
対照的に、複数位置介入（すべてのデモンストレーション出力トークンの活性化を同時に置き換える）は、8層目で最大96%の転送を達成し（N=50、95%信頼区間：[87%, 99%]）、ICLタスク同一性の因果的焦点を初めて特定しました。チームは、3つのアーキテクチャファミリー（LLaMA、Qwen、Gemma）にわたる4つのモデルでこれらの発見の一般性を確認し、ネットワーク深さの約30%に普遍的な介入ウィンドウを発見しました。
因果トレーシングにより、非対称なアーキテクチャが明らかになりました：クエリ位置は厳密に必要（53-100%の破壊）である一方、個々のデモンストレーション位置は不要（0%の破壊）であり、先行研究の重要な曖昧性を解決しました。重要なことに、転送は内部表現の互換性に依存し、表面的な類似性には依存しません（r=-0.05対r=0.31）、単純な説明を排除します。
これらの結果は、分散型出力テンプレート仮説を確立します：ICLタスク同一性は、デモンストレーショントークン全体に分散した出力形式テンプレートとしてエンコードされ、インコンテキスト学習の動作に関する理解を根本的に再形成します。この研究は既存の説明に挑戦するだけでなく、将来のLLMのメカニズム的解釈可能性研究に新たな道を開きます。また、モデル設計、推論効率、解釈可能性手法の発展に影響を与える可能性があります。