arXivに投稿された最新の研究論文「Instructions shape Production of Language, not Processing」は、言語モデルにおける命令の役割について新たな視点を提供する。Andreas Waldisらによるこの研究では、認知科学の枠組みを借用し、言語処理と生成を分離して考えることで、命令が主に生成段階に作用することを実証した。
研究チームは5つの二値判断タスクを用い、層ごとにタスク固有の情報をプロービングした。具体的には、命令トークンがサンプルトークン（評価対象の入力）と出力トークン（モデルが生成する応答）の情報にどのように影響するかを測定した。その結果、プロンプトのバリエーションにかかわらず、サンプルトークン内のタスク関連情報はほぼ安定しており、モデルの行動との相関は弱かった。一方、出力トークン内の同じ情報は命令によって大きく変動し、行動と強い相関を示した。
因果関係を確認するため、注意ベースの介入実験も行われた。命令の流れを後続のすべてのトークン（サンプルと出力の両方）に遮断すると、出力トークンの情報量が減少し、モデルの行動も変化した。しかし、命令の流れをサンプルトークンのみに遮断し、出力トークンへの影響を許した場合、行動の変化は最小限だった。これは、命令が主に出力生成プロセスを通じてモデルの行動を駆動することを示している。
さらに、この非対称性は異なるモデルファミリーやタスクで一貫して観察され、モデル規模の増大や命令チューニングによってより顕著になることが判明した。モデルが大きくなるほど、また命令チューニングが施されるほど、生成段階への影響が強まる。
この研究の重要な示唆は、言語モデルの能力を理解するには、内部状態と行動の両方を評価し、さらにトークン位置に基づいて内部の視点を分解し、入力処理と出力生成を区別する必要があるという点である。今後のモデル設計や評価に新たな理論的基盤を提供する成果と言える。