タスク能力は指示追従ではない：小規模言語モデルにおける指示競合行動の評価

最近、arXivに投稿された論文（番号2607.19608）では、言語モデルが指示と競合する場合の行動について調査されています。著者のMahdiyeh Farajidizajiらは、小規模な指示チューニングモデルに焦点を当て、ユーザーの非標準指示に本当に従うのか、それとも学習したタスク能力に依存するのかを検討しました。研究では、多肢選択式質問応答（MCQA）、感情分類、数学的質問応答の3つのタスクが使用されました。各タスクに対して、標準指示と競合する非標準指示（MCQAでは誤った選択肢を選ぶ、感情分類では反対の感情を出力する、数学では答えを2倍にする）がペアで与えられました。このクロスタスク設計により、競合指示への抵抗が特定のタスク特性に起因するのか、より広範な行動傾向を反映するのかをテストできます。重要なのは、すべての予測が元の正解ラベルに基づいてスコアリングされるため、非標準指示を無視したモデルも正確に見える点です。論文では、標準精度、非標準精度、および指示追従失敗率（IFFR）の3つの指標を使用し、さまざまなサイズの指示チューニング済みQwenモデルを評価しました。その結果、モデルサイズが大きくなるにつれて標準精度と指示追従能力の両方が一般的に向上するものの、そのパターンはすべてのタスクとデータセットで一貫していないことがわかりました。小規模モデルはタスク能力を維持しながら非標準指示を日常的に無視する一方、大規模モデルでは標準設定と非標準設定の間に明確なギャップが見られました。これらの発見は、タスク能力の向上が自動的にモデル行動の信頼性の高い制御を提供するわけではないことを示しています。タスク完遂能力と指示追従は別個の能力であり、標準精度のみを報告することは指示追従の失敗を隠蔽します。この研究は、言語モデルの評価とトレーニングに重要な示唆を与え、指示追従能力を個別に評価する必要性を強調しています。