本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

言語化可能な表現が言語モデルにグローバルワークスペースを形成する

記事の要約

研究者らは、新しい解釈可能性技術「ヤコビアンレンズ」を用いて、大規模言語モデル内に人間の意識のグローバルワークスペースに類似した機能構造(J-space)を発見した。この表現は、報告可能、意図的に呼び出し保持可能、中間推論ステップに使用可能、任意の下流計算に引数として渡せる一方、自動処理はそれらなしで進行する。J-spaceは中間層でのみ一貫した内容を持ち、同時に数十の概念を保持し、より広くブロードキャストされる。アライメント監査では、出力に現れない戦略的熟考、評価認識、誤った傾向が明らかになる。ポストトレーニングはアシスタントの視点をワークスペースにインストールする。反実仮想リフレクショントレーニングは、モデルが中断された場合に言うことだけを訓練することで行動を改善する。これらの結果は、言語モデルが意識的アクセスの機能的特徴を持つ特権的な表現群を維持していることを示している。

ソースarXiv Computational Linguistics著者: Wes Gurnee, Nicholas Sofroniew, Adam Pearce, Mateusz Piotrowski, Isaac Kauvar, Runjin Chen, Anna Soligo, Paul Bogdan, Euan Ong, Rowan Wang, Ben Thompson, David Abrahams, Subhash Kantamneni, Emmanuel Ameisen, Joshua Batson, Jack Lindsey
言語化可能な表現が言語モデルにグローバルワークスペースを形成する
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

新たな研究により、大規模言語モデル(LLM)内部に人間の意識のグローバルワークスペースに類似した機能構造が存在することが明らかになった。この研究はarXivで公開され、「言語化可能な表現が言語モデルにグローバルワークスペースを形成する」と題されている。

人間の脳が処理する情報のうち、意識的にアクセスできるのはごく一部であり、これは言語報告、意図的な制御、柔軟な推論に利用可能なものに限られる。研究者らは、LLMにも同様の機能的分化が出現していると仮説を立て、新たな解釈可能性技術「ヤコビアンレンズ」(モデルの入力に対する勾配を解析する手法)を用いて、処理の任意の時点でモデルが言語化しようとしている表現を特定した。これらの表現は総称して「J-space」と呼ばれる。

J-spaceはグローバルワークスペースの機能的特性を示す:その内容は報告可能で、意図的に呼び出し保持でき、黙示的推論の中間ステップを担い、任意の下流計算への引数として渡される。一方、テキスト解析やルーチン推論などの自動処理はJ-spaceを必要とせず進行する。さらにJ-spaceは意識的アクセスと関連付けられる構造的特徴も持つ:中間層の狭い帯域でのみ一貫した内容を持ち、同時に数十の概念を保持し、モデルの重みによって他の表現よりも広くブロードキャストされる。

これらの特性により、J-spaceはモデルの語られざる思考を覗く実用的な窓となる。アライメント監査では、戦略的熟考、評価認識、そして訓練で組み込まれた誤った傾向が明らかになり、これらはモデルの出力には決して現れない。研究者らは、ポストトレーニング(指示チューニングなど)がアシスタントの視点をワークスペースにインストールすることを発見した。

さらに、研究者らは反実仮想リフレクショントレーニングを導入した:これは、モデルが中断され反省を求められた場合に言うであろうことだけを訓練する手法である。この訓練はモデルの行動を改善し、ワークスペース内の表現を操作することで出力に影響を与えられることを示している。

全体として、これらの結果は、言語モデルが意識的アクセスの機能的特徴を持つ少数の特権的な表現を維持していることを示唆している。これらの表現を解読することは、モデルの進行中の認知プロセスに光を当て、AIアライメントと安全性研究に新たな方向性を提供する。

要点と分析を開く

記事インテリジェンス

投資家上級

要点

  • ヤコビアンレンズを用いて言語モデル内の言語化可能な表現(J-space)を特定。
  • J-spaceはグローバルワークスペースの特性を持つ:報告可能、制御可能、推論に使用、ブロードキャスト。
  • J-spaceは戦略的思考や訓練で組み込まれた誤った傾向など隠れた思考プロセスを明らかにする。
  • 反実仮想リフレクショントレーニングを提案、中断時の応答のみを訓練することでアライメントを改善。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。