ユルゲン・シュミットフーバー：ワールドモデル、強化学習、そしてAIを変えた年

人工知能の歴史において、1991年は特別な年です。この年は20世紀で唯一の回文年であるだけでなく、ユルゲン・シュミットフーバーがミュンヘンの小さな研究室で、現在では世界のテクノロジー大手の中核をなす多くのアルゴリズムを生み出しました。当時の計算能力は今日の約1000万分の1であり、競争がほとんどなかったため、これらの先駆的な研究は独自の環境で行われました。

シュミットフーバーはインタビューで、彼らが深層学習を発明したわけではない（1965年のウクライナでの研究に遡る）が、1991年に大きな飛躍を遂げたと強調します。彼らは「ワールドモデル」の概念を提案し、これは強化学習を通じてエージェントが意思決定を行うのに役立つ予測マシンです。このフレームワークは、未来を予測するモデルと、そのモデルを使用して計画・意思決定を行うコントローラーの2つの部分からなります。モデルを改善するために、コントローラーには予測誤差を最大化する行動を探す「人工的好奇心」も必要でした。

現在の大規模言語モデル（LLM）について、シュミットフーバーはこれらが本質的に教師あり学習の産物であり、テキスト内の次の単語を予測することでインターネットデータを模倣し、強い「人間バイアス」を持っていると指摘します。そのため言語タスクには優れているが、意思決定には不十分です。真の意思決定には強化学習が必要であり、LLMはワールドモデルとして組み込むことができます。

チェスAIの発展について、シュミットフーバーは1941年にKonrad Zuseが最初の汎用コンピュータとチェスプログラムを作成したことに言及します。その後、1997年のIBMのディープブルーは総当たり探索でカスパロフを破りましたが、それより前の1994年にはTesauroのニューラルネットワークが強化学習によりバックギャモンで人間レベルに達しており、これは現代のAIを予兆するものでした。

シュミットフーバーはまた、リカレントニューラルネットワークと勾配降下法の重要性、そして1990年から探求してきた「世界を微分可能にする」アイデアについて語りました。彼は自分は特に賢いわけではないが、自分よりはるかに賢い機械を構築したいと謙虚に述べています。将来に向けて、シュミットフーバーは予測モデルと強力な意思決定システムを組み合わせることが真の汎用人工知能への課題だと考えています。このインタビューは、初期のアルゴリズムのブレークスルーから現代の大規模モデルの波に至るまで、AI開発における重要なマイルストーンをカバーし、深い歴史的視点と技術的洞察を提供しています。