強化学習エージェント——試行錯誤によって学習するAIシステム——は、計算を新しい知識に変換することができる。これが、NVIDIAとIneffable Intelligenceとの間の新たなエンジニアリングレベルの協業の焦点である。Ineffable Intelligenceは、先週ステルス状態を脱したAlphaGoのアーキテクトであるDavid Silverによって設立されたロンドン拠点のAI研究所である。
NVIDIAの創業者兼CEOであるJensen Huang氏は、「AIの次のフロンティアはスーパーラーナー、すなわち経験から継続的に学習するシステムです。私たちはIneffable Intelligenceと協力して大規模強化学習のためのインフラを共同設計し、彼らがAIのフロンティアを押し広げ、新しい世代のインテリジェントシステムを開拓することを楽しみにしています」と述べた。
Silver氏は強化学習の先駆者の一人であり、このアプローチはAI研究を変革してきた。彼はこのアプローチをさらに発展させ、新しいパラダイムにすることを目指している。「研究者たちはAIのより簡単な問題——人間が既に知っているすべてのことを知るシステムを構築する方法——をほぼ解決しました。しかし今、私たちはAIのより難しい問題——自分自身で新しい知識を発見するシステムを構築する方法——を解決する必要があります。それにはまったく異なるアプローチ、つまり経験から学習するシステムが必要です」とSilver氏は語った。
そのような学習を支えるには、強力で高度に最適化されたパイプラインが必要である。固定された人間のデータセットがシステムを流れる事前学習とは異なり、強化学習のワークロードはデータをその場で生成する。システムは密接なループの中で行動、観察、スコアリング、更新を継続的に行わなければならず、相互接続、メモリ帯域幅、サービスに対して事前学習にはない圧力をかける。さらに、システムは人間の言語やその他の人間のデータとはまったく異なる豊富な経験の形態で訓練され、新しいモデルアーキテクチャと訓練アルゴリズムを必要とする可能性がある。
これこそがNVIDIAとIneffableが技術的な取り組みを集中させている分野である：強化学習システムを大規模に供給できるパイプラインの構築である。両社のエンジニアは、このトレーニングパイプラインを作成する最善の方法を探るためにチームを組んでいる。この作業はNVIDIA Grace Blackwellから始まり、今後登場するNVIDIA Vera Rubinプラットフォームを探求する最初のものの一つとなる。目標は、AIの世界が人間のデータを超えてシミュレーションと経験を通じて学習するモデルに移行するにつれて、必要とされる次世代のハードウェアとソフトウェアを理解することである。
このインフラを適切に構築することで、非常に複雑で豊かな環境における前例のない規模の強化学習が可能になり、エージェントがあらゆる知識分野で画期的な発見をすることを可能にするだろう。