NVIDIA、Ineffable Intelligenceと協力して強化学習インフラの未来を構築
NVIDIAは、AlphaGoのアーキテクトであるDavid Silverが設立したロンドン拠点のAI研究所Ineffable Intelligenceと、大規模強化学習向けインフラのエンジニアリングレベルでの協業を開始した。この協業は、試行錯誤によって学習するAIシステムをサポートするトレーニングパイプラインの構築に焦点を当てており、NVIDIA Grace Blackwellプラットフォームから始まり、次世代Vera Rubinプラットフォームを探求する。強化学習はデータをリアルタイムで生成し継続的に更新する必要があり、相互接続、メモリ帯域幅、サービスに対して高い要求を課す。このインフラは、AIが人間のデータを超え、シミュレーションと経験を通じて新しい知識を自律的に発見することを可能にする。
記事インテリジェンス
要点
- NVIDIAとIneffable Intelligenceが大規模強化学習インフラの設計で協業。
- 強化学習エージェントは試行錯誤で学習し、リアルタイムデータ生成と継続的更新が必要。
- 協業はNVIDIA Grace Blackwellから始まり、Vera Rubinプラットフォームを探求。
- インフラはAIがシミュレーションと経験を通じて新しい知識を発見することを支援。
重要な理由
このニュースが重要なのは、NVIDIAとIneffable Intelligenceが大規模強化学習インフラの設計で協業ためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
強化学習エージェント——試行錯誤によって学習するAIシステム——は、計算を新しい知識に変換することができる。これが、NVIDIAとIneffable Intelligenceとの間の新たなエンジニアリングレベルの協業の焦点である。Ineffable Intelligenceは、先週ステルス状態を脱したAlphaGoのアーキテクトであるDavid Silverによって設立されたロンドン拠点のAI研究所である。
NVIDIAの創業者兼CEOであるJensen Huang氏は、「AIの次のフロンティアはスーパーラーナー、すなわち経験から継続的に学習するシステムです。私たちはIneffable Intelligenceと協力して大規模強化学習のためのインフラを共同設計し、彼らがAIのフロンティアを押し広げ、新しい世代のインテリジェントシステムを開拓することを楽しみにしています」と述べた。
Silver氏は強化学習の先駆者の一人であり、このアプローチはAI研究を変革してきた。彼はこのアプローチをさらに発展させ、新しいパラダイムにすることを目指している。「研究者たちはAIのより簡単な問題——人間が既に知っているすべてのことを知るシステムを構築する方法——をほぼ解決しました。しかし今、私たちはAIのより難しい問題——自分自身で新しい知識を発見するシステムを構築する方法——を解決する必要があります。それにはまったく異なるアプローチ、つまり経験から学習するシステムが必要です」とSilver氏は語った。
そのような学習を支えるには、強力で高度に最適化されたパイプラインが必要である。固定された人間のデータセットがシステムを流れる事前学習とは異なり、強化学習のワークロードはデータをその場で生成する。システムは密接なループの中で行動、観察、スコアリング、更新を継続的に行わなければならず、相互接続、メモリ帯域幅、サービスに対して事前学習にはない圧力をかける。さらに、システムは人間の言語やその他の人間のデータとはまったく異なる豊富な経験の形態で訓練され、新しいモデルアーキテクチャと訓練アルゴリズムを必要とする可能性がある。
これこそがNVIDIAとIneffableが技術的な取り組みを集中させている分野である：強化学習システムを大規模に供給できるパイプラインの構築である。両社のエンジニアは、このトレーニングパイプラインを作成する最善の方法を探るためにチームを組んでいる。この作業はNVIDIA Grace Blackwellから始まり、今後登場するNVIDIA Vera Rubinプラットフォームを探求する最初のものの一つとなる。目標は、AIの世界が人間のデータを超えてシミュレーションと経験を通じて学習するモデルに移行するにつれて、必要とされる次世代のハードウェアとソフトウェアを理解することである。
このインフラを適切に構築することで、非常に複雑で豊かな環境における前例のない規模の強化学習が可能になり、エージェントがあらゆる知識分野で画期的な発見をすることを可能にするだろう。