「両方を使える世界が大好き」：NVIDIAが考えるローカルモデルとフロンティアモデル

NVIDIAのジェネレーティブAIソフトウェア担当シニアディレクター、Joey Conway氏はThe New Stackのインタビューで、ローカルで動作する小型モデルが十分に高性能になり、今や「実行できるか」ではなく「どう活用するか」が重要になっていると語った。Conway氏は、タスクの複雑さに応じてモデルを使い分ける「モデルシステム」の概念を提唱する。例えば、初期のオープンリージョニングモデルは「2+2」のような簡単な問題にも高度な推論を適用していたが、Conway氏は「単に4と答えるだけでよい」と指摘。単純なタスクは迅速なローカルモデルに、難しいタスクはより高度なモデルにルーティングすることで、コストと時間を削減しつつより良い結果を得られると述べている。

Conway氏は、企業が専門エージェントからなる「チーム」を構築し、各エージェントが特定のタスクに特化して日々改善されていくビジョンを描く。ユーザーからは単一のインターフェースに見えるが、背後では多様なモデルが協調して動作する。このシステムを実現する鍵はルーティング技術であり、現時点ではまだ初期段階にある。NVIDIAは現在、オープンソースの推論サーバーソフトウェア「Dynamo」を提供しており、これは各クエリを最も最近処理したGPUに誘導する。どのモデルがどのタスクに最適かは、NVIDIAはより広範なルーターエコシステムに委ねているが、同社が将来的にルーター機能を自社で開発する可能性も示唆している。

NVIDIAはLangChainとの協業事例も紹介。Nemotron 3 Ultra（5,500億パラメータのオープンモデル）をベースにしたDeep Agentsは、ビジネスタスクにおいて最先端のクローズドモデルに匹敵する性能を、最大10分の1のコストで達成した。Conway氏によると、この改善はプロンプトやツールの説明、ミドルウェアのチューニングによるもので、モデルの再学習は不要だった。

大規模モデルをデスクトップで実行するには高性能なハードウェアが必要だが、NVIDIAのDGX Spark（4,699ドル、128GBユニファイドメモリ、最大2,000億パラメータ対応）やDGX Station（748GBメモリ）はその選択肢を提供する。これらのデバイスにより、企業はデータを外部に出すことなく、完全にローカルでAIを実行できる。Conway氏は、「AIをデータのある場所に移動する」ことが重要だと強調し、データ主権と知的財産保護の観点から、ファインチューニングされたオープンモデルを社員のように扱うことを推奨する。

もちろん、より広範な問題に対処する必要がある場合は、クラウド上のフロンティアモデルを利用することもできる。NVIDIAにとって、これらのモデルはデスクトップでもクラウドでも自社のシリコン上で動作するため、この「ハイブリッドモデル」戦略は歓迎すべき状況である。