エージェントのためのデータ
NVIDIAは、エージェントAIの構築におけるオープンデータと合成データの重要性を強調し、データの検査可能性、品質、信頼を重視しています。Nemotronデータセット、Prompt Atlas可視化ツール、地域的多様性のための合成ペルソナについて詳細に説明しています。
エージェントAIの構築は困難です。なぜなら、現実世界はベンチマークのように振る舞わないからです。APIコールの失敗や一度も見たことのないワークフローから回復できないエージェントは、真のエージェントとは言えません。それはツールを備えたオートコンプリータに過ぎません。この違いを埋めるのはデータです：ソフトウェアエンジニアリングのトレース、ツール使用の失敗、マルチステップ推論、検索、安全性、ユーザーシミュレーション、ワークフロー実行、そして最終的には物理世界との相互作用。これこそがNVIDIA Nemotronのオープンデータ製品が焦点を当てている領域です。
NVIDIAは最近、オープンモデルがAI研究を推進し、国際機械学習会議（ICML）で広く取り上げられ、約145の論文がNemotronモデルとデータセットを引用していることを強調しました。合成データはこのエコシステム全体で重要な役割を果たしています：Nemotron-CCは合成データを使用してCommon Crawlデータセットを強化し、事前学習に使用されました。Nemotron-MATHは合成数学問題を活用して推論を改善します。Nemotron-CLIMBは専門的な合成コードを含みます。NVIDIAがオープンデータセットを公開する理由の一つは、コミュニティとともに学び、これらの応用を拡大するためです。
オープンウェイトは重要ですが、エージェントにとってウェイトは物語の一部に過ぎません。再現性は、モデルの背後にあるデータセット、キュレーションの選択、トレーニングレシピ、評価方法にも依存します。エージェントの動作は検査可能である必要があります。モデルがツールを呼び出し、ワークフローを実行し、情報を検索し、システム間で動作する場合、開発者はその動作を形成したデータを理解する必要があります。オープンデータはエージェントの動作を検査可能で説明可能にし、合成データはそれを可能にするための重要な要素です。
NVIDIAの応用深層学習研究担当バイスプレジデントであるBryan Catanzaro氏は最近、「すべての企業は秘密を中心に構築されている」と述べました。競合他社が持っていないワークフロー、コーパス、顧客パターンです。それらの秘密はAIを有用にしますが、企業は軽率に露出すべきではありません。合成データは、チームが基盤となるソースを露出せずに有用なシグナルを保存する方法を提供します。また、Bryan氏は多様で参加型のAIエコシステムを育成することについても語り、さまざまな企業、研究者、政府、コミュニティが貢献できるようにすることの重要性を強調しました。これは単なる価値観の主張ではなく、データの主張でもあります。
すべてのモデルが同じ狭いデータプールから学習する場合、モデルが似通ってきても驚くべきことではありません。難しいのは、最も有用なデータがしばしば直接公開できない組織内にあることです。誰もがより豊かな共有データ層から利益を得ますが、自分たちを特別にするものを最初に手放したいとは誰も思いません。オープンに公開された合成データは、そのバランスを変える方法の一つです。
Nemotronオープンデータの一環として、私たちは10兆以上の事前学習トークンと数百万の事後学習サンプルをリリースしました。これらを理解しやすくするために、Nemotron Post-Training v3 Prompt Atlasを構築しました。これはインタラクティブなビジュアルマップで、各ポイントはNemotron v3事後学習コレクションから抽出されたプロンプトサンプルであり、データ混合の実際の割合を反映するようにボリュームサンプリングされています。カラーオーバーレイとフィルターを使用すると、データセット、パイプラインステージ、ドメイン、ツール使用でマップを再編成できます。意味的に類似したプロンプトがクラスター化するため、コーディングアルゴリズム、安全性、数学、エージェント動作などの領域にズームインし、代表的な例を検査し、そのシグナルを使用してデータのキュレーション、評価の構築、モデルの動作の理解に役立てることができます。
エージェントはまた、サポートする人々を理解する必要があります。ここで「データ品質」は普遍的ではなく局所的になります。英語のインターネットデータでトレーニングされた毒性分類器は、韓国語や日本語の敵対的なメッセージを見逃す可能性があります。なぜなら、それらの言語では攻撃性が明白な語彙ではなく、丁寧さのレベルにエンコードされているからです。同じシグナルでも、文脈が異なります。チームはすでにこの方法でエージェントを構築しています。
Nemotron-Personasはその試みの一つです：人口の多様性と複雑性を捉えた、地域に基づく合成ペルソナです。NeMo Data Designer（合成データ生成のための最先端の複合AIツール）を使用して構築され、Nemotron-Personasは公式の地域人口統計および地理統計を反映しています。目標は実際の人々を再現することではなく、開発者が自社のシステムが意図したユーザー、言語、地域、職業を実際に反映しているかをテストできるようにすることです。先月パリで開催されたVivaTechで、私たちはコレクションの10カ国目を発表し、現在24億人以上をカバーしています。品質が局所的である場合、その地域を知っている人だけが構築できます——地域の研究者、ネイティブスピーカー、ドメイン専門家、あなたと一緒に検査し修正できる利害関係者です。これが公開学習です：データを単独で公開するのではなく、協力して構築することです。
合成データは、データソースのシステムの一部として統合される必要があります。トレードオフがあります。リスクを減らすことはできますが、グラウンディング、系統、キュレーション、評価、人間の判断の必要性を排除するものではありません。有用な考え方の一つは「合成閾値」です：データが純粋に現実として扱えなくなるポイントです。その線は常に明確ではありません。実際のワークフロー、人間のフィードバック、モデル生成のトレース、シミュレートされたユーザー、合成ラベルが絡み合う可能性があります。答えは合成データを偽物または無害と見なすことではなく、何が生成され、何に基づき、何がレビューされ、データが何をテストすることを意図しているかを文書化することです。より多くのAIシステムが人工情報でトレーニングされるにつれて、それを検査し、文書化し、公開で議論するためのより良い共有習慣が必要です。
品質は文脈によって異なります。推論データはより難しい問題とよりクリーンなトレースを必要とします。ペルソナデータは分布の忠実性と地域レビューを必要とします。エージェントワークフローはタスクの多様性、失敗のカバレッジ、回復パスを必要とします。この分野はまだ公式よりも技術です。だからこそ、オープンメソッドが重要です。合成データは単に多くの例を生成することではなく、より良い質問をし、そうでなければ同じテーブルに座ることができない当事者——秘密を明かさずに企業、プライバシーを損なわずに政府、そして来ないかもしれない許可を待たずに研究者——が参加することを可能にすることです。
AIにおける希少なリソースはトークンではなく、組織間の信頼です。合成データはその信頼を構築するための数少ないツールの一つです。