智能體的數據

構建 AI 智能體之所以困難，是因為現實世界的行為方式與基準測試不同。一個無法從 API 調用失敗或從未見過的工作流中恢復的智能體，實際上並不是真正的智能體，它只是一個帶有工具的高級自動補全器。要實現這一轉變，關鍵在於數據：軟件工程痕跡、工具使用失敗、多步推理、檢索、安全、用户模擬、工作流執行，以及最終的物理世界交互。這正是 NVIDIA Nemotron 開放數據產品所關注的領域。

NVIDIA 最近強調了開放模型如何推動 AI 研究，並在國際機器學習大會（ICML）上展示，近 145 篇論文引用了 Nemotron 模型和數據集。合成數據在整個生態系統中扮演着重要角色：Nemotron-CC 使用合成數據增強 Common Crawl 數據集，用於預訓練；Nemotron-MATH 利用合成數學問題提升推理能力；Nemotron-CLIMB 包含專門的合成代碼。NVIDIA 發佈開放數據集的部分原因是為了與社區共同學習，擴展這些應用。

開放權重很重要，但對於智能體而言，權重只是故事的一部分。可復現性還取決於模型背後的數據集、數據篩選選擇、訓練方法和評估方法。智能體行為需要是可檢查的。如果模型調用工具、執行工作流、檢索信息並在系統間行動，開發者需要理解塑造這些行為的數據。開放數據使智能體行為可檢查和可解釋，而合成數據是實現這一點的關鍵。

NVIDIA 應用深度學習研究副總裁 Bryan Catanzaro 最近指出：“每家公司都圍繞一個秘密建立”——競爭對手沒有的工作流、語料庫或客户模式。這些秘密使 AI 有用，但公司不應輕易暴露它們。合成數據為團隊提供了一種方法，可以在不暴露底層來源的情況下保留有用信號。Bryan 還談到培養一個多樣化、參與性的 AI 生態系統，讓各種公司、研究人員、政府能夠貢獻。這不僅是一個價值主張，也是一個數據主張：如果每個模型都從相同的狹窄數據池中學習，模型開始變得相似就不足為奇了。困難在於，最有用的數據通常位於那些無法或不願直接發佈它們的組織內部。每個人都能從一個更豐富的共享數據層中受益，但沒有人願意成為第一個放棄自己特色的人。開放發佈的合成數據是改變這種局面的方式之一。

作為 Nemotron 開放數據的一部分，NVIDIA 發佈了超過 10 萬億預訓練 Token 和數百萬後訓練樣本，涵蓋多個領域和數據形態。為了讓探索這些數據變得更容易，NVIDIA 構建了 Nemotron Post-Training v3 Prompt Atlas：一個交互式視覺地圖，每個點代表一個提示樣本，來自 Nemotron v3 後訓練數據集，並按比例採樣以反映數據混合的實際比例。顏色疊加和濾鏡允許用户按數據集、流水線階段、領域或工具使用重新組織地圖。由於語義相似的提示會聚集在一起，用户可以放大到某個區域（如編碼算法、安全、數學、智能體行為），檢查代表性樣本，並利用這些信號來篩選數據、構建評估或理解模型行為。

智能體還需要理解它們所支持的人，而“數據質量”在這種情況下是局部的，而不是通用的。在英語互聯網數據上訓練的毒性分類器可能會漏掉韓語或日語中的敵意信息，因為在那些語言中，攻擊性往往編碼在禮貌級別而不是明顯的詞彙中。同樣的信號，不同的上下文。團隊已經以此為基礎建立智能體。Nemotron-Personas 就是為此而生的嘗試之一：捕獲人羣多樣性和複雜性的本地化合成角色。使用 NeMo Data Designer（NVIDIA 用於合成數據生成的最先進的複合 AI 工具）構建，Nemotron-Personas 反映了官方區域人口統計和地理統計數據。目標不是重現真實的人，而是幫助開發者測試他們的系統是否服務於他們聲稱服務的用户、語言、地區和職業。上個月在巴黎的 VivaTech 上，NVIDIA 發佈了該系列的第十個國家，現在代表超過 24 億人。當質量是局部時，只有瞭解該局部的人才能構建它——區域研究人員、母語者、領域專家、能夠與你一起檢查和糾正的利益相關者。這就是公開學習：不是孤立地發佈數據，而是協作構建數據。

合成數據需要作為數據源系統的一部分進行整合。存在權衡。它可以降低風險，但並不能消除對基礎事實、譜系、篩選、評估和人工判斷的需求。一個有用的思考方式是“合成閾值”：數據不能再被視為純粹真實的點。這條線並不總是明顯的。真實工作流、人類反饋、模型生成的痕跡、模擬用户和合成標籤可能會交織在一起。答案不是假裝合成數據是假的或無害的，而是要記錄生成的內容、基於什麼、審查了什麼以及數據旨在測試什麼。隨着越來越多的 AI 系統基於人工信息進行訓練，我們需要更好的共享習慣來檢查、記錄和公開辯論這些技術。

在不同背景下，質量也意味着不同的事情。推理數據需要更困難的問題和更清晰的痕跡。角色數據需要分佈保真度和局部審查。智能體工作流需要任務多樣性、失敗覆蓋和恢復路徑。該領域目前仍更像手藝而非公式。這就是為什麼開放方法很重要。合成數據不僅僅是為了生成更多示例，而是為了提出更好的問題，並讓原本無法同席的各方參與進來：公司不泄露秘密，政府不損害隱私，研究人員不等候可能永遠不會到來的許可。

AI 中稀缺的資源不是 Token，而是組織間的信任。合成數據是為數不多的構建信任的工具之一。