智慧體的資料

構建 AI 智慧體之所以困難，是因為現實世界的行為方式與基準測試不同。一個無法從 API 呼叫失敗或從未見過的工作流中恢復的智慧體，實際上並不是真正的智慧體，它只是一個帶有工具的高階自動補全器。要實現這一轉變，關鍵在於資料：軟體工程痕跡、工具使用失敗、多步推理、檢索、安全、使用者模擬、工作流執行，以及最終的物理世界互動。這正是 NVIDIA Nemotron 開放資料產品所關注的領域。

NVIDIA 最近強調了開放模型如何推動 AI 研究，並在國際機器學習大會（ICML）上展示，近 145 篇論文引用了 Nemotron 模型和資料集。合成資料在整個生態系統中扮演著重要角色：Nemotron-CC 使用合成資料增強 Common Crawl 資料集，用於預訓練；Nemotron-MATH 利用合成數學問題提升推理能力；Nemotron-CLIMB 包含專門的合成程式碼。NVIDIA 釋出開放資料集的部分原因是為了與社群共同學習，擴充套件這些應用。

開放權重很重要，但對於智慧體而言，權重只是故事的一部分。可復現性還取決於模型背後的資料集、資料篩選選擇、訓練方法和評估方法。智慧體行為需要是可檢查的。如果模型呼叫工具、執行工作流、檢索資訊並在系統間行動，開發者需要理解塑造這些行為的資料。開放資料使智慧體行為可檢查和可解釋，而合成資料是實現這一點的關鍵。

NVIDIA 應用深度學習研究副總裁 Bryan Catanzaro 最近指出：“每家公司都圍繞一個秘密建立”——競爭對手沒有的工作流、語料庫或客戶模式。這些秘密使 AI 有用，但公司不應輕易暴露它們。合成資料為團隊提供了一種方法，可以在不暴露底層來源的情況下保留有用訊號。Bryan 還談到培養一個多樣化、參與性的 AI 生態系統，讓各種公司、研究人員、政府能夠貢獻。這不僅是一個價值主張，也是一個資料主張：如果每個模型都從相同的狹窄資料池中學習，模型開始變得相似就不足為奇了。困難在於，最有用的資料通常位於那些無法或不願直接釋出它們的組織內部。每個人都能從一個更豐富的共享資料層中受益，但沒有人願意成為第一個放棄自己特色的人。開放釋出的合成資料是改變這種局面的方式之一。

作為 Nemotron 開放資料的一部分，NVIDIA 釋出了超過 10 萬億預訓練 Token 和數百萬後訓練樣本，涵蓋多個領域和資料形態。為了讓探索這些資料變得更容易，NVIDIA 構建了 Nemotron Post-Training v3 Prompt Atlas：一個互動式視覺地圖，每個點代表一個提示樣本，來自 Nemotron v3 後訓練資料集，並按比例取樣以反映資料混合的實際比例。顏色疊加和濾鏡允許使用者按資料集、流水線階段、領域或工具使用重新組織地圖。由於語義相似的提示會聚集在一起，使用者可以放大到某個區域（如編碼演算法、安全、數學、智慧體行為），檢查代表性樣本，並利用這些訊號來篩選資料、構建評估或理解模型行為。

智慧體還需要理解它們所支援的人，而“資料質量”在這種情況下是區域性的，而不是通用的。在英語網際網路資料上訓練的毒性分類器可能會漏掉韓語或日語中的敵意資訊，因為在那些語言中，攻擊性往往編碼在禮貌級別而不是明顯的詞彙中。同樣的訊號，不同的上下文。團隊已經以此為基礎建立智慧體。Nemotron-Personas 就是為此而生的嘗試之一：捕獲人群多樣性和複雜性的本地化合成角色。使用 NeMo Data Designer（NVIDIA 用於合成資料生成的最先進的複合 AI 工具）構建，Nemotron-Personas 反映了官方區域人口統計和地理統計資料。目標不是重現真實的人，而是幫助開發者測試他們的系統是否服務於他們聲稱服務的使用者、語言、地區和職業。上個月在巴黎的 VivaTech 上，NVIDIA 釋出了該系列的第十個國家，現在代表超過 24 億人。當質量是區域性時，只有瞭解該區域性的人才能構建它——區域研究人員、母語者、領域專家、能夠與你一起檢查和糾正的利益相關者。這就是公開學習：不是孤立地釋出資料，而是協作構建資料。

合成資料需要作為資料來源系統的一部分進行整合。存在權衡。它可以降低風險，但並不能消除對基礎事實、譜系、篩選、評估和人工判斷的需求。一個有用的思考方式是“合成閾值”：資料不能再被視為純粹真實的點。這條線並不總是明顯的。真實工作流、人類反饋、模型生成的痕跡、模擬使用者和合成標籤可能會交織在一起。答案不是假裝合成資料是假的或無害的，而是要記錄生成的內容、基於什麼、審查了什麼以及資料旨在測試什麼。隨著越來越多的 AI 系統基於人工資訊進行訓練，我們需要更好的共享習慣來檢查、記錄和公開辯論這些技術。

在不同背景下，質量也意味著不同的事情。推理資料需要更困難的問題和更清晰的痕跡。角色資料需要分佈保真度和區域性審查。智慧體工作流需要任務多樣性、失敗覆蓋和恢復路徑。該領域目前仍更像手藝而非公式。這就是為什麼開放方法很重要。合成資料不僅僅是為了生成更多示例，而是為了提出更好的問題，並讓原本無法同席的各方參與進來：公司不洩露秘密，政府不損害隱私，研究人員不等候可能永遠不會到來的許可。

AI 中稀缺的資源不是 Token，而是組織間的信任。合成資料是為數不多的構建信任的工具之一。