智能体的数据

构建 AI 智能体之所以困难，是因为现实世界的行为方式与基准测试不同。一个无法从 API 调用失败或从未见过的工作流中恢复的智能体，实际上并不是真正的智能体，它只是一个带有工具的高级自动补全器。要实现这一转变，关键在于数据：软件工程痕迹、工具使用失败、多步推理、检索、安全、用户模拟、工作流执行，以及最终的物理世界交互。这正是 NVIDIA Nemotron 开放数据产品所关注的领域。

NVIDIA 最近强调了开放模型如何推动 AI 研究，并在国际机器学习大会（ICML）上展示，近 145 篇论文引用了 Nemotron 模型和数据集。合成数据在整个生态系统中扮演着重要角色：Nemotron-CC 使用合成数据增强 Common Crawl 数据集，用于预训练；Nemotron-MATH 利用合成数学问题提升推理能力；Nemotron-CLIMB 包含专门的合成代码。NVIDIA 发布开放数据集的部分原因是为了与社区共同学习，扩展这些应用。

开放权重很重要，但对于智能体而言，权重只是故事的一部分。可复现性还取决于模型背后的数据集、数据筛选选择、训练方法和评估方法。智能体行为需要是可检查的。如果模型调用工具、执行工作流、检索信息并在系统间行动，开发者需要理解塑造这些行为的数据。开放数据使智能体行为可检查和可解释，而合成数据是实现这一点的关键。

NVIDIA 应用深度学习研究副总裁 Bryan Catanzaro 最近指出：“每家公司都围绕一个秘密建立”——竞争对手没有的工作流、语料库或客户模式。这些秘密使 AI 有用，但公司不应轻易暴露它们。合成数据为团队提供了一种方法，可以在不暴露底层来源的情况下保留有用信号。Bryan 还谈到培养一个多样化、参与性的 AI 生态系统，让各种公司、研究人员、政府能够贡献。这不仅是一个价值主张，也是一个数据主张：如果每个模型都从相同的狭窄数据池中学习，模型开始变得相似就不足为奇了。困难在于，最有用的数据通常位于那些无法或不愿直接发布它们的组织内部。每个人都能从一个更丰富的共享数据层中受益，但没有人愿意成为第一个放弃自己特色的人。开放发布的合成数据是改变这种局面的方式之一。

作为 Nemotron 开放数据的一部分，NVIDIA 发布了超过 10 万亿预训练 Token 和数百万后训练样本，涵盖多个领域和数据形态。为了让探索这些数据变得更容易，NVIDIA 构建了 Nemotron Post-Training v3 Prompt Atlas：一个交互式视觉地图，每个点代表一个提示样本，来自 Nemotron v3 后训练数据集，并按比例采样以反映数据混合的实际比例。颜色叠加和滤镜允许用户按数据集、流水线阶段、领域或工具使用重新组织地图。由于语义相似的提示会聚集在一起，用户可以放大到某个区域（如编码算法、安全、数学、智能体行为），检查代表性样本，并利用这些信号来筛选数据、构建评估或理解模型行为。

智能体还需要理解它们所支持的人，而“数据质量”在这种情况下是局部的，而不是通用的。在英语互联网数据上训练的毒性分类器可能会漏掉韩语或日语中的敌意信息，因为在那些语言中，攻击性往往编码在礼貌级别而不是明显的词汇中。同样的信号，不同的上下文。团队已经以此为基础建立智能体。Nemotron-Personas 就是为此而生的尝试之一：捕获人群多样性和复杂性的本地化合成角色。使用 NeMo Data Designer（NVIDIA 用于合成数据生成的最先进的复合 AI 工具）构建，Nemotron-Personas 反映了官方区域人口统计和地理统计数据。目标不是重现真实的人，而是帮助开发者测试他们的系统是否服务于他们声称服务的用户、语言、地区和职业。上个月在巴黎的 VivaTech 上，NVIDIA 发布了该系列的第十个国家，现在代表超过 24 亿人。当质量是局部时，只有了解该局部的人才能构建它——区域研究人员、母语者、领域专家、能够与你一起检查和纠正的利益相关者。这就是公开学习：不是孤立地发布数据，而是协作构建数据。

合成数据需要作为数据源系统的一部分进行整合。存在权衡。它可以降低风险，但并不能消除对基础事实、谱系、筛选、评估和人工判断的需求。一个有用的思考方式是“合成阈值”：数据不能再被视为纯粹真实的点。这条线并不总是明显的。真实工作流、人类反馈、模型生成的痕迹、模拟用户和合成标签可能会交织在一起。答案不是假装合成数据是假的或无害的，而是要记录生成的内容、基于什么、审查了什么以及数据旨在测试什么。随着越来越多的 AI 系统基于人工信息进行训练，我们需要更好的共享习惯来检查、记录和公开辩论这些技术。

在不同背景下，质量也意味着不同的事情。推理数据需要更困难的问题和更清晰的痕迹。角色数据需要分布保真度和局部审查。智能体工作流需要任务多样性、失败覆盖和恢复路径。该领域目前仍更像手艺而非公式。这就是为什么开放方法很重要。合成数据不仅仅是为了生成更多示例，而是为了提出更好的问题，并让原本无法同席的各方参与进来：公司不泄露秘密，政府不损害隐私，研究人员不等候可能永远不会到来的许可。

AI 中稀缺的资源不是 Token，而是组织间的信任。合成数据是为数不多的构建信任的工具之一。