面向科学人工智能的自动化数据准备
研究人员推出了REDI，这是一个开源框架，通过统一的五阶段管道（摄取、预处理、转换、结构化、输出）自动将大规模科学数据集转化为人工智能就绪数据。它包含可追溯性、可复现性以及代理可调用技能部署。配套工具SetGo可自动化FAIR合规性和目录发布。在气候、蛋白质组学、材料科学和核聚变领域进行了评估，显示出近乎理想的并行扩展能力，并识别出文件I/O为主要成本。
在科学人工智能领域，大规模数据集的准备工作常常成为瓶颈。领导计算设施管理着庞大的科学数据集，这些数据在作为AI训练数据之前通常需要大量转换。然而，现有框架无法完全统一自动化转换、就绪性评估、来源跟踪和代理原生部署。为此，研究人员提出了REDI，一个开源框架，旨在通过统一的五阶段管道解决这一差距。
REDI的管道包括五个关键阶段：摄取（ingest）、预处理（preprocess）、转换（transform）、结构化（structure）和输出（output）。每个阶段都配备仪器化，以确保可复现性，并且整个框架可以部署为代理可调用的技能。此外，配套工具SetGo可以自动化FAIR合规性和目录发布，进一步简化了数据管理流程。
REDI在多个科学领域进行了评估，包括气候、蛋白质组学、材料科学和核聚变。结果显示，REDI能够将所有数据集从原始状态转换为AI就绪状态，输出经过领域专家参考验证。初步结果还表明，在气候变化案例中，REDI在Frontier超级计算机上实现了近乎理想的并行扩展，可扩展到100个节点。
通过仪器化性能分析，研究人员发现文件I/O是管道中的主要成本，而格式选择成为首要优化杠杆。这些结果确立了REDI作为跨领域平台的地位，能够为科学AI提供自动化的数据就绪性，将数据准备瓶颈转化为可复现、可重用的社区资产。REDI的成功展示了自动化数据流水线在加速科学发现方面的潜力，为未来大规模AI训练数据的制备提供了标准化解决方案。