在科學人工智能領域，大規模數據集的準備工作常常成為瓶頸。領導計算設施管理着龐大的科學數據集，這些數據在作為AI訓練數據之前通常需要大量轉換。然而，現有框架無法完全統一自動化轉換、就緒性評估、來源跟蹤和代理原生部署。為此，研究人員提出了REDI，一個開源框架，旨在通過統一的五階段管道解決這一差距。
REDI的管道包括五個關鍵階段：攝取（ingest）、預處理（preprocess）、轉換（transform）、結構化（structure）和輸出（output）。每個階段都配備儀器化，以確保可復現性，並且整個框架可以部署為代理可調用的技能。此外，配套工具SetGo可以自動化FAIR合規性和目錄發佈，進一步簡化了數據管理流程。
REDI在多個科學領域進行了評估，包括氣候、蛋白質組學、材料科學和核聚變。結果顯示，REDI能夠將所有數據集從原始狀態轉換為AI就緒狀態，輸出經過領域專家參考驗證。初步結果還表明，在氣候變化案例中，REDI在Frontier超級計算機上實現了近乎理想的並行擴展，可擴展到100個節點。
通過儀器化性能分析，研究人員發現文件I/O是管道中的主要成本，而格式選擇成為首要優化槓桿。這些結果確立了REDI作為跨領域平台的地位，能夠為科學AI提供自動化的數據就緒性，將數據準備瓶頸轉化為可復現、可重用的社區資產。REDI的成功展示了自動化數據流水線在加速科學發現方面的潛力，為未來大規模AI訓練數據的製備提供了標準化解決方案。