在科學人工智慧領域，大規模資料集的準備工作常常成為瓶頸。領導計算設施管理著龐大的科學資料集，這些資料在作為AI訓練資料之前通常需要大量轉換。然而，現有框架無法完全統一自動化轉換、就緒性評估、來源跟蹤和代理原生部署。為此，研究人員提出了REDI，一個開源框架，旨在透過統一的五階段管道解決這一差距。
REDI的管道包括五個關鍵階段：攝取（ingest）、預處理（preprocess）、轉換（transform）、結構化（structure）和輸出（output）。每個階段都配備儀器化，以確保可復現性，並且整個框架可以部署為代理可呼叫的技能。此外，配套工具SetGo可以自動化FAIR合規性和目錄釋出，進一步簡化了資料管理流程。
REDI在多個科學領域進行了評估，包括氣候、蛋白質組學、材料科學和核聚變。結果顯示，REDI能夠將所有資料集從原始狀態轉換為AI就緒狀態，輸出經過領域專家參考驗證。初步結果還表明，在氣候變化案例中，REDI在Frontier超級計算機上實現了近乎理想的並行擴充套件，可擴充套件到100個節點。
透過儀器化效能分析，研究人員發現檔案I/O是管道中的主要成本，而格式選擇成為首要最佳化槓桿。這些結果確立了REDI作為跨領域平臺的地位，能夠為科學AI提供自動化的資料就緒性，將資料準備瓶頸轉化為可復現、可重用的社群資產。REDI的成功展示了自動化資料流水線在加速科學發現方面的潛力，為未來大規模AI訓練資料的製備提供了標準化解決方案。