科学AIの分野では、大規模データセットの準備がしばしばボトルネックとなっている。リーダーシップコンピューティング施設は巨大な科学データセットを管理しており、これらはAIトレーニングデータとして使用する前に大幅な変換を必要とすることが多い。しかし、既存のフレームワークは、自動変換、準備状況評価、来歴追跡、エージェントネイティブ展開を完全に統一するものはなかった。このギャップを埋めるため、研究者らはオープンソースフレームワークREDIを提案した。
REDIのパイプラインは、取り込み（ingest）、前処理（preprocess）、変換（transform）、構造化（structure）、出力（output）の5段階で構成される。各段階には再現性を確保するための計装が施され、フレームワーク全体をエージェント呼び出し可能なスキルとして展開できる。さらに、補助ツールSetGoはFAIR準拠とカタログ公開を自動化し、データ管理プロセスをさらに簡素化する。
REDIは、気候、プロテオミクス、材料科学、核融合など、複数の科学分野で評価された。その結果、REDIはすべてのデータセットを生データからAI対応状態に変換でき、出力はドメイン専門家の参照によって検証された。また、予備的結果では、気候変動ケースにおいて、REDIがFrontierスーパーコンピューター上で100ノードまでほぼ理想的な並列スケーリングを示した。
計装されたプロファイリングにより、ファイルI/Oがパイプラインの主要なコストであり、フォーマット選択が最適化の第一のレバーであることが明らかになった。これらの結果は、REDIが科学AIのための自動データ準備を提供するクロスドメインプラットフォームとして確立され、データ準備のボトルネックを再現可能で再利用可能なコミュニティ資産に変換することを示している。REDIの成功は、自動化されたデータパイプラインが科学発見を加速する可能性を示し、将来の大規模AIトレーニングデータの準備に標準化されたソリューションを提供する。