実世界におけるSciML：構造的事前知識が役立つ場合と害になる場合の診断研究
新しい研究では、マクロ経済予測をストレステストとして使用し、23カ国の疎な年次データを用いて5つのモデルファミリー（ARIMA、LSTM、NODE、PINN、UDE）を評価しました。結果、一貫して優れた予測性能を達成したモデルはありませんでしたが、制約の少ないモデル（ARIMA、NODE）が、より制約の強いヒューリスティック事前知識モデル（PINN、UDE）を一貫して上回りました。研究は、構造的事前知識がデータ生成プロセスと一致しない場合に誤った正則化子として機能し得ることを指摘し、事前知識の不一致、体制シフト、構造変化、最適化の不安定性などの失敗モードを特定しています。
最近、arXivに投稿された研究論文が、科学機械学習（Scientific Machine Learning, SciML）手法の実世界での有効性について体系的な診断を行いました。この研究は、構造的事前知識の仮定が破られた場合のSciMLモデルの性能に焦点を当てています。SciML手法（NODE、PINN、UDEなど）は、構造的事前知識が信頼できる支配動学を反映する場合に最も効果的ですが、実際の多くの応用ではこの仮定が成立しないことがあります。
この問題を調査するため、研究チームはマクロ経済予測をストレステスト領域として選択しました。彼らは5つのモデルファミリー（ARIMA、LSTM、NODE、PINN、UDE）を評価し、23カ国の疎な年次データを使用し、複数の時間分割と5つのランダムシードを用いて結果の頑健性を確保しました。結果は、どのモデルも一貫して強力な予測性能を達成できないことを示し、低周波マクロ経済予測の固有の難しさを浮き彫りにしました。しかし、明確な相対的階層が明らかになりました：制約の少ないモデル、特にARIMAとNODEが、より制約の強いヒューリスティック事前知識モデル（PINNやUDE）を一貫して上回りました。
研究チームはこの結果をSciMLの否定として扱うのではなく、診断結果として解釈しています。彼らは、構造的事前知識がデータ生成プロセス（DGP）と一致しない場合に「誤った正則化子」（misregularizer）として機能し、モデルの性能を損なう可能性があると主張しています。具体的には、事前知識の不一致、体制シフト、構造変化、最適化の不安定性といった失敗モードを特定しています。
これらの発見に基づき、研究はSciMLの実務者に対し、「より多くの構造が常に有益である」と前提するのではなく、構造が実際に役立つかどうかを事前にテストすることを推奨しています。この結論は、経済予測や気候モデリングなどの複雑な実世界システムにSciMLを適用する際に重要な指針を提供します。