強化学習（RL）エージェントを用いたポートフォリオ管理では、通常、エージェントは静的なポリシーとして訓練・デプロイされ、推論時に価格予測を活用する仕組みがありません。この問題に対処するため、Eun Go氏らが提案するFPILOT（Financial Plugin Inference-time Learning for Optimal Trading）は、モデル予測制御（MPC）にヒントを得たプラグイン型の推論時最適化フレームワークです。
FPILOTの鍵となる構造的洞察は、将来の価格は単一エージェントのポートフォリオ配分にほとんど依存しないという点です。そのため、適切な予測モデルを用いることで、典型的なRLのようなアクション条件付きの反復ロールアウトを必要とせず、マルチステップの価格軌道を生成できます。各決定ステップにおいて、FPILOTは予測器から得た将来価格軌道を使用して、配分ベースの想定リターン目標を構築し、取引の1ステップを実行する前に推論時にポリシーを最適化します。このフレームワークは、あらゆる事前学習済みエージェントと互換性があり、再学習なしで予測器の予測にポリシーを適応させます。
TradeMaster DJ30ベンチマーク上で5つのポリシー学習アルゴリズムを評価した結果、FPILOTは総収益と収益ベースのリスク調整済み指標（シャープレシオ、ソルティノレシオ、カルマーレシオ）において一貫した改善をもたらしました。特に、確率的ポリシーは決定論的ポリシーよりも大きな利益を得ることがわかりました。さらに、キャリブレーションされた品質レベルの合成予測を用いた実験では、予測器の品質が向上するにつれて利益も一貫して改善されることが示されました。これは、金融予測の進歩に伴い、FPILOTの性能がさらに向上する可能性を示唆しています。
まとめると、FPILOTはRLトレーディングエージェントに対し、複雑な訓練を追加することなく、静的なポリシーを市場の変化に動的に適応させる軽量でプラグイン可能な推論時最適化手法を提供します。この研究は、強化学習の定量取引への応用をより柔軟で効果的なものにする可能性を秘めています。