不確実性下でのポートフォリオ最適化は、リターン、リスク、市場ダイナミクス、そして実際の投資制約間の複雑な相互作用を含む多目的意思決定問題です。従来の信頼性ベースのポートフォリオ最適化手法は、平均分散モデルなどの静的最適化フレームワークに依存し、市場環境が一定であると仮定していました。そのため、逐次的意思決定、テールリスク、取引コストなどの市場摩擦を適切に扱うことができませんでした。これらの限界を克服するために、研究者は深層強化学習を統合した多目的信頼性ポートフォリオ最適化フレームワーク（MORP-DRL）を提案しました。
MORP-DRLは、期待リターンとダウンサイドリスクを同時に最適化するように設計されています。リスク評価には、分散（全体の変動）、条件付きバリュー・アット・リスク（CVaR：尾部損失）、エントロピック・バリュー・アット・リスク（EVaR：極端リスクの別の視点）の3つの補完的な指標が用いられます。市場の不確実性と重尾行動をモデル化するために、資産リターンはGARCH(1,1)モデルによるボラティリティクラスタリング、極値理論による極端事象の記述、およびt-copulaによる資産間の尾部依存構造で表現されます。これらのモデルから準モンテカルロシミュレーションにより多数の現実的なシナリオを生成し、強化学習エージェントの学習環境を提供します。
戦略学習には、安定かつ効率的な強化学習アルゴリズムである近位政策最適化（PPO）が採用されています。エージェントは、取引コストやポートフォリオ制約などの実用的制約を考慮しながら、試行錯誤を通じて最適なリバランス戦略を学習します。PPOはポリシー更新の規模を制限することでトレーニングの安定性を確保し、収束を促進します。このフレームワークは、多目的進化アルゴリズムNSGA-IIとベンチマーク比較されました。
実験は、COVID前、COVID中、COVID後の3つの市場レジームにわたる10のグローバル株式指数で実施され、手法の頑健性が評価されました。結果は、MORP-DRLがリスク調整後リターンでNSGA-IIに匹敵するかそれ以上の性能を示し、市場下落期にはダウンサイドリスクを大幅に低減することを明らかにしました。さらに、資産数が増加しても良好な拡張性を維持し、高次元ポートフォリオ設定に適用可能です。この研究は、金融ポートフォリオ管理に新たな動的最適化手法を提供し、実際の投資効率向上に貢献することが期待されます。