投資組合最佳化在不確定性下是一個典型的多目標決策問題，需要在收益、風險、市場動態和實際投資約束之間進行權衡。傳統的基於可靠性的投資組合最佳化方法多采用靜態最佳化框架，例如均值-方差模型及其變體，這些方法通常假設市場環境穩定且投資者可以一次性做出最優決策，而忽略了市場變化和交易成本的影響。因此，它們難以捕捉序貫決策、尾部風險和交易成本等市場摩擦。為了解決這些侷限性，研究者提出了MORP-DRL框架，將深度強化學習與可靠性投資組合最佳化相結合，實現動態調整資產配置。
MORP-DRL框架的核心是同時最佳化預期收益和下行風險，採用三種互補的風險度量：方差衡量整體波動，條件風險價值（CVaR）關注尾部損失，熵風險價值（EVaR）則提供了對極端風險的另一種視角。為了準確建模市場的不確定性和重尾行為，資產收益透過GARCH(1,1)模型捕捉波動聚類，利用極值理論刻畫極端事件，並使用t-copula描述資產間的尾部依賴關係。這些模型透過準蒙特卡羅模擬生成大量現實的市場情景，為強化學習代理提供豐富的訓練環境。
在策略學習方面，MORP-DRL採用近端策略最佳化（PPO）演算法，這是一種穩定且高效的強化學習方法。代理在考慮交易成本、投資組合邊界等實際約束下進行決策，透過反覆試驗學習最優的調倉策略。PPO透過限制策略更新的幅度，避免了訓練不穩定問題，確保了收斂性。框架與經典的多目標進化演算法NSGA-II進行了對比，以驗證其優勢。
實驗選取了十個全球股票指數，涵蓋COVID前、COVID期間和COVID後三個市場階段，全面評估了方法的魯棒性。結果表明，MORP-DRL不僅在風險調整收益方面與NSGA-II相當，而且在市場下跌期間顯著降低了下行風險，展現出更好的防禦能力。此外，隨著資產數量的增加，MORP-DRL保持了良好的擴充套件性，適用於高維投資組合最佳化。這項研究為金融領域提供了新的工具，有望推動智慧投資管理的發展。