投资组合优化在不确定性下是一个典型的多目标决策问题，需要在收益、风险、市场动态和实际投资约束之间进行权衡。传统的基于可靠性的投资组合优化方法多采用静态优化框架，例如均值-方差模型及其变体，这些方法通常假设市场环境稳定且投资者可以一次性做出最优决策，而忽略了市场变化和交易成本的影响。因此，它们难以捕捉序贯决策、尾部风险和交易成本等市场摩擦。为了解决这些局限性，研究者提出了MORP-DRL框架，将深度强化学习与可靠性投资组合优化相结合，实现动态调整资产配置。
MORP-DRL框架的核心是同时优化预期收益和下行风险，采用三种互补的风险度量：方差衡量整体波动，条件风险价值（CVaR）关注尾部损失，熵风险价值（EVaR）则提供了对极端风险的另一种视角。为了准确建模市场的不确定性和重尾行为，资产收益通过GARCH(1,1)模型捕捉波动聚类，利用极值理论刻画极端事件，并使用t-copula描述资产间的尾部依赖关系。这些模型通过准蒙特卡罗模拟生成大量现实的市场情景，为强化学习代理提供丰富的训练环境。
在策略学习方面，MORP-DRL采用近端策略优化（PPO）算法，这是一种稳定且高效的强化学习方法。代理在考虑交易成本、投资组合边界等实际约束下进行决策，通过反复试验学习最优的调仓策略。PPO通过限制策略更新的幅度，避免了训练不稳定问题，确保了收敛性。框架与经典的多目标进化算法NSGA-II进行了对比，以验证其优势。
实验选取了十个全球股票指数，涵盖COVID前、COVID期间和COVID后三个市场阶段，全面评估了方法的鲁棒性。结果表明，MORP-DRL不仅在风险调整收益方面与NSGA-II相当，而且在市场下跌期间显著降低了下行风险，展现出更好的防御能力。此外，随着资产数量的增加，MORP-DRL保持了良好的扩展性，适用于高维投资组合优化。这项研究为金融领域提供了新的工具，有望推动智能投资管理的发展。