AI News HubLIVE
站内改写1 分钟阅读

奖励传输:基于噪声空间对齐的流匹配属性控制

本文提出奖励传输(Reward Transport)方法,利用最优传输耦合在训练时将噪声空间坐标与分子奖励对齐,推理时通过调整该坐标实现属性控制,无需额外模型或梯度。实验表明,该方法在ZINC-250K和GuacaMol数据集上对logP和QED具有单调控制能力,且与分类器无关引导互补。

来源arXiv Machine Learning作者: Kehan Guo, Yili Shen, Yujun Zhou, Yue Huang, Chujie Gao, Shiyi Du, Xiangliang Zhang

流匹配(Flow Matching)是一种生成模型,其核心是构建从噪声分布到数据分布的流。传统方法中,噪声向量与数据点的配对(即耦合)被视为一种计算选择。然而,本研究提出了一种全新的视角:这种耦合可以作为对齐接口,通过根据目标分子属性匹配噪声和数据,将可控结构直接嵌入学习到的流场中。基于这一思想,研究者引入了奖励传输(Reward Transport)方法。

奖励传输在训练阶段采用最优传输(Optimal Transport)耦合,将标量噪声空间坐标与分子奖励(如脂溶性logP或药效QED)对齐。推理时,仅需调整这一标量坐标,即可在无需预言机、奖励模型、梯度引导或额外计算的情况下,平滑地控制生成分子的属性分布。在耦合保持的极限下,对该坐标进行阈值化可恢复交叉熵方法(Cross-Entropy Method)中的截断奖励分布,从而形成一个原则上可调、连续且分布级别的控制旋钮。

在ZINC-250K和GuacaMol数据集上的实验验证了该方法的有效性。通过扫描标量坐标,模型实现了对logP的单调控制以及对QED在其工作范围内的一致控制。最引人注目的是,同一旋钮针对不同目标产生了截然相反的结构响应:增大分子以提升logP,却缩小分子以优化QED,这排除了通用尺寸偏差的干扰。该方法与分类器无关引导(Classifier-Free Guidance)和条件流匹配(Conditional Flow Matching)互补,而在epsilon预测扩散下的负面结果则揭示了当耦合级别对齐结构缺失时的局限性。

总之,奖励传输提供了一种简洁、高效且可解释的分子属性控制手段。相关代码已开源,详见GitHub仓库。这一工作不仅深化了对流匹配中耦合作用的理解,也为了药物分子设计等应用提供了有力的工具。