跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

化学反应网络中的强化学习:将趋光性视为好奇心驱动的探索

文章摘要

该研究提出一个将部分可观测马尔可夫决策过程与生化反应动力学相耦合的框架,用逆强化学习从30条莱茵衣藻轨迹中推断趋光行为的优化目标,并证明翻滚动作可解释为减少感官不确定性的信息获取策略。

来源arXiv Machine Learning作者: Ruyi Tang (LCQB-AG), Gr\'egoire Sergeant-Perthuis (LCQB-AG), David Colliaux
化学反应网络中的强化学习:将趋光性视为好奇心驱动的探索
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

本文介绍了一篇被 ALIFE 2026(加拿大滑铁卢)接收为报告的论文《Implementation of reinforcement learning in chemical reaction networks: application to phototaxis as curiosity-driven exploration》(强化学习在化学反应网络中的实现:以趋光性作为好奇心驱动探索的应用),作者为 Ruyi Tang 等三人,提交于 2026 年 6 月 24 日,属 arXiv 机器学习(cs.LG)分类,并交叉涉及定量方法(q-bio.QM)。该论文将活体系统在噪声与不完整感官信号下导航环境的问题,重新置于“最小认知”视角下考察。传统上,单细胞藻类的趋光性常被建模为受刺激—响应规则驱动的机械式“跑—翻”(run–tumble)过程,但这类描述忽略了生物体如何主动采样环境以降低感官歧义。作者因此把这种导航重构为一种主观的、由信息驱动的感觉运动过程。

为实现这一重构,论文提出了一个将部分可观测马尔可夫决策过程(POMDP)与生化反应动力学相联系的框架。在该框架中,环境变量是隐藏的,细胞通过一个无记忆的贝叶斯步骤,从每次观测中更新一个极简的内部状态。这些内部动力学在朝向光线的定向行为与探索性重定向之间取得平衡,并可通过化学反应网络常微分方程(CRN–ODEs)加以实现。模型还包含一个用于光感受的生物物理观测过程,以及一个可在化学上计算的信息增益多项式上界。

在实证部分,作者利用逆强化学习(IRL)对 30 条实验记录的莱茵衣藻(Chlamydomonas)运动轨迹进行推断,得到与观测到的趋光运动相一致的行为目标,并用标准随机模拟算法(SSA)基线对所得动力学进行基准比较。结果显示,该模型能够复现经验上的“朝向光线的对齐程度”分布,在该数据集上与客观 SSA 基线表现相当。

论文进一步指出,在这一框架下,“跑—翻”交替作为一种信息获取策略浮现出来:翻滚使细胞重新定向,从而采样新的感官构型并化解传感器歧义。这展示了细胞内生化网络如何支撑细胞导航中的适应性信息寻求行为。需要注意的是,摘要层面的证据主要基于 30 条轨迹的数据集与基线对比,其结论属于在该数据与设定范围内的可比性,而非普遍优于所有基线。该工作为理解单细胞层面的强化学习式信息寻求提供了一个可与生化实现对接的理论桥梁。

展开要点与分析

文章情报

投资人进阶

要点

  • 将趋光性重新建模为基于信息的主动感知过程,而非简单的刺激-响应机制
  • 使用CRN-ODE实现内存less贝叶斯更新,使生化网络能够执行强化学习
  • 在实验轨迹上验证模型能复现对齐分布,并揭示翻滚作为探索策略的功能

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。