本文介绍了一篇被 ALIFE 2026(加拿大滑铁卢)接收为报告的论文《Implementation of reinforcement learning in chemical reaction networks: application to phototaxis as curiosity-driven exploration》(强化学习在化学反应网络中的实现:以趋光性作为好奇心驱动探索的应用),作者为 Ruyi Tang 等三人,提交于 2026 年 6 月 24 日,属 arXiv 机器学习(cs.LG)分类,并交叉涉及定量方法(q-bio.QM)。该论文将活体系统在噪声与不完整感官信号下导航环境的问题,重新置于“最小认知”视角下考察。传统上,单细胞藻类的趋光性常被建模为受刺激—响应规则驱动的机械式“跑—翻”(run–tumble)过程,但这类描述忽略了生物体如何主动采样环境以降低感官歧义。作者因此把这种导航重构为一种主观的、由信息驱动的感觉运动过程。
为实现这一重构,论文提出了一个将部分可观测马尔可夫决策过程(POMDP)与生化反应动力学相联系的框架。在该框架中,环境变量是隐藏的,细胞通过一个无记忆的贝叶斯步骤,从每次观测中更新一个极简的内部状态。这些内部动力学在朝向光线的定向行为与探索性重定向之间取得平衡,并可通过化学反应网络常微分方程(CRN–ODEs)加以实现。模型还包含一个用于光感受的生物物理观测过程,以及一个可在化学上计算的信息增益多项式上界。
在实证部分,作者利用逆强化学习(IRL)对 30 条实验记录的莱茵衣藻(Chlamydomonas)运动轨迹进行推断,得到与观测到的趋光运动相一致的行为目标,并用标准随机模拟算法(SSA)基线对所得动力学进行基准比较。结果显示,该模型能够复现经验上的“朝向光线的对齐程度”分布,在该数据集上与客观 SSA 基线表现相当。
论文进一步指出,在这一框架下,“跑—翻”交替作为一种信息获取策略浮现出来:翻滚使细胞重新定向,从而采样新的感官构型并化解传感器歧义。这展示了细胞内生化网络如何支撑细胞导航中的适应性信息寻求行为。需要注意的是,摘要层面的证据主要基于 30 条轨迹的数据集与基线对比,其结论属于在该数据与设定范围内的可比性,而非普遍优于所有基线。该工作为理解单细胞层面的强化学习式信息寻求提供了一个可与生化实现对接的理论桥梁。