手术视频问答系统需要跨越语义、空间与时间等多个维度进行多步推理，这对现有人工智能方法提出了很高要求。传统方案通常会把视频在架构层面压缩为离散的token表示，并将视觉感知与推理过程耦合在一起。研究人员指出，这种做法会割裂连续的空间—时间关系，并且已被证明会限制模型的多步推理能力。针对这一瓶颈，由Yiqing Shen等人撰写、于2026年6月15日提交至arXiv的论文提出了一种全新的强化学习框架，旨在让大语言模型（LLM）在推理密集型手术视频问答任务中实现感知与推理的解耦。
该框架的核心思路是让LLM不再直接消费被压缩的视频token，而是运行在由手术基础模型构建的“数字孪生”表示之上。所谓数字孪生表示，是指从手术基础模型中提取出的、能够保留连续空间与时间结构信息的中间表征。通过在这一层表示之上进行强化学习训练，模型得以将“看懂画面”的感知环节与“进行推理”的认知环节分开处理，从而避免传统端到端压缩方式带来的信息碎片化问题。
除了表示层面的创新，作者还引入了分层表示机制，覆盖帧级、时间窗口级以及整个手术流程级三个层次，并为每一层都配有概率化的不确定性估计。这种层次化设计使模型能够在不同时间粒度上组织信息，同时对其判断的可靠程度进行量化，为后续的强化学习奖励设计提供了基础。
在训练信号方面，论文提出了一种新颖的奖励函数。该奖励并非只关注最终答案是否正确，而是将格式校验与准确性评估结合起来：准确性评估通过临床合理性判断完成，并辅以不确定性感知的校准机制。这意味着模型不仅要给出格式规范的答案，还要让答案在临床语境下站得住脚，并且其不确定性估计需要与实际情况相符，从而引导模型形成更可信的推理路径。
为验证方法效果，研究团队构建了一个名为REAL-Colon-Reason的结肠镜基准数据集，包含2000个问答对，覆盖三个复杂度等级，专门用于评测推理密集型手术视频问答能力。实验结果显示，该方法在REAL-Colon-Reason以及两个已有的手术视频问答基准REAL-Colon-VQA和EndoVis18-VQA上均取得了当前最优性能（state-of-the-art）。
从更广的意义上看，这项工作展示了将强化学习与数字孪生式表示相结合在医疗视频理解领域的潜力：它不只是提升单一基准上的分数，更提供了一种把感知与推理分离、并对不确定性进行显式建模的建模范式。论文属于计算机视觉与模式识别（cs.CV）方向，编号为arXiv:2606.17279v1，全文约193 KB，作者共三人。