近日，一项发表于arXiv的研究提出了Hi-GaTA（分层门控时序聚合适配器），旨在解决手术视频自动生成临床级评估报告的难题。该研究由Kedi Sun等六位作者完成，论文编号arXiv:2605.11208，于2026年5月11日提交。
手术视频自动报告生成能够显著减轻医生的文书负担，并提供客观的反馈。然而，由于密集时空视频表示与基于语言的推理难以对齐，且缺少高质量、保护隐私的数据集，这一任务面临巨大挑战。为填补这一空白，研究团队首先建立了一个包含214个高质量模拟手术视频的基准数据集，每个视频都配有外科医生撰写的评估报告。这些视频模拟了真实手术场景，确保了数据的多样性和临床相关性。
在此基础上，研究人员提出了一个感知-对齐-推理框架。该框架的核心是Hi-GaTA，一种新颖的轻量级时序适配器。Hi-GaTA能够通过短到长程的时序聚合，将长视频序列高效压缩为紧凑的、与大型语言模型（LLM）兼容的视觉前缀令牌。为鲁棒的视觉感知，研究者预训练了Sur40k——一个在4万分钟公开手术视频上训练的手术专用ViViT风格视频编码器，以捕获细粒度的时空过程先验。Sur40k的设计使其能够理解手术视频中的关键动作和流程。
Hi-GaTA的架构中包含一个时序金字塔，用于提取多尺度时间特征，以及文本条件的双交叉注意力机制，促使视频表示与文本描述对齐。通过跨层级门控融合和递进深度策略，它进一步提升了多尺度一致性，确保生成的报告在时间上连贯。最后，使用LoRA对LLM骨干网络进行微调，使得在有限监督下能够生成连贯且风格一致的手术报告。
实验结果表明，该方法在整体性能上达到了最优，相较于强多模态大语言模型基线取得了持续提升。消融研究验证了每个提出组件的有效性，包括时序金字塔、双交叉注意力和门控融合。这一工作不仅为手术视频自动评估报告生成提供了新的思路，还为未来减轻外科医生文书负担奠定了基础。