近日，一項發表於arXiv的研究提出了Hi-GaTA（分層門控時序聚合適配器），旨在解決手術視頻自動生成臨牀級評估報告的難題。該研究由Kedi Sun等六位作者完成，論文編號arXiv:2605.11208，於2026年5月11日提交。
手術視頻自動報告生成能夠顯著減輕醫生的文書負擔，並提供客觀的反饋。然而，由於密集時空視頻表示與基於語言的推理難以對齊，且缺少高質量、保護隱私的數據集，這一任務面臨巨大挑戰。為填補這一空白，研究團隊首先建立了一個包含214個高質量模擬手術視頻的基準數據集，每個視頻都配有外科醫生撰寫的評估報告。這些視頻模擬了真實手術場景，確保了數據的多樣性和臨牀相關性。
在此基礎上，研究人員提出了一個感知-對齊-推理框架。該框架的核心是Hi-GaTA，一種新穎的輕量級時序適配器。Hi-GaTA能夠通過短到長程的時序聚合，將長視頻序列高效壓縮為緊湊的、與大型語言模型（LLM）兼容的視覺前綴令牌。為魯棒的視覺感知，研究者預訓練了Sur40k——一個在4萬分鍾公開手術視頻上訓練的手術專用ViViT風格視頻編碼器，以捕獲細粒度的時空過程先驗。Sur40k的設計使其能夠理解手術視頻中的關鍵動作和流程。
Hi-GaTA的架構中包含一個時序金字塔，用於提取多尺度時間特徵，以及文本條件的雙交叉注意力機制，促使視頻表示與文本描述對齊。通過跨層級門控融合和遞進深度策略，它進一步提升了多尺度一致性，確保生成的報告在時間上連貫。最後，使用LoRA對LLM骨幹網絡進行微調，使得在有限監督下能夠生成連貫且風格一致的手術報告。
實驗結果表明，該方法在整體性能上達到了最優，相較於強多模態大語言模型基線取得了持續提升。消融研究驗證了每個提出組件的有效性，包括時序金字塔、雙交叉注意力和門控融合。這一工作不僅為手術視頻自動評估報告生成提供了新的思路，還為未來減輕外科醫生文書負擔奠定了基礎。