近日，一項發表於arXiv的研究提出了Hi-GaTA（分層門控時序聚合介面卡），旨在解決手術影片自動生成臨床級評估報告的難題。該研究由Kedi Sun等六位作者完成，論文編號arXiv:2605.11208，於2026年5月11日提交。
手術影片自動報告生成能夠顯著減輕醫生的文書負擔，並提供客觀的反饋。然而，由於密集時空影片表示與基於語言的推理難以對齊，且缺少高質量、保護隱私的資料集，這一任務面臨巨大挑戰。為填補這一空白，研究團隊首先建立了一個包含214個高質量模擬手術影片的基準資料集，每個影片都配有外科醫生撰寫的評估報告。這些影片模擬了真實手術場景，確保了資料的多樣性和臨床相關性。
在此基礎上，研究人員提出了一個感知-對齊-推理框架。該框架的核心是Hi-GaTA，一種新穎的輕量級時序介面卡。Hi-GaTA能夠透過短到長程的時序聚合，將長影片序列高效壓縮為緊湊的、與大型語言模型（LLM）相容的視覺字首令牌。為魯棒的視覺感知，研究者預訓練了Sur40k——一個在4萬分鍾公開手術影片上訓練的手術專用ViViT風格影片編碼器，以捕獲細粒度的時空過程先驗。Sur40k的設計使其能夠理解手術影片中的關鍵動作和流程。
Hi-GaTA的架構中包含一個時序金字塔，用於提取多尺度時間特徵，以及文本條件的雙交叉注意力機制，促使影片表示與文本描述對齊。透過跨層級門控融合和遞進深度策略，它進一步提升了多尺度一致性，確保生成的報告在時間上連貫。最後，使用LoRA對LLM骨幹網路進行微調，使得在有限監督下能夠生成連貫且風格一致的手術報告。
實驗結果表明，該方法在整體效能上達到了最優，相較於強多模態大語言模型基線取得了持續提升。消融研究驗證了每個提出元件的有效性，包括時序金字塔、雙交叉注意力和門控融合。這一工作不僅為手術影片自動評估報告生成提供了新的思路，還為未來減輕外科醫生文書負擔奠定了基礎。