基於AI的血管內導航的血管幾何特徵描述
該研究旨在識別與導航難度相關的血管指標,並開發自動化管道進行定量血管特徵提取,以支持未來複雜性分級。研究從61名患者的CT血管造影中分割血管樹,測量了主動脈弓類型、牛型弓存在、血管長度、迂曲度、起始角、反向曲線數量等指標,並使用軟演員-評論家強化學習算法進行120秒自主導航。結果顯示,左側牛型弓和II/III型主動脈弓分別增加導航時間30.19秒和37.92秒,更大的迂曲度進一步延長手術時間並降低成功率;右側II/III型弓延長45.94秒,每個額外反向曲線增加3.96秒並降低成功率。該自動化管道為標準化複雜性分級和強化學習模型評估提供了基礎。
- 研究首次證明機械取栓代理導航難度受血管幾何形狀強烈影響。
- 開發了自動化管道用於定量提取血管特徵。
CLAP:通過語言-動作對齊實現直接從VLM到VLA的適配
CLAP通過在數值動作序列前添加自然語言描述,將預訓練VLM高效轉換為VLA,單週期微調後2B模型在LIBERO上達90.8%,魯棒性更強。將發佈0.8B、2B、4B開源模型。
- CLAP通過在數值動作前添加語言描述,解決輸出分佈不匹配問題
- 單週期微調後2B模型在LIBERO上達90.8%,遠超VLA-0
FlowDAgger:潛在空間中生成式機器人策略的人機協同自適應方法
FlowDAgger是一種樣本和計算高效的方法,通過人類干預在潛在空間中自適應凍結的生成式機器人策略。其核心思想是動作反演,將人類專家動作映射為在基礎策略下產生該動作的噪聲,然後訓練輕量級潛在策略來引導基礎模型。該方法在仿真和真實雙機械臂及單臂操作任務中均優於監督微調和潛在空間強化學習基線,並能保留預訓練技能。
- FlowDAgger通過人類干預在潛在空間中自適應預訓練的生成式機器人策略,避免大規模數據收集或在線強化學習。
- 採用動作反演技術,將人類專家動作轉換為噪聲,從而訓練輕量級潛在策略來調整基礎模型。
視頻生成模型成為通用視覺學習器
本文提出並驗證了大規模文本到視頻生成可作為計算機視覺的強預訓練範式,所提出的GenCeption模型在深度估計、表面法線、相機位姿估計等多個視覺任務上達到領先性能,展現出數據效率和良好的泛化能力,為通用視覺智能提供了新路徑。
- 提出GenCeption,利用預訓練視頻生成擴散模型作為前饋感知模型。
- 在深度估計、分割、3D關鍵點預測等多個任務上達到SOTA。
C-GAP:類別感知與在線提示提升視覺語言模型在不平衡類別上的性能
C-GAP是一種新型框架,通過使用大語言模型(LLM)迭代優化語言提示,無需重新訓練或額外標註,即可顯著提升視覺語言模型對稀有類別的檢測能力。該方法由兩階段組成:首先建立複合字幕基線,結合場景描述與類別數量上下文;其次,LLM基於少數類平均精度(AP)動態閾值,逐個圖像地優化字幕,直至達到足夠的性能增益。實驗表明,C-GAP在多個基準上將少數類平均精度提升高達53%,在COCO數據集上相對基線提升約81%。
- C-GAP採用了兩階段方法:複合字幕基線與LLM迭代優化。
- 無需更新檢測器權重或額外標註,即可顯著提升少數類檢測性能。
MultiView-Bench:用於VLM世界中心多視圖集成的診斷基準
MultiView-Bench是一個專為評估視覺語言模型(VLM)多視圖集成能力而設計的診斷基準。研究表明,當前最先進的VLM在單視圖2D任務上表現優異,但在3D空間關係理解和跨視圖信息聚合方面存在顯著困難。為此,作者提出了ViewNavigator,一個多智能體框架,通過主動選擇信息豐富的視角並融合多視圖證據,顯著提升了模型在MultiView-Bench上的表現。
- 現有VLM基準主要評估單視圖或有限視圖感知,忽視了多視圖集成能力。
- MultiView-Bench要求模型將物體位置從觀測視角解耦到全局座標系。
可可地圖繪製需要亞米級分辨率嗎?科特迪瓦景觀分層評估:甚高分辨率影像、十米級地球觀測輸入與操作產品的對比
一項在科特迪瓦進行的研究比較了甚高分辨率(0.5米)與十米級衞星影像在可可地圖繪製中的表現,結果顯示VHR的F1得分達到0.92,而TESSERA等基礎模型嵌入(F1=0.86)提供了可擴展的替代方案。在破碎化景觀中性能差異增大。
- VHR影像(0.5米)在可可地圖繪製中F1得分達0.92。
- TESSERA基礎模型嵌入F1得分0.86,優於Sentinel-2的0.76。
視覺Transformer從自然圖像中學習完形般的圖形-背景線索
一項新研究表明,視覺Transformer(ViT)能夠從自然圖像中學習完形心理學中的圖形-背景線索,如包圍性、凸性和對稱性。研究測試了25種ViT模型,發現它們穩健地編碼了包圍性和凸性,而對對稱性的編碼僅適用於均勻顏色區域。這項工作表明,完形線索可以從自然場景統計中學習,併為研究知覺組織的計算機制提供了模型系統。
- ViT穩健地編碼包圍性和凸性等圖形-背景線索。
- 對稱性線索僅在均勻顏色區域有效,在紋理區域無效。
HAT超分辨率與PARSeq+CLIP4STR投票集成用於極端野外車牌識別
本文介紹了作者在ICIP 2026極端野外車牌超分辨率挑戰賽中的參賽系統,該系統結合了混合注意力Transformer超分辨率前端與兩個場景文字識別器(PARSeq-S和CLIP4STR-B)的集成,採用置信度加權字符投票方案,在不確定位置棄權。在公共驗證排行榜上獲得了9.73 wECR分數,運行速度遠低於時間預算。
- 系統在ICIP 2026 XLPSR挑戰賽中獲得9.73 wECR成績。
- 採用HAT超分辨率前端和PARSeq+CLIP4STR識別器集成。
用於空間可控多視角室內場景重照明的解耦照明先驗
Lume-Palette框架通過解耦照明蒸餾和照明投射兩個階段,實現了空間可控的多視角室內場景重照明,在保持多視角一致性的同時支持精細的3D光照控制。
- 提出Lume-Palette框架,將重照明解耦為照明蒸餾和照明投射兩階段。
- 照明蒸餾從預訓練擴散模型中提取規範照明調色板,保留材質-光照交互。
探針混合:通過探針從多模態大語言模型中的特權模態學習
本文提出了一種名為探針混合(MoP)的新框架,旨在解決多模態大語言模型(MLLMs)在特權模態設置下的學習問題。該框架通過結構化的探針機制從共享模態編碼器的中間表示中提取信息,並引入MoP跨模態訓練(MoP-X)策略,有效分離模態特定和模態通用信號。實驗表明,MoP在八個任務和四種模態上比強基線模型提升高達65%。
- MoP框架通過探針從中間表示中提取信息,而非僅依賴最終層對齊。
- MoP-X訓練策略通過探針解耦損失防止探針坍縮並促進跨模態學習。
StereoSplat+:基於擴散輔助漸進推理的前饋立體高斯噴灑
StereoSplat+是一種基於擴散增強的前饋框架,能夠從單個立體對進行因果重建,無需多視圖觀測。該方法包括立體高斯估計器和漸進推理方案,在KITTI-360數據集上相比基線方法提升了新視角渲染質量和幾何精度。
- 提出StereoSplat,一個輸入不變的前饋3D高斯估計器,可處理可變數量的立體對
- 融合cost-volume和triplane分支的幾何線索,並利用連續姿態編碼泛化至不同視圖配置
讓數據説話:利用AI從眾包集合中提取關鍵詞
本研究以牛津大學的二戰眾包數字檔案為例,評估了三種NLP方法(命名實體識別、關鍵詞提取、主題建模)在自動提取關鍵詞上的表現。結果表明,NLP有潛力但無單一方案完美,模型選擇至關重要,且開源提取模型比生成式AI更負責任。
- 評估了命名實體識別、關鍵詞提取和主題建模三種方法在眾包集合中的效果。
- 模型選擇顯著影響結果,開源提取模型更適合負責任部署。
大型文學語料庫的自動主題索引:伏爾泰全集的機器學習方法
本研究探索利用機器學習自動對大型文學語料庫進行主題索引,以伏爾泰作品為案例,比較了多種模型,其中Mistral系列4位量化模型F1得分達0.67,證明了自動索引的潛力。
- 主題索引對大型文學和歷史版本至關重要,但傳統手動方式勞動密集。
- 研究以伏爾泰《論各民族的風俗與精神》和《百科全書問題》為測試語料,將任務框架化為多標籤分類。
小型雙曲語言模型湧現出創造力、誠實性和設計性遺忘
研究表明,在小型雙曲語言模型中,可以湧現出創造力、誠實性和設計性遺忘等特性,為構建可信賴的伴侶AI提供了一條小模型路徑。這些模型包括一個行為審計器、一個創意框架播種器和一個記憶操作系統。
- 三種小型雙曲語言模型(參數從1.46億到30億)展現了創造力、誠實性和設計性遺忘。
- 一個1.46億參數的行為審計器能以90.7%的準確率檢測符合性差距,並檢測伴侶AI的諂媚、依賴培養和虛構記憶。
複雜性指導的組件級初始化用於語言模型預訓練
該研究分析了11個GPT-2風格預訓練模型的權重譜,發現跨層和組件共享的深度趨勢,例如殘差寫入矩陣的規模增加和譜集中。研究者嘗試利用這些譜模式作為初始化信號,但模仿譜特徵的初始化方法未能帶來性能提升,而直接重用預訓練權重仍具競爭力。預訓練譜作為結構診斷有用,但有效重用需要更豐富的信息。
- 分析了11個GPT-2風格檢查點的權重譜,發現殘差寫入矩陣的規模增加和譜集中趨勢。
- 構造了模仿預訓練模型組件級幅度和譜分佈的初始化方案,但評估未顯示性能優勢。
利用大語言模型增強基本面分析:基於RAG的投資者簡報生成系統
這項研究探索了利用GPT-4o與檢索增強生成(RAG)技術自動生成基於公司報告、宏觀經濟數據和SEC文件的投資者簡報。系統對9家公司進行了為期4周的掃描,並由9名個人投資者評估其有效性。
- 使用GPT-4o和RAG技術自動化處理公司報告、宏觀經濟數據和SEC文件
- 構建基於基欽週期的投資者知識庫,輔助分析
AgentKGV: 面向知識圖譜事實驗證的智能LLM-RAG框架與兩階段訓練
知識圖譜自動構建中常含事實錯誤,AgentKGV提出結合動態路由與迭代查詢重寫的智能LLM-RAG框架,並通過兩階段訓練(基於蒸餾的SFT和軌跡級GRPO)提升準確性與成本效率。在T-REx基準上,宏F1比單輪RAG提升14.9個百分點,搜索調用次數減半。
- 提出AgentKGV框架,利用動態路由和迭代查詢重寫處理文檔級檢索中的表面形式不匹配問題。
- 兩階段訓練策略:蒸餾SFT將大模型推理能力遷移至小模型,GRPO優化搜索策略減少不必要的檢索。
湧現的幻象:湧現性失調與再對齊真的是一個穩健的現象嗎?
一項新研究對語言模型中的湧現性失調(EM)現象提出了質疑,發現雖能復現EM,但失調與再對齊高度依賴於數據集表面特徵,如回答長度差異,且先前報告的表徵相變並不一致關聯行為失調。這表明當前支持EM的證據不如之前聲稱的穩健,需要更嚴謹的評估協議。
- 研究復現了湧現性失調(EM),但發現其對數據集表面特徵高度敏感。
- 控制了回答長度差異後,快速再對齊現象基本消失。
HALO:語言模型的混合自適應潛在推理方法
HALO是一種混合自適應潛在精化方法,通過粗精化階段和基於令牌評分的選擇性第二階段的潛在精化,在凍結的預訓練語言模型上實現高效改進。在MMLU-Pro和GPQA-Diamond基準測試中,HALO的平均表現優於固定精化基線,且計算成本更低。
- HALO結合粗精化和基於令牌評分的選擇性第二階段精化。
- 在MMLU-Pro和GPQA-Diamond上平均表現最佳,優於固定1步和2步精化。
利用適度非結構化稀疏權重矩陣加速大語言模型的GPU推理
本文提出了一種針對大語言模型推理的高效GPU方法,採用三層矩陣存儲格式,包括稀疏張量核心層、插槽填充層和殘差層,實現稀疏矩陣乘法,在50%稀疏度下首次超越密集矩陣乘法,最高可達1.64倍內核加速和1.41倍端到端加速。
- 提出三層矩陣存儲格式,聯合利用稀疏張量核心和CUDA核心。
- 在50%左右適度非結構化稀疏度下,首次實現超越密集矩陣乘法性能。
Director:通過在線主動專家放置加速分佈式MoE服務
本文介紹了Director,一種新的分佈式MoE推理系統,通過預測驅動的在線專家放置優化,顯著降低端到端延遲。系統採用輕量級級聯預測器或低比特量化副本預測專家激活模式,結合近乎零停機的在線遷移模塊,以及基於鬆弛優化的專家放置算法,在多項式時間內達到(1+ε)近似比。實驗表明,在Mistral、DeepSeek和Qwen等流行MoE模型上,相比現有工作延遲降低11%~55%。
- 提出預測驅動的在線專家放置方法
- 設計近乎零停機的專家遷移模塊
獎勵傳輸:基於噪聲空間對齊的流匹配屬性控制
本文提出獎勵傳輸(Reward Transport)方法,利用最優傳輸耦合在訓練時將噪聲空間座標與分子獎勵對齊,推理時通過調整該座標實現屬性控制,無需額外模型或梯度。實驗表明,該方法在ZINC-250K和GuacaMol數據集上對logP和QED具有單調控制能力,且與分類器無關引導互補。
- 提出獎勵傳輸方法,將流匹配中的耦合作為對齊接口,實現分子屬性控制。
- 訓練階段使用最優傳輸耦合將噪聲座標與獎勵對齊,推理時調整座標可控制生成分佈。
粘性路由:訓練MoE模型以實現內存高效推理
我們提出StickyMoE,一種可微分的路由一致性損失,在訓練時懲罰相鄰令牌之間的專家切換,從而在邊緣設備上實現內存高效推理。實驗顯示,專家切換率降低高達60%,困惑度下降不到4%。
- MoE模型在邊緣設備上因頻繁切換專家導致內存瓶頸。
- StickyMoE通過附加路由一致性損失在訓練時直接優化局部性,無需架構更改。
面向低比特整數的有符號對稱量化
本文提出有符號對稱量化方法,解決標準對稱量化器因整數範圍不平衡導致的正異常值截斷問題,同時避免非對稱量化的運行時開銷。理論分析表明該方法在ℓ2誤差上條件最優,且88-99%的LLM權重組滿足條件。實驗在Qwen3、Llama3等模型上驗證了困惑度和少樣本準確率的提升。
- 標準對稱量化器因有符號整數多一個負值導致正異常值被截斷,在低比特時誤差顯著。
- 有符號對稱量化通過符號選擇規則將額外值分配給主要異常值尾端,保持零點為0,保留對稱量化的高效計算。
iLENS:可解釋的大語言模型引導的混合專家系統用於神經影像生存分析
iLENS是一個基於大語言模型(LLM)和混合專家系統(MoE)的可解釋框架,用於預測阿爾茨海默病(AD)從前驅期向痴呆期的轉化。它整合結構化神經影像測量和非結構化信息,通過LLM指導專家路由,不僅提供競爭性的預測性能,還能進行患者分型,併為路由決策提供透明、生物學合理的解釋,彌合了高性能生存分析與可解釋臨牀決策支持之間的差距。
- iLENS利用LLM處理結構化和非結構化數據,引導混合專家系統進行AD轉化生存預測。
- 該框架在預測性能上具有競爭力,並能識別不同的患者亞型。
通過交互統一解釋大型語言模型知識蒸餾的方法
本文提出了一種統一的方法來解釋大型語言模型(LLM)中知識蒸餾(KD)的機制。通過將輸出分解為多個交互,發現KD的共性機制是交互稀疏化,即學生模型保留更少交互進行推理。性能差異源於處理複雜交互的能力,並據此提出了複雜交互懲罰(CIP)損失函數。實驗表明CIP能持續提升各種KD方法的性能。
- 知識蒸餾的成功機制尚不明確,本文通過交互分解探索其共性機制。
- 發現所有KD方法都包含交互稀疏化,即學生模型只保留少量交互。
KV-PRM:通過KV緩存傳遞實現高效過程獎勵建模,用於多智能體測試時擴展
KV-PRM是一種高效的過程獎勵模型,通過直接利用大語言模型生成階段自然產生的KV緩存,避免了文本重新編碼,將評分成本從O(L²)降至O(L)。實驗表明,在多個基準上,KV-PRM在匹配或超越文本PRM性能的同時,實現了高達5000倍的FLOPs減少、37倍延遲降低和34倍內存佔用減少。
- 傳統文本PRM需要重新編碼整個軌跡,成本隨序列長度二次增長。
- KV-PRM利用KV緩存僅處理單個驗證令牌,成本線性增長。
MedRealMM:面向中文在線醫療諮詢的真實世界多模態基準
MedRealMM是一個基於中國互聯網醫院真實醫患對話的大規模多模態基準,包含5,620個案例,覆蓋64個科室。它通過多模態臨牀挑戰點(MCCP)框架提取關鍵臨牀時刻,並評估19個通用和醫學專用大語言模型。結果表明,圖像信息對臨牀性能至關重要,當前前沿模型雖在某些正面指標上接近醫生,但觸發更多負面指標,安全敏感性錯誤避免仍是主要瓶頸。
- MedRealMM從中國互聯網醫院收集真實醫患對話,構建了5,620個多模態案例,涵蓋64個科室。
- 採用多模態臨牀挑戰點(MCCP)框架識別諮詢中臨牀要求高的時刻,並生成標準化任務。
神經代理控制:一種基於深度學習的LLM驅動代理AI框架用於控制安全控制器
本文介紹了一種神經代理控制框架,結合LLM規劃器與時間序列基礎模型(TimesFM),通過反事實物理注入機制確保物理安全,在SWaT數據集上表現優於LSTM和TCN,零幻覺動作執行。
- 提出神經代理控制框架,結合LLM規劃器與TimesFM基礎模型。
- 引入反事實物理注入機制,在動作執行前模擬干預影響並拒絕不安全動作。
Long-Horizon-Terminal-Bench:通過密集獎勵評分測試智能體在長時終端任務上的極限
Long-Horizon-Terminal-Bench是一個包含46個長時任務的終端基準測試,涵蓋實驗復現、軟件工程、多模態分析等9個類別。它通過細粒度子任務提供密集中間獎勵和部分分數,更全面地評估AI智能體的能力。評估15個前沿模型發現,最強模型在部分獎勵閾值0.95下通過率僅15.2%,完全正確通過率10.9%,平均通過率更低,表明仍有巨大改進空間。
- 現有終端基準測試多聚焦短時簡單任務,僅以最終結果評價,忽略中間進展。
- Long-Horizon-Terminal-Bench包含46個長時任務,分解為細粒度子任務以提供密集獎勵。
GATS:結合分層世界模型的圖增強樹搜索,實現高效智能體規劃
GATS是一種新的智能體規劃框架,通過系統性的UCB1樹搜索和分層世界模型,在規劃過程中完全消除LLM調用,同時實現100%的成功率。與LATS和ReAct相比,GATS不僅在合成任務中表現優異,在12個挑戰性場景中也保持100%成功率,且計算成本更低。
- GATS採用UCB1樹搜索和三層的世界模型,規劃時無需任何LLM調用
- 在合成規劃任務中達到100%成功率,遠超LATS(92%)和ReAct(64%)
CogniConsole:將推理時控制外部化作為可靠LLM交互的形式化抽象
新研究CogniConsole提出,大型語言模型的可靠性不僅取決於模型能力,還受推理時控制影響。通過結構化接口(結合程序化協調與有界提示推理),實驗證明增加結構支架可系統性地降低輸出方差和失敗率,表明許多失效模式源於控制不足。
- 可靠性被錯誤地歸因於模型能力,實際受推理時控制層顯著影響。
- CogniConsole將推理時控制外部化為結構化接口,結合程序化協調與有界提示推理。
新方法旨在保護兒童免受非法AI生成內容的侵害
麻省理工學院和Thorn的研究人員開發了一種審計技術,通過分析模型的內部調整而非生成輸出,來檢測生成式AI模型是否被專門用於生成兒童性虐待材料(CSAM)。該方法在測試中達到100%準確率,具有可擴展性,且成本低廉,有望幫助平台和執法機構識別並移除有害模型。
- 新審計方法通過高斯探測分析LoRA適配器,無需生成任何內容即可檢測模型是否具備生成CSAM的能力。
- 在測試中,該方法以100%的準確率識別出被專門用於生成CSAM的模型變體。
NeuroVFM:基於Vol-JEPA在未經整理的臨牀MRI和CT掃描上訓練的新型神經影像基礎模型
密歇根大學研究團隊推出NeuroVFM,一種基於524萬臨牀MRI和CT體積訓練的通用神經影像基礎模型。其Vol-JEPA方法將自監督學習擴展到體積醫學影像,無需放射報告標籤即可學習大腦解剖和病理。在156項診斷任務中達到92.68(CT)和92.49(MRI)的AUROC,並支持報告生成、分診和跨模態遷移。
- NeuroVFM在566,915項研究的524萬體積上訓練,覆蓋二十年的臨牀數據。
- Vol-JEPA採用前景聚焦掩碼的潛在預測,無需重建像素或依賴報告。
直接負責人(DRI)
本文探討了“直接負責人(DRI)”的概念,該術語源自蘋果公司,指對項目成敗最終負責的人。作者認為,隨着LLM驅動的智能體融入組織,它們永遠不應被視為項目的DRI,因為只有人類才能承擔責任,而機器不能。文章還引用了IBM 1979年的培訓幻燈片,其中指出計算機永遠不能承擔責任,因此絕不能做出管理決策。
- DRI概念源自蘋果,GitLab手冊給出了最佳定義。
- 人類可以對行動負責,而機器不能。
Grok 4.6和GPT5.6在發現PR安全漏洞方面擊敗Anthropic
最新基準測試顯示,GPT-5.6 Sol在拉取請求(PR)安全審查中表現最佳,實現100%召回率和0.91的F1分數,每次PR成本僅0.70美元。Anthropic的模型(如Fable 5)未能進入前沿表現,且成本更高。Grok 4.5和Gemini 3.1 Flash Lite提供了經濟高效的替代方案。測試使用私有合成倉庫以避免數據污染。
- GPT-5.6 Sol以0.91 F1和100%召回率領先,成本僅為每次PR 0.70美元。
- Anthropic模型未達到前沿,Fable 5性能較差且成本高達約3.61美元/PR。
Fable 再次延期可用
由於 GPT-5.6 Sol 被明確歸類為 Fable/Mythos 級模型,Anthropic 再次延長了 Claude Max 計劃中 Fable 模型的可用期限至 7 月 19 日。此舉原因為計算資源限制,而 OpenAI 則對 GPT-5.6 的訪問限制顯得更有信心。作者認為 Anthropic 應永久保留 Fable 訪問權限,否則用户會因不確定性而轉向 OpenAI。
- Anthropic 將 Claude Fable 5 的訪問延長至 7 月 19 日。
- 延期原因是計算資源約束,需評估需求與可用性。
AI模型協同設計:硬件友好的LLM設計
AI性能取決於準確性、吞吐量和交互性三個維度。本文聚焦吞吐量和交互性,探討模型設計選擇如何在不犧牲準確性的情況下優化兩者,旨在推動帕累託前沿向外擴展。
- AI性能的三個維度:準確性、吞吐量、交互性。
- 部署必須平衡三者,高準確性若響應慢則無意義。
GPT-5.6、Fable 5和Grok 4.5根據同一規格重建Basecamp
作者通過Basecamp基準測試評估了GPT-5.6 Sol、Fable 5、Grok 4.5等AI模型在構建前端和後端方面的表現。Fable 5在兩個賽道上均獲勝,Grok 4.5在速度和成本之間取得了最佳平衡。結果顯示,即使是頂級模型在完成度上也有顯著差異,尤其是最後10%的打磨工作。
- Fable 5在前端和後端基準測試中均得分最高,接近真實Basecamp實現。
- Grok 4.5以9.30美元的成本在37分鐘內完成構建,速度成本比最優。