一項新研究表明,視覺Transformer(ViT)能夠從自然影像中學習完形心理學中的圖形-背景線索,如包圍性、凸性和對稱性。研究測試了25種ViT模型,發現它們穩健地編碼了包圍性和凸性,而對對稱性的編碼僅適用於均勻顏色區域。這項工作表明,完形線索可以從自然場景統計中學習,併為研究知覺組織的計算機制提供了模型系統。
AI 新聞即時情報
即時監測
即時更新
即時追蹤可信來源,保留出處、權限和站內閱讀模式,把噪音壓成可讀情報。
即時更新
2026-07-13
本文介紹了作者在ICIP 2026極端野外車牌超解析度挑戰賽中的參賽系統,該系統結合了混合注意力Transformer超解析度前端與兩個場景文字識別器(PARSeq-S和CLIP4STR-B)的整合,採用置信度加權字元投票方案,在不確定位置棄權。在公共驗證排行榜上獲得了9.73 wECR分數,執行速度遠低於時間預算。
Lume-Palette框架透過解耦照明蒸餾和照明投射兩個階段,實現了空間可控的多視角室內場景重照明,在保持多視角一致性的同時支援精細的3D光照控制。
本文提出了一種名為探針混合(MoP)的新框架,旨在解決多模態大語言模型(MLLMs)在特權模態設定下的學習問題。該框架透過結構化的探針機制從共享模態編碼器的中間表示中提取資訊,並引入MoP跨模態訓練(MoP-X)策略,有效分離模態特定和模態通用訊號。實驗表明,MoP在八個任務和四種模態上比強基線模型提升高達65%。
StereoSplat+是一種基於擴散增強的前饋框架,能夠從單個立體對進行因果重建,無需多檢視觀測。該方法包括立體高斯估計器和漸進推理方案,在KITTI-360資料集上相比基線方法提升了新視角渲染質量和幾何精度。
本研究以牛津大學的二戰眾包數字檔案為例,評估了三種NLP方法(命名實體識別、關鍵詞提取、主題建模)在自動提取關鍵詞上的表現。結果表明,NLP有潛力但無單一方案完美,模型選擇至關重要,且開源提取模型比生成式AI更負責任。
本研究探索利用機器學習自動對大型文學語料庫進行主題索引,以伏爾泰作品為案例,比較了多種模型,其中Mistral系列4位量化模型F1得分達0.67,證明了自動索引的潛力。
研究表明,在小型雙曲語言模型中,可以湧現出創造力、誠實性和設計性遺忘等特性,為構建可信賴的伴侶AI提供了一條小模型路徑。這些模型包括一個行為審計器、一個創意框架播種器和一個記憶作業系統。
本文提出字母詞形還原方法,使用一對一RNN透過自監督逆轉字元集簡化,並在HTR後校正中取得顯著改進;引入帶狀RNN從平行語料中擴充套件中世紀憲章縮寫;還開發了字元語義相似度度量啟發式方法,並提供了Python庫。
該研究分析了11個GPT-2風格預訓練模型的權重譜,發現跨層和元件共享的深度趨勢,例如殘差寫入矩陣的規模增加和譜集中。研究者嘗試利用這些譜模式作為初始化訊號,但模仿譜特徵的初始化方法未能帶來效能提升,而直接重用預訓練權重仍具競爭力。預訓練譜作為結構診斷有用,但有效重用需要更豐富的資訊。
這項研究探索了利用GPT-4o與檢索增強生成(RAG)技術自動生成基於公司報告、宏觀經濟資料和SEC檔案的投資者簡報。系統對9家公司進行了為期4周的掃描,並由9名個人投資者評估其有效性。
知識圖譜自動構建中常含事實錯誤,AgentKGV提出結合動態路由與迭代查詢重寫的智慧LLM-RAG框架,並透過兩階段訓練(基於蒸餾的SFT和軌跡級GRPO)提升準確性與成本效率。在T-REx基準上,宏F1比單輪RAG提升14.9個百分點,搜尋呼叫次數減半。
一項新研究對語言模型中的湧現性失調(EM)現象提出了質疑,發現雖能復現EM,但失調與再對齊高度依賴於資料集表面特徵,如回答長度差異,且先前報告的表徵相變並不一致關聯行為失調。這表明當前支援EM的證據不如之前聲稱的穩健,需要更嚴謹的評估協議。
HALO是一種混合自適應潛在精化方法,透過粗精化階段和基於令牌評分的選擇性第二階段的潛在精化,在凍結的預訓練語言模型上實現高效改進。在MMLU-Pro和GPQA-Diamond基準測試中,HALO的平均表現優於固定精化基線,且計算成本更低。
本文提出了一種針對大語言模型推理的高效GPU方法,採用三層矩陣儲存格式,包括稀疏張量核心層、插槽填充層和殘差層,實現稀疏矩陣乘法,在50%稀疏度下首次超越密集矩陣乘法,最高可達1.64倍核心加速和1.41倍端到端加速。
高質量資料驅動機器學習進步,但資料產品定價因資料特有屬性(如近乎零邊際成本、收益不可預測)而極具挑戰。傳統方法中,成本法和收益法失效,市場比較法因缺乏標準化基準而難以應用。為此,研究者推出DaDaDa——首個資料產品定價資料集,包含全球9個主要資料市場的16,147個產品後設資料。該資料集支援訓練定價模型、建立基準,並可用於資料產品分類與檢索。實驗和原型系統證明了其在定價、分類、檢索方面的有效性。
聯邦持續學習(FCL)評估分散式客戶端如何從變化的資料流中學習同時保留已學知識。現有評估由於同時改變資料集、任務劃分、客戶端資料劃分、任務順序、骨幹網路、記憶體假設和報告規則而難以比較。本文提出HERO,一個異構感知的FCL基準庫,透過解耦任務劃分、客戶端資料劃分和客戶端任務序列來構建基準流。HERO-Core引入α控制資料傾斜、ρ控制任務順序不匹配。在CIFAR-100和TinyImageNet上的評估顯示,方法行為在簡單和異構設定下會變化,平均準確率可能掩蓋底層客戶端效能,且HERO介面可暴露域遷移難度。HERO釋出基準流、配置、方法實現和報告指令碼以支援可復現的、感知設定的FCL評估。
本文提出LieBN框架,用於李群上的黎曼批次歸一化,利用左右不變度量提供理論保證,並在九個不同幾何結構上進行例項化,包括對稱正定流形、旋轉矩陣群和滿秩相關矩陣流形,實驗驗證了其有效性。
本文介紹了Director,一種新的分散式MoE推理系統,透過預測驅動的線上專家放置最佳化,顯著降低端到端延遲。系統採用輕量級級聯預測器或低位元量化副本預測專家啟用模式,結合近乎零停機的線上遷移模組,以及基於鬆弛最佳化的專家放置演算法,在多項式時間內達到(1+ε)近似比。實驗表明,在Mistral、DeepSeek和Qwen等流行MoE模型上,相比現有工作延遲降低11%~55%。
本文提出獎勵傳輸(Reward Transport)方法,利用最優傳輸耦合在訓練時將噪聲空間座標與分子獎勵對齊,推理時透過調整該座標實現屬性控制,無需額外模型或梯度。實驗表明,該方法在ZINC-250K和GuacaMol資料集上對logP和QED具有單調控制能力,且與分類器無關引導互補。
我們提出StickyMoE,一種可微分的路由一致性損失,在訓練時懲罰相鄰令牌之間的專家切換,從而在邊緣裝置上實現記憶體高效推理。實驗顯示,專家切換率降低高達60%,困惑度下降不到4%。
本文提出有符號對稱量化方法,解決標準對稱量化器因整數範圍不平衡導致的正異常值截斷問題,同時避免非對稱量化的執行時開銷。理論分析表明該方法在ℓ2誤差上條件最優,且88-99%的LLM權重組滿足條件。實驗在Qwen3、Llama3等模型上驗證了困惑度和少樣本準確率的提升。
iLENS是一個基於大語言模型(LLM)和混合專家系統(MoE)的可解釋框架,用於預測阿爾茨海默病(AD)從前驅期向痴呆期的轉化。它整合結構化神經影像測量和非結構化資訊,透過LLM指導專家路由,不僅提供競爭性的預測效能,還能進行患者分型,併為路由決策提供透明、生物學合理的解釋,彌合了高效能生存分析與可解釋臨床決策支援之間的差距。
本文提出了一種統一的方法來解釋大型語言模型(LLM)中知識蒸餾(KD)的機制。透過將輸出分解為多個互動,發現KD的共性機制是互動稀疏化,即學生模型保留更少互動進行推理。效能差異源於處理複雜互動的能力,並據此提出了複雜互動懲罰(CIP)損失函式。實驗表明CIP能持續提升各種KD方法的效能。
KV-PRM是一種高效的過程獎勵模型,透過直接利用大語言模型生成階段自然產生的KV快取,避免了文本重新編碼,將評分成本從O(L²)降至O(L)。實驗表明,在多個基準上,KV-PRM在匹配或超越文本PRM效能的同時,實現了高達5000倍的FLOPs減少、37倍延遲降低和34倍記憶體佔用減少。
MedRealMM是一個基於中國網際網路醫院真實醫患對話的大規模多模態基準,包含5,620個案例,覆蓋64個科室。它透過多模態臨床挑戰點(MCCP)框架提取關鍵臨床時刻,並評估19個通用和醫學專用大語言模型。結果表明,影像資訊對臨床效能至關重要,當前前沿模型雖在某些正面指標上接近醫生,但觸發更多負面指標,安全敏感性錯誤避免仍是主要瓶頸。
L-MAD框架系統評估了多智慧體辯論在法律文本蘊含任務中的不同結構與聚合方法。透過賦予智慧體不同專家角色,相比強單智慧體基線最高提升8%。研究發現增加智慧體數量可降低不一致性並提高準確率,但延長討論輪次會導致“過度審議漂移”,智慧體互相強化錯誤。該成果為高風險法律推理中協同多智慧體系統的部署劃定了實際邊界與安全裕度。
本文介紹了一種神經代理控制框架,結合LLM規劃器與時間序列基礎模型(TimesFM),透過反事實物理注入機制確保物理安全,在SWaT資料集上表現優於LSTM和TCN,零幻覺動作執行。
ARCANA是一種協作式多智慧體框架,用於在嚴格的測試時間和硬體約束下解決ARC-AGI-2任務。它將每個任務分解為迭代感知、假設生成、符號執行和反思性改進,透過共享可微分黑板和元控制器排程,結合結構化程式搜尋與自適應多輪校正,顯著提升了抽象變換任務的推理效率和解決方案質量。
研究人員將Vlasov方程平均場推導的形式化過程重構為一場策略遊戲,由數學家指導AI系統將LaTeX文件轉化為Lean 4證明助手程式碼。該案例成功完成了非線性Vlasov方程適定性問題的完整形式化,包括存在性、唯一性、穩定性估計和平均場極限,以及短時間疊加原理。其中約六分之一的形式化程式碼可作為獨立模組被數學庫複用。核心定理約一週完成,整個開發約一個月。