LEAP是一種針對視覺Transformer(ViT)特徵知識蒸餾的訓練課程,通過將教師的中間特徵圖作為逐步困難的序列目標,讓學生先構建基礎表示再處理高層抽象。實驗表明,該方法在ImageNet-100上ViT-S達到90.1%準確率,提升12.24%,並在ImageNet-1K上實例檢索任務提升3.84%和7.75%,同時節省25.1%的訓練FLOPs和21%的訓練時間。
AI 新聞即時情報
即時監測
即時更新
即時追蹤可信來源,保留出處、權限和站內閱讀模式,把噪音壓成可讀情報。
即時更新
研究人員推出了首個十億參數級別的胸部X光片生成基礎模型,擁有超過13億參數,在包含120萬張X光片和臨牀專家指導元數據的異構數據集上訓練了1.6萬億tokens。該模型支持對多個患者亞羣、採集視圖和十餘種病理的可控生成與編輯,生成的X光片在臨牀專家看來與真實圖像無異,顯著提升了合成逼真度。
該論文提出基於自函數向量的貝葉斯方法,直接估計上下文學習中的隨機不確定性,並設計嚴格評估協議分離隨機與認知不確定性。實驗表明,該方法比現有方法更可靠地衡量LLM預測的不確定性,可用於幻覺檢測等可信賴應用。已被ACL 2026接收。
一項新的全面綜述對35種手語的120個數據集進行了索引,識別出模態不平衡、標註粒度和手語者偏差等關鍵挑戰。作者介紹了一種標準化的24字段手語數據表,併發布了公共GitHub倉庫,以促進手語技術的可重複研究。
提出LUCID方法,結合注意力分數、知識圖譜語義和結構信息,通過圖神經網絡檢測LLM在知識圖譜推理中的幻覺,在九個數據集上達到最先進性能。
研究人員提出了因果歸因剪枝(CAP),這是一種無需訓練的方法,通過測量注意力頭對推理任務的因果影響來識別關鍵注意力頭,從而指導細粒度權重剪枝。在ARC-Challenge上,CAP在20%稀疏度下相比Wanda取得了高達61%的相對準確率提升,並在中等稀疏度下持續表現更好。
本文揭示了查詢位置對擴散大語言模型中上下文學習的關鍵影響,源於注意力流中的空間“近因效應”。作者提出平均置信度指標和無需訓練的Auto-ICL自適應路由策略,動態優化查詢放置,在多種任務中實現接近最優的性能。
一項新研究針對LLM在硬件設計中的錯誤提出分類法,揭示在VerilogEval基準上準確率上限為90.8%,由不可解功能錯誤導致。對齊技術僅教會模型編譯,而非推理。
本研究通過微調七個大型語言模型(4B-671B參數)在阿拉伯語上,並評估對閃語族和非閃語族的零樣本閲讀理解,發現沒有證據表明存在閃語特異性的遷移。表現弱的模型在所有語言上都有顯著提升,而強基線模型則僅有邊際提升。思維鏈消融實驗進一步表明,這些機制主要解決的是任務格式對齊而非跨語言知識遷移。
本研究探討使用Google的Gemini和Gemma大型語言模型(LLM)自動檢測PubMed中報告EQ-5D數據的文獻。提出一個多階段框架,整合少量樣本提示、權重集成和軟堆疊元分類器。在專家標記的數據集上評估了9個LLM,其中gemini-2.5-pro、gemma-3-12b和gemma-3-27b的加權集成獲得了0.74的加權F1分數和0.74的準確率,優於單個模型。集成方法提高了精確率與召回率的平衡,軟堆疊方法提供了更高的可靠性和可解釋性。結果表明,基於集成的LLM設置是自動化生物醫學研究篩選的可靠且可擴展的方法。
室性心動過速是一種危及生命的心律失常。起搏標測用於識別消融靶點。cAPM利用持續學習跨多個VT轉移知識,減少所需起搏點。在模擬中,cAPM以4.5個起搏點實現了81%的定位準確率,而現有方法需要13.7個起搏點僅達到38%。
強化學習自我對弈雖能以低成本訓練自動駕駛策略,但易產生與人類駕駛習慣不符的“異類”行為。新方法將少量人類演示(僅30分鐘)作為正則化目標,結合最小安全目標獎勵,訓練出的策略能與人類軌跡協調,訓練時間僅15小時(單GPU),數據量僅為模仿學習的1/2500。
估計分佈算法(EDA)通過概率分佈採樣避開手工算子設計,但此前未推廣至稀疏參數空間。本文提出多變量零膨脹高斯分佈(ZIG)作為EDA的採樣分佈,聯合優化稀疏模式與活躍值,無需分層或手工閾值。理論證明參數可識別,並給出實用估計器。在Lunar Lander基準測試中,ZIG-EDA比密集高斯EDA、手工稀疏進化算法和特設稀疏EDA收斂更快、最終回報更高,且僅用少量活躍參數。
該研究基於雙參數威布爾框架分析Transformer權重分佈,揭示了AdamW訓練中權重尺度參數λ的增長、過沖和鬆弛行為。通過AdamW更新的三力分解(對齊力、注入力、衰減力),發現對齊力主導上升階段,貢獻88-94%的力預算。飽和時對齊力與衰減力接近平衡。研究還提出了樣條位移方法,從稀疏檢查點恢復對齊力,準確率達92-94%。峯值λ隨訓練數據相干性變化,表明數據依賴的權重尺度增長成分。
信息格學習(ILL)通過交替投影信號到分區格並提升所選規則,學習可解釋的信號規則。當信號為概率質量函數時,ILL學習的概率規則具有自然的概率圖模型解釋。分區誘導確定性商變量,規則即該商變量的邊際分佈。規則集是抽象概念上的邊際約束集合。一般提升是滿足約束的所有聯合分佈的可行族,而特殊提升選擇最大無知重建,通過L2均勻性原理實現,與最大熵密切相關。在香農熵提升下,相同約束產生對數線性因子圖,其因子由學習到的抽象概念索引。信息格本身不是貝葉斯網絡,其邊編碼抽象概念的細化與粗化,而非條件依賴。因此,ILL應被視為可解釋的基於約束的商變量因子圖的結構學習。
本文分析了用於3D MRI合成的擴散模型Med-DDPM在NVIDIA三代GPU架構上的性能瓶頸,並提出了TF32 Tensor Core和3D channels-last佈局兩種優化方法,實現了高達100倍的性能提升且不降低合成質量。
一項新研究提出SPSD(情感保留語義蒸餾),一種邊緣端流水線,通過4-bit量化的小語言模型在用户提示傳輸到雲端LLM之前進行壓縮,平均每次調用節省99.9個輸入token,同時保持響應質量在非劣效性範圍內。該方法有望降低雲計算能耗。
本文提出Gated Uncertainty-Aware Routing for Distillation (Guard)框架,解決時間序列基礎模型在科學應用中由於分佈偏移和計算成本高的問題。通過上下文路由器和不確定性門控温度機制,從多個預訓練模型中提取知識,訓練輕量級預測器,在氣象學、生態系統碳通量、土壤濕度和能源網格等氣候關鍵領域顯著降低RMSE。
本文提出“計算可識別性”框架,區別於依賴漸近性質的理論可識別性,通過有限計算搜索過程為經驗估計器提供可識別性保證。實驗表明,該方法適用於小樣本、模糊圖標準、混合觀測-干預數據及反事實場景。
本研究提出一種基於提示的不確定性分解方法,將動作信心與請求不確定性分離,使大語言模型代理能在任務規範模糊時主動請求澄清。作者引入兩個新基準(WebShop-Clarification和ALFWorld-Clarification),其中50%的任務故意未明確指定,並在五個大型語言模型上評估該方法。結果表明,所提分解方法在澄清F1分數上顯著優於現有方法。
本文提出積分變換網絡(ITNet),通過一個可學習的積分核統一了卷積、自注意力和自迴歸循環三種架構。ITNet使用小型神經網絡實現核函數,能夠從數據中自適應行為,並在多個基準任務上達到或超越專用模型。
一種新方法使大型語言模型能夠利用良知步驟和直接偏好優化進行自我倫理對齊,無需外部評判,從而在代碼黑客等場景中實現湧現對齊,克服了以往的湧現錯位問題。
本文提出REVEAL++,一種在對比學習中採用連續表型結構的方法,用於視網膜圖像和臨牀風險敍述的視覺-語言對齊,以預測阿爾茨海默病風險。該方法通過可微分加權函數替代硬分組,實現分級監督和端到端學習。在UK Biobank數據集上的評估表明,其性能優於離散分組基線。
本研究比較了Qwen 2.5 7B和XGBoost在臨牀預測任務中的表現,通過歸因分歧分析揭示了四個重要發現:LLM的口頭置信度在認識論上是空洞的,存在逆向難度效應,少樣本示例和SHAP特徵證據的結合可顯著提升準確率,且跨模型校準器能有效降低校準誤差。
DeXposure-Claw是一個基於預測的代理監督系統,旨在解決通用LLM代理在去中心化金融風險監督中的不足。它通過圖形時間序列基礎模型預測風險網絡,結合確定性監控和壓力情景生成警報,並利用數據健康和置信度門控減少誤報。此外,還開發了DeXposure-Bench評估套件,通過六軸評估(包括決策軸)衡量系統性能。實驗基於五年周度真實數據,驗證了系統的有效性。
本文提出了一種新的動態系統模型,用於解釋多智能體LLM商議如何通過每個智能體的隱藏內部信念(錨點)影響羣體決策。該模型揭示了經典共識規則無法解釋的現象:智能體對正確答案的置信度可能超越初始信念的凸包範圍。通過三個開源模型家族的實驗,作者發現錨點的影響強度相近,但位置差異決定了商議是否能突破初始意見的限制。
本文對八種最先進的擴散語言模型(DLM)在推理、編碼、翻譯、知識和結構化問題解決等八個基準上進行了系統實驗分析,同時考慮了生成質量和計算效率。研究發現,DLM的行為受生成時設計選擇(如去噪步驟、上下文長度、塊大小和平行解掩碼策略)的強烈影響,導致性能與計算效率之間存在不同的權衡。該研究為當代DLM的能力和部署特性提供了實用見解。
一項新研究提出了一種人機協同的流程,用於衡量本科計算機科學課程與課程指南的契合度。應用於CS2013和CS2023時,發現覆蓋率基本不變(約50%),但認知深度實現率從95%下降到76%,反映了新版標準要求的提高。同時還發現了並行計算、編程語言基礎和系統基礎等領域的持續差距。
一篇新論文提出了AgenticRei,這是一個義務政策框架,用於治理LLM驅動的自主智能體,解決了當前訪問控制引擎無法處理的義務、豁免和策略衝突問題。
Sqim是一款新工具,允許開發者無需VPN或Tailscale,直接從Codex、Claude Code等編碼代理將iOS應用構建安裝到iPhone上。它通過Homebrew安裝CLI工具,並提供一個構建儀表板方便重新訪問之前構建。