LEAP是一種針對視覺Transformer(ViT)特徵知識蒸餾的訓練課程,透過將教師的中間特徵圖作為逐步困難的序列目標,讓學生先構建基礎表示再處理高層抽象。實驗表明,該方法在ImageNet-100上ViT-S達到90.1%準確率,提升12.24%,並在ImageNet-1K上例項檢索任務提升3.84%和7.75%,同時節省25.1%的訓練FLOPs和21%的訓練時間。
AI 新聞即時情報
即時監測
即時更新
即時追蹤可信來源,保留出處、權限和站內閱讀模式,把噪音壓成可讀情報。
即時更新
研究人員推出了首個十億引數級別的胸部X光片生成基礎模型,擁有超過13億引數,在包含120萬張X光片和臨床專家指導後設資料的異構資料集上訓練了1.6萬億tokens。該模型支援對多個患者亞群、採集檢視和十餘種病理的可控生成與編輯,生成的X光片在臨床專家看來與真實影像無異,顯著提升了合成逼真度。
該論文提出基於自函式向量的貝葉斯方法,直接估計上下文學習中的隨機不確定性,並設計嚴格評估協議分離隨機與認知不確定性。實驗表明,該方法比現有方法更可靠地衡量LLM預測的不確定性,可用於幻覺檢測等可信賴應用。已被ACL 2026接收。
一項新的全面綜述對35種手語的120個資料集進行了索引,識別出模態不平衡、標註粒度和手語者偏差等關鍵挑戰。作者介紹了一種標準化的24欄位手語資料表,併發布了公共GitHub倉庫,以促進手語技術的可重複研究。
提出LUCID方法,結合注意力分數、知識圖譜語義和結構資訊,透過圖神經網路檢測LLM在知識圖譜推理中的幻覺,在九個資料集上達到最先進效能。
研究人員提出了因果歸因剪枝(CAP),這是一種無需訓練的方法,透過測量注意力頭對推理任務的因果影響來識別關鍵注意力頭,從而指導細粒度權重剪枝。在ARC-Challenge上,CAP在20%稀疏度下相比Wanda取得了高達61%的相對準確率提升,並在中等稀疏度下持續表現更好。
本文揭示了查詢位置對擴散大語言模型中上下文學習的關鍵影響,源於注意力流中的空間“近因效應”。作者提出平均置信度指標和無需訓練的Auto-ICL自適應路由策略,動態最佳化查詢放置,在多種任務中實現接近最優的效能。
一項新研究針對LLM在硬體設計中的錯誤提出分類法,揭示在VerilogEval基準上準確率上限為90.8%,由不可解功能錯誤導致。對齊技術僅教會模型編譯,而非推理。
本研究透過微調七個大型語言模型(4B-671B引數)在阿拉伯語上,並評估對閃語族和非閃語族的零樣本閱讀理解,發現沒有證據表明存在閃語特異性的遷移。表現弱的模型在所有語言上都有顯著提升,而強基線模型則僅有邊際提升。思維鏈消融實驗進一步表明,這些機制主要解決的是任務格式對齊而非跨語言知識遷移。
本研究探討使用Google的Gemini和Gemma大型語言模型(LLM)自動檢測PubMed中報告EQ-5D資料的文獻。提出一個多階段框架,整合少量樣本提示、權重整合和軟堆疊元分類器。在專家標記的資料集上評估了9個LLM,其中gemini-2.5-pro、gemma-3-12b和gemma-3-27b的加權整合獲得了0.74的加權F1分數和0.74的準確率,優於單個模型。整合方法提高了精確率與召回率的平衡,軟堆疊方法提供了更高的可靠性和可解釋性。結果表明,基於整合的LLM設定是自動化生物醫學研究篩選的可靠且可擴充套件的方法。
室性心動過速是一種危及生命的心律失常。起搏標測用於識別消融靶點。cAPM利用持續學習跨多個VT轉移知識,減少所需起搏點。在模擬中,cAPM以4.5個起搏點實現了81%的定位準確率,而現有方法需要13.7個起搏點僅達到38%。
強化學習自我對弈雖能以低成本訓練自動駕駛策略,但易產生與人類駕駛習慣不符的“異類”行為。新方法將少量人類演示(僅30分鐘)作為正則化目標,結合最小安全目標獎勵,訓練出的策略能與人類軌跡協調,訓練時間僅15小時(單GPU),資料量僅為模仿學習的1/2500。
估計分佈演算法(EDA)透過機率分佈取樣避開手工運算元設計,但此前未推廣至稀疏引數空間。本文提出多變數零膨脹高斯分佈(ZIG)作為EDA的取樣分佈,聯合最佳化稀疏模式與活躍值,無需分層或手工閾值。理論證明引數可識別,並給出實用估計器。在Lunar Lander基準測試中,ZIG-EDA比密集高斯EDA、手工稀疏進化演算法和特設稀疏EDA收斂更快、最終回報更高,且僅用少量活躍引數。
該研究基於雙引數威布林框架分析Transformer權重分佈,揭示了AdamW訓練中權重尺度引數λ的增長、過沖和鬆弛行為。透過AdamW更新的三力分解(對齊力、注入力、衰減力),發現對齊力主導上升階段,貢獻88-94%的力預算。飽和時對齊力與衰減力接近平衡。研究還提出了樣條位移方法,從稀疏檢查點恢復對齊力,準確率達92-94%。峰值λ隨訓練資料相干性變化,表明資料依賴的權重尺度增長成分。
資訊格學習(ILL)透過交替投影訊號到分割槽格並提升所選規則,學習可解釋的訊號規則。當訊號為機率質量函式時,ILL學習的機率規則具有自然的機率圖模型解釋。分割槽誘導確定性商變數,規則即該商變數的邊際分佈。規則集是抽象概念上的邊際約束集合。一般提升是滿足約束的所有聯合分佈的可行族,而特殊提升選擇最大無知重建,透過L2均勻性原理實現,與最大熵密切相關。在夏農熵提升下,相同約束產生對數線性因子圖,其因子由學習到的抽象概念索引。資訊格本身不是貝葉斯網路,其邊編碼抽象概念的細化與粗化,而非條件依賴。因此,ILL應被視為可解釋的基於約束的商變數因子圖的結構學習。
本文分析了用於3D MRI合成的擴散模型Med-DDPM在NVIDIA三代GPU架構上的效能瓶頸,並提出了TF32 Tensor Core和3D channels-last佈局兩種最佳化方法,實現了高達100倍的效能提升且不降低合成質量。
一項新研究提出SPSD(情感保留語義蒸餾),一種邊緣端流水線,透過4-bit量化的小語言模型在使用者提示傳輸到雲端LLM之前進行壓縮,平均每次呼叫節省99.9個輸入token,同時保持響應質量在非劣效性範圍內。該方法有望降低雲端計算能耗。
本文提出Gated Uncertainty-Aware Routing for Distillation (Guard)框架,解決時間序列基礎模型在科學應用中由於分佈偏移和計算成本高的問題。透過上下文路由器和不確定性門控溫度機制,從多個預訓練模型中提取知識,訓練輕量級預測器,在氣象學、生態系統碳通量、土壤溼度和能源網格等氣候關鍵領域顯著降低RMSE。
本文提出“計算可識別性”框架,區別於依賴漸近性質的理論可識別性,透過有限計算搜尋過程為經驗估計器提供可識別性保證。實驗表明,該方法適用於小樣本、模糊圖示準、混合觀測-干預資料及反事實場景。
本研究提出一種基於提示的不確定性分解方法,將動作信心與請求不確定性分離,使大語言模型代理能在任務規範模糊時主動請求澄清。作者引入兩個新基準(WebShop-Clarification和ALFWorld-Clarification),其中50%的任務故意未明確指定,並在五個大型語言模型上評估該方法。結果表明,所提分解方法在澄清F1分數上顯著優於現有方法。
本文提出積分變換網路(ITNet),透過一個可學習的積分核統一了卷積、自注意力和自迴歸迴圈三種架構。ITNet使用小型神經網路實現核函式,能夠從資料中自適應行為,並在多個基準任務上達到或超越專用模型。
一種新方法使大型語言模型能夠利用良知步驟和直接偏好最佳化進行自我倫理對齊,無需外部評判,從而在程式碼駭客等場景中實現湧現對齊,克服了以往的湧現錯位問題。
本文提出REVEAL++,一種在對比學習中採用連續表型結構的方法,用於視網膜影像和臨床風險敘述的視覺-語言對齊,以預測阿爾茨海默病風險。該方法透過可微分加權函式替代硬分組,實現分級監督和端到端學習。在UK Biobank資料集上的評估表明,其效能優於離散分組基線。
本研究比較了Qwen 2.5 7B和XGBoost在臨床預測任務中的表現,透過歸因分歧分析揭示了四個重要發現:LLM的口頭置信度在認識論上是空洞的,存在逆向難度效應,少樣本示例和SHAP特徵證據的結合可顯著提升準確率,且跨模型校準器能有效降低校準誤差。
DeXposure-Claw是一個基於預測的代理監督系統,旨在解決通用LLM代理在去中心化金融風險監督中的不足。它透過圖形時間序列基礎模型預測風險網路,結合確定性監控和壓力情景生成警報,並利用資料健康和置信度門控減少誤報。此外,還開發了DeXposure-Bench評估套件,透過六軸評估(包括決策軸)衡量系統效能。實驗基於五年周度真實資料,驗證了系統的有效性。
本文提出了一種新的動態系統模型,用於解釋多智慧體LLM商議如何透過每個智慧體的隱藏內部信念(錨點)影響群體決策。該模型揭示了經典共識規則無法解釋的現象:智慧體對正確答案的置信度可能超越初始信念的凸包範圍。透過三個開源模型家族的實驗,作者發現錨點的影響強度相近,但位置差異決定了商議是否能突破初始意見的限制。
本文對八種最先進的擴散語言模型(DLM)在推理、編碼、翻譯、知識和結構化問題解決等八個基準上進行了系統實驗分析,同時考慮了生成質量和計算效率。研究發現,DLM的行為受生成時設計選擇(如去噪步驟、上下文長度、塊大小和平行解掩碼策略)的強烈影響,導致效能與計算效率之間存在不同的權衡。該研究為當代DLM的能力和部署特性提供了實用見解。
一項新研究提出了一種人機協同的流程,用於衡量本科電腦科學課程與課程指南的契合度。應用於CS2013和CS2023時,發現覆蓋率基本不變(約50%),但認知深度實現率從95%下降到76%,反映了新版標準要求的提高。同時還發現了平行計算、程式語言基礎和系統基礎等領域的持續差距。
一篇新論文提出了AgenticRei,這是一個義務政策框架,用於治理LLM驅動的自主智慧體,解決了當前訪問控制引擎無法處理的義務、豁免和策略衝突問題。
Sqim是一款新工具,允許開發者無需VPN或Tailscale,直接從Codex、Claude Code等編碼代理將iOS應用構建安裝到iPhone上。它透過Homebrew安裝CLI工具,並提供一個構建儀表板方便重新訪問之前構建。