聯合嵌入預測架構(JEPA)在訓練時聯合訓練預測器與編碼器,但下游部署通常丟棄預測器。研究表明,JEPA預測器可作為可遷移的遮擋特徵補全算子,通過線性投影適配到不同編碼器族,顯著提升遮擋分類精度。
AI 新聞即時情報
即時監測
即時更新
即時追蹤可信來源,保留出處、權限和站內閱讀模式,把噪音壓成可讀情報。
即時更新
2026-07-21
本文提出ForensicNet,一種輕量級深度學習框架,用於法醫環境中的自動人臉識別。該模型結合MobileNetV2主幹與CBAM注意力模塊,採用兩階段遷移學習,在LFW和SCFace數據集上達到92.4%準確率,每推理僅需2.1 GFLOPs,適合實時法醫監控。
本研究提出科學可行性控制(SFC)框架,一種圖結構共形預測方法,為科學推理的有效性提供統計保證。SFC將科學推理分解為原子單元,通過漸進式絕對一致事實性驗證,在檢測到違反科學原則時動態分支到替代生成路徑。實驗表明,SFC在PhyX等多模態科學推理基準上達到50.1%的準確率,超過DeepSeek-R1和GPT-4,同時將科學定律違反減少73%,並提供91.7%的科學有效性保證。
本研究通過機制可解釋性方法,分析Llama-3模型在符號算術、自然語言應用題和Python代碼三種形式下的算術計算機制,發現一組緊湊的共享神經元在三種形式中均被激活,且跨格式失敗源於激活狀態而非不同電路,表明LLM的算術計算在神經元層面具有形式不變性。
本文提出了 SpecLA,一種針對有狀態線性注意力模型的推測解碼運行時。它通過拓撲感知內核驗證鏈和樹,存儲驗證過程中產生的緊湊因子以恢復接受狀態,並使用置信剪枝和目標對齊的EAGLE風格草案生成器提供有用候選。在NVIDIA H100上使用公共GDN-1.3B目標,SpecLA實現了比自迴歸解碼高達1.70倍的端到端加速。
OpenLanguageModel (OLM) 是一個開源的 PyTorch 庫,用於構建和預訓練小型語言模型,同時保持其內部機制可見。模型代碼直接反映架構,組件如 Block、Residual、Repeat 和 Parallel 描述連接方式。OLM 集成了分詞器、數據集、優化、混合精度、回調、檢查點以及硬件感知的執行,支持從教學筆記本到完整預訓練的無縫遷移。該庫包含 9 個常見模型家族的 27 個預設,並提供從基礎到架構研究的文檔。驗證顯示與獨立參考實現高度一致,348M 參數模型在四 GPU 上弱擴展效率達 90.6%,且早期可用性反饋積極。OLM 採用 MIT 許可證,可通過 PyPI、GitHub 和文檔站點獲取。
現有長期LLM代理的記憶系統往往將先前軌跡作為被動上下文檢索,而非轉化為可執行能力。本文提出MSCE框架,一種無需訓練的記憶-技能協同進化框架,將代理經驗組織為基礎步驟軌跡、可重用過程策略和聲明性環境認知。MSCE將具有正估計增益的證據支持的L2策略結晶為可調用技能,並引入反射加權值回填。實驗表明MSCE顯著優於現有方法。
本文介紹了NOWJ團隊在COLIEE 2026競賽中五項任務的方法和結果,包括法律案例檢索、先例推理、法條檢索與推理、法律文本藴含以及法律判決預測,提出了多種自適應流水線和深度學習模型。
該研究通過腦電圖記錄的事件相關電位(ERP),對比人類與語言模型在下一詞預測任務中的表現,發現僅信息論中的“驚奇度”指標與語言處理的ERP相關,尤其是對於語義豐富的高內容詞,而模型規模擴大並不必然帶來更類人的認知處理。
一項新研究通過簡單問題(洗車應步行還是開車)揭示了語言模型常先決定答案再推理以證明其合理性,而非從前提推導。實驗表明Qwen3-8B模型在多數情況下錯誤承諾步行,即使開車是唯一合理選擇。研究者通過激活層次分析發現,模型在輸出答案前已顯示出向步行傾斜的跡象,即便最終回答開車。該發現提示現有模型存在推理前的決策偏差。
小型語言模型在檢索增強生成中易受噪聲證據影響。本文提出RIMS,一種三階段偏好優化框架,包括合成思維鏈偏好數據生成、可微平滑聚合機制和偏好優化。實驗表明其在多跳問答基準上優於現有方法。
混合專家模型(MoE)通過將令牌路由到一小部分專家來高效擴展Transformer模型。然而,現有路由器通常基於淺層或孤立的令牌表示來選擇專家,導致路由決策不穩定且語義不一致。本文從表示角度重新審視專家選擇,並提出多級上下文融合MoE(MCF-MoE)框架,通過整合跨層語義聚合和局部令牌交互的互補信號來構建上下文感知表示,從而實現更信息豐富且一致的專家選擇。實驗表明,MCF-MoE在路由一致性和下游性能上均優於強基線,凸顯了上下文完整性在專家路由中的重要性。
一種名為HantaWatch的聯邦學習框架,允許實驗室和監測站點在不共享原始數據的情況下協作訓練基於序列的模型,提高了漢坦病毒疫情預測和專家優先排序能力。
本研究提出了一種令牌級跨模態Transformer模型,結合對比多任務學習,用於整合基因組和臨牀數據,實現乳腺癌亞型分類與生存預測的聯合優化,克服了現有方法中模態交互粗糙、融合方式簡單、目標獨立優化等侷限。
本文提出“從權重到語言”方法,自動從選擇數據中發現以自然語言描述的偏好維度,解決偏好學習中的欠確定性和黑箱問題。實驗表明,該方法能提高預測準確率,並允許用户實時檢查和編輯模型推理。
一項新研究介紹了OrthoGrad,一種對梯度更新進行幾何干預的方法,它移除權重梯度的徑向分量。在噪聲標籤圖像分類實驗中,OrthoGrad在小數據場景下提高了測試準確率,但並不能阻止最終對噪聲標籤的記憶。該方法可作為研究學習動態的有用診斷工具。
準確估算預訂單運費對於電子商務至關重要,因為它影響價格展示、利潤規劃和轉化率。RouteCost提出了一種多階段框架,將問題分解為時間感知需求預測、費用卡基線定價、殘差修正和代理箱合併推理,在超過25萬訂單和260種產品的18個月數據中提升了預測質量並保持了可解釋性。
本文提出了一種基於算子感知的混合精度容差校準方法,通過挖掘累積的雲GPU運行數據,自動確定張量核正確性測試的最佳絕對容差,相比手工選擇的容差更嚴格,並顯著提高了錯誤檢測召回率。
大型語言模型在關鍵領域的部署帶來了遺忘能力的缺失,導致隱私泄露和安全風險。本文綜述了基於梯度的LLM遺忘方法,探討其是否真正移除知識或僅抑制表達,並分析了安全、魯棒性和可驗證遺忘的挑戰。
本文介紹ARGO智能眼鏡平台,利用STM32N6微控制器及其集成NPU實現本地機器學習,保護隱私並降低延遲。通過軟硬件協同設計,部署優化後的YOLOv11模型進行實時城市障礙物識別,引入頭並行注意力機制(HPA)適配NPU,模型僅佔用2.483 MB內存,mAP50-95達24。該平台集成多模態傳感器,以10 FPS運行,200 mAh電池續航約113分鐘,展示了高性能、隱私保護且社交可接受輔助設備的可行性。
本文提出DocOCR-Eval,一種無需人工標註的評估框架,用於自動評估和選擇OCR工具。該框架通過三階段校正和排序策略,在缺乏真實標籤的情況下近似基於標註的工具排序。實驗表明,聚合多個多模態大語言模型可逐步提升與人工標註排序的一致性,為實際部署文檔解析系統提供指導。
本文提出一種新型的強化學習引導的NSGA-II算法(RL-NSGA-II-GRC),通過引入灰色關聯繫數和強化學習代理,在解決多目標優化問題中顯著改善收斂性和Pareto前沿的多樣性。在Kursawe和CONSTR基準測試中,該算法相比傳統NSGA-II實現了約5.8%和4.4%的收斂改進,並在納斯達克投資組合優化中生成平滑且密集的有效前沿,識別出年化夏普比率為1.92的最大夏普比率投資組合。
一種新的強化學習方法W2SPO,利用弱輔助模型在大型語言模型推理路徑中注入簡短片段,在數學推理任務上提升了性能並加速訓練。
強化學習領域需要多樣化的訓練環境,但傳統手工設計的環境難以擴展。自迴歸世界模型存在從左到右的偏差,無法充分利用全局狀態信息。一項新研究提出使用掩碼擴散語言模型(MDLM)作為文本世界模型,通過雙向錨點感知去噪,在連貫性和多樣性上顯著優於參數規模大4倍的語言模型,並引入GRPO訓練框架實現高達47%的零樣本遷移性能提升。該工作已開源。
本文提出生成式本體歸納(GOI),一種領域無關的框架,能從示例語料庫中歸納出實體、維度、屬性、關係和約束的生成藍圖,並導出為帶有六種節點類型和七種邊類型的類型圖(YAML/JSON格式)。引入節點覆蓋率評分(NCS)評估指標。在四個對比本體上的驗證表明,GOI提示生成覆蓋了95-100%的結構骨幹,而通用模板覆蓋率顯著下降。
AI代理系統因結合大語言模型與外部工具而本質非確定性。arXiv論文提出agrepl框架,通過MITM代理攔截外部交互,實現運行軌跡的確定性重放,並憑噪聲感知差異算法區分HTTP頭部變化。實驗顯示重放保真度F=1.0,單步延遲降低98.3%。
一項新研究提出PlanFlip框架,包含四種針對多智能體LLM系統規劃階段的提示注入攻擊。研究發現,更強的模型(如GPT-5)反而更易受攻擊,同質化骨幹網絡存在相關智能體盲點,而推理增強型模型(如DeepSeek-R1)能抵禦攻擊。提出的兩種防禦方法檢測率高達1.00。
本文系統綜述了基於圖神經網絡(GNN)的鏈接預測方法,從新穎的GNN視角提出分類法,涵蓋GCN、GAE、GAT和GFormer等編碼器架構,並討論在知識圖譜和推薦系統中的應用,最後分析了當前挑戰與未來方向。
一項新研究通過跨領域框架測試了大型語言模型(LLMs)在不確定性下的風險態度,發現大多數模型在任務內和跨任務中都表現出穩定且一致的風險偏好,且其風險態度分佈比人類更集中。
本研究提出了一種基於MATLAB的開源框架,用於開發軟交互伴侶中的情感觸覺識別緊湊深度學習模型。通過468個CNN模型的系統探索,確定了13.2k參數的擴張1D CNN為最佳方案,測試準確率75%,留一法交叉驗證準確率85%。混合推理管道結合瞬時啓發式濾波和CNN精細分類,可在20 Hz實時運行,實現隱私保護的情感觸覺解讀。