流式影片理解要求模型在部分觀測下主動決定響應時機,而非僅僅響應內容。現有基準多采用“先看後答”模式,無法評估模型在資訊不完整時的及時可靠決策能力。本文提出StreamPro-Bench基準,從感知理解、時間推理和主動決策三個維度評估模型,並推出StreamPro兩階段訓練框架,透過CB-Stream損失和分組相對策略最佳化顯著提升主動效能。在StreamPro-Bench上達到41.5,遠超此前最佳10.4,同時在即時流式基準上保持78.9的高分。
AI 新聞即時情報
即時監測
即時更新
即時追蹤可信來源,保留出處、權限和站內閱讀模式,把噪音壓成可讀情報。
即時更新
2026-05-19
SwordBench是一個新的基準測試,用於評估視覺模型在推理時對影像表示進行引導(steering)的效果。它引入了跨概念魯棒性和附帶損害兩個新指標,以衡量正交化操作的影響。實驗發現,線性SVM雖然具有較好的分離性和正交性,但無法實現零附帶損害,而稀疏自編碼器表現更優。在簡單場景中,標準基線和最佳化方法均無法實現完美引導。程式碼即將在GitHub上開源。
研究人員提出GeoSym引擎,這是一種神經符號框架,可自動生成高質量的幾何推理資料。由此產生的GeoSym127K資料集將多模態模型在依賴圖表的任務上的效能提升了超過20%。
Fre-Res是一種預算自適應的雙軌影片令牌壓縮框架,透過分離稀疏高保真空間錨點與緊湊頻率殘差令牌,在保持高保真空間細節的同時高效編碼時序動態,在多個影片推理基準上實現了精度與效率的平衡。
隨著多模態模型規模的增長,向語言骨幹網路提供的視覺標記序列越來越長,導致推理成本上升。本文提出了一個基本問題:實際需要多少視覺標記,以及在固定預算下如何分配?現有免訓練剪枝方法使用一次性代理,但作者認為視覺標記剪枝應視為任務條件證據搜尋。他們提出了F^3A,一種在語言模型消費影像標記之前執行的免訓練路由器,透過輕量級問題條件線索、凍結稀疏感知頭匹配以及粗證據定位、區域性細化、覆蓋保持競爭和未覆蓋區域恢復來分配固定預算。F^3A無需模型訓練或額外LLM前向傳播,保留了原有的多模態提示和推斷流程。
本研究提出StrLoRA,一種正則化兩階段專家路由框架,用於解決流式連續視覺指令微調(StrCVIT)中模型需同時學習新能力、鞏固已有能力並緩解遺忘的問題。StrLoRA透過任務感知專家選擇和令牌級加權,顯著優於現有方法。
本文提出了一種基於光子統計的事件相機機率模型,統一了靜態場景噪聲事件和階躍響應曲線的描述。透過推導精確泊松、鞍點和高斯三種分佈,揭示了這些行為的內在聯絡。基於該模型,提出了Noise2Params方法,僅需靜態均勻場景即可確定相機引數(對比度閾值、轉換因子和洩漏項)。實驗表明,使用合成噪聲資料訓練的CNN在靜態場景重建中優於僅用實驗資料訓練的模型。
一篇系統研究輕量級(小於2B引數)大型語言模型在刑事法院判決生成任務中能力及其對罪名預測影響的論文。研究探討了模型架構、規模與深度神經網路的對比,並開發了CVGEvalKit評估框架。實驗揭示了模型大小與任務間權衡的新見解。
該研究提出了將多標籤法律註釋轉化為檢索任務的方法,使用凍結的檢索模型嵌入文件和標籤描述,並透過k近鄰預測標籤。在三個法律資料集上,該方法在準確性和資料效率上表現出色,並完全消除了生成模型產生的幻覺問題。
新基準CHI-Bench旨在評估AI代理在真實醫療工作流程中的端到端自動化能力,重點關注政策密度、多角色組合和多邊互動。測試結果顯示,最佳代理僅能完成28.0%的任務,嚴格透過率低於20%,單會話執行時成功率降至3.8%。研究團隊認為,類似差距可能在其他政策密集、角色複雜的領域中出現。
該研究提出了一種基於大語言模型和RoBERTa分類器的計算工具,用於在句子上下文中自動識別方式動詞和結果動詞,平均準確率達89.6%。該工具透過語言學提示生成標註資料,覆蓋436個動詞類別,為發展語言研究中的動詞語義分析提供了可擴充套件的測量方法。
本研究提出了一種新的情感建模方法,將焦點從識別轉向評估,透過構建情感強度分數資料集並微調開放權重生成語言模型輸出0-100的連續值,展示了比分類基線更富有表現力和通用性的框架,特別適用於金融等領域。
arXiv自2023年起為TeX/LaTeX提交提供HTML版本,2025-2026年取得重要進展:社群驅動的改進解決了約一半的6000份使用者報告;大規模轉換工作旨在達到90%無錯誤HTML,目前為75%;初步整合MathML 4意圖註釋以支援語音輸出;正在進行LaTeXML的Rust移植,以降低計算成本並加快預覽速度。專案仍處於實驗階段,但正逐步成熟。
PQR框架透過迭代互動兩個互補模組(查詢最佳化模組和提示最佳化模組),自動生成既能觸發代理失敗又符合真實使用者意圖的多樣化查詢。在電商問答代理評估中,該方法檢測到的無幫助響應增加了23%-78%,且生成的查詢比之前的方法更多樣化和逼真。
一項研究揭示了LLM智慧體系統中技能庫規模的縮放定律:路由誤差隨庫大小對數增長,而正確執行可改善下游決策。透過最佳化,路由準確率從71.3%提升至91.7%,任務透過率顯著提升。
AdaGraph是一種基於圖原生的聚類演算法,源自結構中心機器學習(SC-ML)正規化。它透過k近鄰圖拓撲結構替代歐幾里得距離度量,從根本上解決了高維資料中的維度詛咒問題。該演算法無需預先指定聚類數量k,能原生處理噪聲,並透過SLCD框架實現擴充套件。在10個合成基準測試(維度從10到5000)中,其配套的Graph-SCOPE指標平均ARI達0.900,在9/10資料集上正確選擇k,優於傳統指標。在肝細胞癌基因共表達、文本聚類和材料科學三個科學領域均取得了顯著成果。
本研究提出一種殘差間隙感知Transformer模型,結合混合效應統計參考和Transformer殘差學習,利用ADNI臨床和生物標誌物歷史資料預測24個月CDR-SB變化。該模型透過錨點分析、不規則歷史的三元組標記化和自注意力中的學習非負時間間隙懲罰,在多個指標上優於傳統基線模型,MSE降低13.1%,相關性提高26.4%。
該論文系統研究了在強化學習中使用迴圈神經網路(RNN)時,如何將動作資訊納入狀態更新函式。作者討論了多種動作編碼選擇,並在多個領域進行了實證評估,同時探討了未來工作方向及強化學習特有的挑戰。
研究發現,自對弈強化學習代理在不對稱規則擾動下,當所有正到達決策點被消除時會迅速崩潰至最大損失固定點,而保留單個正到達決策點即可防止崩潰。該現象由約束下的共同適應機制驅動,與擾動本身無關,且具有時間不變性、可逆性,並在函式近似下加劇。
研究自對弈強化學習中,攻擊者透過選擇性移除合法動作來破壞智慧體決策。在撲克及非撲克領域的實驗表明,學習型掩碼比隨機掩碼和擾動基線造成更大傷害,且攻擊可跨演算法遷移、在自對弈中放大,且無法透過延長掩碼訓練恢復。
SignMuon是一種結合了signSGD的多數表決符號聚合與Muon極座標步驟的1位、矩陣感知最佳化器。每個工作節點透過牛頓-舒爾茨迭代計算動量極因子,傳輸元素級符號並由多數表決聚合。在頻譜範數平滑和有界方差隨機梯度下,實現了O(1/√T)的非凸收斂率。在330個CIFAR-10/ResNet-50配置上,SignMuon取得了最佳驗證準確率92.15%;其4-GPU多數表決變體在匹配有效批次下訓練時間減少37%。在nanoGPT上,SignMuon實現了更低的困惑度和更好的即時效能。
該論文提出了一種基於反事實對比的信用分配框架,用於大語言模型多步推理的強化學習。透過取樣多條推理軌跡並利用其差異隱式近似替代決策,構建了過程級優勢估計器,將稀疏的終端獎勵轉化為步驟敏感的學習訊號。基於此提出的隱式行為策略最佳化(IBPO)顯著提升了數學和程式碼推理基準上的訓練穩定性和效能上限。
本文針對帶功能約束(不等式型約束)的變分不等式問題,提出了多種映象下降類演算法。這些演算法根據迭代中功能約束的值在生產性步驟和非生產性步驟之間切換,並採用不同的步長規則和停止準則。作者分析了這些演算法,證明了對於有界單調運算元和Lipschitz凸功能約束的問題,它們能夠以最優收斂速度達到所需精度。此外,還提出了一種改進演算法,透過在生產性步驟中考慮每個功能約束以及第一個違反可行性的約束,從而在多個約束下節省執行時間。對於δ-單調運算元,該演算法可應用於無法獲得目標函式次梯度準確資訊的約束最小化問題。數值實驗驗證了演算法的效能。
本研究針對Apple M3 Ultra(60核GPU,512 GB統一記憶體)進行了10階段的全面最佳化實驗,旨在實現即時相機img2img變換。透過結合蒸餾專用模型SDXS-512的CoreML轉換和3執行緒相機流水線,最終在512x512解析度下達到了22.7 FPS。研究揭示了CUDA平臺上的最佳化策略在Apple Silicon統一記憶體架構上並不有效,例如量化無法加速、並行推理無效以及神經引擎不適用於大規模模型,並提供了針對Apple Silicon的擴散模型推理實用指南。
LinAlg-Bench是一個診斷基準,透過3x3、4x4和5x5矩陣的嚴格維度梯度,評估了10個前沿大語言模型在結構化線性代數計算上的表現。該基準覆蓋9種任務型別和660個SymPy驗證的問題,全面評估了6600個模型輸出。除了二元準確性,LinAlg-Bench還引入了一個三階段自動取證流程,將1156個失敗分類為十種主要錯誤標籤及細分子型別,揭示了LLM的數學失敗並非隨機,而是受演算法型別和矩陣維度的結構性約束。核心發現是模型在4x4規模處出現一個尖銳的行為閾值:低於此閾值時,模型因執行錯誤(如符號跟蹤失敗、算術漂移和奇偶錯誤)而失敗;高於此閾值時,失敗轉變為計算放棄,模型透過工具角色扮演、約束一致的虛構和結構化幻覺來編造響應,而非嘗試計算。這種從編造到放棄的轉變在幾乎所有模型層級和架構中普遍存在,暗示這是一個工作記憶限制而非知識差距,三種規模湧現的錯誤型別(在3x3中不存在但在4x4和5x5中出現)支援了這一觀點。研究還表明,解策略僵化是5x5行列式準確性的近乎完美預測因子,記錄了一種名為約束感知虛構的新型結構化幻覺故障模式,並公開了所有資料、模型輸出、錯誤標籤和判斷流程。
該研究提出一種知識自適應架構,將視覺感知與推理分離,結合視覺編碼器和動態知識庫,以解決野外邊緣AI部署中的環境變異性和資源限制問題。透過顯式知識庫替代隱式引數編碼,支援專家知識的可持續性,並與生物學家和原住民社群合作推動倫理AI共同開發。
最新研究表明,通用多模態嵌入(UME)從鏈式思維(CoT)推理中獲益顯著,但生成顯式CoT軌跡的計算開銷過大。本文提出用潛在思維令牌替代顯式CoT,這些令牌作為潛在變數可生成顯式CoT軌跡作為觀測變數。透過CoT生成損失最佳化思維令牌,再透過對比損失最佳化嵌入令牌,實現了恆定推理成本下的高效能、推理感知表示。研究探討了兩種關鍵架構設計,並推出了TTE-Flash-2B模型,在MMEB-v2基準上超越顯式CoT對應模型,同時思維令牌可文本和視覺解釋。此外,在15個影片資料集上的零樣本評估顯示,隨著思維令牌數量增加呈現擴充套件行為,並啟發了基於任務需求的自適應思維預算分配試點研究。
PRISMat是一種高效的置換不變模型,用於晶體材料生成。與大型語言模型(LLM)相比,PRISMat在推理時間更短的情況下,在預測材料表面性質(如解理能和工作函式)方面表現更優,誤差降低4倍。該模型採用策略驅動的方法,解決了傳統LLM在材料科學中引數龐大、計算成本高的問題。
一項新研究發現,雖然大語言模型代理在多屬性談判中能準確建模對手偏好,但未能將此資訊轉化為戰略優勢,導致最終協議主要由初始錨定值而非效用權重決定。
Skim是一種投機執行框架,利用網站的可預測結構繞過重量級元件,將成本降低1.9倍、延遲降低33.4%,且不損失準確性。