本文提出Kara,一種滑動窗口KV緩存壓縮方法,通過僅在最近生成的上下文上操作並進行解碼時壓縮,利用雙向注意力機制評分和選擇信息性KV對,並設計Token2Chunk模塊靈活保留重要語義信息。實驗表明,Kara和基於vLLM的推理框架KvLLM顯著降低了KV緩存內存使用並提高了輸出吞吐量。
AI 新聞即時情報
即時監測
即時更新
即時追蹤可信來源,保留出處、權限和站內閱讀模式,把噪音壓成可讀情報。
即時更新
本文提出一種基於溯源分析的框架,用於檢測大型語言模型代理在調用工具時是否與用户意圖對齊。研究者開發的ProvenanceGuard流水線在工具執行前分析三種類型的對齊偏差,在Agent-SafetyBench和WorkBench基準測試中,將錯誤率從42.9%降至1.8%和從32.1%降至17.3%,同時將對齊軌跡的干預負擔從30.5%降至12.8%。
TokenScope 是一款面向解碼器型 LLM 的交互式可解釋性工具,能在代碼生成過程中提供詞元級度量、注意力模式和結構信息,支持詞元替換、反事實分支和基於抽象語法樹的代碼感知聚合。
本文提出了一種利用圖像和事故報告等多模態數據進行鐵路道口安全評估的AI系統原型,通過視覺語言模型實現風險分類和安全評分,性能接近專家水平。
研究提出NightVision攻擊,即使在僅返回單個logit且無法偏置logit的受限API下,也能以較低誤差率推斷大型語言模型的隱藏維度、深度和參數數量。
趙志林的新專著提出了一個統一的、面向證明的現代深度學習理論,連接了經典的近似、優化和泛化與現代主題如過參數化、Transformer、上下文學習、縮放定律和湧現。
研究人員提出了一種結合稀疏隨機投影和多項邏輯迴歸的機器學習方法,用於DNA甲基化數據的中樞神經系統腫瘤分類。在參考隊列中達到96%準確率,在獨立臨牀隊列中達到86%(91類)和93%(家族級),較現有技術提升4-5個百分點,具有臨牀意義。
IonSense-QKG 為公共鋰離子電池數據集添加量子相關元數據,並引入量子就緒評分,幫助研究者選擇適用於混合量子-經典機器學習的數據庫。該框架支持基於查詢的發現,為數據驅動的量子電池分析提供可復現的基礎。
本研究系統刻畫了多探針網格算法在高維空間中的性能,發現其在GloVe嵌入上表現出獨特的維度縮放交叉現象,與其他方法相比具有恆定維度指數、近線性查詢縮放和更低索引成本的優勢,對高效Transformer架構設計具有指導意義。
本文提出一種基於領域知識的圖卷積網絡方法,通過引入PRQST關鍵點作為領域知識,並利用雙流有向圖建模心電週期內和週期間的複雜關係。在首屆中國心電圖智能競賽數據集上,該方法整體平均F1分數達88.1%,罕見類別平均F1分數為76.3%,均優於現有最先進模型。
本文研究編程示例系統的對抗性魯棒性,提出一種新攻擊模式:對手觀察合成器並選擇最有害的示例進行破壞。作者形式化了有限版本空間下的最壞情況破壞,實現了精確搜索和啓發式搜索,並引入版本空間分區聚合(VPA)防禦。實驗表明,低裕度任務存在隨機噪聲評估忽略的對抗魯棒性維度,而VPA僅在清潔語義保持分區投票裕度時有效,這在現實任務中常失敗。
本文提出I²RiMA網絡,通過在每個頻率點獨立構建空間協方差矩陣並映射到SPD切空間,結合頻率聚類聚合和幀間注意力模塊,有效提升了跨被試腦電圖壓力檢測的準確性。在三個數據集上達到82.78%的平衡準確率,且參數量僅1.60M。
該研究提出了一種多層Q矩陣嵌入神經網絡(M-QCDNet),將認知診斷模型的結構可解釋性與深度學習神經網絡相結合。M-QCDNet使用Q矩陣作為結構先驗來組織項目-技能關係,確保潛在掌握特徵可解釋且符合認知理論,並通過帶L2懲罰的損失函數平衡預測性能和結構對齊。還開發了可解釋對齊指標來量化預測技能激活與項目級技能的對應程度。M-QCDNet在課堂實踐中具有實際益處,能夠早期發現學習困難並支持基於掌握的干預。通過將診斷有效性嵌入模型設計,M-QCDNet彌合了心理測量透明性與神經靈活性之間的鴻溝,推進了可解釋、公平且可操作的AI認知診斷。
提出程序性記憶蒸餾(PMD)方法,利用強化學習中跨回合的失敗模式、成功策略等信息,構建三層抽象的記憶,並通過記憶條件的自我教師蒸餾到策略中,在多個基準上超越現有方法。
該研究審計了MedAgentBench v1/v2,發現41.7%的靜默完成上限,並構建了MAB-v3(508個任務,8.9%上限)。使用Qwen3-8B訓練揭示了兩個結構性障礙:能力上限和格式知識障礙。純強化學習達到18.2%的pass@1,而基於規則的SFT為34.1%,差距完全歸因於這些障礙。研究提出了決策/格式知識/查找分類法來預測強化學習的可學習性。
本研究探索使用可驗證獎勵的強化學習(RLVR)在特定企業SaaS工作流中訓練小語言模型,以解決傳統下一個詞預測的侷限性。在模擬Jira和Confluence API的五種合成環境中,RL訓練的模型在四個非退化場景中平均獎勵從0.35-0.92提升至0.95-1.00,尤其是在Confluence頁面創建任務中從0.35提升至1.00。但手動設計可驗證獎勵難以擴展,且存在獎勵飽和問題。
研究團隊將混合專家擴散語言模型DiffusionGemma-26B應用於醫學視覺問答,並與其自迴歸版本Gemma-4-26B對比。擴散模型在所有指標上匹配或超越自迴歸模型,解碼速度快3.5-4.4倍,且具備任意順序填充能力,特別適合放射科醫生交互式起草報告,而自迴歸模型在此任務上表現不佳。
CreativityNeuro是一種無需數據的方法,通過對比權重引導增大大語言模型的發散思維,在多項創造力測試中將性能提升多達14個人類百分位點,並顯著減少模式崩潰。
本文提出了一種難度路由服務控制架構,用於自主客服代理在執行退款、取消等操作任務時,通過輕量級路由器將複雜請求分流至升級工作流,集中進行衝突感知溝通和寫前重新考慮,從而在保持常規服務高效的同時防止操作錯誤。在零售和航空任務上的評估顯示,該方法能顯著提升可靠性,且改進並非來自無差別的交互擴展。
針對大型複雜代碼庫摘要難題,研究人員提出Agent4cs多智能體框架,採用自底向上的方式,通過摘要、關鍵詞提取和質量保證三個智能體協同工作,在7個前沿模型上平均提升語義一致性8%,關鍵詞覆蓋率最高提升38%。
Wiola是一種全新的小型語言模型架構,從基本原理設計,與GPT、LLaMA、Mistral或Falcon等現有模型無結構關聯。它引入了五種獨立創新的組件:螺旋旋轉位置編碼(SRPE)、門控跨層注意力(GCLA)、自適應令牌合併(ATM)、雙流前饋(DSFF)和WiolaRMSNorm歸一化。模型提供四種規模(120M、360M、700M和1.5B參數),完全兼容HuggingFace Transformers生態系統。
Auto-FL-Research (AFR) 是一個約束編程代理工作流,用於自動搜索聯邦學習算法。它在五個醫療保健FLamby任務和六個LEAF數據集上進行了評估,顯示在多個任務上取得了提升,但也揭示了種子敏感性和搜索選擇的失敗案例。
本文介紹了PACE,一個模塊化的神經符號框架,用於生成考慮可行性的反事實解釋。該框架將預測和推理分離,使用神經網絡進行分類,並用符號推理層施加領域約束,確保解釋的合理性和可操作性。在Adult Income數據集上的案例研究表明,符號約束能夠產生更符合領域可行性要求的解釋,展示了神經符號方法在可解釋AI中的潛力。
本文深入調查NVIDIA DGX工作站的實際能力,揭露其748GB統一內存中僅252GB為高速HBM3e,其餘為低速LPDDR5X。通過Cornell、Snowflake等使用案例和GLM-5.2等基準測試,探討其能否承載本地前沿模型推理。
Imagent是一個將圖像、視頻和語音生成能力集成到AI代理工作流中的開源工具。它提供統一的CLI接口,支持多個AI提供商(如OpenAI、Google、ElevenLabs等),並管理生成的資產庫,方便複用。
Interfaze 開源了 diffusion-gemma-asr-small,一個多語言語音識別模型,採用擴散解碼器而非自迴歸解碼器。該模型通過一個約 42M 參數的適配器將音頻輸入到 Google 的凍結 DiffusionGemma 模型中,單個適配器即可處理六種語言。轉錄成本由去噪步數決定,而非轉錄長度。在 LibriSpeech 測試集上詞錯誤率為 6.6%,領先其他擴散 ASR 模型。
本文將'點球成金'概念——利用數據驅動的統計分析發現低估資產——應用於物理人工智能領域。文章認為,機器人數據目前定價錯誤,過度強調數據量和遙操作時長,而忽視了數據的新穎性和邊際效用。通過分析規模法則和數據採集的經濟學,文章提出,物理AI的資本效率取決於準確計算和定價數據的新穎性,而非最大化數據量。
韓國芯片製造商三星電子和SK海力士推動的AI芯片熱潮帶來了前所未有的財富增長,但只有少數人羣受益,引發關於利潤分配和貧富差距的廣泛討論。
在內部全體會議上,Meta CEO馬克·扎克伯格承認公司的代理型AI開發速度慢於預期,這是一次罕見的坦誠表態。他透露AI代理進展未如預期加速,且裁員重組效果不佳。儘管Meta大幅增加資本支出,但購物代理等產品尚未落地。扎克伯格預計未來3-6個月將看到實質性回報,但分析師認為成功只是時間問題。
本視頻討論了AI領域被認為正在崩潰的原因,以及中國如何通過戰略投資在該領域取得優勢。