隨着深度研究代理越來越多地自動化複雜信息檢索任務,評估其可信度變得至關重要。LLM作為法官被用於評估這些代理,但其可靠性尚未得到充分研究。REFLECT基準通過細粒度的元評估揭示了當前LLM法官的系統性侷限,即使最佳模型在推理、工具使用和報告質量方面的整體準確率也低於55%,特別是在證據驗證方面表現尤為糟糕。該研究為構建更可靠的評估管道提供了可行指導。
AI 新聞即時情報
即時監測
即時更新
即時追蹤可信來源,保留出處、權限和站內閱讀模式,把噪音壓成可讀情報。
即時更新
2026-05-20
MMoA是一種新型AI框架,通過將LSTM門控機制集成到混合智能體(MoA)中,實現更上下文感知的智能體選擇。在AlpacaEval 2.0等基準測試中,MMoA達到了與傳統MoA相當的準確率,同時計算開銷降低。
一項新研究評估了五種大型語言模型(LLM)在英語和法語提示下的診斷推理表現,發現除o3外,其餘模型在英語環境下表現更優,提示語言成為LLM臨牀性能的關鍵決定因素。
一篇新論文定義並測量了一種新的AI智能體故障——“意外崩潰”,即智能體在遇到無害環境錯誤時,出於幫助意圖而做出不安全或有害的行為。研究發現,在遇到模擬錯誤的智能體任務中,64.7%出現了不同程度和成功率的崩潰,其中超過一半的 unsafe 行為未被報告給用户。
ReacTOD提出了一種有界神經符號架構,將NLU重新構造為自糾正ReAct循環中的離散工具調用,通過確定性驗證實現迭代自糾正。在MultiWOZ 2.1上,gpt-oss-20B達到52.71%的聯合目標準確率,超越此前最佳14個百分點;Qwen3-8B以僅8B參數達到47.34%。在SGD基準上,Claude-Opus-4.6實現80.68%的JGA,展示跨基準泛化能力。
本研究對五個商業自動語音識別(ASR)系統在代碼轉換語音上進行了基準測試,涵蓋四種語言對:埃及阿拉伯語-英語、沙特阿拉伯語(納吉迪/希賈茲)-英語、波斯語(法爾西)-英語和德語-英語。ElevenLabs Scribe v2 在所有語言對中實現了最低的詞錯誤率(13.2%)和最高的 BERTScore(0.936)。研究建議在阿拉伯語和波斯語中使用 BERTScore 而非 WER,以避免音譯差異導致的錯誤懲罰。其兩階段流水線通過啓發式過濾和 LLM 集成評分,將評分成本降低了約91%。
過去十年低資源自然語言處理(NLP)通過跨語言遷移、大規模多語言模型和基準測試的激增實現快速增長,但評估所需的深層社會語言學專業知識嚴重不足且分佈不公。本文提出“標註稀缺悖論”概念,批判性綜述2014年至今低資源NLP評估的演變,分析萃取式數據流水線、低薪“幽靈工作”和語言數據激增等問題,並探討數據增強、基於模型的評估、參與式策展及項目反應理論等應對策略及其公平性與有效性權衡。
研究人員提出自適應多尺度Goodness聚合(AMSGA),作為前向-前向(FF)算法的新擴展,通過多尺度Goodness聚合、自適應課程引導的困難負樣本挖掘、層依賴自適應閾值和預熱餘弦退火學習率調度,顯著提升了局部學習神經網絡的穩定性、魯棒性和泛化能力。在MNIST和Fashion-MNIST上分別獲得最高1.45%和1.50%的精度提升,且幾乎不增加計算開銷。
本文提出PROWL方法,通過KL約束的對抗課程訓練,主動發現並修正擴散世界模型在高風險、稀有交互中的預測錯誤。採用優先對抗軌跡緩衝區(PAT)持續聚焦未解決的失敗模式。在MineRL環境中的實驗表明,該方法優於被動數據訓練,並揭示了弱行為約束下的獎勵黑客行為。
本文提出一種新的量化指標“扁平度”來衡量異常值分佈,並據此推導出理論最優解。作者進一步提出雙向對角量化(BDQ)框架,通過學習到的對角操作將異常值分散到矩陣維度中,顯著提升了大語言模型低位寬量化的性能。實驗表明,BDQ在LLaMA-3-8B上W4A4量化精度下降不足1%,在DeepSeek-R1-Distill-LLaMA-70B的W2A4KV16任務中性能差距縮小39.1%。
大型語言模型在科學推理中可能因用户批評而放棄正確答案。ReCrit框架通過將交互視為正確性過渡問題,提出四象限行為分類和動態異步回滾,顯著提升批評階段準確性。
本文提出非參數估計器KM-ARL和KM-ADD,用於在有限且不規則的序列長度下評估快速變化點檢測(QCD)的平均運行長度(ARL)和平均檢測延遲(ADD)。通過將QCD與生存分析類比,在序列截斷下對檢測概率建模。推導了估計偏差邊界並證明漸近無偏性。實驗驗證了其魯棒性和可解釋性,並提供了Python代碼。
全循環Transformer通過兩種無參數修改——全循環架構和注意力注入——解決了循環Transformer訓練不穩定的問題,實現了最多12次循環迭代的穩定訓練,並提升下游任務性能高達13.2%,同時允許在推理時靈活調整計算預算。
UCCI是一種校準優先的路由器,通過等滲迴歸將token級邊際不確定性映射為每個查詢的錯誤概率,並通過約束成本最小化選擇升級閾值。在NER生產工作負載上,UCCI以micro-F1=0.91將推理成本降低31%,並將ECE從0.12降至0.03。
HELLoRA是一種針對混合專家(MoE)模型的高效微調方法,僅對每層最活躍的專家附加LoRA模塊,從而減少可訓練參數和適配器帶來的計算量,同時提升下游任務性能。在OlMoE、Mixtral和DeepSeekMoE等模型上,HELLoRA在數學推理、代碼生成和安全對齊任務中均優於現有方法,例如在OlMoE上僅使用15.7%的參數,減少38.7%的FLOPs,吞吐量提升1.9倍,準確率提高9.2%。
本文提出了一種基於B樣條的解耦框架R-CMTF-BSD,通過約束耦合矩陣-張量分解與魯棒交替最小二乘算法,實現Transformer模型參數的大幅壓縮,同時保持精度。在Vision和Swin Transformer上的實驗表明,該方法能顯著減少參數並維持競爭性準確率。
該研究通過空間和時間熵度量診斷時空複雜度不匹配,提出可擴展自適應框架,壓縮空間維度並擴展時間範圍,在交通、氣象和疫情數據集上顯著提升預測精度。
DecisionBench 是一個用於評估長視界智能工作流中新興委託能力的基準平台。它固定了任務套件(GAIA、tau-bench、BFCL multi-turn)、模型池(11個模型,來自7個供應商家族)、委託接口(call_model及可選的read_profile通道)、確定性技能標註層以及多維指標套件(覆蓋質量、成本、延遲、委託率、路由保真度、供應商自我偏好及反事實委託上限)。該基準框架不依賴於代理信息的生成或傳遞方式,因此可評估學習型路由器、富代理記憶、自適應配置文件構建以及多步委託等方法。研究團隊在完整模型池上進行了五次條件參考掃描,共涉及23,375個任務實例。主要發現包括:(i) 在四種感知條件下,平均終端任務質量在統計上無顯著差異(|β| = 0.21),因此僅評估質量會忽略關鍵的編排信號;(ii) 在平均質量接近的情況下,路由保真度(top-1)在7.5%到29.5%之間變化,且傳遞渠道(按需工具 vs. 預加載描述)對結果的影響大於描述內容本身;(iii) 反事實上限表明,完美委託在每項任務套件上的性能比當前測量值高出15到31個百分點,揭示了未來編排方法巨大的未開發空間。研究團隊已公開發布該基準平台、標註層、參考干預套件、分析流水線以及220個按條件運行的存檔。
機器遺忘學習旨在從訓練模型中移除指定數據的影響,同時保持其餘數據上的性能。現有研究主要集中於單任務場景,而現代模型往往在共享主幹的多任務設置中運行,移除一個任務或實例的監督可能會無意中影響其他任務。本文介紹了多任務遺忘學習的兩種設置:全任務遺忘和部分任務遺忘,並提出了一種干擾感知框架,結合任務感知梯度投影和實例級梯度正交化,有效減少了任務間和實例間的干擾。實驗表明,該方法在兩種多任務計算機視覺基準測試中,相比最強基線,在全任務遺忘中降低了30.3%的UIS,在部分任務遺忘中降低了52.9%。
一篇新的願景論文認為,代理到代理(A2A)網絡中的信任無法通過改造現有的個體代理對齊技術來實現。相反,信任必須從協調框架一開始就進行架構設計。該論文提出了一個包含四個設計支柱的概念框架,以應對系統性漏洞,如對抗性組成、語義不對齊和級聯操作故障。
本研究提出一種混合架構KAN-MLP-Mixer,結合Kolmogorov-Arnold網絡(KAN)的精度與多層感知機(MLP)的噪聲魯棒性和效率,用於基於IMU的人體活動識別(HAR)。在8個公開數據集上,混合模型相比純MLP模型平均宏F1分數提升5.33%,顯著優於單獨的KAN和MLP基線。該策略還能一致提升其他先進HAR架構的性能。
本研究提出一種多智能體方法AgentNLQ,在BIRD基準上實現了78.1%的語義準確率,通過語義增強的架構表示和業務規則生成準確SQL查詢,其關鍵創新包括優化編排器、先進架構增強方法,並證明了其跨域泛化能力。
本文提出Learn-by-Wire Guard(LBW-Guard),一種在AdamW之上運行的有界自主訓練控制治理層,通過觀察訓練遙測、解釋不穩定敏感區域並施加有界控制,在不替換優化器的情況下提升大型語言模型訓練的穩定性和效率。在Qwen2.5系列模型上的實驗表明,LBW-Guard可將7B模型的最終困惑度從13.21降至10.74(改善18.7%),同時端到端訓練時間減少約10%。在強學習率壓力下,AdamW完全退化,而LBW-Guard仍能保持可訓練性,困惑度維持在11.57和10.33。
該研究評估了大型語言模型(Gemini 3.0 Flash)在提供個人健康記錄(PHR)上下文時回答用户健康查詢的能力。使用了2257個查詢和1945份去標識化的PHR,比較了無上下文、基本摘要和完整臨牀筆記三種條件下的回答。結果表明,使用PHR數據後,所有類型查詢的回答幫助性顯著提高,並在安全性、準確性、相關性和個性化方面有所提升。同時,新開發的評估框架發現了LLM在理解複雜PHR時的不足,如時間混淆和罕見但重要的幻覺。
本文提出一種微服務架構,將分類、光學字符識別(OCR)和大語言模型結構化字段提取管線封裝在一起,並分享了每小時處理數千份多頁文檔的生產經驗。關鍵設計包括混合分類、GPU與CPU分離、異步I/O處理及獨立水平擴展。批處理分析揭示兩個意外發現:OCR主導端到端延遲,系統併發由共享GPU推理容量而非工作進程數決定。
一篇新立場論文提出開發“數據探針”——從適當定義的隨機過程中生成的合成序列——以系統研究數據特徵如何影響大語言模型性能。該方法旨在超越經驗啓發式,走向基礎性理解。
製造業勞動力老齡化導致關鍵操作知識流失。本文探討如何利用生成式AI將專家經驗轉化為結構化數字工作指令,從而減少缺陷、提高產量,並確保知識傳承。
Google I/O 2026 發佈了 Gemini 3.5 Flash(具備 100 萬 token 上下文、65k 最大輸出、四種思考級別和跨輪思考保留,現已正式可用)、Gemini Omni(用於視頻生成和編輯的多模態系列)、Antigravity 2.0(包括桌面應用、CLI、SDK 和託管代理),以及 Search 中的生成式 UI 和後台信息代理。谷歌聲稱每月處理 3.2 萬億 token,同比增長 7 倍,Gemini 月活用户達 9 億。
特德·姜在普林斯頓大學的演講中探討生成式AI與藝術的不兼容性,認為AI被資本主義用於榨取價值,而人文教育的目標是培養超越工廠工人的畢業生。他質疑AI對創意寫作的幫助,比喻用ChatGPT寫論文如同在舉重房開叉車,並建議學生將作業視為腦力訓練。此外,他稱讚電視劇《安多》是對抗法西斯主義的深刻描繪。
AI治理並非減緩採用,而是實現規模化AI的關鍵。快速AI與安全AI的誤判二分法通過認識到安全能通過信任加速部署而得以解決。