本研究重新評估了語言模型困惑度與自動語音識別詞錯誤率之間的傳統線性關係,發現現代端到端ASR系統由於內建語言建模能力,這一關係不再成立。論文探討了外部語言模型對當前系統的改進效果、困惑度與WER在對數空間中的線性假設、編碼器上下文長度的影響,以及大型語言模型困惑度與標準神經語言模型趨勢的一致性。此外,透過分析注意力編碼器-解碼器系統中的內部語言建模,發現ILM減法會改變觀測到的關係,強調了解碼器內部語言模型在評估外部語言模型質量時的重要性。
AI 新聞即時情報
即時監測
即時更新
即時追蹤可信來源,保留出處、權限和站內閱讀模式,把噪音壓成可讀情報。
即時更新
ResonatorLM是一種新型機制,用物理啟發的因果共振函式替代注意力機制,將token序列視為一維潛場。在6M引數模型上,訓練和預填充速度隨序列長度增加,解碼速度在32K token時達到標準Transformer的6.47倍,WikiText準確率從55.32%提升至61.31%。該論文已被ICANN 2026接收。
新研究表明,大型語言模型(LLM)的提示魯棒性在客觀問題和主觀問題之間存在顯著差異,且這種差異受到模型、資料集和提示變化型別的影響。研究人員警告稱,不應將LLM對主觀問題的回答視為其價值觀或信念的直接反映。
新研究透過交叉對稱化方法分離了LLM在道德困境中的“是-否”偏差成分,發現前沿模型的內在道德立場近乎格式不變,而克勞德模型存在顯著的順序偏差和詞彙拉動,GPT-5.5和Gemini則幾乎為零。該偏差隨擴充套件推理而縮小,且並非朝向拒絕,而是跟隨表面印刷。
一項新研究揭示,大型語言模型(LLM)在從眾基準測試中的表現,很大程度上並非源於社會影響,而是由於重複的錯誤答案本身。研究者透過移除明確說話者後發現,模型在66.5%的情況下仍會改變正確答案,而單純的重複提問只有10.3%的更改率。這表明現有基準混淆了說話者存在與重複文本兩種線索,建議先測量無說話者基線。
本文提出了一種基於演算法資訊理論的結構序列分析方法,核心是Ladderpath方法,提取語言序列中重複子結構的巢狀和層次關係,並定義了三種距離度量。結合k-近鄰分類器,這些距離在分佈內、分佈外和少樣本文本分類任務中表現優異,尤其在分佈外和低資源設定下優於gzip和BERT。
該論文對KIVI、TurboQuant、SnapKV和CaM等KV快取最佳化技術進行了工作量感知的基準測試,評估了它們在Llama-3.1-8B-Instruct和Mistral-7B-Instruct-v0.3模型上的多文件問答、單文件問答、少樣本學習和摘要任務中的表現。結果表明,壓縮率本身並不能很好地預測端到端效能。KIVI4提供最穩定的質量,SnapKV在長上下文吞吐量方面表現最佳,而CaM在特定問答任務上取得顯著提升,但對工作負載敏感。該研究強調了根據工作負載選擇KV快取機制的必要性。
一項研究考察了人格提示在迭代“分或搶”遊戲中對大型語言模型智慧體的影響。實驗使用四個開源模型與虛擬人類互動,發現合作行為佔主導,但模型和人格型別顯著影響策略。
該論文提出SCISE框架,透過社群感知取樣和約束結構熵解決圖聚類中的結構孤立問題。包括結構熵社群約束運算元(SECC)、社群感知取樣擴充套件(CSampE)和結構對比學習(StructCL)三個模組。在六個基準資料集上,SCISE顯著優於現有方法。
香港浸會大學的研究人員提出了一種新的距離度量與聚類演算法,用於處理包含名義屬性和有序屬性的類別資料。該工作統一處理兩類屬性,並保留有序值間的順序關係,透過聯合學習距離權重和資料劃分避免次優解,經實驗驗證效能優於現有方法。
本文提出AdaStop框架,將DNN測試建模為成本-收益決策過程,透過估計邊際故障發現率並在其低於閾值時自動停止標註,在僅使用9%-31%標註預算的情況下發現65%-84%的故障,顯著降低了測試成本。
本文提出將大語言模型(LLM)Agent的執行框架視為可學習的控制層,形式化為有限時域馬爾可夫決策過程(Harness MDP),並透過離線優勢加權迴歸訓練輕量級控制器。實驗表明,該控制器能持續改進驗證行為並選擇性提升任務質量,且效果優於行為克隆等基線。
一種新的可控可觀性框架透過動態系統理論分析隱藏狀態冗餘來壓縮深度神經網路,在MNIST和CIFAR-10上實現了超過70%的狀態壓縮,且精度損失極小。
本文提出外生Dropout,一種在訓練時隨機置零整個外生通道的模型無關方法,顯著提升時間序列預測模型在噪聲、時間錯位和缺失協變數下的魯棒性,同時保持乾淨資料的精度。實驗表明,該方法優於專門設計的魯棒架構,為協變數預測提供了簡單有效的基線。
本文探討了時間序列預測中的“粒度悖論”:更細的時間粒度(如從月度到周/日)改善了樣本內診斷和資料集大小,但由於遞迴誤差在更長預測區間上的累積,反而降低了樣本外精度。透過13年公共採購資料集對10種模型在六種粒度上的基準測試,發現遞迴自治模型在高頻預測中顯著退化(例如Holt-Winters在日粒度測試R²為-151,TPFE達425.85%),而LSTM呈現U形誤差曲線,在日粒度克服了誤差傳播懲罰(TPFE 4.35%,R² 0.66)。線性迴歸保持穩定,表明悖論由遞迴反饋拓撲驅動。標準指標(RMSE、MAE)系統性地掩蓋了累積誤差,本文引入共識-分歧診斷來識別標準診斷掩蓋誤差傳播的模型。
GAIA是一種幾何感知、基礎設施錨定的學習框架,用於處理超寬頻UWB測距中的非視距傳播、突發噪聲和長尾誤差,透過結合時間範圍建模、潛錨點佈局估計和確定性距離投影,在作業區幾何重建中實現了去噪和一致性重建。在真實戶外UWB資料集上,GAIA將範圍均方誤差降低了18.4%,多邊形IoU提升了15.5%,優於現有方法。
本文提出Design-CP,為RFdiffusion 3引入兩種上下文並行推理策略(1D行分片和2D網格分片),將二次啟用分佈到多GPU,使得在有限視訊記憶體下設計大型蛋白質奈米顆粒成為可能。實驗表明,2D分片在二十面體組裝中擴充套件性更好,併成功在16GB GPU叢集上實現了八面體奈米顆粒設計。
本文提出統計有意義幾何(SMG)框架,將過引數化學習系統建模為無限維非引數Orlicz纖維叢。證明在持續分佈外刺激下,連續最佳化失敗,未建模方差積累導致活性非因果張力,觸發規範對稱性破缺(GSB),表現為結構G-熵的離散階躍。SMG提供引數無關的可證偽儀表盤,用於區分真正發現與惡性幻覺,推動AI科學自主正規化轉變。
該研究探討了使用大型語言模型(LLM)生成合成消費者資料的可行性,特別是用於投射技術。透過多項任務對比LLM與人類在旅遊目的地感知上的反應,發現兩者在廣泛主題上重疊,但在風格、語言結構和多樣性生成方式上存在差異。研究提供瞭如何最佳利用LLM生成合成消費者資料的建議,並指出了其侷限性。
ArtisanCAD是一種面向工業計算機輔助設計的智慧體,透過引入可執行的CAD中間表示(CAD-IR)來蒸餾專家知識,處理模糊或不完整的自然語言提示,生成可編輯的引數化B-Rep模型。在Text2CAD基準測試中,CAD-IR將中間提示的生成質量提升了33%,平均倒角距離從14.83降至9.88。
Akashic是一種為LLM代理系統設計的低開銷記憶系統,透過MemAttention將上下文組織成有界塊並建模語義關係,避免完整歷史重放,從而提升任務準確率、吞吐量和可持續請求率。
該研究提出將記憶儲存移入語言代理的推理迴圈中,在每個步驟讀取和寫入,以克服網路延遲問題。實驗表明,程序記憶體儲(約100微秒)可將冗餘動作從7.2/12降至0.0/12,並將召回率從0/5提升至3.6-4.8/5。瓶頸在於嵌入生成而非儲存。
FirstResearch引入了一種結構化研究問題證書,透過記錄原始定義、假設、機制模型、矛盾、可證偽假設、最小決定性測試和失敗更新規則,使LLM生成的科研問題可審計。在十個主題上評估,該框架優於基線方法,得分4.86/5 vs 4.38/5。消融實驗表明證書至關重要,移除後得分低於1/5。結果表明顯式推導約束能提高審計性。
一種名為敘事世界模型(NWM)的新型AI系統,利用基於敘事學的時間狀態圖幫助小說作者跟蹤複雜的故事情節,在多跳敘事理解任務上超越了現有記憶框架。
本文對利用基礎模型自動生成機械零件CAD進行了實證研究,提出了LLMForge框架及其兩種批評機制。在包含97個工程設計問題的基準上評估了七個模型;緊湊的指令調優模型表現與大型系統相當,而基於VLM的批評雖實現100%防水網格,但在處理旋轉對稱幾何體時存在困難。
CSTutorBench是一個新的基準,用於評估小型語言模型在VEX VR(一種積木式機器人程式設計環境)中作為電腦科學輔導員的表現。初步測試顯示,模型在表面標準(如詞彙和語氣)上表現良好,但在深層教學行為(如避免洩露答案和關注學生除錯歷史)上存在困難。提示工程改進提高了大部分模型的分數。
本文提出一種受統計力學啟發的新框架,透過基於能量的無向表示對網路物理物聯網系統中的變數依賴關係進行建模,實現依賴感知的歸因分析。在工業物聯網測試臺上的模擬表明,該框架在歸因準確性、魯棒性和可擴充套件性方面優於現有的基於圖的方法。它適用於高維網路物理和社會技術系統,無需重建有向因果圖。
Prompt-to-Paper是一個多智慧體AI框架,透過將宣告錨定在可驗證文獻中、執行真實實驗並提供標準化質量評估,解決了自動手稿生成的關鍵缺陷。在五個生物資訊學案例中,人工評審平均得分為7/10,每篇成本約0.31美元。
HairstylesPro 讓你在理髮前透過AI虛擬試戴超過500種真實發型,上傳照片即可預覽效果。提供免費試用,並支援按月或按次購買。
一個利用多 LLM 整合來發現和披露關鍵 0day 的 AI 驅動平臺。首個案例:Cisco CUCM 14.0 中 CVSS 9.8 的未認證 RCE 鏈(從 SQLi 到 root 共 6 個階段)。包含可工作的 PoC、完整技術分析以及基於風險的披露研究。