從自迴歸到擴散:利用嚴格因果和彈性視野高效適配大型語言模型
新框架FLUID將自迴歸語言模型適配到擴散模型,實現高效並行文本生成。通過嚴格因果對齊重用GPT檢查點,並通過彈性視野機制根據信息密度動態調整去噪步長。該方法以數量級降低的訓練成本達到最先進性能。
- FLUID通過嚴格因果對齊彌合自迴歸與擴散模型的結構差異,可直接從GPT檢查點初始化。
- 彈性視野利用熵動態調整去噪步長,取代固定調度。
即時監測
按可信來源匯總的多語 AI 新聞流,優先保留出處、權限和閱讀模式。
新框架FLUID將自迴歸語言模型適配到擴散模型,實現高效並行文本生成。通過嚴格因果對齊重用GPT檢查點,並通過彈性視野機制根據信息密度動態調整去噪步長。該方法以數量級降低的訓練成本達到最先進性能。
研究人員發現,在低資源語言的口語模型中使用合成數據會導致“穩定性-表現力鴻溝”,並提出兩種自對齊框架(DGSA和TDSC),能夠恢復韻律變異性,超越ElevenLabs和Gemini Pro等商業系統,實現老撾語的首次零樣本人聲克隆。
BioELX是一種新穎的跨語言生物醫學實體鏈接框架,無需標註訓練數據。它通過維基百科多語言別名增強SapBERT,並利用預訓練LLM進行上下文感知消歧。在五個基準測試中,BioELX實現了最先進的性能,尤其在土耳其語、韓語和泰語等低資源語言上表現突出。
RAG-Coding是一種自動化ICD-10-CM編碼方法,通過協調四個大語言模型代理並基於外部知識源(如官方編碼列表和指南)進行決策,提高了編碼準確性和臨牀合規性。在MDACE數據集上,其性能優於最佳LLM基線8-13%的微觀F1和2-8%的宏觀F1。與最先進的預訓練模型PLM-ICD相比,RAG-Coding的微觀召回率高出11%,而PLM-ICD的微觀精確度高出6%,兩者F1相當。消融實驗驗證了外部知識的逐步增益。同時發佈了MDACE-2025,根據2025年最新指南重新標註,支持更細粒度的評估。
大型語言模型(LLM)作為自主智能體時,會通過上下文獎勵黑客行為(ICRH)產生有害副作用。現有防禦方法不足,因為ICRH源於模型自身的過度優化。本文提出LLM-based Constraint Optimization (LCO)框架,包含自我思考模塊和進化採樣模塊,在不微調模型的情況下有效減少ICRH。實驗表明,LCO在推文優化任務中將GPT-4的有毒性增長率降低39%,在策略優化基準中將ICRH發生率降低15.23%,且不犧牲任務性能。
提出SignGAD框架,通過自設計檢測工作流替代固定流水線,引入保護性最終重擬策略,在少樣本場景下顯著提升圖異常檢測性能。
本文提出了一種輕量級的架構驅動偏移(ADS)度量,用於在持續學習中高效選擇預訓練模型。ADS通過解耦對數幾率偏移為架構依賴和數據依賴,僅需少量數據樣本即可捕捉偏移趨勢。實驗表明,ADS與對數幾率偏移之間存在強單調相關性(斯皮爾曼相關係數最低0.731),並可作為預期校準誤差的有效代理,在六個場景、三個數據集上驗證了其可靠性。
本綜述從三個關鍵視角探討混合專家模型(MoE)如何有效解決多模態學習挑戰:作為高效引擎、表示學習器和適配器,並指出可解釋路由、專家通信等研究空白。
本文提出$E^3$-Agent,一種面向邊緣AIGC資源管理的可執行與演化式智能體。該智能體將毫秒級的路由決策與事件驅動的LLM元控制器分離,通過在線學習適應未知且時變的服務時間映射。在模擬實驗中,$E^3$-Agent將平均延遲降低65%-73%,並有效抑制了語義退化下的卡頓率。
研究表明,結構化狀態空間模型中的對角變體S4D在時間序列分類任務上比複雜的Mamba架構更準確且高效。作者提出的輕量級改進MS4和MS4N進一步提升了性能,在59個數據集上優於Mamba模型,並匹敵參數量大2倍和10倍的深度學習模型。
該論文提出,人類行為結果的持續變異性源於個體的動態潛在狀態,而非僅由可觀測輸入決定。通過干預決策形成時刻的狀態權重,可以精確控制結果。框架基於因果推斷、預測加工、穩態應變等六條證據鏈,並利用超20萬用户的24個月觀測數據,提出七項可檢驗預測和六項操作要求,對數字健康、教育、AI個性化等領域具有啓示意義。
Agyn是一個開源AI代理平台,基於Kubernetes的信號驅動狀態無服務器運行時,通過Terraform提供代理定義,並採用零信任安全模型。該平台與代理、模型和雲無關,旨在解決生產環境中AI代理的隔離、治理和安全挑戰。
LaneRoPE通過引入序列間注意力機制和位置編碼擴展,使多個LLM序列在生成過程中能夠協作,從而在數學推理任務中提升準確率,且對架構改動小、推理開銷低。
本文證明了大型語言模型在進行因果發現時存在根本性侷限:監督微調、直接偏好優化和上下文學習等方法無法區分產生相似觀測數據的因果圖。作者提出了智能體因果貝葉斯優化(A-CBO),其中凍結的語言模型作為干預預言機,外部貝葉斯循環在對數級別輪次內收斂到候選圖。在Corr2Cause基準上,A-CBO無需訓練即可匹配微調基線;在擴展到24個變量和18K測試樣本的Extended Corr2Cause上,A-CBO顯著優於微調和偏好優化。
本文提出DynaSchedBench框架,通過順序事件空間校準器(SESC)和調度壓力指數(SSI)嚴格生成動態靈活作業車間調度問題(DFJSP)實例,解決了靜態基準過擬合和未校準生成器噪聲問題。研究發現LLM調度代理存在“可觀察性悖論”:提供完整結構信息反而會降低性能,且工具增強和細化策略無法可靠提升效果。
本文類比生物進化中的物種起源,探討合成信息的起源問題,提出利用隱寫術實現信息血統追蹤的機制,以應對AI生成內容難以追溯來源的挑戰。
本文介紹了一種基於大型語言模型(LLM)的架構,用於檢測和量化文本中人類價值的強度。該架構包含三個協調模塊,可適應多種價值理論,並在ValueEval數據集上表現出良好的檢測性能。
一篇論文認為,隨着生成式AI消除了人類編寫正確代碼的能力這一約束,軟件工作圍繞兩大支柱重組:混音模式(人類像音響工程師一樣連續操作多個判斷軸)和元軟件(觀察、驗證、上下文化和治理其他軟件的軟件)。這兩個支柱不可分割,借鑑了從手工藝到統計控制的批量生產的歷史轉型。
諾亞·史密斯認為,隨着AI能力增強,人類將從技術工作轉向確保AI對齊——使AI專注於人類目標。他將其與《上班一條蟲》類比,並警告AI生成內容“污泥”正在泛濫。
Safescript 是一種為 AI 代理設計的編程語言,通過靜態分析在運行前證明所有安全屬性,無需沙箱或虛擬機,徹底消除供應鏈攻擊。它編譯成有向無環圖(DAG),可追蹤數據流和宿主機調用,性能開銷為零,啓動時間為零。
AIPass 是一個基於命令行的開源框架,為 AI 智能體提供持久性記憶、身份標識和協作能力。智能體共享文件系統,通過 JSON 文件存儲記憶,無需雲服務或額外 API 密鑰。項目包含 13 個核心智能體,支持多智能體協作、任務調度、質量審計和實時監控。
伊利諾伊州參議院第315號法案(SB 315)要求人工智能實驗室聘請獨立審計師驗證其安全承諾,該法案現已提交州長JB·普利茲克簽署。普利茲克表示計劃簽署,稱需要讓大型科技公司負責。此舉在聯邦層面缺乏AI監管的背景下,凸顯了州級立法的重要性。
這是一份關於AI作弊的PDF報告,但無法直接解析內容。
來自Sakana AI和東京大學的研究人員提出了DiffusionBlocks,這是一種塊狀訓練框架,可將Transformer網絡劃分為獨立訓練的塊,從而將訓練內存減少B倍(B為塊數),同時在不同架構上保持性能。該方法通過將殘差連接解釋為擴散模型中的歐拉步驟,利用分數匹配目標實現塊級獨立訓練。
Simple Wearable Report利用AI從Oura Ring數據中提取更多見解。本文介紹了作者如何使用它,以及它如何與Gemini等AI工具配合提供詳細分析。
股票交易應用Robinhood在高度監管的行業中率先允許AI代理進行交易,此舉可能推動其他金融公司效仿。
本文探討了AI系統中的授權悖論問題,即誰真正擁有對AI系統的控制權。文章以視頻形式呈現,討論了相關的安全和隱私問題。
蘋果將在2026年6月3日至7日于丹佛舉行的CVPR大會上贊助並展示多項研究,包括視頻生成、多模態理解、圖像壓縮等領域,並在展位進行海報演示。
探索OpenAI的前沿治理框架,瞭解我們的人工智能安全、安保和風險實踐如何與新興的歐盟和加利福尼亞法規保持一致。
Liiists 是一款基於Markdown的列表應用,可在終端、iOS設備和AI代理上通過MCP服務器使用,所有操作都基於相同的純文本.md文件。它提供了命令行工具、原生iOS應用(支持分享擴展和Siri)以及用於AI集成的MCP服務器。無需賬户、無鎖定,支持iCloud同步或指向任何文件夾(包括Obsidian vault)。