AI News HubLIVE

研究動態

哪種文件格式最適合AI規範?

一位開發者透過Fable工具在AsciiDoc、Markdown和HTML之間轉換了674份文件,並比較了這些格式在AI規範中的適用性。

  • 專案包含674份文件,包括181個規範、429個任務和40個專案文件。
  • 約三分之一的文件屬於驗收子專案。
站內正文

用母語寫作,用英語釋出

非英語母語寫作者的新工作流:先用母語起草,然後用AI翻譯和潤色成英語。研究表明,用第二語言寫作會多花30-50%的時間,原因是認知負荷。透過將想法生成與語言轉換分離,並藉助Echoo等AI工具,寫作者可以恢復速度和表達質量。

  • 用第二語言寫作會帶來顯著的時間成本——即使流利的寫作者也比使用母語多花30-50%的時間。
  • 同時進行構思和翻譯會競爭工作記憶,降低寫作流暢度。
站內正文

谷歌釋出LiteRT.js:透過WebGPU在瀏覽器中執行.tflite模型的JavaScript繫結

谷歌於2026年7月9日釋出了LiteRT.js,這是其裝置端推理庫LiteRT的JavaScript繫結,允許.tflite模型直接在瀏覽器中執行,利用WebGPU加速。相比其他Web執行時,效能提升可達3倍,GPU/NPU路徑相比CPU路徑提速5-60倍,但需要手動管理張量記憶體。

  • LiteRT.js 透過 WebAssembly 在瀏覽器中執行 .tflite 模型,並利用 WebGPU 進行 GPU 加速。
  • 效能提升:相比其他 Web 執行時最高 3 倍,GPU/NPU 路徑相比自身 CPU 路徑快 5-60 倍。
站內正文

Show HN: Lean64 – 基於 Lean 4 的 Doom64 風格 FPS 遊戲

Lean64 是一個用 Lean 4 實現的極簡 3D 第一人稱射擊遊戲,靈感來自 Doom 64。它並非 Doom 64 的移植版,而是獨立開發的原型,包含完整的遊戲迴圈、敵人 AI、武器系統、音效和地圖。所有程式碼和素材均為原創,採用 MIT 許可證。

  • Lean64 是使用 Lean 4 語言開發的 Doom 風格第一人稱射擊遊戲原型。
  • 遊戲包含完整的移動、射擊、敵人、物品、地圖和 UI 等機制。
站內正文

提示-等待-評估迴圈:AI如何在你未察覺時扼殺心流

本文探討AI程式設計助手如何透過“提示-等待-評估”迴圈破壞心流狀態。作者指出,這種迴圈替代了程式設計中清晰的目標、即時反饋和技能匹配挑戰,導致頻繁的上下文切換和精神重建。文章引用心理學和中斷研究,分析AI工具如何成為新型中斷源,並建議開發者區分任務型別、批次使用AI以保護深度工作。

  • 心流狀態需要清晰目標、即時反饋和技能匹配,而AI互動模式破壞這三者。
  • AI輔助程式設計中的每次提示-響應都會強制重建心智模型,類似傳統中斷但更難察覺。
站內正文

我們再次被告知人工智慧可能有意識——我研究意識,但我持懷疑態度 | 阿尼爾·塞思

儘管Anthropic聲稱其模型Claude內部出現意識跡象,但神經科學家阿尼爾·塞思認為,這不過是模擬,就像天氣預報系統不會產生真實颶風一樣。

  • Anthropic研究稱在其語言模型Claude中發現意識跡象,但未宣稱其與人類意識相同。
  • 塞思教授指出,意識需要生物學基礎和因果作用,而AI只是統計模式。
站內正文

AI助力解決統計學中BH校正的重要問題

人工智慧幫助解答了統計學中多重假設檢驗的一個關鍵問題——如何控制錯誤發現率(FDR)。Benjamini和Hochberg在1995年提出了一種方法,而AI的最新應用進一步推動了該領域的發展。

  • AI幫助解決了Benjamini-Hochberg(BH)校正中的未決問題
  • 該方法用於控制多重假設檢驗中的錯誤發現率(FDR)
站內正文

Monid:將AI智慧體連線至1500種工具

Monid是一個平臺,允許AI智慧體無縫連線並使用超過1300種工具,涵蓋搜尋、資料抓取、天氣、3D建模等領域。它提供統一的支付系統,按呼叫付費,無需訂閱,並支援三種整合方式:Skill、MCP和CLI。

  • 支援1300+工具,覆蓋13+提供商,包括網頁搜尋、社交媒體抓取、天氣、區塊鏈資料等。
  • 按呼叫付費,每次僅$0.0013,統一餘額管理,無需多個訂閱。
站內正文

將臨床決策權從LLM中剝離

本文介紹了一種用於AI治療的系統設計,該系統透過確定性管道決定臨床行動,不讓LLM自行決策。系統包括評分、狀態桶、准入表、動作選擇、微實踐和危機預篩查等步驟,僅在評分和生成階段使用LLM。文章還討論了該方法的成本與侷限性。

    站內正文

    保持平坦性的殘差學習用於即時緊密四旋翼編隊飛行

    研究人員提出了一種基於物理資訊的殘差動力學學習框架,在保持聯合多四旋翼系統微分平坦性的同時,捕獲複雜的空氣動力學相互作用。該框架實現了一種計算高效的反饋線性化控制器,與基準相比,平均跟蹤誤差降低了31%。其效能與最先進的非線性模型預測控制(NMPC)相當,但計算量少一個數量級。僅需不到30秒的訓練資料和5毫秒的迴圈週期即可實現穩定的緊密編隊飛行。

    • 提出的框架在保持微分平坦性的同時捕獲空氣動力學相互作用。
    • 反饋線性化控制器將跟蹤誤差降低了31%。
    站內正文

    DiffRadar:基於高斯場的可微物理感知雷達SLAM

    DiffRadar是一種即時雷達SLAM系統,將雷達觀測建模為可微的物理感知高斯場,而非離散掃描。在公共基準測試中大幅降低軌跡誤差,尤其在特徵貧乏的走廊環境下,同時地圖一致性提升一倍以上,並保持70 FPS的即時效能。

    • DiffRadar以各向異性高斯基元表示場景,透過可微雷達前向模型在距離-方位和多普勒-方位空間渲染測量值,實現位姿與場景結構的聯合最佳化。
    • 在Radarize基準測試及針對常見故障模式(走廊退化、動態雜波等)的壓力測試中,顯著降低軌跡誤差並提高地圖一致性。
    站內正文

    基於契約的行為樹合成:透過編碼智慧體

    本文提出一種基於契約的行為樹合成架構,透過編碼智慧體查詢機器人端的MCP伺服器獲取技能庫和運算子,實現從自然語言到可執行行為樹的可靠合成。實驗表明該方法在模擬和實體機器人上均取得高成功率。

    • 提出契約接地架構,編碼智慧體透過MCP伺服器獲取機器人技能契約。
    • 非專家使用者可用自然語言下達指令,無需瞭解機器人實現細節。
    站內正文

    協作單詞聯想遊戲中人類與機器人相互注視和參照性注視的分析

    一項研究探討了在協作單詞聯想遊戲中,機器人的注視行為如何影響人類的視覺注意力,以及人類是否傾向於向機器人尋求確認性的注視。實驗使用NAO機器人作為大語言模型驅動的對話夥伴,發現機器人注視方向不影響人類首次注視提議單詞的時間,但參與者在對話中包含確認請求時會更頻繁地注視機器人。結果表明,在認知要求高的任務中,語言方面可能壓倒了機器人注視的影響。

    • 研究機器人注視在任務導向的人機互動中的作用。
    • 參與者與NAO機器人玩協作單詞聯想遊戲,記錄注視行為。
    站內正文

    超越機械臂:自由漂浮航天器的無推進劑姿態機動規劃

    本研究探索利用航天器機械臂的運動實現無推進劑姿態控制,透過軌跡最佳化問題公式化並引入關節和碰撞避免約束,演示了複雜機動,並證明了機械臂可作為冗餘或主姿態控制系統。

    • 傳統姿態控制依賴推進劑或動量交換裝置,而機械臂通常被視為干擾源。
    • 提出將機械臂作為姿態控制執行器的框架,透過軌跡最佳化實現無推進劑機動。
    站內正文

    索尼ERS-111 R-CODE中的行為狀態詞彙分析

    本文對索尼ERS-111 AIBO機器人的R-CODE樣本集進行了語料庫級別的行為圖分析,識別出以初始化、感知、迭代動作、同步和恢復為核心的緊湊控制詞彙,並論證了這種狀態抽象在資源受限的機器人系統中作為中間表示的價值。

    • 研究分析了索尼ERS-111 AIBO的R-CODE樣本集中的行為圖,揭示了重複出現的控制詞彙。
    • 核心控制詞彙包括初始化、感知、迭代動作、同步和恢復。
    站內正文

    GaitSpan:從行走到奔跑的人形機器人步態擴充套件

    GaitSpan是一種新穎的人形機器人步態擴充套件框架,它利用預訓練的行走策略作為種子技能,透過節奏生成、步幅塑造和殘差適應三個模組,將基本行走能力平滑擴充套件到奔跑,實現了連續速度範圍、跨形態遷移和零樣本部署。

    • GaitSpan將行走視為可重用的種子技能,避免從零學習。
    • 透過內部時鐘調變凍結的行走策略,實現節奏生成。
    站內正文

    基於強化學習和機械設計先驗的魯棒手內操作

    該論文提出兩種互補的物理先驗,以提高機器人手內滾動操作的魯棒性:全域性抓取質量先驗基於經典抓取分析,區域性接觸幾何先驗基於指尖曲率。實驗表明,這些先驗顯著提升了旋轉效率、抓取穩定性和抗干擾能力,並改善了模擬到現實的遷移。

    • 引入全域性抓取質量先驗和區域性接觸幾何先驗兩種互補的物理先驗。
    • 透過稠密獎勵塑形和指尖幾何設計,提高抓取穩定性和旋轉效率。
    站內正文

    實現全天候農業機器人:用於夜間視覺導航的無監督晝夜跨模態影像翻譯

    提出一種無監督影像翻譯框架,將白天植物行RGB影像轉換為近紅外(NIR)夜間影像,無需逐畫素監督,從而重用白天語義標籤訓練夜間感知模型。利用預訓練CLIP模型保持語義一致性,並引入可見性掩碼處理NIR照明有效範圍有限的問題。在AgriNight資料集上評估,該資料集包含428張白天和549張夜間影像,是首個夜間農業視覺導航基準。實際機器人夜間導航實驗驗證了有效性。

    • 提出無監督晝夜影像翻譯框架,利用CLIP保持語義一致性,實現白天語義標籤在夜間的複用。
    • 引入可見性掩碼以應對近紅外照明在夜間場景的有限有效範圍。
    站內正文

    EFLUX:基於智慧大模型的彈性多機器人編隊導航與自適應

    多機器人在受限環境中需要變形和重構兩種行為。現有方法獨立建模或依賴規則,易導致死鎖。EFLUX提出幾何基礎的LLM智慧體框架,聯合推理變形和重構動作,透過閉環生成與驗證實現安全導航。實驗表明能減少死鎖和導航失敗。

    • EFLUX框架結合幾何表示與大語言模型推理,實現多機器人編隊的彈性導航。
    • 框架統一處理編隊變形(縮放、剪下)和重構(分裂、合併)行為。
    站內正文

    無需訓練的人工合成影像溯源中的表示與參考選擇研究

    一項新研究探討了無需訓練的人工合成影像溯源方法中表示空間與參考選擇之間的相互作用。透過分析CLIP和DINOv2不同層的表示,以及三種參考選擇方法,發現中間層的表示在溯源準確率上表現最佳,且語義約束的參考能有效減少查詢與參考之間的不匹配,提升溯源效能。

    • 溯源準確率在中間表示層達到峰值,表明源判別線索在強語義抽象之前更易獲取。
    • 語義約束的參考(如語義對齊和重合成)能減少查詢-參考不匹配,尤其在參考預算有限時效果顯著。
    站內正文

    異構醫學視覺問答中持續學習的實證分析

    本文系統評估了持續學習方法在異構醫學視覺問答任務中的表現,涵蓋分類、多標籤分類、檢測、細胞計數和報告生成等多樣化臨床目標。研究發現現有持續學習方法難以在不同目標與監督格式交織的任務中保持穩定性-可塑性平衡。

    • 首次系統評估持續學習在異構醫學視覺問答中的應用。
    • 探索了任務順序對效能保留和遺忘的影響。
    站內正文

    SymbOmni:透過符號概念學習實現智慧全知模型的進化

    SymbOmni是一種新型AI模型,旨在解決當前模型“永恆新手”的問題——即無法積累經驗並自主進化。它透過符號概念學習,利用可最佳化的記憶模組將低階操作抽象為可重用的符號工作流指令,並透過歸納-轉導迴圈實現持續自我改進。實驗表明,SymbOmni在影像質量和任務成功率上超越現有代理系統及閉源模型,同時減少40%以上的令牌消耗,並在持續學習基準上取得新成果。

    • SymbOmni引入符號概念盒(Symbolic Concept Box)作為可最佳化記憶模組,將經驗抽象為可重用的符號工作流指令。
    • 採用歸納-轉導迴圈:將經驗歸納為符號概念,再自適應組合解決新任務。
    站內正文

    MetaView:具有尺度感知隱式幾何先驗的單目新視角合成

    本文提出MetaView,一種基於擴散模型的單目新視角合成框架,能夠從單張影像實現大視角變化下的渲染。透過結合隱式幾何建模與度量深度,MetaView在保持幾何一致性的同時提供了精確可控性。實驗表明,在挑戰性大視角變化場景下,MetaView顯著優於現有方法。

    • 結合隱式幾何先驗與度量深度,實現幾何一致性與精確控制
    • 基於擴散模型,支援大視角變化下的單圖新視角合成
    站內正文

    基於解剖學特權蒸餾與令牌路由的MRI周圍神經侵犯預測

    提出一種解剖學特權的師生框架,用於從T2加權MRI預測肝內膽管癌的周圍神經侵犯(PNI)。訓練時教師網路使用腫瘤和肝臟掩膜學習密集令牌路由,學生網路在固定預算下蒸餾保留資訊令牌,推理時不需掩膜。在155名患者中,方法AUROC達0.750,計算量1.43 GFLOPs,每例8.02 ms。

    • PNI與肝內膽管癌術後不良預後相關,但需術後病理確認,現有術前模型多依賴人工變數。
    • 新方法僅使用T2加權MRI,訓練時引入解剖掩膜作為教師指導,推理時無需額外標註。
    站內正文

    SpikeDS:用於3D MRI中神經侵犯預測的雙稀疏性Spikformer

    SpikeDS是一種新型脈衝神經網路架構,透過結合啟用稀疏性和空間稀疏性,高效地從3D MRI中預測膽管癌的神經侵犯,在139名患者的佇列中實現了0.753的AUC,能耗僅14.4 mJ。

    • 神經侵犯(PNI)是膽管癌預後不良的標誌,但3D MRI檢測存在挑戰。
    • SpikeDS利用脈衝通訊的啟用稀疏性和視窗剪枝的空間稀疏性。
    站內正文

    結合對比學習的聯合嵌入預測:面向結構MRI的表徵學習新框架

    自監督學習在醫學影像領域潛力巨大,但標註資料稀缺。本文提出COJEPA框架,結合聯合嵌入預測架構和對比損失,在無標註的T1加權腦部MRI上訓練,實現了優異的區域性預測性和全域性判別性。在零樣本雙胞胎檢索、腦腫瘤分割和年齡迴歸任務中表現突出,尤其在同卵雙胞胎識別和年齡預測誤差方面達到最先進水平。

    • COJEPA將聯合嵌入預測架構(JEPA)與對比損失(CO)相結合,同時提升區域性預測性和全域性判別性。
    • 該框架在2286例T1加權結構MRI資料上訓練,擴充套件I-JEPA至3D,採用前景感知塊掩蔽、分層卷積塊嵌入和世界空間正弦位置編碼。
    站內正文

    基於VLM描述比較的異常幀檢測:利用影片內自相似性提取專家特定動作與情境決策場景

    本文提出一種新方法,透過視覺語言模型(VLM)生成逐幀描述,並比較兩個任務影片間的幀相似度及段內自相似性,自動檢測異常幀,從而提取包含專家特定動作和情境決策知識的候選場景。在模擬配電板維護實驗(27個任務場景)中,該方法動作候選提取率達65%,決策場景候選提取率達61%,優於傳統方法的59%和33%。

    • 利用VLM生成逐幀視覺描述,透過幀間描述比較提取專家特定動作。
    • 透過影片內描述的自相似性分析,發現情境決策場景。
    站內正文

    GenDiff:劑量與解剖感知的擴散模型及結構先驗細化用於低劑量CT重建與泛化

    GenDiff是一種新型擴散模型框架,透過聯合建模連續輻射劑量和解剖資訊,實現低劑量CT重建。它整合了劑量-解剖編碼器、冷擴散主幹、物理一致性更新和結構先驗細化模組,在多種臨床資料集上優於現有方法,展現出強大的魯棒性和泛化能力。

    • GenDiff同時考慮輻射劑量和解剖區域,提升LDCT重建的魯棒性。
    • 框架包含劑量-解剖編碼器、冷擴散、物理一致性更新和結構先驗細化模組。
    站內正文

    TSCA-Net:面向可解釋多模態行人軌跡預測的時空團注意力網路

    TSCA-Net透過三個互補模組(時空團注意力、跨行人團勢、自適應KAN網格細化)顯著提升擁擠環境中的行人軌跡預測精度,在ETH/UCY和SDD基準上達到最先進效能。

    • 提出TSCA模組,引入可學習時間門控實現歷史觀測與候選目標的時間感知調變
    • CPCP模組透過動態團勢框架建模非對稱行人互動
    站內正文

    低資源澳大利亞原住民語言識別的混合持續學習方法

    提出兩種混合持續學習方法(RA-EWC和CGKD),用於低資源澳大利亞原住民語言識別,有效緩解災難性遺忘,在Warlpiri、Dalabon和Dharawal三種語言上表現優於現有基線。

    • 提出RA-EWC和CGKD兩種混合持續學習方法
    • 針對低資源原住民語言識別
    站內正文

    信念與現實分離存在於語言模型中對共享值槽的路由中

    該論文揭示了語言模型如何區分角色的信念與現實。研究發現,這種分離基於兩個可分離的機制:一個通用值槽繫結屬性值,一個路由器根據查詢選擇讀取的框架。值槽可以透過兩種方式填充:直接斷言和基於可見性的推導。分離位於獨立的路由子空間中,而不是值槽本身。這些結果在多種架構中得到驗證,且該行為在3B至7B引數規模的模型中出現。

    • 語言模型透過值槽和路由器實現信念與現實分離。
    • 值槽填充有斷言和推導兩種路徑。
    站內正文

    MAGE:理解多元件提示最佳化中的穩定性-效能權衡

    本文透過MAGE框架研究多元件提示最佳化中不同元件的相互作用,揭示了提示最佳化耦合效應(POCE):多個隨機最佳化訊號在閉環反射回路中相互作用,同時提升效能與放大方差。關鍵發現包括:基於失敗反思不可或缺、MAGE在GSM8K-Hard上優於GEPA、增大候選多樣性使POCE訊號最明顯、POCE依賴於基礎模型能力空間、低資料場景下固定提示優於最佳化器。

    • MAGE是一個用於研究提示最佳化元件互動的分析框架,整合了情景記憶、多目標Pareto選擇和自適應評估。
    • 發現提示最佳化耦合效應(POCE):隨機訊號相互作用提升效能但放大方差,無法透過獨立分析預測。
    站內正文

    透過知識蒸餾將LLM轉化為高效交叉編碼器用於RAG重排序

    本研究透過兩階段流水線(監督微調+4位量化)將LLaMA 3 (8B)微調為高效的替代重排序器,在RAG管道中替代傳統交叉編碼器,在保持高準確率的同時顯著降低推理成本。在領域特定問答基準上,微調模型在答案相關性、上下文精度、答案相似度和答案正確性上分別提升14%、16%、19%和21%。

    • 傳統交叉編碼器在RAG重排序中準確率高但推理成本為二次複雜度,限制即時部署。
    • 提出兩階段方法:使用Unsloth框架和LoRA介面卡進行監督微調,然後進行4位量化。
    站內正文

    TAKE:用於文本資料集蒸餾的軌跡感知知識估計

    本文提出了一種基於軌跡感知知識估計(TAKE)的文本資料集蒸餾框架,利用影響函式和訓練軌跡計算每個樣本的知識得分,並透過最優傳輸選擇原型樣本,可將語料庫壓縮至原始大小的0.1%,同時保持下游任務效能。該方法在文本分類和自然語言推理任務上驗證了有效性,為資料高效AI提供了理論支撐。

    • 提出TAKE框架,將語料庫壓縮至0.1%而保持任務保真度。
    • 利用影響函式和訓練軌跡計算每個樣本的知識得分。
    站內正文

    基於圖的俄羅斯與烏克蘭Telegram頻道虛假資訊敘事擴散檢測

    本文提出一種基於圖的框架,結合弱監督與傳播圖分析,檢測Telegram生態系統中的虛假資訊敘事。該方法將語義相關的宣告聚合為敘事級聚類,並建模其在互連頻道間的擴散,從而發現僅透過帖子級分析難以捕捉的協調放大行為。實驗表明,融合文本訊號與網路結構可提供可擴充套件的檢測方法,並揭示虛假資訊在大型訊息環境中的傳播機制。

    • 提出結合弱監督與傳播圖分析的圖框架,用於檢測Telegram中的虛假資訊敘事。
    • 將語義相關的宣告聚合成敘事級聚類,建模跨頻道擴散。
    站內正文

    抱歉,我無法幫助盲文:揭示最先進大語言模型在無障礙方面的失敗

    一項新研究評估了最先進的大語言模型在韓語-盲文雙向翻譯上的表現,發現輸出質量差且不穩定,與人類判斷存在顯著分歧。相比之下,對小型T5-small模型進行監督微調後,所有標準指標均大幅提升。研究表明,當前LLM缺乏盲文感知的標記化,且與盲文模式對齊薄弱,揭示了無障礙關鍵模態中的系統性限制。

    • LLM在韓語-盲文翻譯上表現糟糕,輸出不穩定且與人類判斷不一致。
    • 問題根源在於缺少盲文感知的標記化和韓語-盲文模式弱對齊。
    站內正文

    CANDI:面向專業領域問答的上下文對齊方法

    本文介紹了CANDI-QA資料集,用於評估大型語言模型在醫學診斷和金融諮詢等專業領域的上下文對齊能力。資料集包含資訊輔助和應用推理兩類問題。研究評估了十多個模型,並提出了輕量級神經符號框架MTSS-Net作為基線。結果表明,當前LLM在專業領域實現上下文對齊仍面臨重大挑戰。

    • CANDI-QA資料集專門用於評估LLM在專業領域的上下文對齊能力,分為資訊輔助和應用推理兩類問題。
    • 研究評估了超過十種語言模型,從緊湊開源模型到尖端專有系統。
    站內正文

    擴充套件點及時語言模型

    本研究透過擴充套件規模,大幅縮小了點及時語言模型與不受時間約束模型之間的效能差距。研究者訓練了多達40億引數的解碼器專用Transformer模型,使用FineWeb中1萬億按時間順序篩選的令牌,構建了從2013年到2024年的月度模型檢查點序列。在常識推理和語言理解基準測試中,這些模型接近了同等規模的領先開放權重模型(如Gemma-3-4B和LLaMA-7B)的效能。透過LoRA進行指令微調進一步提升了下游可用性。研究團隊釋出了完整的流水線,以實現可復現的點及時語言建模。

    • 點及時語言模型透過僅訓練每個日曆日期之前的文本來消除未來資訊的洩漏,避免前瞻偏差。
    • 訓練了多達40億引數的模型,使用1萬億時間過濾令牌,實現了接近不受時間約束模型的效能。
    站內正文

    廣義無分佈半監督學習:風險重寫方法

    本文提出一種廣義無分佈半監督學習框架,透過風險重寫構建無偏風險估計器,適用於多類分類,並證明其方差優於PNU學習,實際方法在基準測試中表現匹配或超越現有方法。

    • 提出廣義框架,將PNU學習擴充套件到多類分類
    • 推導最小可達方差,表明在非對稱損失下方差更優
    站內正文

    BattVAE-GP: 基於不確定量化的長週期電池退化生成模型

    研究人員提出BattVAE-GP框架,結合變分自編碼器和高斯過程,高效模擬鋰離子電池在不同充電速率下的長期退化軌跡,並量化不確定性。該方法降低了計算成本,為電池健康預測提供了高效替代模型。

    • BattVAE-GP使用VAE編碼電池退化資料,將高維特徵對映到二維潛在空間,區分不同充電協議。
    • 稀疏多工高斯過程在潛在空間中對迴圈數和C-rate進行插值,提供連續退化動態及不確定性估計。
    站內正文

    查詢可見性如何改變KV快取壓縮排名:一項匹配預算的審計

    最新研究對六種KV快取壓縮方法進行了匹配預算審計,發現查詢可見性顯著影響效能排名。在查詢感知協議下,許多方法表現良好,但在更實用的查詢不可知協議(壓縮後複用)下,只有KeyDiff方法始終優於簡單基線。SnapKV等常用方法甚至不如保留開頭和最近視窗的簡單策略。

    • 查詢可見性變化導致KV快取壓縮方法排名改變
    • 在查詢不可知協議下,僅KeyDiff穩定優於簡單基線
    站內正文

    CARE-LoRA: 用於記憶體高效LoRA的壓縮啟用重建

    隨著大型預訓練模型規模增長,微調中的記憶體瓶頸日益突出。LoRA透過低秩適應減少引數,但啟用值儲存成為新的瓶頸。CARE-LoRA利用LoRA投影結構,將完整輸入啟用替換為低秩壓縮啟用,並計算輕量重建矩陣用於反向傳播,大幅降低記憶體佔用,同時保持或提升效能。

    • CARE-LoRA透過壓縮啟用重建解決LoRA微調中的啟用記憶體瓶頸。
    • 利用LoRA分支自然產生的低秩啟用替代完整啟用,減少儲存。
    站內正文

    資料科學的數學基礎

    本文介紹了由Afonso S. Bandeira、Amit Singer和Thomas Strohmer合著的新書《資料科學的數學基礎》,該書全面涵蓋了高維詛咒與祝福、奇異值分解、線性迴歸、圖論與聚類、非線性降維、隨機投影、最佳化、分類、深度學習、圖拉普拉斯、集中不等式、壓縮感知等主題,為資料科學提供了堅實的數學基礎。

    • 新書《資料科學的數學基礎》系統介紹了資料科學的數學理論基礎。
    • 內容涵蓋高維資料分析、降維、迴歸、分類、深度學習等16個章節。
    站內正文

    映象視界:可行路徑熵作為有界反射的度量

    映象理論提出透過可行路徑熵(VPE)度量智慧系統在反覆反射下維持連貫延續的能力。實驗表明,增加token預算可擴充套件驗證可達性,且模型能力並非僅取決於引數數量。

    • 可行路徑熵(VPE)衡量有限預算下的驗證延續能力
    • VPE分解為可達機率和驗證模式多樣性
    站內正文

    基於對數編碼的量子位元高效超維分解量子搜尋

    本文提出一種量子位元高效的量子框架用於超維計算分解,透過引入對數超向量和對數繫結編碼,並結合改進的Dürr-Høyer搜尋過程,將表示成本從O(D)降至O(log D),同時保持O(√N^F)的搜尋複雜度,實驗驗證了正確的相似度計算和準確的分解,在可實現規模上實現了高達2000倍的量子位元減少。

    • 超維計算分解需要搜尋N^F個候選元組,計算成本極高。
    • 現有量子方法提供二次加速,但量子位元效率低(O(D)個量子位元)。
    站內正文

    修復長距離單次條紋投影輪廓測量中的形狀先驗捷徑

    單次條紋投影輪廓測量(FPP)網路在直接回歸深度時可能利用形狀先驗捷徑,即從物體邊界而非條紋相位恢復深度。本文提出的PhiCalNet透過輸出包裹相位表示並透過固定可微校準層對映到深度,從架構上消除了這一捷徑。在包含15,600張條紋影像的光照合成基準測試中,PhiCalNet將物體平均絕對誤差降低3.3倍至4.46毫米,殘差僅集中在包裹不連續處的0.103%畫素內。三幀擴充套件版本達到1.16毫米誤差。此外,首次在FPP中實現了畫素級共形不確定性量化。

    • 直接回歸深度的單次FPP網路存在形狀先驗捷徑,依賴物體邊界而非條紋相位。
    • PhiCalNet透過輸出包裹相位並利用固定可微校準層,從架構上消除捷徑。
    站內正文

    半直積傅立葉增量注意力:基於相位控制的增量記憶與構造性塊WY核

    線性注意力模型透過固定大小的迴圈狀態取代softmax注意力的KV快取,但限制了精確狀態跟蹤和長上下文記憶。本文提出半直積傅立葉增量注意力(SFDA),一種相位控制的泛化方法,將實對角衰減替換為塊旋轉傅立葉控制。主要貢獻是構造性塊WY分解,實現了精確的仿射塊傳輸、形式化穩定性和複雜度界限,以及相位加低秩記憶的緊湊表徵。實驗表明SFDA能學習迴圈記憶,而相位停用的KDA基線接近隨機。

    • SFDA透過相位控制(傅立葉塊旋轉)改進線性注意力,解決狀態跟蹤和長上下文記憶限制。
    • 提出構造性塊WY分解,將秩增長限制在固定塊內,實現高效傳輸和穩定性保證。
    站內正文

    OmniPMNet:透過全查詢神經過程橋接離散和網格化PM10預報

    OmniPM-Net是一種新型融合模型,利用卷積條件神經過程框架,將圖神經網路站點預報與化學傳輸模型網格預報相結合。在2024年中國1,618個站點的評估中,它匹配了最佳GNN的精度,同時將CAMS平均絕對誤差降低了30%,並提供了連續的空間場。該模型在沙塵暴和高濃度事件中表現尤為出色。

    • 融合離散GNN站點預報與網格CAMS預報至統一表示。
    • 將CAMS平均絕對誤差降低30%,同時保持GNN精度。
    站內正文

    圖反饋控制開源語言模型群體中的共識與派系形成

    本研究探討了多智慧體語言模型系統中互動圖結構如何影響共識形成。透過命名遊戲協議,研究人員分析了開源語言模型(1.1B-32B引數)群體中的約定形成過程。研究發現,同質性閾值相似性路由會加劇碎片化,而橋樑尋找路由在有記憶的情況下可修復碎片化。在異質模型群體中,閾值相似性導致共識失敗,而狀態元件和標籤分歧橋樑可恢復共識。同質模型群體中,保留歷史通常促進共識,其中Qwen2.5-32B模型在所有保留歷史設定中均達到穩定共識。該研究還驗證了結果對狀態閾值、群體規模和詞彙表大小的魯棒性,並表明早期視窗圖能量特徵可作為有效的網格內診斷工具。

    • 多智慧體語言模型系統的互動圖結構對共識形成有重要影響。
    • 同質性閾值相似性路由加劇碎片化,橋樑尋找路由在有記憶時可修復碎片化。
    站內正文

    為AI網路代理設計代理就緒網站:面向機器可讀性、可操作性和決策可靠性的框架

    論文提出了一個“代理就緒網站”設計框架,旨在增強電商平臺對AI代理的可讀性、可解釋性、可驗證性和可操作性。實驗表明,代理就緒網站將嚴格成功率從49.3%提升至89.3%,部分成功結果從43降至3,平均步驟數從9.31降至6.49。

    • 代理就緒網站框架圍繞三個維度:代理可解釋性、代理可執行性和代理決策可靠性。
    • 實驗使用GPT-4.1、Gemini-2.5 Flash和Grok-4 Fast三種代理模型,在五個任務上進行了300次評估。
    站內正文

    主題導航

    研究 — AI 主題新聞 | AI News Hub