AI News HubLIVE

模型動態

語言模型代理之間的潛在通信:通道、對齊與文本的侷限性

新研究表明,大型語言模型代理在通過文本通信時會丟失信息。使用稀疏自動編碼器特徵分析,研究者發現潛在空間通信雖然在某些壓縮率下保留更多信息,但丟失的特徵主要編碼表面形式而非任務相關語義,從而對潛在通信的優勢提出質疑。

  • 文本通信丟失信息,SAE稀疏通道在28倍壓縮下保持99.4%的探針準確率,而文本通道僅為80.4%。
  • 跨架構潛在空間對齊(Llama和Mistral)達到92%的Top-1檢索率。
站內正文

LBA:低查詢預算下的文本硬標籤對抗攻擊

本文提出一種基於採樣的方法LBA,用於在低查詢預算下生成高質量文本對抗樣本。該方法結合先驗和後驗知識構建近似分佈,通過採樣逐步更新分佈,從而高效搜索對抗樣本。實驗表明,LBA在六個語言模型和四個數據集上顯著優於現有基線,且生成的對抗文本語義保持更好、更易理解。

  • 現有硬標籤對抗攻擊依賴貪心算法,查詢成本高且易陷入局部最優。
  • LBA通過採樣方法構建近似分佈,結合先驗和後驗知識指導搜索。
站內正文

阿拉伯語的量子組合自然語言處理:電路拓撲中的語法、形態與詞義

本文首次將基於預羣語法的量子組合自然語言處理應用於阿拉伯語,利用量子電路的拓撲結構模擬語法關係。實驗涵蓋詞序、形態時態和動詞義消歧,量子方法在多項任務上優於傳統基線。

  • 首次將QNLP應用於形態豐富的阿拉伯語。
  • 使用預羣語法將句子映射為量子電路。
站內正文

持續提示:評估視覺語言模型中的重複蘇格拉底式提問

研究提出JKP框架,通過重複挑戰性提問評估視覺語言模型的穩定性。測試GPT-4o、Gemini 2.5 Pro和Qwen3-VL-30B發現,模型在持續追問下表現不穩定,答案頻繁翻轉,且不同模型響應模式各異。

  • JKP框架通過三種策略(對抗性否定、純蘇格拉底式質詢、上下文感知蘇格拉底式總結)對VLM進行最多10輪追問。
  • 在STAR基準測試中,模型總體準確率變化不大,但軌跡分析顯示大量答案翻轉和不穩定。
站內正文

閉環知識動力學:飽和與逃逸的操作框架

該研究分析了閉環知識系統(如大型語言模型、強化學習)為何在重複內部反饋下趨於飽和,並提出了一個三層次操作框架,通過結構干預實現逃逸。使用李雅普諾夫漂移條件刻畫穩定性,並通過干預引起的吸引子位移和KL下界表徵逃逸。案例研究包括LLM代碼修復、稀疏獎勵強化學習和貝葉斯優化。

  • 閉環系統在重複內部反饋下收益遞減,需外部信息突破吸引子。
  • 提出三層次框架:知識狀態通過結構參數θ的轉移核演化,結構干預可檢測。
站內正文

RENEW:利用人類偏好學習世界模型並修復模型利用問題

離線強化學習中世界模型易受模型利用問題影響,現有方法成本高或限制泛化。本文提出RENEW方法,通過人類偏好直接修復模型利用,結合動力學學習與人類反饋,利用認知不確定性提高樣本效率,在多個環境中驗證了有效性。

  • 世界模型在離線強化學習中面臨模型利用問題,傳統解法成本高或限制泛化。
  • 提出動力學學習從人類反饋(DLHF)框架,利用人類偏好修補模型幻覺。
站內正文

分支策略優化:面向沙盒的原生語言智能體強化學習

提出分支策略優化(BPO),利用沙盒的確定性、可快照和可恢復特性,通過共享前綴的樹形 rollout 拓撲降低策略梯度方差,在多個基準上較 GRPO 和 RLOO 提升 3.6-6.1 個絕對百分點。

  • BPO 利用沙盒可快照和可恢復的特性,構建共享前綴的樹形 rollout 拓撲,替代獨立軌跡採樣。
  • 該算法在決策點分支並計算兄弟軌跡間的優勢,理論上證明方差嚴格低於軌跡級基線。
站內正文

多域檢索中的認證域一致性:基於共形風險保證的無標籤逐域污染控制

本文提出C3R,一種即插即用的控制層,通過推斷域後驗,無需查詢時標籤,在可行時認證逐域污染預算,否則棄權而非違規。該方法基於風險控制預測集的兩階段方案,保證最困難域污染減少,實驗表明穩定性好,召回率優於傳統方法。

  • C3R是一種無標籤、逐域污染控制層,可保證最困難域的污染減少。
  • 採用兩階段風險控制預測集方案,有限樣本傳輸邊界可估計並支持異構預算。
站內正文

CARPRT:面向黑盒視覺語言模型的類別感知零樣本提示重加權

預訓練的視覺語言模型(VLM)通過計算圖像與文本描述的相似度實現零樣本圖像分類,但描述模板(prompt)的選擇對結果敏感。現有方法為所有類別使用相同的權重組合多個模板,忽略了模板對特定類別的適用性差異。CARPRT 提出了一種無需訓練的類別感知重加權方案,針對每個類別自適應調整模板權重。在標準基準測試中,CARPRT 優於現有的類別無關方法,證實了建模模板-類別依賴關係對零樣本預測和 VLM 應用的重要性。

  • 現有零樣本分類中,提示模板的權重對所有類別一致,但不同模板對各類別的適用性不同。
  • CARPRT 通過無訓練方式計算每個模板對每個類別的相關性,生成類別特定的權重。
站內正文

通過知識圖譜增強小型語言模型的推理能力

最新研究將小型語言模型(SLM)與知識圖譜結合,通過神經符號智能體框架提升其推理能力。在CLUTRR親屬關係基準測試中,使用Gemma 3和Llama 3.2模型的實驗表明,RGCN提供的專家提示可使性能提升1.5-2倍,但存在提取瓶頸和順序推理脆弱性問題。

  • 小型語言模型(SLM)通過知識圖譜接地增強推理能力,成本更低且更環保。
  • 神經符號智能體框架使用extract_facts和get_hint兩種工具調用,結合RGCN專家推理。
站內正文

ToolAnchor: 錨定反事實上下文以提升智能體工具使用能力

本文針對工具增強型大語言模型智能體在擴展工具集時面臨的行為慣性問題,提出通過注入反事實錨定上下文來打破慣性,恢復失敗軌跡。ToolAnchor框架利用教師模型假設反事實上下文,經學生回滾驗證後,通過智能體後訓練內化成功干預,在GAIA、BrowseComp和VDR-Bench等任務中表現優異,為動態工具適應開闢了新路徑。

  • 識別了工具集擴展中的行為慣性障礙,即智能體傾向使用熟悉工具和推理模式。
  • 提出反事實錨定上下文方法,在關鍵決策點注入以打破慣性並恢復失敗軌跡。
站內正文

用於運營決策支持的貝葉斯網絡的人機協同構建——一種虛擬調查方法

研究人員提出了一種利用大型語言模型(LLM)構建貝葉斯信念網絡(BBN)的新方法,該方法通過一組AI代理基於特定角色和上下文估計概率,並採用修剪均值規則去除噪聲,從而彌合專家意見與數據驅動學習之間的差距。研究以替代醫療系統中患者就醫意向為案例,發現自我效能的影響實際較小,而主觀規範的影響更強,最有效的策略是同時提升自信和社區規範。

  • 新方法利用大型語言模型和AI代理面板來估計概率,結合修剪均值規則減少噪聲。
  • 開發了一個六步貝葉斯網絡框架,用於建模不確定性下的決策。
站內正文

用於閉環1型糖尿病控制的可解釋語言模型

一種名為LLM-T1D的新方法將強化學習與大語言模型相結合,創建了一種可解釋的胰島素泵控制器,用於1型糖尿病,實現了73.5%的時間在目標血糖範圍內,同時提供清晰的解釋。

  • 結合強化學習和大語言模型實現透明決策
  • 微調LLaMA 3.1 8B和Qwen3 8B模型
站內正文

DialogueVPR:邁向對話式視覺地點識別

受人類交流空間信息的方式啓發,語言引導的地理定位因其直觀和實用價值而備受關注。然而,現有方法多依賴靜態的一次性檢索範式,難以處理真實世界自然語言描述中的歧義和不完整性。本文提出推理檢索的範式轉變,引入對話式地點識別(DlgPR),將定位視為交互式、對話驅動的推理過程。為此,論文構建了首個大規模對話式地點識別基準DlgQuest-Cities,並提出了統一推理框架,結合跨模態多級檢索器與智能提問器DQ-pilot。DQ-pilot通過課程學習訓練:在DQ-cities-20k子集上進行監督微調,再通過GRPO在更難的DQ-cities-10k上進行強化優化。實驗表明,基於推理的方法顯著優於基線。

  • 提出對話式地點識別(DlgPR),將定位轉化為交互式對話推理過程。
  • 構建首個大規模對話式地點識別基準DlgQuest-Cities。
站內正文

HG-RAG:面向結構化知識圖譜的層級引導檢索增強生成

檢索增強生成(RAG)在擴展大語言模型上下文方面表現優異,但傳統RAG在涉及層級或關係推理時效果不佳。本文提出HG-RAG框架,通過在層級知識圖譜上進行圖遍歷,為語言模型提供結構化上下文。實驗表明,HG-RAG在層級、關係和跳推理任務上顯著優於平面檢索基線,同時減少了幻覺並保持了局部連貫性。

  • HG-RAG利用層級知識圖譜進行多方向圖遍歷來檢索上下文。
  • 在18-800節點的三種規模上,對四種查詢類型進行了評估。
站內正文

Alphabet股價因Gemini 3.5 Pro延遲發佈而下跌

據報道,Alphabet推遲了其旗艦AI模型Gemini 3.5 Pro的發佈,導致股價下跌。該模型的編碼能力未達到內部預期,而競爭對手如OpenAI和Meta已推出更先進的AI編碼模型。

  • Alphabet因Gemini 3.5 Pro AI模型延遲發佈,股價下跌4%。
  • 模型編碼能力未達內部預期,競爭對手已推出更先進的編碼模型。
站內正文

在WebAssembly中運行Firefox:瀏覽器內虛擬化的技術突破

Puter團隊成功將Firefox的Gecko引擎編譯為WebAssembly,實現了在一個瀏覽器中完整運行另一個瀏覽器的壯舉。項目耗費約25,000美元的AI計算資源,通過Wisp協議代理所有網絡流量,並支持端到端加密。該成果已開源,展示了WebAssembly在虛擬化領域的巨大潛力。

  • Puter利用Claude Opus和Fable模型,將Firefox的Gecko引擎編譯為WebAssembly,實現瀏覽器內運行完整瀏覽器。
  • 項目成本約25,000美元,得益於Claude Max訂閲計劃提供的AI令牌。
站內正文

Kimi K3 在智能知識工作基準測試中擊敗 GPT-5.6 Sol

Artificial Analysis 發佈了 AA-Briefcase 智能知識工作基準測試結果,Kimi K3 以 1547 Elo 排名第一,領先於 GPT-5.6 Sol 的 1495 分。該基準測試模擬真實商業工作流,評估模型在生成電子表格、演示文稿和備忘錄等任務中的表現。

  • Kimi K3 在 AA-Briefcase 基準測試中排名第一,Elo 得分為 1547。
  • GPT-5.6 Sol 以 1495 分排名第三,落後於 Claude Fable 5。
站內正文

OpenAI 推出 GPT-Red 測試 AI 模型安全

OpenAI 通過 GPT-Red 結合人類與 AI 進行紅隊測試,創新地評估模型安全性,但企業仍需確保模型符合自身業務和安全需求。

  • GPT-Red 結合人類專家和 AI 代理進行紅隊測試
  • 這一方法在模型安全測試中屬首創
站內正文

Kimi K3:我們仍能從鵜鶘基準中學到什麼

中國AI實驗室Moonshot AI發佈了Kimi K3模型,擁有2.8萬億參數,自稱首個“開源3T級模型”。該模型在多個基準測試中表現優異,但定價較高。作者通過“鵜鶘騎自行車”測試,展示了模型的推理成本、隱性系統提示和視覺能力,並反思了這一非正式基準的侷限性。

  • Kimi K3擁有2.8萬億參數,是Moonshot AI的最強模型,承諾2026年7月27日開源。
  • 定價為每百萬輸入3美元、每百萬輸出15美元,是目前中國AI實驗室最貴的模型。
站內正文

100美元AI音樂視頻:Claude Fable 5 vs GPT-5.6 Sol

本文介紹了一個自主AI音樂視頻生成系統,比較了Claude Fable 5和GPT-5.6 Sol在25美元和100美元預算下的表現。系統讓模型自主研究、生成片段、編輯並組裝完整視頻。結果顯示所有運行均成功生成視頻,但質量一般,存在一致性和節奏匹配等問題。Claude Fable 5成本更高但完成更快,GPT-5.6 Sol在編輯上更具創意。

  • 系統讓AI模型自主生成音樂視頻,預算分別為25美元和100美元。
  • 所有四次運行均生成完整視頻,但質量仍有提升空間。
站內正文

在 Amazon Bedrock 上推出 Grok

xAI 的 Grok 4.3 現已通過 Amazon Bedrock 提供,它具有可配置的推理能力、強大的工具調用和指令遵循能力,支持 100 萬個 token 的上下文窗口,適用於代理和企業工作負載。本文介紹了其特性、訪問方式以及基本用法。

  • Grok 4.3 在 Amazon Bedrock 上可用,通過 Mantle 推理引擎以 OpenAI 兼容 API 提供。
  • 支持可配置的推理力度(無、低、中、高),可適應不同任務需求。
站內正文

OpenAI詳解GPT-Red:內部自動化紅隊模型在提示注入方面以84%對13%擊敗人類紅隊

OpenAI開發了內部自動化紅隊模型GPT-Red,通過自我對弈強化學習訓練,在間接提示注入測試中以84%的成功率遠超人類紅隊的13%。該模型還發現了一種新型“虛假思維鏈”攻擊,並將GPT-5.6 Sol在最難直接注入基準上的失敗率降低了6倍。但OpenAI承認,在多輪和基於圖像的攻擊方面仍需人類參與。

  • GPT-Red是OpenAI內部使用的自動化紅隊模型,通過自我對弈強化學習訓練。
  • 在複製的間接提示注入環境中,GPT-Red對GPT-5.1的攻擊成功率達84%,而人類紅隊僅為13%。
站內正文

GPT-5.6 Sol 與 Claude Fable 5 對比:基準測試、定價與實操體驗

GPT-5.6 Sol 和 Claude Fable 5 是目前最先進的兩款模型。Fable 5 在通用智能上略佔優勢,而 Sol 在編碼性能、執行速度和定價方面更具競爭力。Sol 的定價更接近 Claude Opus 4.8,遠低於 Fable 5。本文通過基準測試和實操對比,幫助用户選擇最適合的模型。

  • GPT-5.6 Sol 在編碼基準測試中領先,且價格更低。
  • Claude Fable 5 在通用智能和分析質量上略勝一籌。
站內正文

引用Thibault Sottiaux:GPT-5.6意外刪除文件漏洞

據報道,GPT-5.6在特定配置下會意外刪除用户文件。問題主要出現在啓用完全訪問模式且未啓用沙箱保護時,模型嘗試覆蓋$HOME環境變量但誤刪了$HOME目錄。

  • GPT-5.6在無沙箱保護的完全訪問模式下運行Codex時可能意外刪除文件。
  • 模型嘗試設置臨時目錄時錯誤地刪除了$HOME環境變量指向的目錄。
站內正文

AI上下文鴻溝:企業AI組織面臨的是信任問題,而非檢索問題——多數仍在構建解決方案

VentureBeat Pulse Research對101家企業的調查顯示,57%的企業在過去半年中遇到過AI代理因上下文缺失或不一致而給出自信但錯誤的答案。檢索增強生成(RAG)已成為默認上下文來源,但提供商原生檢索(如OpenAI文件搜索和Google Vertex AI搜索)已悄然超越專用向量數據庫。然而,多數企業表示傾向於保持最佳組件獨立,而非整合到單一提供商堆棧。混合檢索被期望在2026年底主導,但治理語義層仍在建設中。

  • 57%的企業在半年內遭遇AI代理因不良上下文給出自信但錯誤的答案
  • 提供商原生檢索(OpenAI 40%,Google 38%)已領先專用向量數據庫
站內正文

Agent評估差距:企業AI組織存在現實對齊問題而非覆蓋問題——但多數仍將產品推向生產

VentureBeat Pulse Research對157家企業進行調研,發現組織在賦予AI Agent更多自主權的同時,對用於把關的評估的信任度卻在下降。50%的組織曾部署通過內部評估但在客户面前失敗的Agent;僅5%完全信任自動化評估;最主要的問題在於評估與現實結果不一致。然而,三分之二的組織已經允許或正在構建完全自動化(無人工干預)的部署流程。評估差距——自主權與信任之間的距離——正在擴大。

  • 50%的企業曾部署通過評估但在客户面前失敗的Agent,25%發生過多次。
  • 僅5%的企業完全信任自動化評估,主要限制是評估與現實結果不一致。
站內正文

Inkling:我們的開放權重模型

Mira Murati的Thinking Machines Lab於2026年7月16日發佈了其首個開放權重模型Inkling。這是一個混合專家(MoE)Transformer,總參數975B,活躍參數41B,採用Apache-2.0許可證,支持多模態,在45萬億token上訓練。該模型並非前沿模型,而是作為通過Tinker平台進行微調的強大基礎模型。同時預告了Inkling-Small(276B總參數,12B活躍)。模型卡和訓練數據文檔異常簡短,數據來源描述模糊,僅提及公共領域和互聯網內容。Inkling在性能上與中國開放權重模型競爭,為美國開放權重生態系統增添了新力量。

  • Inkling是一個開放權重的多模態MoE模型,總參數975B(活躍41B),Apache-2.0許可,在45萬億token上訓練。
  • 該模型並非前沿模型,而是作為通過Tinker平台微調的強大基礎模型,同時計劃推出Inkling-Small。
站內正文

引用林納斯·託瓦茲:AI是工具,Linux不是反AI項目

林納斯·託瓦茲在Linux媒體郵件列表中明確表示,Linux不是反AI項目,AI是一種有用的工具,任何質疑其用途的人顯然沒有真正使用過它。

  • 林納斯·託瓦茲強調Linux社區接受AI作為工具。
  • 他反對將AI排斥在Linux項目之外。
站內正文

Claude現在可以使用您的1Password憑據

1Password推出了針對Claude的瀏覽器集成,通過零暴露安全框架,AI可以訪問存儲的憑據以自動完成任務,無需手動輸入密碼。

  • 1Password引入Claude瀏覽器集成,允許AI使用存儲的憑據。
  • 零暴露框架確保AI無法直接看到密碼。
站內正文

SpaceXAI 開源 Grok Build:Rust 編寫的代理框架、TUI 和工具層

SpaceXAI 於 2026 年 7 月 15 日開源了 Grok Build,這是其 grok CLI 背後的終端 AI 編碼代理。源代碼以 Apache 2.0 許可證發佈,包含代理循環、工具調度、TUI 和擴展系統,但 Grok 4.5 模型保持閉源,且不接受外部貢獻。

  • Grok Build 是 SpaceXAI 的終端 AI 編碼代理,現已開源,採用 Apache 2.0 許可證。
  • 開源的四個主要領域:代理循環、工具、終端 UI 和擴展系統,分別對應多個 Rust crate。
站內正文

Thinky發佈Inkling:975B-A41B多模態模型,美國最強Apache 2.0開源模型(附帶Inkling-Small,276B-A12B)

Thinky首次發佈完整LLM系列Inkling,採用MoE架構,總參數量975B,激活參數41B,支持文本、圖像、音頻輸入,1M上下文窗口,Apache 2.0許可。性能上成為美國最強開源模型,但略遜於中國開源旗艦和閉源模型。

  • Inkling是975B總參/41B激活的MoE多模態模型,Apache 2.0開源,支持1M上下文。
  • 訓練使用45T tokens,架構創新包括滑動窗口注意力、短卷積層、共享專家等。
站內正文

Show HN:免費Ollama AI交易桌面應用

VaultCharts是一款免費的桌面交易應用,結合了圖表工具與AI助手。它支持多種AI模型,以本地優先為特點,用户可以在有或沒有AI輔助的情況下分析市場。

  • VaultCharts提供免費的桌面交易應用,包含圖表工具和AI助手。
  • 用户可以使用自己的AI模型或像Ollama這樣的本地模型。
站內正文

HRO:面向零樣本目標導航的層級房間到物體框架

本文提出了一種名為HRO的層級房間到物體框架,利用大型語言模型(LLM)實現零樣本目標導航。與現有方法不同,HRO模仿人類從房間到物體的層級空間認知,引導智能體由粗到細地探索未知環境並定位目標物體。實驗結果表明,HRO在Gibson和HM3D數據集上取得了更高的成功率和更好的泛化能力。

  • 針對零樣本目標導航任務,現有方法缺乏類人的層級空間認知建模,導致探索盲目和語義關聯不準。
  • HRO框架通過LLM驅動,將導航過程分為房間級和物體級兩層,實現由粗到細的導航策略。
站內正文

3DGS驅動的動態視角與振動觸覺框架:用於水下遙操作,經功能性近紅外光譜驗證

提出一種基於ROS-Unity的多模態遙操作架構,利用3D高斯潑濺技術生成無遮擋的外部視角,並通過軀幹振動觸覺套裝提供直觀的接近提示。在30名受試者參與的實驗中,該框架在嚴重通信延遲下表現出顯著的性能優勢,fNIRS結果顯示其能維持操作者的執行控制能力,避免認知負荷過載。

  • 動態自適應視角系統(DAVS)通過實時3D高斯潑濺合成無遮擋外部視角
  • 振動觸覺套裝將障礙物距離映射為觸覺信號,降低感官負荷
站內正文

人形機器人設計中的恐怖谷貝葉斯框架

研究人員提出了一個層次貝葉斯生成模型,將恐怖谷效應轉化為數學設計變量。該模型通過四類變量(偏離預測機器人類別均值、跨模態人類相似性不一致、預測不確定性、觀測不確定性)解釋類別模糊和感知不匹配導致的親和力下降。實驗表明,增加觀測不確定性可減弱中間相似度下的熟悉度下降,而低預測不確定性則提升機器人外觀的評分。該框架為算法評估和優化人形機器人外觀與行為提供了計算基礎。

  • 恐怖谷效應被轉化為四個可操作的數學變量。
  • 類別模糊和外觀-運動不匹配可導致親和力降低。
站內正文

HRIBench:以交互為中心的人機協作基準測試

HRIBench 是一個專注於人機交互協作的基準測試框架,通過結構化場景腳本模擬代理角色、時間依賴和協調約束,評估機器人在協作中的意圖理解、同步、協議遵守和安全交互能力。實驗表明,現有基礎機器人策略在協作場景中表現不佳,但在 HRIBench 上微調後可顯著提升。

  • HRIBench 定義了 Instruct、Collaborator 和 Intruder 三種交互角色,覆蓋意圖交流、聯合協調和魯棒性。
  • 基準包含 13 個角色化任務,超過 650 個評估回合,並引入同步性、響應性、協議合規性和安全性等可解釋指標。
站內正文

AffectFlow-DINO:基於條件整流流的不確定性感知多任務情感估計

本文提出了AffectFlow-DINO,一種用於第11屆ABAW挑戰賽的多任務學習系統。它通過條件整流流頭部模型來模擬自然場景下面部行為的固有歧義,實現不確定性感知的一對多預測。系統聯合估計連續效價-喚醒度、分類八種面部表情並檢測十二個動作單元。實驗表明,整流流解碼持續改進確定性預測,後驗閾值校準有效恢復罕見類別的性能,最終模型顯著超越官方基線。

  • AffectFlow-DINO採用條件整流流生成分佈,替代單點估計,實現不確定性感知。
  • 系統在多任務(效價-喚醒度、表情分類、動作單元檢測)上均取得提升。
站內正文

即時場景圖增長:應對長時域機器人中的感知飽和

本文提出JITOMA框架,通過即時按需記憶激活解決傳統3D場景圖構建中的感知飽和問題。該框架利用任務熱圖過濾觀測、大型語言模型按需喚醒相關錨點,顯著降低計算開銷,並在長時域任務切換中保持穩定性能。同時發佈JITOMA-Bench評估基準。

  • 傳統3D場景圖管道因窮舉式環境映射導致感知飽和,不適合邊緣平台實時需求。
  • JITOMA框架通過前端任務熱圖和後端LLM協同,實現場景圖按需增長。
站內正文

主動學習結合弱監督實現手術視頻的高效標註

提出了一種結合主動學習和雙損失優化的人機協同知識獲取框架,用於腹腔鏡視頻中的器械分割標註。該方法利用基礎模型生成時序一致的類激活圖,通過弱監督損失和圖像級掩膜損失訓練,迭代提出偽掩膜引導專家修正。最終將標註工作量減少50%,無需初始密集像素標註,提升可擴展性。

  • 結合主動學習與弱監督,將手術視頻標註工作量降低50%。
  • 使用基礎模型生成時序一致的類激活圖,通過雙損失優化訓練。
站內正文

自監督視覺表示學習:預訓練微調還是聯合訓練?

一項新研究系統比較了自監督學習中的兩種訓練範式:預訓練後微調(PFT)和聯合訓練(JT),發現JT在數據效率和低標籤設置下表現更優,而PFT在專門領域更可靠。

  • 研究比較了八種自監督方法和多種視覺任務,評估不同標籤比例下的性能。
  • 聯合訓練(JT)同時優化自監督和監督損失,在低標籤場景下更魯棒且高效。
站內正文

MGFace:基於掩碼門控的條件相似度路由人臉匹配

MGFace是一種創新的掩碼門控人臉識別管道,通過預測查詢人臉是否佩戴面罩,有條件地路由相似度計算:對未遮擋人臉使用全局嵌入匹配,對戴口罩人臉激活掩碼感知的局部區域重排序。該方法在擴展LFW-Mask數據集上,利用FaceNet骨幹網絡達到80%以上識別準確率,使用ArcFace骨幹網絡超過90%,相比基於EMD的重排序方法,查詢時間減少約20倍。

  • 提出掩碼門控機制,區分戴口罩與未戴口罩查詢人臉,避免不必要的精細計算
  • 僅在戴口罩查詢時激活基於上臉區域的局部重排序,提升效率
站內正文

無監督鋼表面缺陷識別的掩碼自編碼器方法

提出了一種基於Transformer掩碼自編碼器的無監督鋼表面缺陷識別方法。在預訓練中隨機掩碼75%的圖像塊,輕量級解碼器從可見的25%重構掩碼區域,並聯合訓練輔助缺陷定位目標。解碼器達到SSIM 0.92、MSE 0.47,聚類後對六類缺陷的匈牙利匹配準確率達91.3%。

  • 利用掩碼自編碼器在無標籤鋼表面圖像上學習缺陷表示
  • 預訓練時掩碼75%的補丁,解碼器重構,編碼器聯合訓練缺陷定位
站內正文

Boogu-Image-0.1:推動開源統一多模態理解與生成

Boogu-Image-0.1是一個開源統一多模態理解與生成模型家族,包含Base、Turbo、Edit和Edit-Turbo變體。它在高品質文本到圖像生成、快速推理、基於指令的編輯以及雙語文本渲染方面表現出色。儘管計算預算有限,但通過模型理解、數據質量和訓練流程的針對性改進以及推理時擴展,其性能可媲美甚至超越其他開源模型,接近領先的閉源系統。該模型僅使用2.0862億張獨特圖像,基礎模型理論訓練成本約40萬美元。

  • Boogu-Image-0.1是開源統一多模態模型家族,包含多個變體
  • 在文本到圖像生成、推理速度、指令編輯和雙語渲染上有競爭力
站內正文

混合曼巴架構用於視聽導航

本文提出Samba,一種混合曼巴架構,用於視聽導航。它採用自適應選擇的曼巴狀態編碼器(M-SE)替代傳統GRU進行時間聚合,並構建音頻曼巴編碼器(AME)以克服卷積算子在全時頻依賴捕捉上的侷限。在Matterport3D數據集上,導航成功率提升11.3%,在Replica數據集上表現更優。該工作以更低計算成本實現更強具身表徵,為視聽導航範式演進提供了穩健技術路徑。

  • 提出Samba,混合曼巴架構,用M-SE替換GRU,用AME改進卷積
  • 在Matterport3D數據集上SR提升11.3%,在Replica數據集上表現更優
站內正文

用能力與熟練度建模解耦知識狀態的知識追蹤

知識追蹤(KT)旨在通過建模學生歷史交互中的動態知識狀態來預測其未來表現。現有方法通常將原始交互序列視為統一行為過程,忽略了學習行為的階段性。本文提出相位感知知識追蹤(PAKT),將學生交互分解為能力和熟練度階段,並設計多分支Transformer聯合捕獲階段特定和整體知識狀態。在六個基準數據集上,PAKT最大AUC提升1.33%,平均提升0.82%。

  • 現有KT方法未區分能力構建與熟練度導向的學習階段。
  • PAKT通過分解機制將交互序列分為能力和熟練度兩個階段。
站內正文

面向流式系統中事件觸發的大語言模型調用的不確定性感知序列決策規則

該研究將何時調用大語言模型(LLM)的問題形式化為基於風險的序列停止問題,並證明了六個理論結果,包括最小事件間隔時間、閾值策略的最優性以及遺憾界。在渦扇退化數據上的實驗表明,異常得分驅動的風險函數在Pareto AUC上比基線方法高出一個數量級。

  • 將LLM調用時機問題形式化為基於風險的序列停止問題。
  • 證明六個理論結果,包括遺憾界和收斂保證。
站內正文

從神經網絡中定向恢復權重空間機制

針對參數分解(PD)在大模型上計算成本高的問題,研究者提出定向參數分解(tPD),通過引入高秩“全能”組件僅處理目標輸入,從而高效識別特定計算電路。實驗表明,tPD在4塊Transformer上僅用7%的浮點運算量即可提取CSS子模型,並在12塊Transformer上精準消融和重寫記憶序列,副作用極小。論文被ICML 2026可解釋性研討會接收。

  • 定向參數分解(tPD)通過高秩全能組件僅提取處理特定輸入的神經網絡組件
  • tPD在4塊Transformer上以7%的浮點運算量復現了已發表的分解結果
站內正文

超越骨幹網絡反向傳播:一種高效遷移學習的解耦策略

提出了一種輕量級訓練策略,通過解耦特徵提取與分類器優化,大幅減少訓練時間和能耗,在多種架構和醫學數據集上僅犧牲微小的準確率。

  • 解耦訓練策略,僅需一次預計算特徵
  • 顯著減少訓練時間和二氧化碳排放
站內正文

利用圖工具改進小型語言模型中的分子屬性預測

小型語言模型在零樣本分子屬性預測中表現不佳,因為它們忽略了圖拓撲信息。本文提出了一種上下文增強提示框架,通過圖神經網絡工具提供預測提示和解釋性子圖,在MUTAG和Tox21數據集上實現了高達74%的相對改進,但仍與專用GNN模型存在差距。

  • 小型語言模型對分子結構存在盲區,序列表示無法捕捉關鍵圖拓撲線索。
  • 提出的框架通過GNN專家模型提供預測提示,並提取解釋性子圖。
站內正文

主題導航

模型 — AI 主題新聞 | AI News Hub