AI News HubLIVE

模型動態

我們再次被告知人工智能可能有意識——我研究意識,但我持懷疑態度 | 阿尼爾·塞思

儘管Anthropic聲稱其模型Claude內部出現意識跡象,但神經科學家阿尼爾·塞思認為,這不過是模擬,就像天氣預報系統不會產生真實颶風一樣。

  • Anthropic研究稱在其語言模型Claude中發現意識跡象,但未宣稱其與人類意識相同。
  • 塞思教授指出,意識需要生物學基礎和因果作用,而AI只是統計模式。
站內正文

將臨牀決策權從LLM中剝離

本文介紹了一種用於AI治療的系統設計,該系統通過確定性管道決定臨牀行動,不讓LLM自行決策。系統包括評分、狀態桶、准入表、動作選擇、微實踐和危機預篩查等步驟,僅在評分和生成階段使用LLM。文章還討論了該方法的成本與侷限性。

    站內正文

    半直積傅里葉增量注意力:基於相位控制的增量記憶與構造性塊WY核

    線性注意力模型通過固定大小的循環狀態取代softmax注意力的KV緩存,但限制了精確狀態跟蹤和長上下文記憶。本文提出半直積傅里葉增量注意力(SFDA),一種相位控制的泛化方法,將實對角衰減替換為塊旋轉傅里葉控制。主要貢獻是構造性塊WY分解,實現了精確的仿射塊傳輸、形式化穩定性和複雜度界限,以及相位加低秩記憶的緊湊表徵。實驗表明SFDA能學習循環記憶,而相位禁用的KDA基線接近隨機。

    • SFDA通過相位控制(傅里葉塊旋轉)改進線性注意力,解決狀態跟蹤和長上下文記憶限制。
    • 提出構造性塊WY分解,將秩增長限制在固定塊內,實現高效傳輸和穩定性保證。
    站內正文

    對話代理的多維評估操作化:一種可擴展、可管控的流水線,支持選擇性重新評估和模型基準測試

    本文提出GenAI Evaluation,一種配置驅動的流水線,用於大規模評估零售對話系統。通過規範化、分片、異步執行和模式約束的LLM評分,評估有幫助性、真實性、清晰度、語氣一致性和翻譯維度。選擇性重新評估僅處理無效記錄,支持模式鎖定和版本化配置。每日處理約5萬條記錄,已評估超200萬次交互。在12,980條人工標註記錄上取得宏F1 0.93和翻譯準確率89%。

    • GenAI Evaluation流水線解決LLM-as-a-judge在生產中的治理和可擴展性挑戰。
    • 通過選擇性重新評估僅處理不完整或無效記錄,降低計算成本。
    站內正文

    圖反饋控制開源語言模型羣體中的共識與派系形成

    本研究探討了多智能體語言模型系統中交互圖結構如何影響共識形成。通過命名遊戲協議,研究人員分析了開源語言模型(1.1B-32B參數)羣體中的約定形成過程。研究發現,同質性閾值相似性路由會加劇碎片化,而橋樑尋找路由在有記憶的情況下可修復碎片化。在異質模型羣體中,閾值相似性導致共識失敗,而狀態組件和標籤分歧橋樑可恢復共識。同質模型羣體中,保留歷史通常促進共識,其中Qwen2.5-32B模型在所有保留歷史設置中均達到穩定共識。該研究還驗證了結果對狀態閾值、羣體規模和詞彙表大小的魯棒性,並表明早期窗口圖能量特徵可作為有效的網格內診斷工具。

    • 多智能體語言模型系統的交互圖結構對共識形成有重要影響。
    • 同質性閾值相似性路由加劇碎片化,橋樑尋找路由在有記憶時可修復碎片化。
    站內正文

    為AI網絡代理設計代理就緒網站:面向機器可讀性、可操作性和決策可靠性的框架

    論文提出了一個“代理就緒網站”設計框架,旨在增強電商平台對AI代理的可讀性、可解釋性、可驗證性和可操作性。實驗表明,代理就緒網站將嚴格成功率從49.3%提升至89.3%,部分成功結果從43降至3,平均步驟數從9.31降至6.49。

    • 代理就緒網站框架圍繞三個維度:代理可解釋性、代理可執行性和代理決策可靠性。
    • 實驗使用GPT-4.1、Gemini-2.5 Flash和Grok-4 Fast三種代理模型,在五個任務上進行了300次評估。
    站內正文

    優化並非萬能

    本文批判了人工智能中的優化文化,指出優化過程雖然能衡量文本的不可預測性,但無法區分錯誤與創新。儘管如此,優化已在短短五年內取代了傳統機構,掌握了定義合法語言權威的地位。

    • OpenAI 在 2019 年發佈了 GPT-2 輸出以幫助檢測機器生成文本。
    • 對齊技術的成功被視為工程成就,但作者認為這是優化文化的體現。
    站內正文

    GRID:面向企業SQL生成的語法約束解碼引擎

    GRID是一種基於語法約束的解碼引擎,通過將LALR(1)解析器狀態作為掩碼鍵,確保SQL輸出語法正確且符合角色權限策略,提供可證明的保證、恆定時間成本及完整審計追蹤。在Spider數據集上,0.5B模型執行準確率提升13%,7B模型通過修復達到94.5%可執行率。

    • 利用LALR(1)解析器狀態而非令牌序列生成下一令牌掩碼,保證語法合規性。
    • 角色訪問控制直接編譯進語法,禁止動詞和標識符在掩碼層面不可達。
    站內正文

    本體增強蒸餾與情境審計:面向主權企業語言模型的組合機制驗證與負結果方法研究

    該研究結合了本體增強蒸餾與情境審計兩項方法,針對受數據居留規則約束的金融機構,提出租户自有語言模型的構建與治理方案。蒸餾實驗表明,Qwen3.6-27B學生模型在40項越南語金融任務中達到36項正確,與GPT-5相當,但統計功效不足以證明等價;情境審計試點的結果表明殘存情境性為零,直接影響與構造耦合才是有效信號。研究不支持當前模型的可部署性、安全性或優越性。

    • 通過監督微調與本體對齊的偏好優化,將Qwen3.6-27B蒸餾至Foundation AgenticOS本體,在40項越南語金融任務中達到90%正確率。
    • 與GPT-5基線相比,統計功效不足,無法證明等價或超越。
    站內正文

    非平穩環境下的上下文強化學習綜述

    本文綜述了非平穩環境下的上下文強化學習(ICRL),即預訓練或微調的決策模型如何僅通過交互上下文推斷潛在任務規則並改進未來行為,而無需在測試時更新參數。在變化的環境中,累積的上下文可能變得過時甚至誤導,因此策略必須推斷當前決策規則並識別哪些歷史證據仍然有效。論文圍繞三個核心問題組織文獻:什麼在變化、變化如何展開以及變化對智能體的可觀察程度,並將其與元強化學習、決策序列建模、檢索增強強化學習等方法聯繫起來。

    • ICRL使決策模型能從交互上下文中學習,無需更新參數。
    • 現有綜述主要關注預訓練目標等,對非平穩性關注不足。
    站內正文

    最優自適應做市:永續期貨市場高收益流動性提供的理論框架

    本文提出了一個嚴格的永續期貨市場最優做市理論框架,將做市問題建模為隨機最優控制問題,貢獻包括損益分解定理、HJB方程、高APY區域定理等。數值分析揭示了盈利與非盈利區間的相變。

    • 建立了零做市商費用的永續期貨市場隨機最優控制模型
    • 提出損益分解定理,區分價差收入、逆向選擇損失、庫存持有成本、對沖摩擦和資金費率風險
    站內正文

    GPT-5.6 Sol、Terra、Luna在智能與成本上的對比

    GPT-5.6系列中,Sol和Luna在任何智能水平上的成本效率均優於Terra,尤其是Luna表現出極高的性價比。

    • Sol和Luna在所有智能水平上均領先於Terra
    • Luna是成本效率最高的模型
    站內正文

    PrismML發佈Bonsai 27B:Qwen3.6-27B的1位和三進製版本,可在筆記本電腦和手機上運行

    PrismML發佈了Bonsai 27B,這是Qwen3.6-27B的低位表示,並非全新預訓練模型。提供三進制和二進制兩種變體,採用Apache 2.0許可證。三進製版本每位僅1.71比特,理想大小為5.9GB;二進制版本每位1.125比特,大小為3.9GB。性能方面,三進制保留FP16基線的94.6%,二進制保留89.5%。該模型支持多模態,上下文長度262K令牌。PrismML聲稱二進制版本是首個適合手機的27B級模型。

    • Bonsai 27B是Qwen3.6-27B的低位版本,非全新預訓練模型。
    • 提供三進制(1.71比特/權重)和二進制(1.125比特/權重)兩種變體。
    站內正文

    simonw/pedalican

    Simon Willison 在 Codex Desktop 中意外激活了一個“寵物”功能,並利用 GPT-5.6 Sol 和 gpt-image-2 創建了一個騎自行車的鵜鶘寵物,命名為 Pedalican。他記錄了整個生成過程,包括提示詞和中間步驟,並開源了相關技能。

    • Simon Willison 意外發現了 Codex Desktop 的寵物功能,並創建了自定義寵物 Pedalican。
    • 使用 GPT-5.6 Sol 和 gpt-image-2 生成精靈圖資產,過程完全由 AI 驅動。
    站內正文

    Mistral Vibe for Code vs Claude Code vs Cursor vs Codex:四大AI編程代理在腳手架到PR任務中的對比評分

    本文對比了四種主流的AI編程代理:Mistral Vibe for Code、Claude Code、Cursor和OpenAI Codex,針對從功能腳手架到拉取請求的完整工作流進行評分。Mistral Vibe以22/25的總分領先,憑藉成本、開放性和控制力獲勝;Claude Code和Codex並列21/25;Cursor得16/25。文章詳細分析了每個工具在腳手架、測試循環、PR及異步工作流、覆蓋範圍、成本與開放性五個維度的表現。

    • Mistral Vibe for Code以22/25總分領先,提供低價、開源和自託管選項。
    • Claude Code和OpenAI Codex並列第二(21/25),但前者在原始編碼質量上更強。
    站內正文

    幫助AI模型適應現實世界

    MIT教授Devavrat Shah通過研究和創業,致力於設計能夠利用有限計算資源進行實時決策的AI方法。他共同創立的Ikigai Labs開發了基於表格時間序列數據的基礎模型,被Celonis收購後,有望集成到企業流程管理中,實現大規模預測和優化。

    • Devavrat Shah專注於設計在有限計算資源下進行秒級決策的AI方法。
    • 他共同創立了Ikigai Labs,構建了針對表格時間序列數據的基礎模型。
    站內正文

    引用阿明·羅納赫:軟件項目的共享語言

    阿明·羅納赫在一篇關於AI代理和軟件工程的文章中強調,軟件項目的共享語言並非英語或Python,而是對概念、邊界、不變量、所有權和系統形態的共同理解。他指出,在AI代理出現之前,這種理解通過“摩擦”維持——如閲讀代碼、提問、協調——這種摩擦雖然緩慢且部分浪費,但同步了人們。這篇文章由Simon Willison於2026年7月14日引用。

    • 軟件項目的共享語言是對概念、邊界、不變量等的共同理解,而非編程語言或自然語言。
    • 在AI代理時代之前,這種理解通過開發過程中的摩擦(如代碼審查、討論)來維持。
    站內正文

    什麼是元提示及其工作原理?

    元提示是一種先進的提示工程技術,要求模型在執行任務前先設計可複用的提示模板、清單或工作流程。本文詳細解析了元提示的定義、四步工作流程、具體模板示例及其與普通提示、少樣本提示、思維鏈提示的對比。

    • 元提示將模型從直接執行者轉變為提示設計者,通過設計可複用模板提升一致性。
    • 工作流程包括定義目標、添加約束、生成可複用提示、測試與改進四步。
    站內正文

    谷歌現在用更多你的數據訓練AI,除非你選擇退出——方法如下

    谷歌更新了隱私政策,現在你的圖片、語音搜索和視頻可能被用於訓練其AI模型。用户被自動默認開啓,需手動關閉以保護隱私。本指南將教你如何退出。

    • 谷歌將用户在搜索服務中產生的媒體(圖片、音頻、視頻)用於訓練AI模型。
    • 所有用户默認開啓此項設置,須在設置中手動關閉。
    站內正文

    Nemotron Labs:開放模型如何讓企業和國家擁有可信、可控、可定製的人工智能

    開放模型如NVIDIA Nemotron使企業能夠構建滿足特定需求的AI,提供完全的控制權、定製能力和成本效益,並推動從AI使用到AI擁有的轉變。

    • 開放模型讓企業能夠定製、檢查和改進AI,滿足業務具體需求。
    • 通過後訓練和領域微調,開放模型在特定任務上可達到與領先封閉模型相當的準確性,成本大幅降低。
    站內正文

    我是如何讓AI墮入黑暗面的

    研究員Dave Kuszmar發現了多個系統性漏洞,使他能夠繞過大型語言模型的安全限制,獲取危險指令。這些漏洞幾乎影響所有主流LLM,揭示了行業範圍的安全問題。Kuszmar呼籲減緩部署、提高透明度,並在進一步將LLM融入社會前開展大規模安全研究。

    • 研究員發現“時間盜賊”和“盜夢空間”兩種漏洞,可繞過LLM安全控制。
    • 漏洞影響多家公司的主流LLM,包括OpenAI、Anthropic、Google等。
    站內正文

    符號帝國——符號學歷史與大型語言模型之間的聯繫

    本文探討了符號學歷史與大型語言模型之間的聯繫,借鑑了索緒爾、巴特和德里達等思想家的理論,分析了語言符號的差異性與AI生成內容的關係。

    • 符號學為理解LLM的語義生成提供了理論框架
    • 索緒爾、巴特和德里達的符號理論對AI語言模型有啓發意義
    站內正文

    Mistral AI 發佈機器人導航視覺模型

    Mistral AI 推出了一款新型視覺模型,機器人僅需一個RGB攝像頭和自然語言指令即可在陌生環境中導航。

    • 模型僅需單個RGB攝像頭
    • 支持自然語言指令導航
    站內正文

    Mnemo AI – 本地代理助手,能從失敗中學習,支持任何LLM

    Mnemo AI 是一個本地代理型AI助手,利用LangGraph和LangChain集成多種LLM提供商(如Ollama、Amazon Bedrock、OpenAI、Anthropic等)。它具備MCP工具系統、RAG能力、用户檔案學習、情景記憶以及ACE劇本——一種能從成功和失敗中學習策略的機制。此外,還支持網絡搜索、圖像分析、文件操作、bash執行等功能。

    • 支持多種LLM提供商,包括本地和雲端模型
    • 集成MCP工具系統和RAG文檔檢索
    站內正文

    生產中減少LLM延遲和推理成本的12種方法

    擴展LLM的關鍵不是增加GPU,而是消除每個請求中的不必要工作。本文介紹了12種實用的減少延遲和成本的方法。

    • 測量隊列時間、首token時間、token間延遲和緩存命中率等關鍵指標。
    • 積極減少輸出token,設置合理的max_tokens限制。
    站內正文

    谷歌DeepMind CEO哈薩比斯呼籲建立全球AI監管機構——應由美國領導

    谷歌DeepMind聯合創始人兼CEO德米斯·哈薩比斯呼籲建立一個全球AI監管機構,該機構有權在前沿模型過於危險時剎車。他認為美國應主導這一倡議,並希望在今年年底前成立該機構。

    • 哈薩比斯提議建立類似金融業監管局的全球AI監管機構,由獨立專家和開源社區代表組成。
    • 該機構將有權在AI模型發佈前進行評估,並在判斷風險過高時協調全行業放緩部署。
    站內正文

    Blume:一個開源、零配置的文檔框架,從Markdown文件夾生成AI就緒文檔

    Hayden Bleasel 發佈了 Blume,一個開源、MIT 許可的文檔框架。它讀取 Markdown 或 MDX 文件夾,生成隱藏的 Astro 項目,輸出靜態的 AI 就緒文檔,包含本地搜索、30+ MDX 組件、llms.txt 和內建 MCP 服務器。

    • Blume 是一個零配置的文檔框架,只需將 Markdown 放入文件夾即可生成完整文檔站點。
    • 它基於隱藏的 Astro 和 Vite 項目,支持熱重載,並可提升為獨立的 Astro 應用。
    站內正文

    Mistral AI 發佈 Robostral Navigate:8B 模型僅憑單 RGB 攝像頭讓機器人導航複雜環境

    Mistral AI 推出了 Robostral Navigate,一個 8B 參數的具身導航模型。該模型僅使用單個 RGB 攝像頭,無需 LiDAR 或深度傳感器,即可根據自然語言指令驅動機器人。在 R2R-CE 驗證未見過的場景中,它達到了 76.6% 的成功率,這得益於其指向方法、前綴緩存訓練和 CISPO 在線強化學習。

    • Robostral Navigate 是 Mistral AI 首個面向具身導航的 8B 模型。
    • 僅用單 RGB 攝像頭,無需深度傳感器,在 R2R-CE 驗證未見場景達到 76.6% 成功率。
    站內正文

    通過VLAC-Cut引導管道最大化大規模機器人後訓練中的人力效率

    本文提出一種人效後訓練管道,通過專業化分工(遠程操作員和地面操作員)和自動軌跡分割工具VLAC-CUT,實現少量人員監督多台機器人。在四個真實操作任務中,最終策略成功率達80%-95%,吞吐量提升1.7-4.2倍,優於純人類參與訓練。

    • 提出人效後訓練管道,通過角色專業化減少任務切換和培訓成本。
    • 引入VLAC-CUT自動軌跡分割工具,篩選有效數據用於迭代訓練。
    站內正文

    一種風險場增強的閉環數字孿生框架用於自動駕駛安全驗證

    該論文提出了一種風險場增強的閉環數字孿生框架,用於自動駕駛系統的安全驗證。框架整合了物理數據採集、虛擬重建、風險感知場景生成和算法評估,並通過駕駛風險場作為統一中間表示來識別高風險場景,為強化學習策略提供安全指導。實驗表明該方法提高了驗證的針對性和可解釋性,但實際效果受模型保真度和模擬到現實遷移的限制。

    • 提出風險場增強的閉環數字孿生框架
    • 駕駛風險場作為統一中間表示描述多種風險
    站內正文

    以LLM為核心的無人機蜂羣代理型AI:架構、使能技術與開放問題

    無人機蜂羣在搜索救援和環境監測中潛力巨大,但受限於態勢感知不足、連接中斷和網絡安全風險。本文提出以LLM為核心的代理型AI框架(LAUS),整合感知、記憶、推理規劃與行動,實現自適應蜂羣行為,同時分析了攻擊面擴大、優先級操縱攻擊等威脅,並指出了抗幻覺推理、SWaP約束下的機載LLM部署等開放挑戰。

    • 提出LAUS架構,將LLM與閉環認知系統結合,實現無人機蜂羣的自主與自適應操作。
    • 梳理了邊緣計算、5G/6G、多模態智能等使能技術,並重點分析了優先級操縱攻擊(PMA)等安全威脅。
    站內正文

    EgoSteer:一種面向從第一人稱視頻實現可控靈巧操作的全棧系統

    EgoSteer是一個全棧系統,通過從第一人稱人類視頻中大規模預訓練視覺-語言-動作(VLA)模型,實現可控的靈巧操作。它集成了EgoSmith數據流水線(9.6K小時高質量數據,吞吐量提升9倍)、統一遙操作機器人平台和世界模型增強的VLA策略。實驗表明,EgoSteer在40多種任務中穩定執行自然語言指令,具備故障恢復和泛化能力,並可通過少量樣本適應複雜長時任務(如摺疊紙箱),成功率超75%。系統、數據和模型已開源。

    • EgoSteer是一個全棧系統,從第一人稱視頻中學習可控靈巧操作。
    • EgoSmith數據流水線提供9.6K小時高質量預訓練數據,吞吐量是此前最優的9倍。
    站內正文

    噪聲錨定擴散反演中的壓縮不對稱性與軌跡綁定

    本文研究了真實圖像擴散反演中的質量-成本權衡,揭示了元素級壓縮不對稱性和軌跡綁定兩個關鍵機制,並由此提出訓練無關的反演方法NARC。該方法僅需存儲單個int8潛碼錨點,在保持重建質量的同時將存儲需求降低約400倍,在PIE-Bench++上PSNR提升3.24 dB。

    • 擴散噪聲存在元素級壓縮不對稱性:int8全維度錨點可保真重建,而低維子空間摘要不可靠。
    • 反演過程具有軌跡綁定特性,需要匹配的前向錨點和訓練好的分數網絡共同作用。
    站內正文

    走向真實世界的可穿戴運動重建

    ECCV 2026接收的一篇論文提出了一種新的可穿戴運動捕捉方法,能夠從任意組合的消費級設備(如智能手機、智能手錶)重建全身運動,並引入了WHIP模型和一個包含50種活動的多模態數據集,同時系統研究了傳感器互補性。

    • 提出WHIP模型,可從任意可穿戴傳感器子集重建全身運動
    • 創建了大規模多模態數據集,涵蓋50種活動,使用消費級傳感器
    站內正文

    時間印記:在多模態知識圖譜中學習時間感知表示

    多模態知識圖譜通過文本和圖像等模態豐富實體,但高度相似的多模態特徵仍難以區分。時間信息可作為額外模態進行消歧,但現有方法因時間語義稀疏和多時間戳噪聲而鮮有將時間作為獨立模態。本文提出時間印記框架,將時間視為實體級模態,通過三視角對比目標對齊時間、文本和視覺表示,並設計緊湊時間戳子集選擇與注意力池化以兼顧特異性和魯棒性。實驗表明,該方法在鏈接預測任務上達到最優,整體 Hits@1 提升最高 6.07%,在 top-1% 高歧義樣本上提升達 58%。

    • 提出將時間作為獨立模態融入多模態知識圖譜,通過三視角對比學習對齊多模態表示。
    • 設計緊湊時間戳子集選擇和注意力池化,解決多時間戳歧義問題。
    站內正文

    基於RISC-V多核MCU視覺系統的低功耗車牌檢測與識別

    本文首次演示了基於低功耗MCU的邊緣設備用於自動車牌識別(ALPR)。該設計利用9核RISC-V處理器GAP8,結合QVGA超低功耗灰度成像器,採用基於SSDlite-MobilenetV2和LPRNet的多模型推理方法,在公共數據集上達到38.9%的mAP和超過99.13%的識別率。在真實世界中可識別小至30x5像素的車牌。多模型推理(687 MMAC)在GAP8上以1.09 FPS和117 mW運行,相比樹莓派3系統能效提升73倍,且無需硬連線加速引擎。

    • 首個基於MCU的低功耗ALPR邊緣設備,使用9核RISC-V處理器GAP8。
    • 多模型方法:SSDlite-MobilenetV2用於檢測(mAP 38.9%),LPRNet用於識別(>99.13%)。
    站內正文

    ReflectWorld-MM:面向實體的開放視頻流多媒體記憶系統

    ReflectWorld-MM是一種新型AI系統,使助手能夠持續處理和記憶開放視頻流,通過圍繞持久實體而非幀來組織記憶,在六個基準測試中取得了最先進的結果。

    • ReflectWorld-MM圍繞實體而非幀組織視頻記憶,提升了長期跟蹤能力。
    • 系統包括三個部分:感知前端、分層長期記憶和實際部署實現。
    站內正文

    RSLoRA:通過表示敏感性探測進行LoRA免訓練秩分配

    RSLoRA是一種基於激活空間幾何的免訓練、免梯度秩分配方法。它引入虛擬表示探測機制,通過有效秩和弗雷歇距離識別高敏感性模塊,在多個基準測試中優於AdaLoRA和GoRA等最新分配器。

    • RSLoRA無需迭代訓練調整和反向梯度。
    • 利用有效秩和弗雷歇距離測量結構化低秩噪聲引起的流形位移。
    站內正文

    通過圖譜對齊的時空標記化實現寬場鈣成像的跨主體建模

    一種名為WiCAT的新模型,利用自監督預訓練在寬場鈣成像數據上實現了跨主體建模,超越了單會話模型,並首次實現了對未見主體的零樣本行為解碼。

    • WiCAT引入基於圖譜的標記化方案,無需會話特定組件,學習全局共享的時空表徵。
    • 在多個數據集上,預訓練模型支持輕量級下游解碼,並在主體、任務和數據集間遷移。
    站內正文

    基於內部潛在分析的擴散模型統一骨幹優化框架

    研究人員提出DUNE,一種無需訓練的擴散模型優化框架,通過檢測並抑制早期深層潛在波動來減少偽影和幻覺,提升生成保真度,適用於U-Net和Transformer架構。

    • DUNE通過分析深層潛在變量中的早期劇烈波動來識別和減少偽影。
    • 該方法無需重新訓練,使用EMA標準檢測異常並應用特定骨幹抑制。
    站內正文

    非英語語言推理的成本:以日語為例

    本研究探討了訓練日語推理語言模型的可行性。通過使用GRPO對基於Qwen-3-Swallow-8B的日語持續預訓練模型進行訓練,研究者發現推理語言控制是可行的,但性能最多與英語推理基線持平。在日語文化基準測試中,模型表現甚至更差,表明日語推理並不能立即提升文化相關任務的表現。

    • 研究了訓練日語推理語言模型的可行性。
    • 使用GRPO訓練了Qwen-3-Swallow-8B的日語推理變體。
    站內正文

    高效將口語語言模型適應於新加坡語境

    本研究探索了在無法訪問原始訓練數據且需要多語言語音查詢交互的敏感領域(如新加坡內政團隊)中,如何高效地使開源口語語言模型(SLM)適應。通過結合LoRA微調、防止災難性遺忘的替代文本問答數據集以及針對語音任務改編的CoBa重加權方案的多任務目標,研究團隊構建了包含504,853個樣本的多語言問答數據集HTD-multilingual-QA,最終得到的HT-Moonstone(5B)模型在大多數任務上匹敵或超越規模大7倍的SLM,並在口音和性別識別上表現最佳,同時原始語音問答能力損失不到2%。

    • 結合LoRA、替代數據集和CoBa重加權方案,高效適配SLM至新加坡內政團隊場景
    • 構建了504,853樣本的多語言(文本+語音)問答數據集HTD-multilingual-QA
    站內正文

    量化LLM推理中的靜默失敗:基於分類法的空心收斂與故障模式轉變分析

    最新研究表明,後訓練量化會在任務準確率保持不變的情況下靜默改變大語言模型的推理方式。通過一個六類故障分類法(Cohen's κ=0.906),研究人員分析了30,000條鏈式思維輸出,發現弱精度量化(NF4)下“空心收斂”顯著依賴於模型大小,而“捷徑崩塌”和“信心滾雪球”等故障模式會發生定性轉變,且空心收斂無法通過表面文本特徵可靠檢測。

    • 後訓練量化可在保持準確率的同時靜默改變LLM推理
    • 空心收斂在小型模型上顯著減少,但大型模型不受影響
    站內正文

    工作負載驅動的設備端實時字幕翻譯優化

    本報告研究針對台灣地區的設備端英文到繁體中文字幕翻譯,在短輸入、短輸出、單批次推理、低延遲和隱私約束下的優化。作者將原始151k詞表替換為64k字幕領域分詞器,並進行嵌入校準和微調,在OpenSubtitles2024子集上實現了59.2%的勝率(排除平局),並在Apple M2上獲得1.63倍加速。

    • 設備端英文到繁體中文字幕翻譯,針對短輸入、低延遲和隱私優化。
    • 將151k詞表替換為64k字幕領域分詞器,應用嵌入校準和微調。
    站內正文

    可信賴的設計:評估和改進面向多利益相關者的LLM生成的臨牀試驗摘要

    一項新研究提出了一個基準框架,用於評估大型語言模型(LLM)生成的臨牀試驗摘要的忠實度,針對醫療提供者、患者和支付方三個利益相關者羣體。該框架從ClinicalTrials.gov選取了200個分層試驗,使用六維度註釋模式評估了GPT-4o、Claude Sonnet 4.6和Gemini 2.5 Flash生成的1800個摘要。研究發現,“無依據聲明”是所有模型最主要的失敗模式。通過知識圖譜增強檢索系統,忠實度得分獲得了統計顯著的提升。

    • 新基準框架評估LLM在臨牀試驗摘要中的忠實度,覆蓋三個利益相關者羣體。
    • “無依據聲明”是跨所有模型的主要幻覺形式,平均註釋得分僅1.55/3。
    站內正文

    基於語言模型的全球併購套利預測

    研究團隊開發了一種基於語言模型的併購套利預測系統,通過專家引導的上下文工程和事後推理微調,在400多筆跨國大型交易中實現了優於市場隱含概率和前沿語言模型的預測性能。

    • 系統通過長上下文推理處理數百頁技術文檔,預測併購交易的三種結果:按原條款完成、更高出價或交易終止。
    • 在覆蓋42個國家的400多筆交易測試中,系統的Brier分數達到0.151,比市場隱含概率低24%,比XGBoost低19%,比前沿語言模型低25-42%。
    站內正文

    Index SLM 技術報告

    Bilibili 發佈 Index-1.9B 系列開源小型語言模型,包含基礎模型、純數據對照模型、對話模型和角色扮演模型,在多項基準測試中表現優異。

    • Index-1.9B 系列包含四個模型:Base、Pure、Chat 和 Character。
    • 基礎模型在 2.8 萬億中英文 token 上預訓練,參數量 19 億。
    站內正文

    CLIR-Bench:面向不規則臨牀時間序列的多模態問答基準

    CLIR-Bench是一個專門用於評估模型在不規則臨牀時間序列上進行問答能力的基準。它基於去標識化的ICU記錄構建,包含6,600個問答實例,覆蓋11個臨牀變量,分為4個能力維度和11個任務。實驗表明,現有通用模型難以從稀疏數據中檢索和推理證據,凸顯了加強不規則時間序列推理方法的必要性。

    • CLIR-Bench包含6,600個問答實例,涵蓋11個臨牀變量和11個任務。
    • 該基準專注於不規則採樣的臨牀時間序列問答,填補了現有基準的空白。
    站內正文

    基於參考的LLM蒸餾檢測方法

    研究者提出了一種基於參考的成員推斷方法,用於檢測大型語言模型是否從其他模型蒸餾而來。該方法通過比較學生模型對不同候選教師模型輸出的偏好,結合早期檢查點,能夠以近完美精度識別教師模型,並適用於未知蒸餾流程和開放世界場景。

    • 提出參考式蒸餾檢測方法,利用早期檢查點識別教師模型
    • 方法在單教師蒸餾場景中實現近完美精度
    站內正文

    編碼代理實際需要什麼上下文才能行動?

    一項新研究顯示,編碼代理在編輯代碼時真正需要的上下文極少:信號只存在於被編輯的代碼本身,自然語言摘要幾乎無法替代源代碼回答行為問題,周圍上下文(如UML骨架)與刪除它效果無異,而壓縮上下文(如類別簽名)能以三分之一token達到完整文件的效果。此外,温度-0 API推理在相同輸入下約有9%的結果翻轉,構成了SWE-bench上所有小效果檢測的噪聲底線。研究團隊發佈了包含驗證環境、確定性補丁和預註冊假設的工具。

    • 編碼代理編輯代碼時,真正需要的信號只存在於被編輯的代碼本身。
    • 自然語言摘要無法回答源代碼能回答的絕大部分行為問題,且此差距與摘要模型大小無關(前沿模型與3B模型表現一樣差)。
    站內正文

    主題導航

    模型 — AI 主題新聞 | AI News Hub