Fable 再次延期可用
由於 GPT-5.6 Sol 被明確歸類為 Fable/Mythos 級模型,Anthropic 再次延長了 Claude Max 計劃中 Fable 模型的可用期限至 7 月 19 日。此舉原因為計算資源限制,而 OpenAI 則對 GPT-5.6 的訪問限制顯得更有信心。作者認為 Anthropic 應永久保留 Fable 訪問權限,否則用户會因不確定性而轉向 OpenAI。
- Anthropic 將 Claude Fable 5 的訪問延長至 7 月 19 日。
- 延期原因是計算資源約束,需評估需求與可用性。
AI模型協同設計:硬件友好的LLM設計
AI性能取決於準確性、吞吐量和交互性三個維度。本文聚焦吞吐量和交互性,探討模型設計選擇如何在不犧牲準確性的情況下優化兩者,旨在推動帕累託前沿向外擴展。
- AI性能的三個維度:準確性、吞吐量、交互性。
- 部署必須平衡三者,高準確性若響應慢則無意義。
GPT-5.6、Fable 5和Grok 4.5根據同一規格重建Basecamp
作者通過Basecamp基準測試評估了GPT-5.6 Sol、Fable 5、Grok 4.5等AI模型在構建前端和後端方面的表現。Fable 5在兩個賽道上均獲勝,Grok 4.5在速度和成本之間取得了最佳平衡。結果顯示,即使是頂級模型在完成度上也有顯著差異,尤其是最後10%的打磨工作。
- Fable 5在前端和後端基準測試中均得分最高,接近真實Basecamp實現。
- Grok 4.5以9.30美元的成本在37分鐘內完成構建,速度成本比最優。
SlimeBallBench · AI模型玩史萊姆足球
SlimeBallBench是一個新的AI基準測試,讓AI模型在史萊姆足球遊戲中競技,評估其決策和策略能力。
- SlimeBallBench測試AI在史萊姆足球遊戲中的表現
- 該基準評估AI的決策和策略制定能力
The Sequence Radar #893:上週AI動態:GPT-5.6、Grok 4.5、Muse Spark 1.1與後聊天機器人棧
前沿AI實驗室正從聊天機器人轉向集成系統,模型作為運行時,頻繁發佈強大模型和代理。本週亮點包括OpenAI的GPT-5.6(Sol、Terra、Luna),具備程序化工具調用和並行子代理;GPT-Live全雙工音頻;ChatGPT Work用於創建工件;Meta的Muse Spark 1.1擁有百萬token上下文和主動上下文管理;Grok 4.5專注於編碼和知識工作。研究方面,OpenAI審計表明SWE-Bench Pro基準30%任務有問題;Anthropic提出GRAM方法可選擇性移除危險知識;SkillOpt-Lite優化代理自我進化;DSpark和Nemotron-Labs-Diffusion改進推理效率。行業新聞包括Lovable融資3億美元,Prime Intellect融資1.3億美元,SambaNova融資10億美元等。
- OpenAI發佈GPT-5.6,分為Sol、Terra、Luna,支持程序化工具調用和並行子代理。
- GPT-Live實現全雙工音頻對話,從回合制轉向連續交互。
流行AI模型的政治中立性基準
一項新的基準測試顯示,來自12個實驗室的18個AI模型的108個測量位置中,有97個位於左傾。結果呈現一致的進步傾向,但在經濟、外交政策和宗教方面存在例外。xAI的Grok模型最接近中心,而許多模型拒絕回答某些問題,影響了得分。
- 97/108的測量位置左傾
- 環境維度進步傾向最強(-0.82)
Mira Murati的Thinking Machines Lab提出基於可定製模型權重的以人為中心AI技術方案
Thinking Machines Lab發佈報告《值得構建的未來以人為本》,主張AI應分佈式、可定製、由用户塑造。報告提出四個技術方向:訓練強多模態模型、提供用户微調工具、拓寬人機交互通道、開放研究。論證隱性本地知識要求AI分佈式,並通過Tinker API實現可擁有權重的LoRA微調。對比集中凍結AI,強調去中心化對齊。
- Thinking Machines Lab提出以人為中心的AI技術方案,強調分佈式和可定製。
- 報告指出隱性、本地知識要求AI分佈式,而非集中凍結。
sqlite-utils 4.1 發佈
sqlite-utils 4.1 是 4.0 之後的第一個小版本,引入了多項新功能,包括通過 --code 選項允許用户在 insert 和 upsert 命令中直接嵌入 Python 代碼生成行數據,以及通過 --type 選項覆蓋列類型,支持對 CSV 或 TSV 中的郵政編碼等字段強制存儲為文本。此外,新增了 drop-index 命令和從標準輸入讀取查詢的功能。還添加了在 transform 中切換 STRICT 模式的能力。
- 引入 --code 選項,允許通過 Python 代碼生成行數據進行插入或更新
- 新增 --type 選項,用於在創建表時覆蓋列類型
修復三個Bug,讓Qwen3.5-122B在Mac Studio上成為日常驅動
作者在Mac Studio上運行Qwen3.5-122B模型時,遇到了三個導致緩存失效的bug,修復後對話預填充時間從幾分鐘降至亞秒級,大幅提升了長上下文場景下的使用體驗。文章還討論了模型選擇、混合注意力機制以及性能指標的正確衡量方式。
- Qwen3.5-122B模型在Mac Studio上因混合注意力架構導致前綴緩存頻繁失效。
- 三個Bug分別涉及系統提示中的時間戳、中斷時未保存回覆以及檢查點存儲中的垃圾寫入。
Mesh LLM:基於iroh的分佈式AI計算
Mesh LLM是一種新型分佈式AI計算系統,通過iroh網絡將多台機器的GPU和內存池化,提供一個OpenAI兼容的API。用户可以在本地或對等節點上運行模型,甚至將大型模型拆分到多台機器上。它解決了AI計算成本高、缺乏控制的問題,支持私有部署和公共網格,無需依賴中央服務器。
- Mesh LLM將多台機器的GPU資源池化,提供統一的OpenAI兼容API
- 支持本地運行、路由到對等節點或拆分模型跨多台機器
兩個大語言模型在線下國際象棋,每局後重新訓練自己的大腦
兩個AI模型ChatGPT 5.5和Claude Fable 5進行實時國際象棋對決,用户也可以免費挑戰它們。每場比賽都計入排名,AI在夜間複習中學習人類棋步。同時,它們也在運行實時交易策略。
- ChatGPT 5.5與Claude Fable 5進行實時國際象棋對決
- 用户可免費挑戰AI,無需賬户
我構建了一個免費工具來評估AI Agent輸出(人工標註與LLM裁判)
Verdict是一個開源、基於瀏覽器的工具,用於評估AI Agent的輸出。它支持人工標註、紮根理論錯誤分析,以及將LLM裁判與人工標註進行驗證,所有操作均在本地進行,數據不會離開您的機器。
- Verdict完全在瀏覽器中運行,無需後端或賬户。
- 支持多種追蹤格式,並提供簡潔的聊天時間線供審查。
RAG評估框架對比:RAGAS vs TruLens vs DeepEval
本文深入對比了三種主流的RAG評估框架:RAGAS、TruLens和DeepEval。文章首先闡述了RAG需要專門評估的原因,介紹了評估的三個層次(檢索質量、生成質量、端到端質量)和關鍵檢索指標(Precision@K、Recall@K、MRR、NDCG)。隨後詳細解析了RAGAS無需人工標註、利用LLM作為裁判的核心指標和自動測試集生成功能,以及TruLens專注於可觀測性、通過日誌記錄和RAG三元組(上下文相關性、基礎性、答案相關性)提供持續監控的能力。文章還簡要提及DeepEval,並給出了選擇框架的建議。
- RAG系統需要專門評估,傳統指標BLEU/ROUGE無法捕獲檢索與生成的失敗模式。
- RAGAS使用LLM裁判,無需參考答案即可評估忠実度、答案相關性等,並支持自動生成測試集。
2026年中AI模型分級
作者從個人編碼和審計經驗出發,對2026年中的主流AI模型進行非正式分級,涵蓋Anthropic Fable、OpenAI Sol、Mistral、Gemini和DeepSeek等模型,並融入美國出口管制和歐洲視角的評論。
- Fable(Anthropic)被評為B級,雖然流暢但不可靠,常隱藏錯誤。
- Sol(OpenAI)被評為S級,在低級代碼和測試方面表現出色,值得信賴。
螞蟻集團Robytant發佈LingBot-VA 2.0:為物理AI原生構建的因果視頻-動作模型
螞蟻集團旗下Robytant發佈了LingBot-VA 2.0技術報告——這是一個為具身AI原生構建的因果視頻-動作基礎模型,而非從視頻生成器微調而來。通過前瞻推理在執行前預測未來狀態,並在每次真實觀測後重新接地,實現了225 Hz的異步控制。本文解析了因果DiT、稀疏MoE視頻流、語義視覺-動作分詞器以及論文中數字不一致之處。
- LingBot-VA 2.0是原生具身AI模型,而非微調的視頻生成器。
- 採用因果DiT和稀疏MoE架構,語義分詞器,通過前瞻推理實現實時控制。
AINews:今日平靜,模型發佈潮後的小憩
在持續一週的模型發佈熱潮後,今日相對平靜。主要新聞包括GPT-5.6令人困惑的發佈及快速修正、Meta的Muse Spark 1.1以激進定價提供接近前沿的質量、開源模型工具的進步,以及安全擔憂的加劇。
- GPT-5.6發佈36種變體,用户體驗問題導致快速修正。
- Meta推出Muse Spark 1.1,定價激進,性能接近前沿模型。
GDP.pdf:前沿模型能否掌握驅動世界的文檔?
GDP.pdf是一個新的基準測試,評估AI模型處理現實世界PDF文檔的能力。測試涵蓋金融、法律、醫療等10個領域,結果顯示即使是頂尖模型(如GPT-5.5)的得分也低於30%。文章強調了PDF作為全球經濟命脈的重要性,並指出模型在關鍵任務中的失敗可能導致嚴重後果。
- GDP.pdf基準測試包含100個真實世界提示和PDF,覆蓋10個專業領域。
- 所有前沿模型得分均低於30%,GPT-5.5以25%居首。
DeepSeek V3.2 在 Hugging Bay 上發佈
DeepSeek V3.2 現已登陸 Hugging Bay,這是一個開源 AI 工件註冊平台,提供來源驗證、許可證審核和可信託管服務。
- DeepSeek V3.2 已在 Hugging Bay 上發佈。
- Hugging Bay 是一個開源註冊表,具備來源驗證和信任功能。
Meta關閉Instagram功能,該功能允許用户針對公開賬號製作AI深度偽造內容
Meta本週推出的新功能允許用户通過@提及公開Instagram賬號來生成AI圖像,但因未經許可使用他人內容引發強烈爭議,現已關閉。批評者指出該功能可能被用於性勒索和侵犯肖像權。
- Meta本週推出的AI圖像功能因允許用户基於公開Instagram賬號內容生成深度偽造內容而遭強烈批評。
- 該功能原本無需賬號所有者許可即可使用其公開內容,現已關閉。
中國的開放AI模型正在提升其全球軟實力
中國的開放AI模型通過促進技術合作和創新,增強了其國際形象和軟實力,推動了全球AI生態系統的多元化發展。
- 中國開放AI模型促進國際合作與技術交流
- 提升了中國在全球AI領域的影響力和軟實力
將生產AI代理遷移至GPT 5.6
Ploy公司將其AI代理從Claude Opus 4.8遷移至OpenAI新發布的GPT-5.6 Sol,獲得了速度提升2.2倍、成本降低27%以及視覺評分提高的成績。遷移過程中遇到了工具調用參數填充、提示緩存機制差異和推理重放等問題,並通過一系列工程優化得以解決。
- GPT-5.6 Sol在完成時間、成本和視覺評分上均優於Claude Opus 4.8
- 遷移中遇到工具調用參數全量填充問題,通過架構變換解決
Kyutai發佈MuScriptor:用於多樂器音樂轉錄至MIDI的開源權重解碼器專用Transformer
MuScriptor是Kyutai與Mirelo合作開發的開源權重解碼器專用Transformer模型,能夠將多樂器音頻轉錄為MIDI。模型採用三階段訓練:在145萬合成MIDI上預訓練、17萬真實錄音(超1.1萬小時)上微調、300首人工驗證曲目上強化學習。在DTest基準上,其Multi F1達48.2%,遠超YourMT3+的21.9%。提供103M、307M和1.4B三種參數規模,推理代碼採用MIT許可,權重採用CC BY-NC 4.0。
- MuScriptor是Kyutai和Mirelo推出的開源權重解碼器專用Transformer,用於多樂器音樂轉錄為MIDI。
- 採用三階段訓練:預訓練(合成數據)、微調(17萬真實錄音)和強化學習後訓練(300首手動驗證曲目)。
OpenAI模型在世界編程競賽中擊敗頂級人類程序員
在2026年的AtCoder世界巡迴總決賽中,OpenAI的AI模型在啓發式和算法兩個賽區均擊敗了人類頂級選手,甚至解決了人類無法完成的問題。主辦方頒發了“人類投降獎”。這可能是人類最後一次有機會在編程競賽中戰勝頂尖AI。
- OpenAI模型在2026年AtCoder總決賽的啓發式賽區中大幅領先人類選手。
- 在算法賽區,模型解決了所有五道題,包括人類無人能解的兩道。
本週AI:芯片、監管與職業變革
本週AI新聞梳理:IBM推出0.7納米芯片技術,OpenAI與博通發佈專為推理設計的Jalapeño芯片,英偉達展示全液冷AI工廠設計;政府監管加強,Anthropic恢復模型訪問權限,OpenAI提議向美國政府轉讓5%股權;工作角色快速演變,前哨工程師、SAP外部招聘與宜家內部培訓成為焦點。
- IBM發佈0.7納米芯片,性能提升50%,功耗降低70%。
- OpenAI推出專為LLM推理設計的Jalapeño芯片。
使用 Amazon SageMaker AI 無服務器模型定製微調 NVIDIA Nemotron 3 模型
本文介紹了 NVIDIA Nemotron 3 模型的獨特架構,包括混合 Mamba-Transformer MoE 設計和支持高達 1M token 的上下文長度。亞馬遜 SageMaker AI 現在推出針對 Nemotron 3 的無服務器模型定製服務,支持監督微調(SFT)、基於可驗證獎勵的強化學習(RLVR)和基於 AI 反饋的強化學習(RLAIF)三種技術。文章詳細説明了如何通過 SageMaker Studio 控制台或 Python SDK 準備數據、啓動定製任務、監控訓練進度和評估模型,幫助企業將通用模型轉化為領域專用資產。
- NVIDIA Nemotron 3 採用 Mamba-Transformer 混合 MoE 架構,僅激活部分參數即可高效運行,支持超長上下文。
- Amazon SageMaker AI 為 Nemotron 3 提供無服務器模型定製,用户無需管理基礎設施即可進行微調。
在SageMaker HyperPod上實現LLM推理的分離式預填充和解碼
本文介紹瞭如何使用vLLM在Amazon SageMaker HyperPod上通過HyperPod推理運算符實現分離式預填充和解碼(DPD)。DPD通過將預填充和解碼階段分配到不同的GPU池,消除了長提示對令牌生成的干擾,從而降低了首令牌延遲和令牌間延遲,提高了推理性能。
- 分離式預填充和解碼(DPD)將LLM推理的預填充和解碼階段分開,運行在獨立的GPU池上。
- DPD顯著提升長上下文、高併發流式工作負載的性能。
GPT-5.6如何反映新的AI監管
此次發佈顯示了美國政府目前在AI模型領域的影響力。ChatGPT Work突顯了OpenAI向企業供應商的持續演變。
- 美國政府的影響力在AI模型監管中日益顯著。
- GPT-5.6的發佈體現了新的監管環境。
面向初學者的微調解釋(預訓練模型如何學習新技能)
本文用通俗易懂的方式解釋了微調的概念,包括預訓練與微調的區別、兩種主要微調類型(全量微調和參數高效微調)以及何時應該使用微調而非其他方法。
- 預訓練使模型學習通用語言知識,為微調打下基礎。
- 微調使用少量高質量任務特定數據,調整模型以完成特定任務。
谷歌推出SensorFM:基於一萬億分鐘傳感器數據預訓練的可穿戴健康基礎模型
谷歌研究、谷歌DeepMind與大學合作者共同推出了SensorFM,這是一個基於超過1萬億分鐘傳感器數據(來自500萬參與者)預訓練的可穿戴健康基礎模型。該模型採用ViT-1D掩碼自編碼器架構,在處理缺失數據方面具有創新性。在35項任務中,凍結嵌入加PCA-50線性探測器的表現優於34項特徵工程基線。此外,還介紹了自動化超參數搜索的“智能體課堂”以及用於評估個人健康代理的臨牀醫生評價。
- SensorFM在500萬參與者、超過1萬億分鐘的傳感器數據上預訓練,覆蓋100多個國家和20多種可穿戴設備。
- 通過自適應繼承掩碼(AIM)處理缺失數據,在隨機插補任務上比最佳基線提升74.8%。
「AINews」OpenAI 發佈 GPT 5.6 Sol/Terra/Luna,Codex 成為 ChatGPT 超級應用
OpenAI 發佈了三款新 GPT-5.6 模型——Sol、Terra 和 Luna,同時更新了應用層,推出 ChatGPT Work 和 Codex 集成。新模型在基準測試中以更低成本展現了強大性能,其中 Sol 能力最強。獨立評估顯示其在編碼和代理任務上接近前沿水平。
- OpenAI 推出 GPT-5.6 三種尺寸:旗艦級 Sol、中端 Terra 和低成本 Luna。
- 全新 ultra 推理級別可並行協調多個代理處理複雜任務。
遇見LingBot-World-Infinity:一個開源的因果世界模型與智能體框架
螞蟻集團旗下具身智能部門Robbyant發佈了LingBot-World-Infinity(LingBot-World 2.0),這是一個140億參數的因果視頻生成模型,可作為交互式世界模擬器。其核心技術是雙向自迴歸混合注意力掩碼(MoBA)和分佈匹配蒸餾,旨在解決長時程漂移問題。該模型配備由視覺語言模型(VLM)和擴散變換器(DiT)組成的導演-飛行員智能體框架,支持無限持續的視頻生成。儘管研究論文展示了60分鐘不間斷會話,但開源發佈僅包含單個檢查點和480P參考腳本,缺乏部署代碼和定量基準,且採用非商業許可證。
- LingBot-World-Infinity是螞蟻集團Robbyant發佈的140億參數因果視頻生成模型,支持交互式無限世界模擬。
- 核心創新為MoBA注意力機制與分佈匹配蒸餾,有效緩解長時程漂移現象。
GPT-5.6 正式發佈:Sol、Terra 和 Luna 三款模型
OpenAI 發佈 GPT-5.6 系列,包括旗艦模型 Sol、工作模型 Terra 和快速模型 Luna。所有用户均可免費使用。本文詳細介紹定價、性能、安全特性及實際測試結果。
- 三款模型:Sol(旗艦)、Terra(工作)、Luna(快速),均開放給所有用户。
- 定價靈活:Sol 標準版 $5/$30,快速版 $12.50/$75;Terra $2.50/$15;Luna $1/$6(每百萬 token)。
基於碰撞時間的動態避障方法:利用預訓練視覺模型實現機器人在非結構化環境中的自主導航
提出一種數據高效、可解釋的視覺動態避障方法,利用預訓練的單目深度估計模型UniDepth和特徵匹配管道SuperPoint+SuperGlue,通過計算每個關鍵點的碰撞時間(TTC)來選擇避障動作。在M3ED數據集上評估,精確率0.49,召回率0.38,對22個障礙物中的20個成功檢測到TTC<1秒的幀。無需訓練機器人專用模型,僅需74秒數據調整超參數。
- 利用預訓練視覺模型UniDepth和SuperPoint+SuperGlue實現無訓練避障
- 計算關鍵點碰撞時間(TTC)並選擇地面運動原語
STEMbot:一種用於植物冠層下方導航的順應性機器人
STEMbot是一種微型攀爬機器人,專為在植物冠層下方自主導航而設計,旨在實現早期害蟲檢測。它集成了PIN-SLAM和語義八叉樹,並採用流形約束A*規劃器,可在7-33毫米的莖幹上可靠攀爬,重構精度達釐米級。
- STEMbot針對有機農業中害蟲監測勞動密集問題,實現早期檢測。
- 結合幾何PIN-SLAM與語義八叉樹,實現攀爬時的定位與建圖。
APIVOT:自適應交織視覺與語言思維的長時域機器人規劃框架
APIVOT是一種基於VLM的規劃器,通過自適應交織語言和視覺思維來提升長時域機器人規劃的成功率和推理效率。在空間受限的廚房任務中,APIVOT顯著優於通用VLM和現有規劃框架,並展現出有意義的模態選擇行為。
- APIVOT自適應地交織語言思維(語義推理)和視覺思維(幾何可行性驗證)。
- 在長時域廚房任務中,APIVOT在空間受限場景下取得最大性能提升。
SAGA:自迴歸視頻生成的穩定加速引導
本文提出SAGA,一種無需訓練的穩定加速引導方法,用於改善自迴歸視頻擴散中的時間不穩定問題。通過加速域譜引導和結構化噪聲初始化,有效減少閃爍和抖動,提升時間質量與圖像質量。
- 自迴歸視頻擴散在長期生成中容易出現時間誤差累積,導致閃爍和結構漂移。
- SAGA通過加速域譜引導和噪聲初始化策略,無需重新訓練即可提升時間穩定性。
LightCrafter:基於物理渲染條件視頻擴散精化的可控且一致重照明技術
LightCrafter是一種新的視頻重照明混合流水線,通過將重照明任務轉化為對物理渲染代理視頻的視頻翻譯,結合擴散模型與物理渲染優勢,實現了對長視頻的高時間一致性且精細光照控制,在現有基準上超越先前最優,並計劃公開數據集和代碼。
- 提出LightCrafter混合流水線,將視頻重照明轉化為代理視頻翻譯,避免了直接訓練擴散模型理解光照概念。
- 利用物理渲染代理視頻提供光照控制,並通過後訓練CogVideoX捕捉全局照明等複雜效果。
FedTR:結合遷移學習的聯邦學習框架用於工業視覺檢測
FedTR結合聯邦學習和遷移學習,解決工業視覺檢測中數據稀缺和任務複雜性問題,在標籤缺陷識別上取得高精度。
- FedTR將遷移學習與聯邦學習相結合,用於工業視覺檢測。
- 先在公共數據集上預訓練,再在分佈式私有數據上進行微調。
LOGOS:語言引導的航空場景定向目標檢測
提出LOGOS,一種基於Transformer的新型方法,利用文本提示引導航空圖像中的定向目標檢測,在DOTA數據集上超越現有方法,尤其適用於密集和旋轉場景。
- LOGOS通過提示調製的內容查詢動態調整模型焦點,提高複雜環境檢測精度。
- 在DOTA數據集上,LOGOS在密集和旋轉目標場景中表現優於現有方法。
對抗性誘餌:將基於注意力的防禦誤導至Vision Transformer中的錯誤目標
研究人員提出了一種稱為“對抗性誘餌”的新型攻擊方法,通過獨立優化的圖像補丁來重新定向注意力,從而規避Vision Transformers中基於注意力的防禦。該方法將分類錯誤和防禦規避解耦,攻擊無關,可輕鬆集成到現有對抗性補丁攻擊中。實驗表明,誘餌能將高注意力分數從真實對抗區域轉移開,同時保持攻擊有效性,揭示了依賴注意力大小作為對抗相關性指標的固有侷限性。
- 對抗性誘餌是獨立優化的圖像補丁,用於重新定向Vision Transformers中的注意力,從而規避基於注意力的防禦。
- 該方法將錯誤分類和防禦規避解耦,攻擊無關,可與任何現有對抗性補丁攻擊集成。
GIRAF:邁向與可運動物體的可泛化人體交互
GIRAF是一種文本條件擴散模型,用於生成與可運動物體的逼真全身交互。它通過對象中心表示、混合域訓練和基於接觸的數據增強,解決了現有模型在協調運動、精細接觸和物體運動推理上的不足,並在未見過的物體配置上展現出強大的泛化能力。
- 現有模型多侷限於靜態物體或僅手部操作,缺乏全身協調與物體運動的聯合推理。
- GIRAF提出對象中心表示,統一手-物體接觸與物體表面,實現跨幾何形狀的泛化。
DreamCharacter-1:從3D生成基礎模型到產品級角色生成
DreamCharacter-1是一個輕量級後適配框架,通過幾何後訓練、紋理後訓練和推理加速三個組件,將預訓練的3D基礎模型校準為高保真、可投入生產的3D角色生成方案。實驗表明,其生成的3D角色資產在視覺吸引力和結構穩健性上均超越現有最先進方法。
- 幾何後訓練通過幾何偏好優化增強表面細節
- 紋理後訓練合成高分辨率紋理並改善遮擋區域外觀
幻覺自我博弈:通過進化生成器引導強化檢測器
識別LLM輸出中的忠實度幻覺因高質量標註數據稀缺而具有挑戰性。本文提出幻覺自我博弈(HSP)框架,使檢測器能夠與進化生成器共同提升。HSP從同一基礎模型初始化檢測器和生成器,檢測器先通過人工標註數據微調,再作為獎勵模型通過RLAIF訓練生成器產生更難檢測的幻覺,隨後生成器合成幻覺數據通過規則強化學習優化檢測器。在RAGTruth基準和兩個模型家族上的實驗表明,該框架能逐步增強小型LLM,使其無需外部監督即可匹配甚至超越先進LLM。
- HSP框架通過檢測器與生成器的自我博弈迭代提升幻覺檢測能力
- 檢測器先微調後作為獎勵模型,通過RLAIF訓練生成器產生更難檢測的幻覺
全雙工語音代理中LALM音頻裁判的可靠性評估
一篇新研究評估了Gemini模型作為音頻裁判在全雙工語音代理對話中的可靠性。基於209個立體聲會話,在8個維度上與人類評分者進行對比,結果顯示Gemini 2.5 Flash在多數維度上與人類高度一致,且成本僅為人類評分的約1/100。研究還指出模型切換需重新校準,並提出了部署時需注意的四個方面。
- Gemini 2.5 Flash在5/8維度上的LALM-人類Spearman相關係數與人類之間差異不超過0.07
- LALM在6/8維度上60-92%的會話中與三名人類評分者的均值相差不超過1分
當不合理令牌被強化:面向LLM強化學習的尾部感知信用校準
本文提出TACO方法,解決LLM強化學習中統一信用分配導致的“正信用污染”問題。TACO通過計算尾部風險分數來抑制低概率錯誤令牌的正向更新,實驗表明該方法在多個基準上優於GRPO基線,並能提升長程RL的訓練穩定性。
- 識別出“正信用污染”問題:低概率錯誤令牌獲得與合理令牌相同的正信用,導致錯誤行為被強化。
- 提出TACO方法,利用本地生成上下文計算尾部風險分數,動態調整風險令牌的正向信用。
基於MiniLM嵌入的多簇邊界學習方法用於超出範圍意圖檢測
本研究提出了一種基於MiniLM嵌入的多簇邊界學習方法,用於檢測超出範圍(OOS)意圖。該方法克服了傳統多類分類精度隨類別數下降以及LLM嵌入參數大的問題,在三個公共數據集上實現了最先進的性能。
- 提出使用MiniLM嵌入的多簇邊界學習方法進行OOS意圖檢測。
- 解決了傳統多類分類和LLM嵌入方法的侷限性。
當去偏見適得其反:基於預處理的刻板印象緩解的反直覺副作用
自然語言處理中基於預處理的刻板印象緩解方法,雖然能減少針對目標羣體的可測量刻板印象,但常常引發意想不到的副作用——相對於中性基線,其他人口統計羣體的刻板印象或反刻板印象可能增加,包括不相關的人口類別。研究在兩種模型家族(僅編碼器和僅解碼器)、多種預處理策略(刪除刻板句子、刪除羣體提及、交換羣體引用)以及維基百科上不同數據規模的預訓練和後訓練中展示了這些副作用。標準基準測試經常忽略這些變化。通過注意力展開分析,觀察到這種副作用並未伴隨注意力流的巨大變化,使得機械論解釋複雜化。本文討論了評估的影響,提供了可操作的診斷方法,並主張進行關注副作用的透明緩解實踐。
- 基於預處理的去偏見方法可能對非目標羣體產生增加刻板印象的副作用。
- 副作用在僅編碼器和僅解碼器模型、多種預處理策略以及不同數據規模下均出現。
通過人機協作構建可擴展且文化特異的刻板印象數據集
本研究提出一種成本高效的人機協作註釋框架,用於構建多語言刻板印象數據集,並應用於西班牙語構建EspanStereo數據集,涵蓋多個西語國家的文化特定偏見。評估顯示LLMs在不同國家的刻板印象行為存在顯著差異,強調需要更文化紮根的評估方法。
- 提出人機協作框架,結合LLM生成候選刻板印象與本地註釋者驗證,低成本構建多語言數據集。
- 構建EspanStereo,首個覆蓋歐洲和拉丁美洲多個西語國家的刻板印象數據集,捕捉文獻中及文化特定偏見。
我如何知道接下來該説什麼?巴倫霍爾茨的自生成理論對哈里斯整合論的豐富
本文論證了巴倫霍爾茨的自生成語言理論如何豐富哈里斯整合主義語言學,填補了其在符號前瞻開放性、語言與非語言符號連續性以及整合檔案結構方面的解釋空白。該綜合為自然語言處理和大型語言模型設計提供了理論基礎,闡明瞭統計結構的本質及其侷限性。
- 整合主義語言學存在解釋空白,自生成理論可填補。
- 自生成理論提供了符號前瞻開放性的結構機制。
DeepSearch-World:可驗證環境下的深度搜索智能體自蒸餾框架
DeepSearch-Evolve是一個自蒸餾框架,基於可驗證的DeepSearch-World環境訓練網絡智能體。該環境包含42萬個多跳問答任務,支持進度驗證、反思和故障恢復等認知行為。在沒有更強模型蒸餾的情況下,DeepSearch-World-9B在多個基準測試中取得了有競爭力的成績,證明了可驗證環境能夠支持長週期網絡智能體的自我進化。
- DeepSearch-Evolve是一種自蒸餾框架,無需教師模型即可提升智能體性能。
- DeepSearch-World環境提供42萬個可復現的多跳問答任務。