AI模型協同設計:硬體友好的LLM設計
AI效能取決於準確性、吞吐量和互動性三個維度。本文聚焦吞吐量和互動性,探討模型設計選擇如何在不犧牲準確性的情況下最佳化兩者,旨在推動帕累託前沿向外擴充套件。
- AI效能的三個維度:準確性、吞吐量、互動性。
- 部署必須平衡三者,高準確性若響應慢則無意義。
主題流
模型更新是 AI 產品和基礎設施變化的源頭。這裡追蹤前沿模型、多模態能力、開源權重、上下文視窗、評測結果、API 變化和部署路徑,協助讀者判斷新模型是否真正改變成本、品質或可用性。
AI效能取決於準確性、吞吐量和互動性三個維度。本文聚焦吞吐量和互動性,探討模型設計選擇如何在不犧牲準確性的情況下最佳化兩者,旨在推動帕累託前沿向外擴充套件。
作者透過Basecamp基準測試評估了GPT-5.6 Sol、Fable 5、Grok 4.5等AI模型在構建前端和後端方面的表現。Fable 5在兩個賽道上均獲勝,Grok 4.5在速度和成本之間取得了最佳平衡。結果顯示,即使是頂級模型在完成度上也有顯著差異,尤其是最後10%的打磨工作。
SlimeBallBench是一個新的AI基準測試,讓AI模型在史萊姆足球遊戲中競技,評估其決策和策略能力。
前沿AI實驗室正從聊天機器人轉向整合系統,模型作為執行時,頻繁釋出強大模型和代理。本週亮點包括OpenAI的GPT-5.6(Sol、Terra、Luna),具備程式化工具呼叫和並行子代理;GPT-Live全雙工音訊;ChatGPT Work用於建立工件;Meta的Muse Spark 1.1擁有百萬token上下文和主動上下文管理;Grok 4.5專注於編碼和知識工作。研究方面,OpenAI審計表明SWE-Bench Pro基準30%任務有問題;Anthropic提出GRAM方法可選擇性移除危險知識;SkillOpt-Lite最佳化代理自我進化;DSpark和Nemotron-Labs-Diffusion改進推理效率。行業新聞包括Lovable融資3億美元,Prime Intellect融資1.3億美元,SambaNova融資10億美元等。
一項新的基準測試顯示,來自12個實驗室的18個AI模型的108個測量位置中,有97個位於左傾。結果呈現一致的進步傾向,但在經濟、外交政策和宗教方面存在例外。xAI的Grok模型最接近中心,而許多模型拒絕回答某些問題,影響了得分。
Thinking Machines Lab釋出報告《值得構建的未來以人為本》,主張AI應分散式、可定製、由使用者塑造。報告提出四個技術方向:訓練強多模態模型、提供使用者微調工具、拓寬人機互動通道、開放研究。論證隱性本地知識要求AI分散式,並透過Tinker API實現可擁有權重的LoRA微調。對比集中凍結AI,強調去中心化對齊。
sqlite-utils 4.1 是 4.0 之後的第一個小版本,引入了多項新功能,包括透過 --code 選項允許使用者在 insert 和 upsert 命令中直接嵌入 Python 程式碼生成行資料,以及透過 --type 選項覆蓋列型別,支援對 CSV 或 TSV 中的郵政編碼等欄位強制儲存為文本。此外,新增了 drop-index 命令和從標準輸入讀取查詢的功能。還新增了在 transform 中切換 STRICT 模式的能力。
作者在Mac Studio上執行Qwen3.5-122B模型時,遇到了三個導致快取失效的bug,修復後對話預填充時間從幾分鐘降至亞秒級,大幅提升了長上下文場景下的使用體驗。文章還討論了模型選擇、混合注意力機制以及效能指標的正確衡量方式。
Mesh LLM是一種新型分散式AI計算系統,透過iroh網路將多臺機器的GPU和記憶體池化,提供一個OpenAI相容的API。使用者可以在本地或對等節點上執行模型,甚至將大型模型拆分到多臺機器上。它解決了AI計算成本高、缺乏控制的問題,支援私有部署和公共網格,無需依賴中央伺服器。
兩個AI模型ChatGPT 5.5和Claude Fable 5進行即時國際象棋對決,使用者也可以免費挑戰它們。每場比賽都計入排名,AI在夜間複習中學習人類棋步。同時,它們也在執行即時交易策略。
Verdict是一個開源、基於瀏覽器的工具,用於評估AI Agent的輸出。它支援人工標註、紮根理論錯誤分析,以及將LLM裁判與人工標註進行驗證,所有操作均在本地進行,資料不會離開您的機器。
本文深入對比了三種主流的RAG評估框架:RAGAS、TruLens和DeepEval。文章首先闡述了RAG需要專門評估的原因,介紹了評估的三個層次(檢索質量、生成質量、端到端質量)和關鍵檢索指標(Precision@K、Recall@K、MRR、NDCG)。隨後詳細解析了RAGAS無需人工標註、利用LLM作為裁判的核心指標和自動測試集生成功能,以及TruLens專注於可觀測性、透過日誌記錄和RAG三元組(上下文相關性、基礎性、答案相關性)提供持續監控的能力。文章還簡要提及DeepEval,並給出了選擇框架的建議。
作者從個人編碼和審計經驗出發,對2026年中的主流AI模型進行非正式分級,涵蓋Anthropic Fable、OpenAI Sol、Mistral、Gemini和DeepSeek等模型,並融入美國出口管制和歐洲視角的評論。
螞蟻集團旗下Robytant釋出了LingBot-VA 2.0技術報告——這是一個為具身AI原生構建的因果影片-動作基礎模型,而非從影片生成器微調而來。透過前瞻推理在執行前預測未來狀態,並在每次真實觀測後重新接地,實現了225 Hz的非同步控制。本文解析了因果DiT、稀疏MoE影片流、語義視覺-動作分詞器以及論文中數字不一致之處。
在持續一週的模型釋出熱潮後,今日相對平靜。主要新聞包括GPT-5.6令人困惑的釋出及快速修正、Meta的Muse Spark 1.1以激進定價提供接近前沿的質量、開源模型工具的進步,以及安全擔憂的加劇。
GDP.pdf是一個新的基準測試,評估AI模型處理現實世界PDF文件的能力。測試涵蓋金融、法律、醫療等10個領域,結果顯示即使是頂尖模型(如GPT-5.5)的得分也低於30%。文章強調了PDF作為全球經濟命脈的重要性,並指出模型在關鍵任務中的失敗可能導致嚴重後果。
DeepSeek V3.2 現已登陸 Hugging Bay,這是一個開源 AI 工件註冊平臺,提供來源驗證、許可證稽核和可信託管服務。
Meta本週推出的新功能允許使用者透過@提及公開Instagram賬號來生成AI影像,但因未經許可使用他人內容引發強烈爭議,現已關閉。批評者指出該功能可能被用於性勒索和侵犯肖像權。
中國的開放AI模型透過促進技術合作和創新,增強了其國際形象和軟實力,推動了全球AI生態系統的多元化發展。
Ploy公司將其AI代理從Claude Opus 4.8遷移至OpenAI新發布的GPT-5.6 Sol,獲得了速度提升2.2倍、成本降低27%以及視覺評分提高的成績。遷移過程中遇到了工具呼叫引數填充、提示快取機制差異和推理重放等問題,並透過一系列工程最佳化得以解決。
MuScriptor是Kyutai與Mirelo合作開發的開源權重解碼器專用Transformer模型,能夠將多樂器音訊轉錄為MIDI。模型採用三階段訓練:在145萬合成MIDI上預訓練、17萬真實錄音(超1.1萬小時)上微調、300首人工驗證曲目上強化學習。在DTest基準上,其Multi F1達48.2%,遠超YourMT3+的21.9%。提供103M、307M和1.4B三種引數規模,推理程式碼採用MIT許可,權重採用CC BY-NC 4.0。
在2026年的AtCoder世界巡迴總決賽中,OpenAI的AI模型在啟發式和演算法兩個賽區均擊敗了人類頂級選手,甚至解決了人類無法完成的問題。主辦方頒發了“人類投降獎”。這可能是人類最後一次有機會在程式設計競賽中戰勝頂尖AI。
本週AI新聞梳理:IBM推出0.7奈米晶片技術,OpenAI與博通釋出專為推理設計的Jalapeño晶片,輝達展示全液冷AI工廠設計;政府監管加強,Anthropic恢復模型訪問許可權,OpenAI提議向美國政府轉讓5%股權;工作角色快速演變,前哨工程師、SAP外部招聘與宜家內部培訓成為焦點。
本文介紹了 NVIDIA Nemotron 3 模型的獨特架構,包括混合 Mamba-Transformer MoE 設計和支援高達 1M token 的上下文長度。亞馬遜 SageMaker AI 現在推出針對 Nemotron 3 的無伺服器模型定製服務,支援監督微調(SFT)、基於可驗證獎勵的強化學習(RLVR)和基於 AI 反饋的強化學習(RLAIF)三種技術。文章詳細說明了如何透過 SageMaker Studio 控制台或 Python SDK 準備資料、啟動定製任務、監控訓練進度和評估模型,幫助企業將通用模型轉化為領域專用資產。
本文介紹瞭如何使用vLLM在Amazon SageMaker HyperPod上透過HyperPod推理運算子實現分離式預填充和解碼(DPD)。DPD透過將預填充和解碼階段分配到不同的GPU池,消除了長提示對令牌生成的干擾,從而降低了首令牌延遲和令牌間延遲,提高了推理效能。
此次釋出顯示了美國政府目前在AI模型領域的影響力。ChatGPT Work突顯了OpenAI向企業供應商的持續演變。
本文用通俗易懂的方式解釋了微調的概念,包括預訓練與微調的區別、兩種主要微調型別(全量微調和引數高效微調)以及何時應該使用微調而非其他方法。
谷歌研究、谷歌DeepMind與大學合作者共同推出了SensorFM,這是一個基於超過1萬億分鐘感測器資料(來自500萬參與者)預訓練的可穿戴健康基礎模型。該模型採用ViT-1D掩碼自編碼器架構,在處理缺失資料方面具有創新性。在35項任務中,凍結嵌入加PCA-50線性探測器的表現優於34項特徵工程基線。此外,還介紹了自動化超引數搜尋的“智慧體課堂”以及用於評估個人健康代理的臨床醫生評價。
OpenAI 釋出了三款新 GPT-5.6 模型——Sol、Terra 和 Luna,同時更新了應用層,推出 ChatGPT Work 和 Codex 整合。新模型在基準測試中以更低成本展現了強大效能,其中 Sol 能力最強。獨立評估顯示其在編碼和代理任務上接近前沿水平。
螞蟻集團旗下具身智慧部門Robbyant釋出了LingBot-World-Infinity(LingBot-World 2.0),這是一個140億引數的因果影片生成模型,可作為互動式世界模擬器。其核心技術是雙向自迴歸混合注意力掩碼(MoBA)和分佈匹配蒸餾,旨在解決長時程漂移問題。該模型配備由視覺語言模型(VLM)和擴散變換器(DiT)組成的導演-飛行員智慧體框架,支援無限持續的影片生成。儘管研究論文展示了60分鐘不間斷會話,但開源釋出僅包含單個檢查點和480P參考指令碼,缺乏部署程式碼和定量基準,且採用非商業許可證。
OpenAI 釋出 GPT-5.6 系列,包括旗艦模型 Sol、工作模型 Terra 和快速模型 Luna。所有使用者均可免費使用。本文詳細介紹定價、效能、安全特性及實際測試結果。
提出一種資料高效、可解釋的視覺動態避障方法,利用預訓練的單目深度估計模型UniDepth和特徵匹配管道SuperPoint+SuperGlue,透過計算每個關鍵點的碰撞時間(TTC)來選擇避障動作。在M3ED資料集上評估,精確率0.49,召回率0.38,對22個障礙物中的20個成功檢測到TTC<1秒的幀。無需訓練機器人專用模型,僅需74秒資料調整超引數。
STEMbot是一種微型攀爬機器人,專為在植物冠層下方自主導航而設計,旨在實現早期害蟲檢測。它整合了PIN-SLAM和語義八叉樹,並採用流形約束A*規劃器,可在7-33毫米的莖幹上可靠攀爬,重構精度達釐米級。
APIVOT是一種基於VLM的規劃器,透過自適應交織語言和視覺思維來提升長時域機器人規劃的成功率和推理效率。在空間受限的廚房任務中,APIVOT顯著優於通用VLM和現有規劃框架,並展現出有意義的模態選擇行為。
本文提出SAGA,一種無需訓練的穩定加速引導方法,用於改善自迴歸影片擴散中的時間不穩定問題。透過加速域譜引導和結構化噪聲初始化,有效減少閃爍和抖動,提升時間質量與影像質量。
LightCrafter是一種新的影片重照明混合流水線,透過將重照明任務轉化為對物理渲染代理影片的影片翻譯,結合擴散模型與物理渲染優勢,實現了對長影片的高時間一致性且精細光照控制,在現有基準上超越先前最優,並計劃公開資料集和程式碼。
FedTR結合聯邦學習和遷移學習,解決工業視覺檢測中資料稀缺和任務複雜性問題,在標籤缺陷識別上取得高精度。
提出LOGOS,一種基於Transformer的新型方法,利用文本提示引導航空影像中的定向目標檢測,在DOTA資料集上超越現有方法,尤其適用於密集和旋轉場景。
研究人員提出了一種稱為“對抗性誘餌”的新型攻擊方法,透過獨立最佳化的影像補丁來重新定向注意力,從而規避Vision Transformers中基於注意力的防禦。該方法將分類錯誤和防禦規避解耦,攻擊無關,可輕鬆整合到現有對抗性補丁攻擊中。實驗表明,誘餌能將高注意力分數從真實對抗區域轉移開,同時保持攻擊有效性,揭示了依賴注意力大小作為對抗相關性指標的固有侷限性。
GIRAF是一種文本條件擴散模型,用於生成與可運動物體的逼真全身互動。它透過物件中心表示、混合域訓練和基於接觸的資料增強,解決了現有模型在協調運動、精細接觸和物體運動推理上的不足,並在未見過的物體配置上展現出強大的泛化能力。
DreamCharacter-1是一個輕量級後適配框架,透過幾何後訓練、紋理後訓練和推理加速三個元件,將預訓練的3D基礎模型校準為高保真、可投入生產的3D角色生成方案。實驗表明,其生成的3D角色資產在視覺吸引力和結構穩健性上均超越現有最先進方法。
識別LLM輸出中的忠實度幻覺因高質量標註資料稀缺而具有挑戰性。本文提出幻覺自我博弈(HSP)框架,使檢測器能夠與進化生成器共同提升。HSP從同一基礎模型初始化檢測器和生成器,檢測器先透過人工標註資料微調,再作為獎勵模型透過RLAIF訓練生成器產生更難檢測的幻覺,隨後生成器合成幻覺資料透過規則強化學習最佳化檢測器。在RAGTruth基準和兩個模型家族上的實驗表明,該框架能逐步增強小型LLM,使其無需外部監督即可匹配甚至超越先進LLM。
一篇新研究評估了Gemini模型作為音訊裁判在全雙工語音代理對話中的可靠性。基於209個立體聲會話,在8個維度上與人類評分者進行對比,結果顯示Gemini 2.5 Flash在多數維度上與人類高度一致,且成本僅為人類評分的約1/100。研究還指出模型切換需重新校準,並提出了部署時需注意的四個方面。
本文提出TACO方法,解決LLM強化學習中統一信用分配導致的“正信用汙染”問題。TACO透過計算尾部風險分數來抑制低機率錯誤令牌的正向更新,實驗表明該方法在多個基準上優於GRPO基線,並能提升長程RL的訓練穩定性。
本研究提出了一種基於MiniLM嵌入的多簇邊界學習方法,用於檢測超出範圍(OOS)意圖。該方法克服了傳統多類分類精度隨類別數下降以及LLM嵌入引數大的問題,在三個公共資料集上實現了最先進的效能。
自然語言處理中基於預處理的刻板印象緩解方法,雖然能減少針對目標群體的可測量刻板印象,但常常引發意想不到的副作用——相對於中性基線,其他人口統計群體的刻板印象或反刻板印象可能增加,包括不相關的人口類別。研究在兩種模型家族(僅編碼器和僅解碼器)、多種預處理策略(刪除刻板句子、刪除群體提及、交換群體引用)以及維基百科上不同資料規模的預訓練和後訓練中展示了這些副作用。標準基準測試經常忽略這些變化。透過注意力展開分析,觀察到這種副作用並未伴隨注意力流的巨大變化,使得機械論解釋複雜化。本文討論了評估的影響,提供了可操作的診斷方法,並主張進行關注副作用的透明緩解實踐。
本研究提出一種成本高效的人機協作註釋框架,用於構建多語言刻板印象資料集,並應用於西班牙語構建EspanStereo資料集,涵蓋多個西語國家的文化特定偏見。評估顯示LLMs在不同國家的刻板印象行為存在顯著差異,強調需要更文化紮根的評估方法。
本文論證了巴倫霍爾茨的自生成語言理論如何豐富哈里斯整合主義語言學,填補了其在符號前瞻開放性、語言與非語言符號連續性以及整合檔案結構方面的解釋空白。該綜合為自然語言處理和大型語言模型設計提供了理論基礎,闡明瞭統計結構的本質及其侷限性。
DeepSearch-Evolve是一個自蒸餾框架,基於可驗證的DeepSearch-World環境訓練網路智慧體。該環境包含42萬個多跳問答任務,支援進度驗證、反思和故障恢復等認知行為。在沒有更強模型蒸餾的情況下,DeepSearch-World-9B在多個基準測試中取得了有競爭力的成績,證明了可驗證環境能夠支援長週期網路智慧體的自我進化。
本文是一篇立場論文,系統回顧了人工智慧數學(AI4Math)領域的最新進展,特別是大型語言模型(LLM)驅動的定理證明器在形式化證明生成方面取得的成功。然而,現有系統在應對前沿研究數學(如發現新定理或解決開放猜想)方面存在根本性限制。作者主張AI4Math系統應從預定義問題求解器轉向能進行嚴格形式化數學推理的研究代理,並指出了現有系統在資料集、關係結構、數學探索、工具生態和人機協作等方面的核心侷限性,為未來AI4Math的發展提出了戰略路線圖。