推理成本

在AMD Advancing AI 2026活動上，AMD公司研究員兼數據中心GPU首席架構師Alan Smith詳細介紹了全新CDNA5架構。該架構從傳統的GCN基礎遷移至RDNA，採用分離式計算小芯片設計，分別優化HPC（雙精度）和AI（張量）工作負載。此外，CDNA5淘汰了Wave64支持，轉而使用四個SIMD32單元執行Wave32指令，並將每波前可訪問的矢量寄存器（VGPR）數量從256提升至1024。緩存系統也進行了重構，採用每基礎芯片的客户端L2緩存，替代了此前的Infinity Cache，以提升全局原子操作帶寬和能效。

大多數從視頻中學習的智能體需要知道每個幀是由什麼動作產生的。Induction Labs認為這一需求是瓶頸。上週，他們發佈了想象模型（imagination models），這是一種無需任何動作標籤即可在原始視頻上進行預訓練的基礎模型架構。其測試系統Photon-1是一個稀疏的106B-A5B混合專家（MoE）模型，在18年的計算機演示視頻上訓練。在內部計算機使用基準測試中，Photon-1以遠少於Gemini 3.1 Flash-Lite的預訓練計算量和約3倍的推理成本，擊敗了後者。

InferenceBench是一個新的基準測試，旨在評估AI智能體在開放式LLM推理優化中的能力。智能體需在兩小時內優化目標LLM的推理速度，涉及預填充延遲、解碼延遲和併發吞吐量等場景。測試顯示，智能體雖能超越基線，但往往收斂於單一框架，未能充分探索多樣化策略，表明瓶頸在於配置多樣性而非領域知識。

DC-Leap是一種無需訓練即可加速擴散大語言模型（dLLM）推理的框架。它通過動態連續驗證和草稿引導解碼克服了由聯合概率依賴誤差（JPDE）引起的過度保守置信閾值問題，在保持生成質量的同時實現顯著加速。實驗表明，在MBPP長序列生成任務上速度提升可達53.19倍，結合KV-Cache後可達105.02倍。

NASA噴氣推進實驗室成功將谷歌Gemma 3大語言模型部署到太空，首次在軌演示了視覺語言模型分析衞星自身傳感器圖像的能力。該系統名為NAVI-Orbital，在Loft Orbital的YAM-9衞星上運行，僅需8GB內存即可在低功耗設備上執行任務，為衞星圖像分析帶來了範式轉變。通過語義壓縮，衞星可以傳輸文本摘要而非大量原始數據，有望將野火檢測等任務的延遲從90分鐘降至近乎實時。

本文提出一種新穎方法，通過分析壓縮比特流而非解碼像素來實時檢測AI生成視頻。該方法利用編解碼器已寫入的運動場數據，實現流式感知，並支持隨時決策。在GenVidBench上，該方法僅用像素CNN五分之一數量級的計算量即達到0.64 AUC，同時通過延遲15%的片段將準確率從0.75提升至0.78，計算量減少7倍。

NEXUS是一個結構化計劃安全監控器，結合確定性安全規則、參數級檢查和校準的邏輯迴歸風險評分，對LLM代理執行四種干預措施：允許、阻止、請求確認或請求修訂。在多個基準測試中，NEXUS表現出色，F1分數高達0.949，延遲僅0.205毫秒。

一項新研究評估了在NVIDIA H100 GPU上啓用機密計算對大型語言模型推理性能的影響。測試使用Mistral-7B和Qwen3-30B-A3B模型，發現機密模式使首令牌延遲平均增加21.8%-27.8%，全局令牌吞吐量下降17.7%-21.1%，且較大模型更早達到飽和。結果表明機密GPU推理在負載下仍可保持可用吞吐量，但容量規劃需考慮性能損失和早期飽和現象。

現代語言查詢路由器通常忽略生成延遲，而僅關注響應質量和成本。本文提出一種輕量級延遲估計器，模擬自迴歸標記批處理，估計首個令牌生成時間（TTFT），並將其集成到路由決策中，實現延遲、準確率和成本的聯合優化。實驗表明，該方法在保持與標準負載均衡相同延遲的同時，將準確率-成本效用提升了高達40%。

科學家們製造了一種可編程光學芯片，能夠按需減慢光速，使工程師對光信號在電路中的傳播擁有更大的控制權。該技術可提供光計算所需的光延遲、同步和緩衝功能，最終可能降低AI服務器和數據中心的能耗、成本和複雜性。

隨着AI模型融入關鍵系統，現有軟件安全措施存在被繞過的風險。研究人員提出一組微架構旋鈕，通過動態控制GPU內存子系統的資源（如L2緩存大小、延遲、帶寬和共享內存端口訪問率），實現對AI性能的細粒度運行時限制，最高可削減80%性能，且實現成本極低。

本教程探討了 NVIDIA 的 srt-slurm 框架，學習如何使用 srtctl 將聲明式 YAML 配置轉換為可重複的 SLURM 基準測試工作流，用於分佈式 LLM 服務。在 Google Colab 中設置項目，檢查內部架構，定義集羣配置，試運行內置和自定義配方，併為 DeepSeek-R1 建模分離的預填充和解碼部署。還生成參數掃描，與類型化 Python API 交互，驗證擴展配置，並通過吞吐量與延遲的帕累託前沿分析模擬的基準測試結果。

Google發佈了Gemini 3.6 Flash和3.5 Flash-Lite，旨在降低企業AI代理的延遲和Token成本。3.6 Flash在多項基準測試中性能提升顯著，而3.5 Flash-Lite則專注於高吞吐量、低延遲的場景。此外，Google還推出了針對網絡安全的3.5 Flash Cyber模型，並集成了客户端計算機使用工具。

本文介紹ARGO智能眼鏡平台，利用STM32N6微控制器及其集成NPU實現本地機器學習，保護隱私並降低延遲。通過軟硬件協同設計，部署優化後的YOLOv11模型進行實時城市障礙物識別，引入頭並行注意力機制（HPA）適配NPU，模型僅佔用2.483 MB內存，mAP50-95達24。該平台集成多模態傳感器，以10 FPS運行，200 mAh電池續航約113分鐘，展示了高性能、隱私保護且社交可接受輔助設備的可行性。

AI代理系統因結合大語言模型與外部工具而本質非確定性。arXiv論文提出agrepl框架，通過MITM代理攔截外部交互，實現運行軌跡的確定性重放，並憑噪聲感知差異算法區分HTTP頭部變化。實驗顯示重放保真度F=1.0，單步延遲降低98.3%。

本週精選包括如何用註冊表模式替代If-Else鏈、降低LLM延遲和推理成本的12種方法、五個真實SQL項目構建數據作品集、Git Worktrees用於AI開發、用Outlines進行結構化語言模型生成、七個用於編排本地AI代理的Python框架、10個保持AI前沿的YouTube頻道、Conductor for Gemini CLI入門、五個免費資源學習Agentic AI以及Pi編碼代理的工作方式。

Meta 的新模型 Muse Spark 1.1 現可通過 Databricks 的 Unity AI Gateway 中的模型提供商服務（MPS）使用。該服務允許組織在 Unity Catalog 中註冊提供商一次，消除 API 密鑰氾濫，並通過熟悉的權限、速率限制和護欄實現集中治理。此外，自動跟蹤每次請求的令牌使用量、延遲、成本歸屬和審計日誌，提供端到端的可觀察性。

Polestar是一種無需訓練的推理框架，通過利用令牌表示漂移來解決擴散大語言模型中KV緩存重用和解碼並行性的挑戰。它包含Polestar-Cache（用於稀疏緩存刷新）和Polestar-Commit（用於識別可提交令牌），在數學和編程基準測試上實現了高達10.73%的精度提升和3.7倍的吞吐量提升。

據報道，Alphabet推遲了其旗艦AI模型Gemini 3.5 Pro的發佈，導致股價下跌。該模型的編碼能力未達到內部預期，而競爭對手如OpenAI和Meta已推出更先進的AI編碼模型。

中國AI實驗室Moonshot AI發佈了Kimi K3模型，擁有2.8萬億參數，自稱首個“開源3T級模型”。該模型在多個基準測試中表現優異，但定價較高。作者通過“鵜鶘騎自行車”測試，展示了模型的推理成本、隱性系統提示和視覺能力，並反思了這一非正式基準的侷限性。

提出一種基於ROS-Unity的多模態遙操作架構，利用3D高斯潑濺技術生成無遮擋的外部視角，並通過軀幹振動觸覺套裝提供直觀的接近提示。在30名受試者參與的實驗中，該框架在嚴重通信延遲下表現出顯著的性能優勢，fNIRS結果顯示其能維持操作者的執行控制能力，避免認知負荷過載。

本研究通過兩階段流水線（監督微調+4位量化）將LLaMA 3 (8B)微調為高效的替代重排序器，在RAG管道中替代傳統交叉編碼器，在保持高準確率的同時顯著降低推理成本。在領域特定問答基準上，微調模型在答案相關性、上下文精度、答案相似度和答案正確性上分別提升14%、16%、19%和21%。

開源AI已達到與封閉模型的能力平價，推理成本在36個月內下降了50倍，開源權重在API調用量上佔據主導地位。儘管開發者廣泛採用開源模型（79%），但生產部署仍面臨運營工具和信任度挑戰（僅51%成功部署）。開源不僅是成本選擇，更是主權選擇，尤其在中國和全球南方國家的戰略推動下。

擴展LLM的關鍵不是增加GPU，而是消除每個請求中的不必要工作。本文介紹了12種實用的減少延遲和成本的方法。

本報告研究針對台灣地區的設備端英文到繁體中文字幕翻譯，在短輸入、短輸出、單批次推理、低延遲和隱私約束下的優化。作者將原始151k詞表替換為64k字幕領域分詞器，並進行嵌入校準和微調，在OpenSubtitles2024子集上實現了59.2%的勝率（排除平局），並在Apple M2上獲得1.63倍加速。

本文研究了一種基於小型語言模型（SLM）的閉環控制框架，通過GRPO對齊的Qwen2.5-1.5B模型，結合動作智能體、數字孿生驗證層和重提示智能體，實現了從自然語言需求規範生成控制策略。在隨機熱控制模擬中，該框架達到91.5%的動作對齊準確率，平均推理延遲3.84秒，展示了在邊緣設備上實現可重構自主控制的可行性。

Anthropic發佈了Claude Sonnet 5，這是其最強的中端代理模型，在多項基準測試中超越前代Sonnet 4.6，並縮小了與旗艦Opus 4.8的差距。Sonnet 5引入了努力水平（effort levels）以控制推理成本，在低/中努力水平下性價比極高，但高努力水平下成本可能超過Opus 4.8。它已作為Free和Pro計劃的默認模型，並可通過API調用。

本文介紹了Director，一種新的分佈式MoE推理系統，通過預測驅動的在線專家放置優化，顯著降低端到端延遲。系統採用輕量級級聯預測器或低比特量化副本預測專家激活模式，結合近乎零停機的在線遷移模塊，以及基於鬆弛優化的專家放置算法，在多項式時間內達到(1+ε)近似比。實驗表明，在Mistral、DeepSeek和Qwen等流行MoE模型上，相比現有工作延遲降低11%~55%。

KV-PRM是一種高效的過程獎勵模型，通過直接利用大語言模型生成階段自然產生的KV緩存，避免了文本重新編碼，將評分成本從O(L²)降至O(L)。實驗表明，在多個基準上，KV-PRM在匹配或超越文本PRM性能的同時，實現了高達5000倍的FLOPs減少、37倍延遲降低和34倍內存佔用減少。

亨利·沙因公司開發了Image Verify，這是一個基於Amazon SageMaker AI的AI驅動系統，可實時評估牙科X光片質量，減少保險理賠拒付。該系統在數月內從概念擴展到超過10,000個場所，處理了數百萬張X光片，中位延遲低於2秒。

本文介紹瞭如何使用vLLM在Amazon SageMaker HyperPod上通過HyperPod推理運算符實現分離式預填充和解碼（DPD）。DPD通過將預填充和解碼階段分配到不同的GPU池，消除了長提示對令牌生成的干擾，從而降低了首令牌延遲和令牌間延遲，提高了推理性能。

Infinity-Parser2 是一個結合可控數據合成與多任務強化學習的大規模多模態模型，旨在解決文檔解析中標註數據稀缺的問題。它開源了包含500萬樣本的中英文雙語語料庫 Infinity-Doc2-5M，並提出了聯合強化學習框架統一八項任務。Flash 版針對低延遲優化，Pro 版在多項基準上達到新 SOTA。

隨着代理型AI用例增多，實時交互需求推動推理基礎設施重構。d-Matrix與NVIDIA合作推出異構計算解決方案，通過堆疊DRAM和邏輯芯片提升內存帶寬，實現低延遲快速令牌生成，開啓新的營收層級。

OpenAI於週四發佈了其最新的高級AI模型ChatGPT 5.6，此前因美國政府擔憂網絡安全而推遲了公開發布。特朗普政府上月要求OpenAI將發佈範圍限制在政府批准的小部分用户內。OpenAI遵從了要求，在向政府官員介紹能力後，僅向受信任合作伙伴開放。更廣泛的發佈是在政府AI標準與創新機構進行額外測試後進行的。此舉與競爭對手Anthropic最新AI模型所受限制類似。

該研究探討了注意力機制中得分矩陣的譜特性如何受位置編碼影響。通過分析七個預訓練模型，發現RoPE下的前詞頭具有旋轉譜，而絕對位置編碼和ALiBi則不然。動態分析表明譜特徵在行為之後出現，因果實驗顯示沒有譜通道是必需的，但移除會延遲學習。

LangChain與NVIDIA合作推出NemoClaw深度代理藍圖，結合LangChain深度代理代碼、NVIDIA Nemotron 3 Ultra和OpenShell，為企業構建開放、受治理的代理系統。該藍圖在代理評估中實現了領先性能，且推理成本降低約10倍。

NVIDIA Nemotron 3 Ultra 與 LangChain 深度代理框架結合，在開放模型中取得最高準確率，同時以比頂級封閉模型低 10 倍的推理成本完成更多任務。該成果無需重新訓練模型，而是通過優化模型周圍環境實現。Abridge、Amdocs、Box 等企業正在將專業代理嵌入其平台，EY 等系統集成商則基於此開放棧為客户構建定製化代理。

AI推理成本分化：普通模型價格走低，前沿模型費用飆升。企業AI支出佔勞動力成本10-20%，但存在效率拐點。開源模型接近前沿水平，成本優勢顯著。

該研究提出將記憶存儲移入語言代理的推理循環中，在每個步驟讀取和寫入，以克服網絡延遲問題。實驗表明，進程內存儲（約100微秒）可將冗餘動作從7.2/12降至0.0/12，並將召回率從0/5提升至3.6-4.8/5。瓶頸在於嵌入生成而非存儲。

一位開發者將個人簡歷網站改造為AI聊天界面，訪客可通過對話探索其職業經歷。網站採用Groq進行LLM推理，延遲僅100-200毫秒，並故意限制令牌生成速度以模擬自然對話。後端使用純Swift構建，無客户端JavaScript。

OpenAI在API中新增了兩個Realtime模型：gpt-realtime-2.1和gpt-realtime-2.1-mini。後者是一款針對實時語音的迷你推理模型，定價與之前的gpt-realtime-mini相同。OpenAI還通過改進緩存將p95延遲降低了至少25%。本文介紹了模型的變化、定價對比以及如何通過WebRTC連接。

Edgee AI發佈Compressor V2，通過三層正交壓縮策略（簡潔輸出、工具表面縮減、工具結果修剪）顯著降低LLM編碼智能體的運行成本。在SWE-bench Lite基準測試中，僅簡潔輸出策略即可實現中位數約30%的成本削減。文章詳細闡述了壓縮的必要性、V1到V2的演進、實驗方法和統計顯著性驗證，展示了壓縮技術在經濟性、延遲、上下文窗口和吞吐量方面的綜合優勢。

本文提出SegFS，一種雙流快慢框架，用於開放詞彙視頻實例分割（OV-VIS）。通過在稀疏關鍵幀上使用開放詞彙對象模型預測實例表示，並將這些表示投影回主幹特徵空間以調節輕量級快速網絡，SegFS在不犧牲準確性的情況下顯著提高了效率。快速分支的延遲比面向移動的MOBIUS模型低14倍，同時保持具有競爭力的分割性能。

基於伊辛模型的熱力學計算設備在低功耗AI推理和邊緣計算中展現出巨大潛力，但針對此類硬件的大規模模型訓練方法仍然有限。本研究將高温吉布斯採樣伊辛系統的時間平均行為與神經網絡推理的理論對應關係轉化為一種可擴展的、純反向傳播的算法，用於訓練深度卷積網絡在伊辛機硬件上進行熱力學推理。在CIFAR-10和CIFAR-100數據集上，模型分別達到94.9%和76.0%的準確率。此外，還開發了推理成本與精度之間關係的數學理論，並給出了最優推理調度算法。最後討論了硬件開發的影響和高温熱力學AI模型的未來。

Hugging Face 與 Cerebras 合作，利用 Gemma 4 模型打造實時語音 AI 系統，通過開放模塊化架構顯著降低延遲，實現更自然的對話體驗。該系統集成 Nvidia 的語音識別、Cerebras 的推理加速和 Alibaba 的語音合成，已在 9000 多台 Reachy Mini 機器人中應用。

RunInfra是一個AI推理優化平台，可自動為開放模型選擇最佳的推理引擎、GPU和配置，並提供可部署的堆棧。它通過基準測試和調優，大幅降低延遲、提高吞吐量並降低成本。

Anthropic發佈了Claude Sonnet 5，這是其最強的中端代理模型，在多項基準測試中超越前代Sonnet 4.6，並縮小了與旗艦Opus 4.8的差距。Sonnet 5引入了努力水平（effort levels）以控制推理成本，在低/中努力水平下性價比極高，但高努力水平下成本可能超過Opus 4.8。它已作為Free和Pro計劃的默認模型，並可通過API調用。

本文介紹了一種兩層級聯方法，其中一個小型專用模型處理絕大多數簡單查詢，並在遇到困難問題時自動調用大型前沿模型。這種方法在保持與全部使用大模型相當的質量的同時，顯著降低了成本和延遲。

螢火蟲航空的藍色幽靈2號任務將在月球軌道上使用NVIDIA Jetson邊緣AI平台，實現直接在太空進行AI推理，大幅減少數據傳輸延遲。該任務搭載Ocula月球成像服務，用於繪製着陸點、探測礦物組成等，支持未來人類和機器人探索。

Kog發佈了Laneformer 2B，一個23億參數的指令微調編碼模型，專為高速單請求推理從頭設計。通過將模型架構與推理引擎協同設計，Kog引入了延遲張量並行（DTP）和車道結構Transformer以隱藏通信開銷。該模型在編碼基準上取得競爭性結果（HumanEval+ 45.1%，MBPP+ 51.6%），現已在Hugging Face上開源。