推理成本

Anthropic釋出了Claude Sonnet 5，這是其最強的中端代理模型，在多項基準測試中超越前代Sonnet 4.6，並縮小了與旗艦Opus 4.8的差距。Sonnet 5引入了努力水平（effort levels）以控制推理成本，在低/中努力水平下價效比極高，但高努力水平下成本可能超過Opus 4.8。它已作為Free和Pro計劃的預設模型，並可透過API呼叫。

本文介紹了Director，一種新的分散式MoE推理系統，透過預測驅動的線上專家放置最佳化，顯著降低端到端延遲。系統採用輕量級級聯預測器或低位元量化副本預測專家啟用模式，結合近乎零停機的線上遷移模組，以及基於鬆弛最佳化的專家放置演算法，在多項式時間內達到(1+ε)近似比。實驗表明，在Mistral、DeepSeek和Qwen等流行MoE模型上，相比現有工作延遲降低11%~55%。

KV-PRM是一種高效的過程獎勵模型，透過直接利用大語言模型生成階段自然產生的KV快取，避免了文本重新編碼，將評分成本從O(L²)降至O(L)。實驗表明，在多個基準上，KV-PRM在匹配或超越文本PRM效能的同時，實現了高達5000倍的FLOPs減少、37倍延遲降低和34倍記憶體佔用減少。

亨利·沙因公司開發了Image Verify，這是一個基於Amazon SageMaker AI的AI驅動系統，可即時評估牙科X光片質量，減少保險理賠拒付。該系統在數月內從概念擴充套件到超過10,000個場所，處理了數百萬張X光片，中位延遲低於2秒。

本文介紹瞭如何使用vLLM在Amazon SageMaker HyperPod上透過HyperPod推理運算子實現分離式預填充和解碼（DPD）。DPD透過將預填充和解碼階段分配到不同的GPU池，消除了長提示對令牌生成的干擾，從而降低了首令牌延遲和令牌間延遲，提高了推理效能。

Infinity-Parser2 是一個結合可控資料合成與多工強化學習的大規模多模態模型，旨在解決文件解析中標註資料稀缺的問題。它開源了包含500萬樣本的中英文雙語語料庫 Infinity-Doc2-5M，並提出了聯合強化學習框架統一八項任務。Flash 版針對低延遲最佳化，Pro 版在多項基準上達到新 SOTA。

隨著代理型AI用例增多，即時互動需求推動推理基礎設施重構。d-Matrix與NVIDIA合作推出異構計算解決方案，透過堆疊DRAM和邏輯晶片提升記憶體頻寬，實現低延遲快速令牌生成，開啟新的營收層級。

OpenAI於週四釋出了其最新的高階AI模型ChatGPT 5.6，此前因美國政府擔憂網路安全而推遲了公開發布。特朗普政府上月要求OpenAI將釋出範圍限制在政府批准的小部分使用者內。OpenAI遵從了要求，在向政府官員介紹能力後，僅向受信任合作伙伴開放。更廣泛的釋出是在政府AI標準與創新機構進行額外測試後進行的。此舉與競爭對手Anthropic最新AI模型所受限制類似。

該研究探討了注意力機制中得分矩陣的譜特性如何受位置編碼影響。透過分析七個預訓練模型，發現RoPE下的前詞頭具有旋轉譜，而絕對位置編碼和ALiBi則不然。動態分析表明譜特徵在行為之後出現，因果實驗顯示沒有譜通道是必需的，但移除會延遲學習。

LangChain與NVIDIA合作推出NemoClaw深度代理藍圖，結合LangChain深度代理程式碼、NVIDIA Nemotron 3 Ultra和OpenShell，為企業構建開放、受治理的代理系統。該藍圖在代理評估中實現了領先效能，且推理成本降低約10倍。

NVIDIA Nemotron 3 Ultra 與 LangChain 深度代理框架結合，在開放模型中取得最高準確率，同時以比頂級封閉模型低 10 倍的推理成本完成更多工。該成果無需重新訓練模型，而是透過最佳化模型周圍環境實現。Abridge、Amdocs、Box 等企業正在將專業代理嵌入其平臺，EY 等系統整合商則基於此開放棧為客戶構建定製化代理。

AI推理成本分化：普通模型價格走低，前沿模型費用飆升。企業AI支出佔勞動力成本10-20%，但存在效率拐點。開源模型接近前沿水平，成本優勢顯著。

該研究提出將記憶儲存移入語言代理的推理迴圈中，在每個步驟讀取和寫入，以克服網路延遲問題。實驗表明，程序記憶體儲（約100微秒）可將冗餘動作從7.2/12降至0.0/12，並將召回率從0/5提升至3.6-4.8/5。瓶頸在於嵌入生成而非儲存。

一位開發者將個人簡歷網站改造為AI聊天介面，訪客可透過對話探索其職業經歷。網站採用Groq進行LLM推理，延遲僅100-200毫秒，並故意限制令牌生成速度以模擬自然對話。後端使用純Swift構建，無客戶端JavaScript。

OpenAI在API中新增了兩個Realtime模型：gpt-realtime-2.1和gpt-realtime-2.1-mini。後者是一款針對即時語音的迷你推理模型，定價與之前的gpt-realtime-mini相同。OpenAI還透過改進快取將p95延遲降低了至少25%。本文介紹了模型的變化、定價對比以及如何透過WebRTC連線。

Edgee AI釋出Compressor V2，透過三層正交壓縮策略（簡潔輸出、工具表面縮減、工具結果修剪）顯著降低LLM編碼智慧體的執行成本。在SWE-bench Lite基準測試中，僅簡潔輸出策略即可實現中位數約30%的成本削減。文章詳細闡述了壓縮的必要性、V1到V2的演進、實驗方法和統計顯著性驗證，展示了壓縮技術在經濟性、延遲、上下文視窗和吞吐量方面的綜合優勢。

本文提出SegFS，一種雙流快慢框架，用於開放詞彙影片例項分割（OV-VIS）。透過在稀疏關鍵幀上使用開放詞彙物件模型預測例項表示，並將這些表示投影回主幹特徵空間以調節輕量級快速網路，SegFS在不犧牲準確性的情況下顯著提高了效率。快速分支的延遲比面向移動的MOBIUS模型低14倍，同時保持具有競爭力的分割效能。

基於伊辛模型的熱力學計算裝置在低功耗AI推理和邊緣計算中展現出巨大潛力，但針對此類硬體的大規模模型訓練方法仍然有限。本研究將高溫吉布斯取樣伊辛系統的時間平均行為與神經網路推理的理論對應關係轉化為一種可擴充套件的、純反向傳播的演算法，用於訓練深度卷積網路在伊辛機硬體上進行熱力學推理。在CIFAR-10和CIFAR-100資料集上，模型分別達到94.9%和76.0%的準確率。此外，還開發了推理成本與精度之間關係的數學理論，並給出了最優推理排程演算法。最後討論了硬體開發的影響和高溫熱力學AI模型的未來。

Hugging Face 與 Cerebras 合作，利用 Gemma 4 模型打造即時語音 AI 系統，透過開放模組化架構顯著降低延遲，實現更自然的對話體驗。該系統整合 Nvidia 的語音識別、Cerebras 的推理加速和 Alibaba 的語音合成，已在 9000 多臺 Reachy Mini 機器人中應用。

RunInfra是一個AI推理最佳化平臺，可自動為開放模型選擇最佳的推理引擎、GPU和配置，並提供可部署的堆疊。它透過基準測試和調優，大幅降低延遲、提高吞吐量並降低成本。

Anthropic釋出了Claude Sonnet 5，這是其最強的中端代理模型，在多項基準測試中超越前代Sonnet 4.6，並縮小了與旗艦Opus 4.8的差距。Sonnet 5引入了努力水平（effort levels）以控制推理成本，在低/中努力水平下價效比極高，但高努力水平下成本可能超過Opus 4.8。它已作為Free和Pro計劃的預設模型，並可透過API呼叫。

本文介紹了一種兩層級聯方法，其中一個小型專用模型處理絕大多數簡單查詢，並在遇到困難問題時自動呼叫大型前沿模型。這種方法在保持與全部使用大模型相當的質量的同時，顯著降低了成本和延遲。

螢火蟲航空的藍色幽靈2號任務將在月球軌道上使用NVIDIA Jetson邊緣AI平臺，實現直接在太空進行AI推理，大幅減少資料傳輸延遲。該任務搭載Ocula月球成像服務，用於繪製著陸點、探測礦物組成等，支援未來人類和機器人探索。

Kog釋出了Laneformer 2B，一個23億引數的指令微調編碼模型，專為高速單請求推理從頭設計。透過將模型架構與推理引擎協同設計，Kog引入了延遲張量並行（DTP）和車道結構Transformer以隱藏通訊開銷。該模型在編碼基準上取得競爭性結果（HumanEval+ 45.1%，MBPP+ 51.6%），現已在Hugging Face上開源。

本文系統綜述了自動化演講輔導系統，涵蓋發音、流利度、韻律、多模態及問答練習工具。提出了五維任務分類體系（分段發音、詞彙重音、超音段韻律、節奏、內容忠實性），並對映了現有系統以揭示覆蓋缺口。核心技術包括基於TTS的示例生成和診斷方法。開放挑戰包括標註語料庫稀缺、跨口音公平反饋和即時低延遲診斷。

Enki是一款面向AI智慧體的記憶引擎，與mem0相比，在儲存量減少約一半的情況下，實現了相近的問答準確率。在25個例項的評估中，Enki總分14/25對12/25，在多會話推理方面表現突出（4/5對2/5）。CPU檢索延遲平均7.6毫秒。

本文對比了四種AI閘道器在請求路徑上的執行時開銷，包括延遲、吞吐量、記憶體、CPU、冷啟動時間和映象大小。測試結果顯示，GoModel在幾乎所有指標上表現最優，而LiteLLM則因資源消耗巨大而成為短板。文章還討論了閘道器的開源中立性和對本地模型部署的影響。

本文提出一種基於可微架構搜尋的方法，用於自動發現視覺提示微調中影像標記與提示標記的最佳融合方案。該方法將學習提示及其融合方式聯合最佳化，並引入仿射變換和交叉注意力兩種新融合機制。在34個資料集上的實驗表明，該方法在準確率、延遲和引數數量之間實現了良好的權衡，並揭示了混合融合方式能更有效地利用Transformer的層語義。

組織延遲正成為充分實現AI益處的最大障礙，探討如何透過組織設計來化解這一問題。

無伺服器 PostgreSQL 是一種完全託管的雲資料庫模型，將計算和儲存分離，實現獨立自動伸縮。它適用於突發性或不可預測的工作負載，但不太適合始終線上、對延遲敏感的應用程式。文章還介紹了基於無伺服器 Postgres 的 Lakebase 架構，該架構統一了事務和分析工作負載，減少資料重複，簡化了對 AI 和即時應用程式的訪問。

本文研究了在自我中心視覺理解中，如何透過權重剪枝實現低延遲視覺-語言模型，同時保證預測的準確性和證據基礎（雙重正確）。現有剪枝方法常保持證據定位但損害準確性，作者提出理由告知剪枝策略，在自我中心影片資料集上達到了最高準確率和雙重正確預測。

Wan-Streamer 是一個原生流式、端到端的互動基礎模型，專為低延遲、全雙工信視聽互動設計。它在一個Transformer中統一建模語言、音訊和影片的輸入輸出，使用塊因果注意力實現增量流式，無需依賴外部模組。模型側響應延遲約200毫秒，總互動延遲約550毫秒，支援亞秒級雙工信視聽通訊。

Modal團隊深入介紹了其新型超低延遲Serverless Servers的設計原理和實現細節，該服務針對LLM推理等對延遲敏感的應用進行了最佳化。文章解釋了為何選擇構建自己的代理層fprs，以及如何透過Pingora庫、Envoy邊緣代理和Spanner全域性資料庫實現無網路呼叫熱路徑、動態域名關聯和自動縮放。

Gradium推出了兩款即時語音翻譯模型：stt-translate（語音轉文本）和s2s-translate（語音轉語音），覆蓋英語、法語、德語、西班牙語和葡萄牙語共20種語言對。透過將傳統的三模型級聯簡化為兩個階段，模型在BLEU和MetricX指標上優於GPT Realtime Translate，平均延遲3.0秒，略遜於Gemini的2.9秒，但支援輸出語音選擇和克隆。

VoltanaLLM提出了一種基於反饋的頻率控制器和狀態空間路由器，用於預填/解碼分離的LLM服務架構，在保持延遲SLO的同時實現高達36.3%的能耗節省。該工作在多個LLM和NVIDIA A100 GPU上進行了評估。

現代影片擴散模型透過擴充套件規模提升了生成質量，但也帶來了高昂的推理成本。Sol影片推理引擎提出了一種無需訓練的智慧體加速框架，透過快取、稀疏注意力、token剪枝、量化和核心融合五種技術，針對具體模型、硬體和配置進行例項特定最佳化。在三個不同規模的影片模型上，該框架實現了超過2倍的端到端加速，同時幾乎不損失VBench質量指標。

Upbound Inc. 今天釋出了Modelplane，這是一個用於管理人工智慧推理叢集的新型開源工具。該工具基於其之前的Crossplane專案，旨在簡化跨多個雲平臺的推理工作負載分佈，自動分配資源，並透過分散式快取減少延遲。

NVIDIA與AWS合作，透過新的EC2 G7例項（搭載Blackwell GPU）和OpenSearch Serverless中的GPU加速向量索引（由cuVS驅動），以及AWS獲得NVIDIA GB300訓練的Exemplar雲狀態，為企業提供可擴充套件、低延遲的AI基礎設施。

Modal與Decagon合作，利用推測解碼將推理延遲降低100毫秒，超越了專有推理提供商。本文詳細介紹了透過最佳化通訊延遲、主機開銷、預填充延遲和解碼延遲來實現低延遲的完整策略，並重點展示了為特定應用定製推測模型（DFlash技術）如何帶來顯著效能提升。

Modal 推出 Auto Endpoints，一個自服務的生產級 LLM 推理入口，讓使用者透過單一命令列即可部署前沿開放模型，並完全掌控推理程式碼、指標和基礎設施。該服務基於 Modal 的 AI 基礎設施平臺，提供高效能自動擴縮、自定義容器執行時和全球 GPU 資源，並透過 Modal Servers 實現超低延遲路由（5ms 開銷）。預調優的推理方案源自與頂級團隊的合作經驗，並採用 DFlash 投機解碼加速。未來將實現推理工程全自動化。

Sakana AI 推出 Fugu，一個透過單一API動態編排多種模型的多智慧體系統，在編碼、推理等複雜任務上達到前沿效能，且不依賴單一供應商。基於ICLR 2026論文，Fugu學習自動組合和協調專家模型，提供兩種版本：Fugu（平衡效能與延遲）和Fugu Ultra（針對高強度問題最佳化）。在多個基準測試中，Fugu模型與頂尖模型並駕齊驅，甚至超越。目前EU/EEA區域暫不可用。

Amazon SageMaker AI 現在提供超過 100 種詳細的推理指標，涵蓋 GPU 健康、令牌級延遲、KV 快取壓力、可用區流量分佈等。這些指標透過內建的 SageMaker Insights 儀表板在 CloudWatch 中展示，支援 PromQL 查詢。本文介紹如何啟用詳細可觀測性、導航儀表板以及將指標連線到外部工具。

谷歌Home Speaker將於6月29日發貨，比原定的春季視窗略有延遲。這款99美元的揚聲器專為Gemini for Home設計，支援Matter和Thread邊界路由器，提供360度音效，並可選四種顏色。

Databricks在2026年資料+AI峰會上宣佈了AI平臺的多項新功能，包括用於機器學習的Genie Code智慧體、公開預覽的AI Runtime（無伺服器GPU訓練環境），以及增強的即時ML支援（低延遲、高QPS的特徵儲存和模型服務）。這些功能旨在加速從實驗到生產的AI應用開發。

本文介紹了 MLLP-VRAIN 研究組參與 IWSLT 2026 同聲傳譯共享任務的系統。該系統利用最新發布的 Parakeet 和 Qwen 3.5 模型，透過自適應“黑盒”策略構建魯棒的級聯解決方案，並探索策略鬆弛以最佳化質量-延遲權衡。系統參與所有語言方向，並針對 En→De、It、Zh 方向引入新的上下文軌道，結合 ASR 詞彙增強和離線預翻譯示例的 RAG 機制。在 MCIF En→De 測試集上，質量提升 +5.82 XCOMET-XL，上下文處理額外提升 +1.03。

研究表明，大型語言模型在預填充階段會將欄位條件結論寫入下游筆記，使得KV快取具有可編輯性和可組合性。透過鏈式思維編輯欄位即可恢復決策，而預編譯的技能可透過RoPE重新定位並拼接至任意上下文，實現與完全重新計算幾乎無差異的結果，同時延遲降低多達14.9倍。該方法適用於多種注意力和快取變體，並在線上vLLM基準測試中保持98.5%的快取命中率。

Amazon SageMaker AI 宣佈容器映象快取功能，可將擴充套件事件中的端到端延遲最多降低 2 倍，尤其適用於生成式 AI 模型。

企業正將智慧體AI從概念驗證轉向生產，下一代AI工廠為此設計。在HPE Discover大會上，NVIDIA和HPE宣佈擴充套件HPE AI Factory，包括NVIDIA Vera CPU和NVIDIA Agent Toolkit。Vera CPU專為智慧體設計，提供確定性低延遲效能。NVIDIA機密計算現覆蓋整個HPE AI Factory產品組合。此外，全棧NVIDIA整合增強，涵蓋網路、DPU和GPU。

Whissle的META-1模型是一種元感知語音識別系統，能夠在單次前向傳播中同時輸出轉錄文本和後設資料（情感、意圖、年齡、性別等），延遲約200毫秒。透過整合KenLM n-gram語言模型，該系統將詞錯誤率降低了高達3.6%（相對10.8%），同時在多語言基準測試中顯著快於Deepgram、AssemblyAI和Gemini 2.0 Flash等商業解決方案。

文章指出傳統“先遷移，後現代化”的方法往往延遲價值實現，而領先的組織採用並行方法，透過AI驅動的自動化、漸進式退役和合作夥伴經驗，加速獲得業務價值。