推理成本

本研究通过两阶段流水线（监督微调+4位量化）将LLaMA 3 (8B)微调为高效的替代重排序器，在RAG管道中替代传统交叉编码器，在保持高准确率的同时显著降低推理成本。在领域特定问答基准上，微调模型在答案相关性、上下文精度、答案相似度和答案正确性上分别提升14%、16%、19%和21%。

开源AI已达到与封闭模型的能力平价，推理成本在36个月内下降了50倍，开源权重在API调用量上占据主导地位。尽管开发者广泛采用开源模型（79%），但生产部署仍面临运营工具和信任度挑战（仅51%成功部署）。开源不仅是成本选择，更是主权选择，尤其在中国和全球南方国家的战略推动下。

扩展LLM的关键不是增加GPU，而是消除每个请求中的不必要工作。本文介绍了12种实用的减少延迟和成本的方法。

本报告研究针对台湾地区的设备端英文到繁体中文字幕翻译，在短输入、短输出、单批次推理、低延迟和隐私约束下的优化。作者将原始151k词表替换为64k字幕领域分词器，并进行嵌入校准和微调，在OpenSubtitles2024子集上实现了59.2%的胜率（排除平局），并在Apple M2上获得1.63倍加速。

本文研究了一种基于小型语言模型（SLM）的闭环控制框架，通过GRPO对齐的Qwen2.5-1.5B模型，结合动作智能体、数字孪生验证层和重提示智能体，实现了从自然语言需求规范生成控制策略。在随机热控制模拟中，该框架达到91.5%的动作对齐准确率，平均推理延迟3.84秒，展示了在边缘设备上实现可重构自主控制的可行性。

Anthropic发布了Claude Sonnet 5，这是其最强的中端代理模型，在多项基准测试中超越前代Sonnet 4.6，并缩小了与旗舰Opus 4.8的差距。Sonnet 5引入了努力水平（effort levels）以控制推理成本，在低/中努力水平下性价比极高，但高努力水平下成本可能超过Opus 4.8。它已作为Free和Pro计划的默认模型，并可通过API调用。

本文介绍了Director，一种新的分布式MoE推理系统，通过预测驱动的在线专家放置优化，显著降低端到端延迟。系统采用轻量级级联预测器或低比特量化副本预测专家激活模式，结合近乎零停机的在线迁移模块，以及基于松弛优化的专家放置算法，在多项式时间内达到(1+ε)近似比。实验表明，在Mistral、DeepSeek和Qwen等流行MoE模型上，相比现有工作延迟降低11%~55%。

KV-PRM是一种高效的过程奖励模型，通过直接利用大语言模型生成阶段自然产生的KV缓存，避免了文本重新编码，将评分成本从O(L²)降至O(L)。实验表明，在多个基准上，KV-PRM在匹配或超越文本PRM性能的同时，实现了高达5000倍的FLOPs减少、37倍延迟降低和34倍内存占用减少。

亨利·沙因公司开发了Image Verify，这是一个基于Amazon SageMaker AI的AI驱动系统，可实时评估牙科X光片质量，减少保险理赔拒付。该系统在数月内从概念扩展到超过10,000个场所，处理了数百万张X光片，中位延迟低于2秒。

本文介绍了如何使用vLLM在Amazon SageMaker HyperPod上通过HyperPod推理运算符实现分离式预填充和解码（DPD）。DPD通过将预填充和解码阶段分配到不同的GPU池，消除了长提示对令牌生成的干扰，从而降低了首令牌延迟和令牌间延迟，提高了推理性能。

Infinity-Parser2 是一个结合可控数据合成与多任务强化学习的大规模多模态模型，旨在解决文档解析中标注数据稀缺的问题。它开源了包含500万样本的中英文双语语料库 Infinity-Doc2-5M，并提出了联合强化学习框架统一八项任务。Flash 版针对低延迟优化，Pro 版在多项基准上达到新 SOTA。

随着代理型AI用例增多，实时交互需求推动推理基础设施重构。d-Matrix与NVIDIA合作推出异构计算解决方案，通过堆叠DRAM和逻辑芯片提升内存带宽，实现低延迟快速令牌生成，开启新的营收层级。

OpenAI于周四发布了其最新的高级AI模型ChatGPT 5.6，此前因美国政府担忧网络安全而推迟了公开发布。特朗普政府上月要求OpenAI将发布范围限制在政府批准的小部分用户内。OpenAI遵从了要求，在向政府官员介绍能力后，仅向受信任合作伙伴开放。更广泛的发布是在政府AI标准与创新机构进行额外测试后进行的。此举与竞争对手Anthropic最新AI模型所受限制类似。

该研究探讨了注意力机制中得分矩阵的谱特性如何受位置编码影响。通过分析七个预训练模型，发现RoPE下的前词头具有旋转谱，而绝对位置编码和ALiBi则不然。动态分析表明谱特征在行为之后出现，因果实验显示没有谱通道是必需的，但移除会延迟学习。

LangChain与NVIDIA合作推出NemoClaw深度代理蓝图，结合LangChain深度代理代码、NVIDIA Nemotron 3 Ultra和OpenShell，为企业构建开放、受治理的代理系统。该蓝图在代理评估中实现了领先性能，且推理成本降低约10倍。

NVIDIA Nemotron 3 Ultra 与 LangChain 深度代理框架结合，在开放模型中取得最高准确率，同时以比顶级封闭模型低 10 倍的推理成本完成更多任务。该成果无需重新训练模型，而是通过优化模型周围环境实现。Abridge、Amdocs、Box 等企业正在将专业代理嵌入其平台，EY 等系统集成商则基于此开放栈为客户构建定制化代理。

AI推理成本分化：普通模型价格走低，前沿模型费用飙升。企业AI支出占劳动力成本10-20%，但存在效率拐点。开源模型接近前沿水平，成本优势显著。

该研究提出将记忆存储移入语言代理的推理循环中，在每个步骤读取和写入，以克服网络延迟问题。实验表明，进程内存储（约100微秒）可将冗余动作从7.2/12降至0.0/12，并将召回率从0/5提升至3.6-4.8/5。瓶颈在于嵌入生成而非存储。

一位开发者将个人简历网站改造为AI聊天界面，访客可通过对话探索其职业经历。网站采用Groq进行LLM推理，延迟仅100-200毫秒，并故意限制令牌生成速度以模拟自然对话。后端使用纯Swift构建，无客户端JavaScript。

OpenAI在API中新增了两个Realtime模型：gpt-realtime-2.1和gpt-realtime-2.1-mini。后者是一款针对实时语音的迷你推理模型，定价与之前的gpt-realtime-mini相同。OpenAI还通过改进缓存将p95延迟降低了至少25%。本文介绍了模型的变化、定价对比以及如何通过WebRTC连接。

Edgee AI发布Compressor V2，通过三层正交压缩策略（简洁输出、工具表面缩减、工具结果修剪）显著降低LLM编码智能体的运行成本。在SWE-bench Lite基准测试中，仅简洁输出策略即可实现中位数约30%的成本削减。文章详细阐述了压缩的必要性、V1到V2的演进、实验方法和统计显著性验证，展示了压缩技术在经济性、延迟、上下文窗口和吞吐量方面的综合优势。

本文提出SegFS，一种双流快慢框架，用于开放词汇视频实例分割（OV-VIS）。通过在稀疏关键帧上使用开放词汇对象模型预测实例表示，并将这些表示投影回主干特征空间以调节轻量级快速网络，SegFS在不牺牲准确性的情况下显著提高了效率。快速分支的延迟比面向移动的MOBIUS模型低14倍，同时保持具有竞争力的分割性能。

基于伊辛模型的热力学计算设备在低功耗AI推理和边缘计算中展现出巨大潜力，但针对此类硬件的大规模模型训练方法仍然有限。本研究将高温吉布斯采样伊辛系统的时间平均行为与神经网络推理的理论对应关系转化为一种可扩展的、纯反向传播的算法，用于训练深度卷积网络在伊辛机硬件上进行热力学推理。在CIFAR-10和CIFAR-100数据集上，模型分别达到94.9%和76.0%的准确率。此外，还开发了推理成本与精度之间关系的数学理论，并给出了最优推理调度算法。最后讨论了硬件开发的影响和高温热力学AI模型的未来。

Hugging Face 与 Cerebras 合作，利用 Gemma 4 模型打造实时语音 AI 系统，通过开放模块化架构显著降低延迟，实现更自然的对话体验。该系统集成 Nvidia 的语音识别、Cerebras 的推理加速和 Alibaba 的语音合成，已在 9000 多台 Reachy Mini 机器人中应用。

RunInfra是一个AI推理优化平台，可自动为开放模型选择最佳的推理引擎、GPU和配置，并提供可部署的堆栈。它通过基准测试和调优，大幅降低延迟、提高吞吐量并降低成本。

Anthropic发布了Claude Sonnet 5，这是其最强的中端代理模型，在多项基准测试中超越前代Sonnet 4.6，并缩小了与旗舰Opus 4.8的差距。Sonnet 5引入了努力水平（effort levels）以控制推理成本，在低/中努力水平下性价比极高，但高努力水平下成本可能超过Opus 4.8。它已作为Free和Pro计划的默认模型，并可通过API调用。

本文介绍了一种两层级联方法，其中一个小型专用模型处理绝大多数简单查询，并在遇到困难问题时自动调用大型前沿模型。这种方法在保持与全部使用大模型相当的质量的同时，显著降低了成本和延迟。

萤火虫航空的蓝色幽灵2号任务将在月球轨道上使用NVIDIA Jetson边缘AI平台，实现直接在太空进行AI推理，大幅减少数据传输延迟。该任务搭载Ocula月球成像服务，用于绘制着陆点、探测矿物组成等，支持未来人类和机器人探索。

Kog发布了Laneformer 2B，一个23亿参数的指令微调编码模型，专为高速单请求推理从头设计。通过将模型架构与推理引擎协同设计，Kog引入了延迟张量并行（DTP）和车道结构Transformer以隐藏通信开销。该模型在编码基准上取得竞争性结果（HumanEval+ 45.1%，MBPP+ 51.6%），现已在Hugging Face上开源。

本文系统综述了自动化演讲辅导系统，涵盖发音、流利度、韵律、多模态及问答练习工具。提出了五维任务分类体系（分段发音、词汇重音、超音段韵律、节奏、内容忠实性），并映射了现有系统以揭示覆盖缺口。核心技术包括基于TTS的示例生成和诊断方法。开放挑战包括标注语料库稀缺、跨口音公平反馈和实时低延迟诊断。

Enki是一款面向AI智能体的记忆引擎，与mem0相比，在存储量减少约一半的情况下，实现了相近的问答准确率。在25个实例的评估中，Enki总分14/25对12/25，在多会话推理方面表现突出（4/5对2/5）。CPU检索延迟平均7.6毫秒。

本文对比了四种AI网关在请求路径上的运行时开销，包括延迟、吞吐量、内存、CPU、冷启动时间和镜像大小。测试结果显示，GoModel在几乎所有指标上表现最优，而LiteLLM则因资源消耗巨大而成为短板。文章还讨论了网关的开源中立性和对本地模型部署的影响。

本文提出一种基于可微架构搜索的方法，用于自动发现视觉提示微调中图像标记与提示标记的最佳融合方案。该方法将学习提示及其融合方式联合优化，并引入仿射变换和交叉注意力两种新融合机制。在34个数据集上的实验表明，该方法在准确率、延迟和参数数量之间实现了良好的权衡，并揭示了混合融合方式能更有效地利用Transformer的层语义。

组织延迟正成为充分实现AI益处的最大障碍，探讨如何通过组织设计来化解这一问题。

无服务器 PostgreSQL 是一种完全托管的云数据库模型，将计算和存储分离，实现独立自动伸缩。它适用于突发性或不可预测的工作负载，但不太适合始终在线、对延迟敏感的应用程序。文章还介绍了基于无服务器 Postgres 的 Lakebase 架构，该架构统一了事务和分析工作负载，减少数据重复，简化了对 AI 和实时应用程序的访问。

本文研究了在自我中心视觉理解中，如何通过权重剪枝实现低延迟视觉-语言模型，同时保证预测的准确性和证据基础（双重正确）。现有剪枝方法常保持证据定位但损害准确性，作者提出理由告知剪枝策略，在自我中心视频数据集上达到了最高准确率和双重正确预测。

Wan-Streamer 是一个原生流式、端到端的交互基础模型，专为低延迟、全双工信视听交互设计。它在一个Transformer中统一建模语言、音频和视频的输入输出，使用块因果注意力实现增量流式，无需依赖外部模块。模型侧响应延迟约200毫秒，总交互延迟约550毫秒，支持亚秒级双工信视听通信。

Modal团队深入介绍了其新型超低延迟Serverless Servers的设计原理和实现细节，该服务针对LLM推理等对延迟敏感的应用进行了优化。文章解释了为何选择构建自己的代理层fprs，以及如何通过Pingora库、Envoy边缘代理和Spanner全局数据库实现无网络调用热路径、动态域名关联和自动缩放。

Gradium推出了两款实时语音翻译模型：stt-translate（语音转文本）和s2s-translate（语音转语音），覆盖英语、法语、德语、西班牙语和葡萄牙语共20种语言对。通过将传统的三模型级联简化为两个阶段，模型在BLEU和MetricX指标上优于GPT Realtime Translate，平均延迟3.0秒，略逊于Gemini的2.9秒，但支持输出语音选择和克隆。

VoltanaLLM提出了一种基于反馈的频率控制器和状态空间路由器，用于预填/解码分离的LLM服务架构，在保持延迟SLO的同时实现高达36.3%的能耗节省。该工作在多个LLM和NVIDIA A100 GPU上进行了评估。

现代视频扩散模型通过扩展规模提升了生成质量，但也带来了高昂的推理成本。Sol视频推理引擎提出了一种无需训练的智能体加速框架，通过缓存、稀疏注意力、token剪枝、量化和内核融合五种技术，针对具体模型、硬件和配置进行实例特定优化。在三个不同规模的视频模型上，该框架实现了超过2倍的端到端加速，同时几乎不损失VBench质量指标。

Upbound Inc. 今天发布了Modelplane，这是一个用于管理人工智能推理集群的新型开源工具。该工具基于其之前的Crossplane项目，旨在简化跨多个云平台的推理工作负载分布，自动分配资源，并通过分布式缓存减少延迟。

NVIDIA与AWS合作，通过新的EC2 G7实例（搭载Blackwell GPU）和OpenSearch Serverless中的GPU加速向量索引（由cuVS驱动），以及AWS获得NVIDIA GB300训练的Exemplar云状态，为企业提供可扩展、低延迟的AI基础设施。

Modal与Decagon合作，利用推测解码将推理延迟降低100毫秒，超越了专有推理提供商。本文详细介绍了通过优化通信延迟、主机开销、预填充延迟和解码延迟来实现低延迟的完整策略，并重点展示了为特定应用定制推测模型（DFlash技术）如何带来显著性能提升。

Modal 推出 Auto Endpoints，一个自服务的生产级 LLM 推理入口，让用户通过单一命令行即可部署前沿开放模型，并完全掌控推理代码、指标和基础设施。该服务基于 Modal 的 AI 基础设施平台，提供高性能自动扩缩、自定义容器运行时和全球 GPU 资源，并通过 Modal Servers 实现超低延迟路由（5ms 开销）。预调优的推理方案源自与顶级团队的合作经验，并采用 DFlash 投机解码加速。未来将实现推理工程全自动化。

Sakana AI 推出 Fugu，一个通过单一API动态编排多种模型的多智能体系统，在编码、推理等复杂任务上达到前沿性能，且不依赖单一供应商。基于ICLR 2026论文，Fugu学习自动组合和协调专家模型，提供两种版本：Fugu（平衡性能与延迟）和Fugu Ultra（针对高强度问题优化）。在多个基准测试中，Fugu模型与顶尖模型并驾齐驱，甚至超越。目前EU/EEA区域暂不可用。

Amazon SageMaker AI 现在提供超过 100 种详细的推理指标，涵盖 GPU 健康、令牌级延迟、KV 缓存压力、可用区流量分布等。这些指标通过内置的 SageMaker Insights 仪表板在 CloudWatch 中展示，支持 PromQL 查询。本文介绍如何启用详细可观测性、导航仪表板以及将指标连接到外部工具。

谷歌Home Speaker将于6月29日发货，比原定的春季窗口略有延迟。这款99美元的扬声器专为Gemini for Home设计，支持Matter和Thread边界路由器，提供360度音效，并可选四种颜色。

Databricks在2026年数据+AI峰会上宣布了AI平台的多项新功能，包括用于机器学习的Genie Code智能体、公开预览的AI Runtime（无服务器GPU训练环境），以及增强的实时ML支持（低延迟、高QPS的特征存储和模型服务）。这些功能旨在加速从实验到生产的AI应用开发。

本文介绍了 MLLP-VRAIN 研究组参与 IWSLT 2026 同声传译共享任务的系统。该系统利用最新发布的 Parakeet 和 Qwen 3.5 模型，通过自适应“黑盒”策略构建鲁棒的级联解决方案，并探索策略松弛以优化质量-延迟权衡。系统参与所有语言方向，并针对 En→De、It、Zh 方向引入新的上下文轨道，结合 ASR 词汇增强和离线预翻译示例的 RAG 机制。在 MCIF En→De 测试集上，质量提升 +5.82 XCOMET-XL，上下文处理额外提升 +1.03。