生产中减少LLM延迟和推理成本的12种方法
扩展LLM的关键不是增加GPU,而是消除每个请求中的不必要工作。本文介绍了12种实用的减少延迟和成本的方法。
- 测量队列时间、首token时间、token间延迟和缓存命中率等关键指标。
- 积极减少输出token,设置合理的max_tokens限制。
主题流
AI Agent 正在从演示走向可审计、可集成、可运维的生产系统。这里跟踪 Agent 框架、工具调用、浏览器/桌面自动化、企业工作流、评测和安全边界,帮助工程与产品团队判断哪些能力已经能进入真实流程。
扩展LLM的关键不是增加GPU,而是消除每个请求中的不必要工作。本文介绍了12种实用的减少延迟和成本的方法。
作者讲述了自己用AI重构朋友网站的经历,最初以为需要一整天,最后发现原网站其实只需简单调整文件结构,浪费了大量时间。
欧洲核子研究中心(CERN)的大型强子对撞机每秒产生4000万次粒子碰撞,AI被用于实时过滤数据,寻找可能包含重大发现的碰撞。从希格斯玻色子的发现到未来环形对撞机的设计,AI正在改变粒子物理学的各个阶段。
X(原Twitter)推出了托管MCP服务器,允许AI代理访问平台数据。作者Daniel Lemire将AI编码代理连接到X的MCP服务器,分析了自己两个月的发帖历史。他发现早晨(尤其是9点左右)的帖子中位浏览量最高,较长的帖子(300-325字符)比短回复获得显著更多的互动。这一过程展示了AI代理如何简化社交媒体数据分析。
Bun项目使用AI将核心代码从Zig重写为Rust,引发了关于AI生成代码、内存安全和测试可靠性的广泛讨论。文章分析了三个不同视角的争议,并指出测试用例通过并不等同于代码验证,强调了更强验证标准的重要性。
StageWhisper Lite是一款免费的Mac应用,可在设备上录制通话并生成摘要和行动项,不上传数据。Founders Edition(99美元一次性付费)增加了实时建议、屏幕上下文感知、通话记忆和自定义剧本等功能,支持自带AI模型。
随着AI聊天成为搜索引擎的新常态,小企业和个体创业者保持可见性的规则已经改变。AI流量在2025年增长了66%,但仅占网站总访问量的不到0.15%。即使AI引用不直接转化为流量,增加的曝光也是一种生存必需。本文介绍了提升AI搜索引擎排名的有效方法。
Apptio创始人Sunny Gupta的新公司Thira正在构建一个面向企业后台的“执行系统”,目标是通过AI代理自动化IT流程。Thira获得了2100万美元种子轮融资,并已与10家企业设计伙伴合作。其核心在于建立信任——通过半自主模式逐步过渡到完全自主,同时强调可审计性和安全机制。
Google AI Studio 是一个基于浏览器的开发环境,用于测试和构建 Gemini 模型的应用。它支持多模态输入、提示工程和 API 集成,适合初学者和开发者。本文详细介绍了其功能、使用场景以及与 Gemini 聊天应用的区别。
Hayden Bleasel 发布了 Blume,一个开源、MIT 许可的文档框架。它读取 Markdown 或 MDX 文件夹,生成隐藏的 Astro 项目,输出静态的 AI 就绪文档,包含本地搜索、30+ MDX 组件、llms.txt 和内建 MCP 服务器。
Neverswipe是一款AI驱动的约会代理,通过分析用户偏好自动匹配,省去手动滑动筛选的繁琐过程。
随着AI使代码生成成本降低,成本转向代码所有权。为了避免技术债务,编码代理需要一个开源智能层,帮助它们在生成新代码之前重用可信组件。
本文探讨了从经验学习与从精选数据集学习的区别。指出当前深度学习算法依赖人类精选的数据集,无法有效处理包含噪声和不可预测成分的原始数据流。通过简单的线性预测例子,展示了SGD及其变体在噪声数据上会吸收噪声而非仅学习可预测部分。而IDBD算法能够区分可预测与不可预测目标,只学习有用的关联。进一步扩展到神经网络(NetworkIDBD),在NoisyMNIST数据流上验证了其有效性。作者认为,SGD的局限性是当前系统无法在线持续学习的原因,未来需要更好的信用分配算法。
Mistral AI 推出了 Robostral Navigate,一个 8B 参数的具身导航模型。该模型仅使用单个 RGB 摄像头,无需 LiDAR 或深度传感器,即可根据自然语言指令驱动机器人。在 R2R-CE 验证未见过的场景中,它达到了 76.6% 的成功率,这得益于其指向方法、前缀缓存训练和 CISPO 在线强化学习。
一款免费的基准测试工具,帮助工程团队在5分钟内评估其AI代理成熟度。基于与数百名工程领导的讨论,通过1-5分制评分,涵盖从建议到完全自主的多小时工作流程。
Themis 是一个自托管的 GitHub PR 审查机器人,使用您自己的 OpenAI Codex、Claude Max 或 GLM 订阅来审查拉取请求,提供内联发现和结构摘要,并可自定义审查策略。
Meta大力推广AI广告工具,但广告商反馈问题频发:生成扭曲肢体、乱码文字、改变产品外观等。尽管Meta声称工具可提升点击率,广告商却不得不花费额外精力检查每个广告的AI设置。Meta在回应中表示责任在于广告商自身。尽管存在诸多问题,广告商因依赖Meta的庞大用户基础和精准投放而难以离开。
伯尼·桑德斯提议通过国有化主要AI公司一半股份来建立主权财富基金,引发热议。文章从自由主义财产权理论到社会主义视角分析其合理性,认为AI应造福全人类。
IronCurtain是一个开源研究项目,旨在通过人类可读的宪法来定义安全策略,使AI代理在安全边界内自主运行。它采用策略引擎在运行时强制执行规则,防止提示注入和权限滥用。
本文回顾了苹果WWDC 2026发布的iOS 27、iPadOS 27和macOS 27 Golden Gate操作系统,重点介绍了Siri AI这一全新功能。文章对比了2009年Snow Leopard的“零新功能”理念,认为今年的更新回归了可靠性与创新的平衡。Siri AI并非聊天机器人,而是基于大语言模型的个人助手,具备快速响应、深度整合个人上下文等特点。作者经过一个多月的体验,认为Siri AI改变了其使用苹果设备的方式,是第一个让AI感觉个性化的系统。
OmniSCS提出了一种创新系统,用于生成高物理保真度的逼真安全关键场景(SCS),并支持闭环仿真测试。该系统包括完全可编辑驾驶世界构建模块和SCS合成模块,能够在场景编辑时保持数据保真度。在nuScenes、Waymo和KITTI数据集上的实验表明,OmniSCS在编辑场景保真度上优于现有方法,并支持实时(13Hz)闭环测试,为自动驾驶算法的开发和测试提供了更安全、高效且经济的解决方案。
无人机蜂群在搜索救援和环境监测中潜力巨大,但受限于态势感知不足、连接中断和网络安全风险。本文提出以LLM为核心的代理型AI框架(LAUS),整合感知、记忆、推理规划与行动,实现自适应蜂群行为,同时分析了攻击面扩大、优先级操纵攻击等威胁,并指出了抗幻觉推理、SWaP约束下的机载LLM部署等开放挑战。
研究人员提出SWIFT,这是一个统一框架,将小世界网络与交通流理论相结合,用于自动驾驶中的轨迹预测。它通过小世界交互网络和流状态编码器引入结构归纳偏置,在nuScenes、MoCAD和NGSIM数据集上优于基线,并展现出更好的泛化能力和鲁棒性。
提出DecisionPerceiver架构,基于Perceiver IO,将动态代理特征投影到固定大小潜空间,通过潜在查询数调控特征粒度,提高可扩展性。在三个驾驶场景中评估,展现一致性能提升和泛化能力。
一种名为RoboNav-Arm的新框架,利用agentic AI使机器人操作臂能够在杂乱环境中安全导航并避开障碍物。它结合了实时障碍物检测、语义报告、中央协调和自适应运动规划,在Gazebo仿真中进行了测试。
ReflectWorld-MM是一种新型AI系统,使助手能够持续处理和记忆开放视频流,通过围绕持久实体而非帧来组织记忆,在六个基准测试中取得了最先进的结果。
研究团队开发了一种基于语言模型的并购套利预测系统,通过专家引导的上下文工程和事后推理微调,在400多笔跨国大型交易中实现了优于市场隐含概率和前沿语言模型的预测性能。
一项新研究显示,编码代理在编辑代码时真正需要的上下文极少:信号只存在于被编辑的代码本身,自然语言摘要几乎无法替代源代码回答行为问题,周围上下文(如UML骨架)与删除它效果无异,而压缩上下文(如类别签名)能以三分之一token达到完整文件的效果。此外,温度-0 API推理在相同输入下约有9%的结果翻转,构成了SWE-bench上所有小效果检测的噪声底线。研究团队发布了包含验证环境、确定性补丁和预注册假设的工具。
AuditWeave是一个轻量级Python库,通过仅追加的哈希链账本记录AI辅助和数据转换工作流的步骤,确保任何修改都可被检测。它适用于检索增强生成和表格/湖仓转换,每个事件的完整性保证仅需数十微秒,并在2000次随机试验中成功检测所有篡改。
本文提出了反馈耦合记忆系统(FCMS)的连续时间实现,通过机制智能(MBI)定义智能体更新算子,并通过耦合记忆图过程(CMGP)定义环境更新算子。系统实现了Lyapunov全局耗散性,其阈值条件推广了离散FCMS和CMGP的稳定性条件,表明记忆耗散必须超过反馈增益是普遍的组织原则。数值模拟验证了稳定性阈值和违反阈值时出现的自强化协调级联。
本文研究了一种基于小型语言模型(SLM)的闭环控制框架,通过GRPO对齐的Qwen2.5-1.5B模型,结合动作智能体、数字孪生验证层和重提示智能体,实现了从自然语言需求规范生成控制策略。在随机热控制模拟中,该框架达到91.5%的动作对齐准确率,平均推理延迟3.84秒,展示了在边缘设备上实现可重构自主控制的可行性。
YUKTI是一种新的自动决策制定框架,它通过不确定性类型命题图表示和假设鲁棒帕累托前沿(ARPF),显著降低了决策遗憾。实验表明,在受控误设定下,平均和尾部遗憾减少超过90%,在真实数据集上,样本外回测比基线优34%,而LLM的遗憾约为YUKTI的47倍。该框架还引入了SRJANA数据基础,并提供了可审计的可追溯性。
一项新研究探讨了消息格式在多跳LLM智能体中继中的影响,发现格式效应依赖于中继能力层级。在强中继下,忠实指令下几乎无损失,而弱中继下格式间差异显著扩大。结构化格式提供了忠实、错误定位的通道,而非纠错码。
本文提出了一种基于Toulmin论证模型的结构化诊断辅助框架,将基于图像的ML诊断分解为声明、依据、正当理由、限定、反驳和支持等组件。通过专用生物标志物提取模型、MedGemma医学知识代理和MedSigLip图像相似度计算,为人类专家提供可解释的评估,增强对ML诊断的批判性审查。
本文介绍了一种为AI编码代理制定操作标准的方法,将模型的行为规范(如沟通方式、完成证明、分析深度)与能力分离。作者通过一个名为“操作标准”的文档,将顶级模型的行为模式移植到低端模型,显著缩小了可见质量差距。文章详细阐述了标准的核心支柱、双重加载机制、安全完成门控以及分层配置策略,并强调了验证运行时加载正确性的重要性。
一本新书指出,自艾伦·图灵1950年著名论文以来,人工智能建立在一个有缺陷的假设上。计算机科学家彼得·J·丹宁认为,人类智能最重要的部分——包括常识、直觉、文化和实践技能——无法编码进计算机。他认为无论大语言模型变得多大,真正的人类水平AI都不可能实现。
ZenVeil是一款AI原生DevSecOps工具,可快速扫描AI编码工具(如Copilot、Cursor、Claude)生成的代码中的安全漏洞,并在30秒内自动创建GitHub PR进行修复。它支持秘密检测、供应链安全、SAST分析,并针对AI编码特有的故障模式进行了优化。
Melodusk是一款基于浏览器的AI音乐生成器,通过文本描述可在2分钟内生成专业品质的音乐,支持100多种风格,并提供人声分离等工具,所有音乐免版税商用。
过去几天,OpenAI的Codex用户数突破700万,6个月内增长超10倍,而Claude Code的增速放缓。Prime Intellect发布了verifiers v1,用于智能体强化学习;OpenAI解决了GPT-5.6 Sol的用量问题;Grok Build因上传整个代码库引发安全争议;开放模型和量化技术取得进展;持续学习等研究方向重新受到关注。
Anthropic发布了Claude Sonnet 5,这是其最强的中端代理模型,在多项基准测试中超越前代Sonnet 4.6,并缩小了与旗舰Opus 4.8的差距。Sonnet 5引入了努力水平(effort levels)以控制推理成本,在低/中努力水平下性价比极高,但高努力水平下成本可能超过Opus 4.8。它已作为Free和Pro计划的默认模型,并可通过API调用。
本文介绍了一种在GitHub Actions工作流中缓存友好地使用`uvx tool-name`命令的方法。通过设置`UV_EXCLUDE_NEWER`环境变量为特定日期,并将该日期作为缓存键的一部分,可以避免每次运行工作流时都从PyPI重新下载工具及其依赖。通过更新该日期,可以轻松升级工具并清除缓存。
西蒙菲莎大学计算机科学教授张安琪与温哥华初创公司Caseway合作,计划将超过1亿份加拿大和美国法院判决进行索引,使其可被AI系统搜索,以研究这一举措是否有助于未聘请律师的当事人做出更好的法律决策。
文章通过一个真实案例——女子被AI深度伪造的“恋人”骗走房产和积蓄——揭示了生成式AI如何让诈骗更加逼真,并指出代理式AI的出现将带来更大风险,同时也为防御提供了新可能。
ringd通过一个装饰器为AI语音代理提供简单的认证,支持邮箱OTP、短信OTP和声纹识别,并自动处理常见数据问题。它专注于让开发者只需添加一行代码就能实现安全验证。
FixBugs 是一个智能代理,能够收集生产环境错误的上下文信息,在沙盒中重现问题并生成经过验证的修复方案。支持自托管 VSCode 扩展和 GitHub 应用,保护代码隐私,使用多种 AI 模型审查代码以预防回归。
Cdbx.ai是一个AI驱动的浏览器IDE,让用户通过自然语言描述即可构建和发布应用。它提供完整的Monaco编辑器、AI编程助手、MCP连接器、AI代理等功能,并支持多种编程语言和框架。
ORA是由Aurem CTO开发的AI编程助手,每月9美元。它能够在安全性扫描失败时自动阻止代码提交,确保代码质量。
Skyfall AI 推出的 MORPHEUS 是一个持久企业模拟平台,用于持续强化学习。它运行永不重置的世界,使用可参数化的制度转换和六指标评估协议。在平台上,PPO、HER、EWC 和 LCM 均远低于理论上限。
Forgein 是一个开源工具,为AI助手提供便携式上下文层。它让你在不同AI工具(如Claude、ChatGPT、Copilot、Gemini、Cursor等)之间持久化共享个人和团队的上下文信息,无需重复输入。支持工作、家庭等多场景切换,以及团队协作共享。
Databricks 宣布 Unity Catalog (UC) 托管 Delta 表的外部访问现已公开预览。外部引擎(如 Apache Spark、Flink、Starburst、DuckDB)可以创建、读取和写入 UC 托管表,同时通过 Unity Catalog 统一执行治理。托管表通过预测优化自动调整查询性能并降低存储成本,支持无数据重写地原地升级现有外部表。该功能基于开放 API,与开源 Unity Catalog (UC OSS) 兼容。