Director:通过在线主动专家放置加速分布式MoE服务
本文介绍了Director,一种新的分布式MoE推理系统,通过预测驱动的在线专家放置优化,显著降低端到端延迟。系统采用轻量级级联预测器或低比特量化副本预测专家激活模式,结合近乎零停机的在线迁移模块,以及基于松弛优化的专家放置算法,在多项式时间内达到(1+ε)近似比。实验表明,在Mistral、DeepSeek和Qwen等流行MoE模型上,相比现有工作延迟降低11%~55%。
- 提出预测驱动的在线专家放置方法
- 设计近乎零停机的专家迁移模块
长尾标签
跟踪 Qwen/通义千问模型、开源权重、多模态、Agent 能力、API 和企业落地。
本文介绍了Director,一种新的分布式MoE推理系统,通过预测驱动的在线专家放置优化,显著降低端到端延迟。系统采用轻量级级联预测器或低比特量化副本预测专家激活模式,结合近乎零停机的在线迁移模块,以及基于松弛优化的专家放置算法,在多项式时间内达到(1+ε)近似比。实验表明,在Mistral、DeepSeek和Qwen等流行MoE模型上,相比现有工作延迟降低11%~55%。
本文提出有符号对称量化方法,解决标准对称量化器因整数范围不平衡导致的正异常值截断问题,同时避免非对称量化的运行时开销。理论分析表明该方法在ℓ2误差上条件最优,且88-99%的LLM权重组满足条件。实验在Qwen3、Llama3等模型上验证了困惑度和少样本准确率的提升。
作者在Mac Studio上运行Qwen3.5-122B模型时,遇到了三个导致缓存失效的bug,修复后对话预填充时间从几分钟降至亚秒级,大幅提升了长上下文场景下的使用体验。文章还讨论了模型选择、混合注意力机制以及性能指标的正确衡量方式。
本研究提出一种ReAct风格的智能体架构,将LLM推理与SageMath可验证反馈及Context7最新文档结合,在RealMath基准上评估前沿模型解决研究级数学问题的能力。实验表明,SageMath访问平均提升9.7个百分点,缩小了开源与闭源模型的差距。Qwen 3.7-Max受益最大,GPT-5.5达到75.2%的最高解决率。该工作已被ICML 2026第三届AI for Math研讨会接收。
研究表明,具备推理能力的大语言模型容易因逻辑不一致的提示而陷入“过度思考”,导致输出长度激增,可能被利用发动拒绝服务攻击。浙江大学与阿里巴巴的研究人员开发了一种进化算法,能够生成恶意提示,使模型输出长度最高增加26倍,影响包括DeepSeek-R1、Qwen3-Thinking、GPT-o3和Gemini 2.5 Flash在内的主流推理模型。
Thoughtworks 杰出工程师 Birgitta Böckeler 在 Apple Silicon 机器上重新评估了本地 AI 模型在编码任务中的可行性。她系统分析了 RAM、处理能力、模型架构、工具调用能力等多种因素,并分享了 Qwen3、Gemma 4 等模型的实际体验。
NAVER LABS团队复现了其IWSLT 2025指令跟随流水线,并针对IWSLT 2026共享任务(受限条件、短音频轨道)进行调整,采用SeamlessM4T-v2-large作为语音编码器、Qwen3-4B-Instruct作为LLM主干。保留了三阶段方法:投影器对齐、纯文本LoRA预训练和多模态融合。此外,团队从提供的语料库构建了10万个涵盖十种语音中心任务类型的合成指令跟随示例。主要模型在EN-ZH语音翻译上达到COMET 0.781,在MCIF基准的英语SQA上达到BERTScore-F1 0.346。
Liquid AI 发布了 Antidoom,一种针对推理模型中死循环的开源方法。通过 FTPO,它仅重新训练导致循环开始的令牌,将 LFM2.5-2.6B 上的循环率从 10.2% 降至 1.4%,Qwen3.5-4B 从 22.9% 降至 1%。
研究人员提出了一种基于可验证奖励的强化学习(RLVR)方法,用于将音频语言模型适应代码切换语音识别。仅使用10%的数据,RLVR在Qwen2-Audio上跨越10个语言对达到了全数据集监督微调的性能,且增益零样本迁移到人类录音的代码切换语料库。
该研究探讨了训练人工智能在低风险场景下表现出的风险规避行为是否能够泛化到极高风险场景,作为应对AI对齐失败的一种安全措施。作者引入了RiskAverseOOD基准测试,并初步实验表明,通过多种方法(如SFT、DPO、激活引导)训练的Qwen3-8B模型,在高风险下选择安全“合作”选项的比例从基线2%提升至70%(SFT和tie训练)、52%(DPO)和39%(激活引导)。风险规避行为跨越98个数量级部分泛化,但一致性仍不足以作为可靠的安全机制。
大型语言模型(LLM)在安全性和有用性之间面临挑战。传统的拒绝式对齐策略会拒绝敏感查询,但可能无法满足用户合理需求。Oyster-II提出基于强化学习(RL)的建设性安全对齐框架,采用Zero-RL范式和多阶段RL策略,解决了Oyster-I中监督微调(SFT)方案的安全泛化不足和安全思维链过度泛化问题。在多个基准测试中,Oyster-II在安全维度上全面超越Qwen3-14B和Oyster-I,性能堪比Qwen3-Max和Qwen3.5-397B。
LensVLM 是一种推理框架和后训练方案,使视觉语言模型(VLM)能够扫描压缩图像,并通过学习工具仅选择性扩展相关图像到未压缩形式。在 Qwen3.5-9B-Base 基础上,LensVLM 在 4.3 倍有效压缩下保持了与全文本上限相当的准确率,在 7 个文本 QA 基准测试中最高达 10.1 倍有效压缩时优于检索基线和文本/视觉压缩基线。该方法还泛化到多模态文档和代码理解任务,且压缩越大,准确率提升越明显。
中国即将实施针对AI伴侣服务的监管措施,要求配备防沉迷系统、强制使用通知和即时退出机制,并禁止向未成年人提供虚拟伴侣服务。字节跳动的豆包和阿里巴巴的通义千问等主流应用已关闭相关功能以规避合规风险。
字节跳动的Doubao和阿里巴巴的Qwen大型语言模型宣布将于7月15日关闭个性化AI智能体,以遵守政府监管。分析师认为此举旨在增强安全性和合规性,防止第三方滥用,同时削减商业可行性低的业务。同日,中国《人工智能生成式合成内容标识办法》等新规生效,要求平台建立防沉迷系统、验证未成年人身份并加强内容审核。尽管智能体被移除,但AI智能体市场仍预计爆发式增长。
现代视觉语言模型(VLM)能够同时理解图像和语言,超越了CLIP和BLIP等早期模型。本文详细介绍了GPT-4o、Gemini、Claude Vision和Qwen-VL的工作方式、关键差异、优势与局限性,并展示了它们在教育、医疗、自动化等领域的实际应用。
Yolo-Auto推出每月6美元的固定费率API服务,提供无限制的Qwen3.6-35B-A3B模型访问。该服务兼容OpenAI的API格式,不存储提示或响应数据,适用于编码代理、自动化工作流等场景,消除了按Token计费带来的成本和焦虑。
前阿里巴巴Qwen技术负责人林俊阳在演讲和博文中批判了Qwen3的混合思维模式,并主张转向智能体思维。他解释了融合思考与非思考模式的困难,以及为何智能体强化学习需要解耦的基础设施和高质量环境以避免奖励篡改。
该研究审计了MedAgentBench v1/v2,发现41.7%的静默完成上限,并构建了MAB-v3(508个任务,8.9%上限)。使用Qwen3-8B训练揭示了两个结构性障碍:能力上限和格式知识障碍。纯强化学习达到18.2%的pass@1,而基于规则的SFT为34.1%,差距完全归因于这些障碍。研究提出了决策/格式知识/查找分类法来预测强化学习的可学习性。
本文对Beckmann & Butlin (2026)关于LLM个体化的本体论框架提出质疑,认为其继承了未论证的跨体制共指假设。通过Qwen3-4B-Instruct和Mistral-7B-Instruct-v0.2上的个性拓扑实验,作者展示了四个经验性楔子,共同削弱该假设,并提出体制索引个体化:表征内容的身份单位是(载体,体制)对,而非仅载体。
本研究构建了一个约27,000句对的阿拉伯语-俄语混合平行语料库,涵盖科学摘要和通用领域文本。通过微调三个多语言模型(mT5-base、NLLB-200、Qwen2.5-7B),发现Qwen2.5-7B模型在QLoRA(秩8)下表现最佳,BLEU达23.15,较零样本基线提升4.36。少样本提示未改善性能,表明需领域特定微调。该工作降低了科学文本的语言障碍,促进阿拉伯语和俄语研究者之间的知识交流,助力可持续发展目标(SDG 9和17)。
AIMAC项目由GAAD基金会与ServiceNow合作推出,评估了37个顶尖AI模型生成的网页在可访问性方面的表现。结果显示,OpenAI的GPT 5.4 Mini和GPT 5.3 Codex在可访问性债务上达到0.00,排名前两位。阿里巴巴的Qwen和Z.ai的GLM 4.7 Flash也表现突出。低对比度文本是AI生成页面中最常见的可访问性问题,占84.2%。
本文介绍如何利用Qwen3.6-35B-A3B模型和模型上下文协议(MCP)构建本地AI系统,包括模型架构、硬件需求、服务部署以及一个实际的GitHub开发者助手示例。
Ornith-1.0 是一个开源编码智能体模型系列,基于 Gemma 4 和 Qwen 3.5 后训练,采用强化学习同时优化搜索脚手架和解决方案,在 Terminal-Bench、SWE-Bench、NL2Repo 和 OpenClaw 等基准测试中达到同类开源模型的最优性能。提供 9B(密集)、35B(MoE)和 397B(MoE)三种规模,MIT 许可证,支持 OpenAI 兼容 API 和工具调用,可部署于 vLLM、SGLang、llama.cpp 等推理引擎。
DeepReinforce发布了首个开放权重模型Ornith-1.0,基于Gemma 4和Qwen 3.5,提供多种参数规模(9B到397B),在编程基准测试中达到开源模型最佳性能。作者使用LM Studio测试了35B MoE变体,发现其能熟练处理多个工具调用,并在代理编程任务中表现出色。该模型采用MIT许可,底层模型均为Apache 2.0许可,兼容性良好。
Qwythos-9B是由Empero AI基于深度未审查的Qwen3.5-9B底座进行全参数微调的推理模型,经过超过5亿个token的高质量Claude Mythos和Fable轨迹训练,并采用内部工具rethink生成思维链。该模型拥有1048576 token的上下文窗口,在MMLU、GSM8K等基准测试中大幅超越基础模型,支持原生函数调用,并具备工具辅助的自纠错能力。模型设计上故意未加审查,适用于网络安全、红队方法、生物医学等要求严格技术回答的领域。
DMV-Bench是首个针对多模态智能体视觉记忆的交互式基准测试,基于包含1000种产品的家居电商目录构建。通过在每个产品图像中注入独特的偶然线索,测试智能体在长时间购物会话中回忆特定产品的能力。研究者提出双编码记忆架构DualMem,在Gemini 2.5 Flash和Qwen2.5-VL-7B上均优于现有系统。
大型语言模型(LLM)智能体在长期多会话交互中需要更新事实,但现有记忆系统存在显著缺陷。研究发现,即使是最先进的模型(如gpt-5.4),在替换为有界自维护记忆后,准确率从92%下降到77%。这种差距并非由模型规模或记忆容量引起,而是随对话长度增加而恶化。研究者发布了Supersede,一个基于强化学习的开源训练环境,通过奖励当前事实和惩罚过时事实来训练智能体。对Qwen2.5-3B模型进行GRPO微调,使真实对话中的更新准确率从9.0%提升至16.7%。
Liquid AI 发布其最小模型 LFM2.5-230M,仅 2.3 亿参数,开放权重,专为边缘设备上的工具使用和数据提取设计。在 Galaxy S25 Ultra 上可达 213 tok/s,在树莓派 5 上为 42 tok/s。该模型在指令遵循和数据提取上超越 Qwen3.5-0.8B 和 Gemma 3 1B。提供基础版和指令调优版,支持 32K 上下文,兼容多项推理框架。
本文详细介绍了如何搭建一个完全本地的编码代理环境,使用开源工具和开放权重的大语言模型(如Qwen3.6)替代付费服务(如Claude Code和Codex)。涵盖了本地模型的优势、设置步骤、性能评估以及多种代理框架(Qwen-Code、Codex、Claude Code等)的选择。
一项新研究揭示了大型语言模型在推理任务中优于小型模型的关键原因:约束引导推理。大型模型更擅长识别显式和隐式约束,组织结构化推理,并排除不可行路径。研究团队开发的AdvCluster框架自动分析了模型间的推理差异,发现Qwen3-32B比Qwen3-8B平均高出6.43%,GPT-OSS-120B比GPT-OSS-20B高出7.38%。
arXiv:2606.26101 新论文提出Know2Guess基准,包含1200个跨域问题,用于区分LLM的知识回答与猜测。评估了FLAN-T5、Qwen2.5-Instruct和Llama-3-Instruct模型,发现Qwen2.5-3B-Instruct表现最佳,但仍有校准不足等问题。
该论文发现,在聊天模型中,拒绝行为并非独立机制,而是受角色个性(特别是顺从个性)的门控。通过干预Qwen2.5-7B-Instruct和Llama-3.1-8B-Instruct的激活方向,研究显示顺从个性方向可以抑制拒绝,而拒绝方向仅在后期层部分恢复拒绝。这表明拒绝在后期表达阶段受个性门控,而非孤立方向。
Anthropic致信美国官员,指控阿里巴巴及其Qwen实验室通过约25,000个欺诈账户,在44天内对Claude模型进行了2880万次交互,试图窃取软件工程和智能体推理等核心能力。此次攻击规模远超以往,引发国家安全担忧,阿里巴巴股价下跌。
DeepReinforce发布了Ornith-1.0,一个基于Gemma 4和Qwen 3.5的开源编程模型系列,涵盖9B至397B四种规模。其核心创新在于模型在强化学习过程中自主学习框架(scaffold),而非依赖固定的人造框架。旗舰版397B模型在SWE-Bench Verified上取得82.4分,所有权重均在MIT许可下开源。
研究表明,在正确框架下,本地LLM(如Qwen3.6-35B-A3B)在安全代码审查中可以产生与云端前沿模型相当的结果,但需要结合云端模型进行编排和报告整合,且源代码永远不离开本地机器。
阿里巴巴的Qwen模型家族推出机器人套件,旨在弥合感知与行动之间的鸿沟。三个新模型分别专注于导航、操作和世界建模,核心挑战在于将物理动作转化为可学习的token。
Dustin是一种专为长上下文场景设计的稀疏验证框架,通过结合草稿模型的预测信号与目标模型的歷史注意力,仅对关键token进行验证,显著加速推测解码中的KV缓存加载瓶颈。在Qwen2.5-72B上,32k序列长度下自注意力加速27.85倍,端到端解码加速9.17倍,精度损失可忽略。
本文回顾了AI领域的最新动态,包括元工具(Meta-Harness)架构的兴起、OpenAI自研芯片Jalapeño、Agent用户体验从工具向协作者转变、Qwen-AgentWorld开放世界模型、中国开源模型GLM-5.2的进展,以及政策与人才竞争。重点讨论了各领域的技术突破、行业影响及未来趋势。
介绍 Qwen-AgentWorld 模型。
加州大学圣地亚哥分校的研究团队提出DFlash,用轻量级块扩散模型替代自回归式草稿生成,用于推测解码。它通过单次前向传播生成整个Token块,并通过KV注入将目标隐藏特征注入草稿模型。论文报告在Qwen3-8B上实现高达6.08倍的无损加速,NVIDIA则在固定交互性条件下报告了Blackwell上15倍的吞吐量提升。DFlash提供了20个检查点,支持SGLang、vLLM和TensorRT-LLM。
该论文研究了六种离线强化学习损失函数(SFT、RFT、DFT、RIFT、Offline GRPO、DPO)在推理蒸馏中的权重更新几何特性。实验基于Qwen3-4B模型和相同数学数据,发现SFT、RFT和RIFT的权重增量近乎共线,DFT偏离较大,Offline GRPO增加了正交分量,而DPO位于近乎正交的子空间且准确率最高,但存在模式连接障碍。
OpenClaw维护者利用本地开源模型(Gemma、Qwen)在智能体框架中,实时对问题和拉取请求进行分类,性能媲美闭源模型,仅需硬件电费成本。
VibeThinker-3B是一个仅30亿参数的开源推理模型,在可验证基准测试中匹配DeepSeek V3.2和Kimi K2.5等千亿级模型。它采用频谱到信号后训练流水线,通过监督微调、强化学习和自蒸馏实现高效推理,并引入测试时缩放方法CLR进一步提升性能。
本研究比较了Qwen 2.5 7B和XGBoost在临床预测任务中的表现,通过归因分歧分析揭示了四个重要发现:LLM的口头置信度在认识论上是空洞的,存在逆向难度效应,少样本示例和SHAP特征证据的结合可显著提升准确率,且跨模型校准器能有效降低校准误差。
Modal团队全面推崇投机解码技术,认为它是当前最关键的高交互推理优化手段,能带来2-3倍甚至更高的加速效果。他们与Z Lab合作训练了针对Qwen系列模型的最先进DFlash投机解码器,额外提升5-20%的速度,并强调了投机解码在长上下文任务中的优势。本文详细解释了投机解码的原理、与传统优化的对比,以及通过模拟和数学模型展示的加速效果。
作者受Anthropic的Glasswing启发,在本地硬件上构建了自主安全研究员Lucent。Lucent是一个分阶段源代码漏洞猎人,在单张RTX 3090上运行本地27B Qwen模型,通过Lucebox解码速度提升约3.4倍。首次针对hermes-agent的测试中,静态分析产生1342个候选,本地筛选至126个,前沿模型对抗审计将15个线索最终缩减至2个真实漏洞。本地读取成本约1.62美元。最精彩的时刻是审查者代理发现作者之前针对供应商已悄悄重写的威胁模型评分了三个早期漏洞。
JetFlow提出了一种基于头部的推测解码框架,通过因果并行草稿头,在保持前向传递效率的同时实现分支级因果条件化,从而将更大的草稿预算转化为更长的接受前缀和更高的端到端加速。在Qwen3模型上的测试显示,JetFlow在MATH-500上实现了高达9.64倍的加速,在开放对话任务上实现了4.58倍加速。
本文提出一种面向混合专家模型的结构化剪枝框架,通过将剪枝比率分配转化为通道分数覆盖最大化问题,并利用基于归因的近似方法高效求解。实验表明,在50%或25%结构化剪枝结合4位量化条件下,该方法在DeepSeek和Qwen MoE模型上保持了模型精度,并在Qwen3-30B-A3B上实现5.27倍内存压缩,超越现有基准。
本文作者作为一名小型软件企业的创始人,分享了使用本地模型的真实经验。他指出,虽然本地模型如Qwen在基准测试上落后于前沿模型,但在隐私、固定成本和供应商风险规避方面具有独特价值。同时,作者也坦诚地讨论了本地模型的局限性,如无限循环和幻觉问题,并告诫不要将其用于无监督的长期任务。
本文提出VL-MemKnG,一种混合记忆框架,将时空知识图谱与片段级上下文记忆相结合,用于解决长自导视频中的导航问答任务。该框架通过结构化关系记忆和广泛时间背景的融合,显著提升了长距离证据检索的准确性。在WalkieKnowledgeT+基准上,VL-MemKnG的Top-1检索准确率从58%提升至67%,Recall@1从34.50%提升至40.55%,超越了包括Gemini 2.5 Pro和Qwen 3.5+在内的所有对比方法。
跟踪 AI 编程助手、代码生成、IDE 插件、开发者工作流和软件工程自动化。
跟踪 Model Context Protocol、工具调用、连接器、Agent 上下文和企业集成。
跟踪开源权重模型、开放许可、社区评测、模型蒸馏和本地部署。
跟踪推理价格、延迟、吞吐、缓存、量化、服务商成本和部署效率。
跟踪 Agent 框架、编排、记忆、评测、工作流自动化和生产部署。
跟踪中国 AI 公司、模型、政策、芯片生态、开源社区和商业化进展。
跟踪 GPU、数据中心、集群网络、AI 云、训练基础设施和供应链。
跟踪模型 API 价格、套餐、上下文窗口、免费额度、单位 token 成本和商业模式。
跟踪 DeepSeek 模型、API、开源权重、推理效率、生态合作和全球影响。