芯片

Amazon SageMaker AI Studio推出了生成式AI推理推荐的低代码/无代码用户界面，引导用户通过预设用例配置、可视化比较和一键部署，无需深厚基础设施知识即可获得验证的配置。

市场普遍预期超大规模企业的自由现金流将在未来几年翻倍以上，但如果AI回报慢于预期，可能引发现金流失望、科技股抛售波及大盘、以及信贷风险上升。

高盛研究显示，人工智能繁荣引发的供应限制正推高内存芯片和半导体等关键组件价格，导致美国核心PCE通胀每年上升约20个基点，年底前可能翻倍至50个基点，远超其他发达国家的10个基点平均增幅。

斯坦福大学的研究团队提出了TRACE系统，通过分析智能体失败轨迹，诊断缺失的能力，并为每个能力合成可验证的训练环境，利用LoRA适配器和GRPO算法进行训练，最后通过MoE组合实现令牌级路由。在τ²-Bench上提升15.3个百分点，在SWE-bench Verified上达到73.2%的Pass@1，超越了多个基线模型。

Prime Intellect 发布了 verifiers 0.2.0，预览了重写的 v1 核心。v1 将环境分解为任务集（做什么）、框架（怎么做）和运行时（在哪里），并通过拦截服务器记录训练轨迹。任何任务集均可与任何兼容框架配合使用，并直接支持 prime-rl 训练。

随着AI代理和自动化平台快速发展，内存带宽成为关键瓶颈。苹果统一内存架构、CUDIMM标准以及PC升级潮正在重塑市场，而三星、SK海力士等内存制造商因HBM产能分配而获得结构性利好。

本文提出了一种针对大语言模型推理的高效GPU方法，采用三层矩阵存储格式，包括稀疏张量核心层、插槽填充层和残差层，实现稀疏矩阵乘法，在50%稀疏度下首次超越密集矩阵乘法，最高可达1.64倍内核加速和1.41倍端到端加速。

本文介绍了Director，一种新的分布式MoE推理系统，通过预测驱动的在线专家放置优化，显著降低端到端延迟。系统采用轻量级级联预测器或低比特量化副本预测专家激活模式，结合近乎零停机的在线迁移模块，以及基于松弛优化的专家放置算法，在多项式时间内达到(1+ε)近似比。实验表明，在Mistral、DeepSeek和Qwen等流行MoE模型上，相比现有工作延迟降低11%~55%。

本文提出有符号对称量化方法，解决标准对称量化器因整数范围不平衡导致的正异常值截断问题，同时避免非对称量化的运行时开销。理论分析表明该方法在ℓ2误差上条件最优，且88-99%的LLM权重组满足条件。实验在Qwen3、Llama3等模型上验证了困惑度和少样本准确率的提升。

AVA是一个开源自托管语音AI代理，专为Asterisk/FreePBX设计，提供快速部署、多代理管理、实时仪表盘和多AI引擎支持。最新更新包括稳定性修复、静默看门狗和每代理语音选择等功能。

Tinier 是一套免费的浏览器内媒体工具，支持图像压缩、格式转换、AI 放大和视频转 GIF，所有处理均在本地设备完成，无需上传文件，保护隐私。

密歇根大学研究团队推出NeuroVFM，一种基于524万临床MRI和CT体积训练的通用神经影像基础模型。其Vol-JEPA方法将自监督学习扩展到体积医学影像，无需放射报告标签即可学习大脑解剖和病理。在156项诊断任务中达到92.68（CT）和92.49（MRI）的AUROC，并支持报告生成、分诊和跨模态迁移。

一个Argo CD UI扩展，在资源视图中添加AI助手选项卡，允许用户用自然语言查询Kubernetes资源，并附加上下文（清单、事件、可选日志）。兼容任何OpenAI兼容后端，需要Argo CD v2.13+。

本文提出将AI用户未使用的推理代币众筹用于科学研究，类比于SETI@home项目。讨论了小型团队利用AI解决数学问题的成功案例，以及众筹推理能力所需的设计挑战。

OpenAI和Anthropic致力于构建大型通用模型，但微软等公司正转向开发小型专用模型，以降低成本并提高效率。微软的MAI模型家族正在取代OpenAI的模型，用于其产品中的AI功能。

微软正在测试Copilot的“PC Insights”功能，可以分析系统资源使用情况，帮助用户找出性能瓶颈。然而，Copilot本身是一个完整的Web应用，附带私人版Edge，空闲时占用高达1GB内存，凸显了其资源消耗的讽刺性。该功能为可选，默认不自动扫描，用户需授予权限。

苹果的自动驾驶汽车项目虽未成功，但其对AI处理的需求催生了神经网络引擎。该引擎首次亮相于iPhone X的A11仿生芯片，现已成为苹果设备端AI处理的核心，并延续至M系列芯片。未来，苹果将加速M7芯片开发，其神经网络引擎大幅升级，M7 Ultra服务器芯片将支持高达1.5TB内存。

苹果公司指控OpenAI及其两名前苹果员工窃取商业机密，用于开发ChatGPT硬件设备。诉讼称这是“机构层面的协调不当行为模式”，OpenAI否认并表示没有兴趣窃取其他公司的机密。

AI数据中心需求推动内存制造商收入激增，但产能建设滞后可能导致长期高价，若AI需求未达预期，将面临严重衰退。

前沿AI实验室正从聊天机器人转向集成系统，模型作为运行时，频繁发布强大模型和代理。本周亮点包括OpenAI的GPT-5.6（Sol、Terra、Luna），具备程序化工具调用和并行子代理；GPT-Live全双工音频；ChatGPT Work用于创建工件；Meta的Muse Spark 1.1拥有百万token上下文和主动上下文管理；Grok 4.5专注于编码和知识工作。研究方面，OpenAI审计表明SWE-Bench Pro基准30%任务有问题；Anthropic提出GRAM方法可选择性移除危险知识；SkillOpt-Lite优化代理自我进化；DSpark和Nemotron-Labs-Diffusion改进推理效率。行业新闻包括Lovable融资3亿美元，Prime Intellect融资1.3亿美元，SambaNova融资10亿美元等。

MSK是一款基于iPhone的AI CTO代理应用，提供架构审查、扩展建议和创业策略服务。它模拟了拥有15年以上经验、参与过300多个项目、服务过50多家初创公司的首席技术官Moeid Saleem Khan的思维方式。用户可以通过聊天或语音方式咨询技术、架构、扩展、AI、招聘或产品策略等问题。应用免费试用，无需账户，并提供高级订阅服务。

过去五年，Alphabet、亚马逊、Meta、微软和甲骨文这五大美国科技公司为扩建AI数据中心，债务总额增加了约3500亿美元。尽管投资者对AI前景看好，但亚马逊本周250亿美元的债券发行遇冷，显示市场对巨额投资的担忧。甲骨文因AI支出增加被标普下调评级，而英特尔因债务和战略失误陷入困境。大型云服务商今年计划投入高达7250亿美元，主要投向数据中心和英伟达芯片。

TalkFitly是一款专为iPhone设计的社交智能训练应用，通过真实场景模拟和AI评分，帮助用户提高沟通中的清晰度、情绪稳定性、自信和共情能力。包含每日微课程、名言墙和隐私保护功能。

本文详细解释了大语言模型在推理过程中的内部机制，包括自回归生成、预填充和解码阶段、KV缓存的工作原理及其内存占用，以及解码策略如何影响输出。

本教程通过 TileGym 探索 NVIDIA 的基于 tile 的 GPU 编程，构建一个可在不同硬件上运行的 Colab 工作流程。我们探测 CUDA 环境，尝试真实的 cuTile 后端，并在标准 Colab GPU 缺乏 cuTile 堆栈时回退到 Triton。我们学习核心 tile 思想：对整个数据块进行操作，而不是单个线程，然后加载、计算和存储它们。我们实现了向量加法、融合 GELU、行级 softmax、分块矩阵乘法和 flash attention，并将每个结果与 PyTorch 进行比较。

作者在Mac Studio上运行Qwen3.5-122B模型时，遇到了三个导致缓存失效的bug，修复后对话预填充时间从几分钟降至亚秒级，大幅提升了长上下文场景下的使用体验。文章还讨论了模型选择、混合注意力机制以及性能指标的正确衡量方式。

AgentTransfer 是一个为 AI 代理设计的开源文件传输工具，允许代理传输最大 5GB 的文件，发现对等体，并在空间中协调。它使用电子邮件作为控制平面，HTTPS 进行数据传输，代理注册无需人工干预。该工具是一个单一的 Go 二进制文件，可以自托管或使用托管实例。

Mesh LLM是一种新型分布式AI计算系统，通过iroh网络将多台机器的GPU和内存池化，提供一个OpenAI兼容的API。用户可以在本地或对等节点上运行模型，甚至将大型模型拆分到多台机器上。它解决了AI计算成本高、缺乏控制的问题，支持私有部署和公共网格，无需依赖中央服务器。

TradingSpy是一个开源的本地化AI交易研究工作站，集成市场热力图、新闻催化、策略生成、Backtrader回测和透明代理运行于一个Docker应用。它采用本地优先架构，所有数据存储在本地，无任何隐私担忧，支持多种LLM提供商和广泛的金融市场数据源，适合交易者和开发者进行策略研究、回测和信号分析。

30 Seconds of Knowledge 是一款浏览器扩展，每次打开新标签页时展示一段真实代码片段，帮助开发者保持编程敏锐度，对抗AI时代的思维惰性。该扩展内置超过1500个来自14个类库的代码片段，涵盖多种语言、框架和面试题，已有超过25,000名开发者使用。

科里·多克托罗探讨了AI的悖论：为什么有些用户热爱它而另一些则憎恨它。他引入了'半人马'（人类借助AI）和'反向半人马'（人类充当AI的责任吸收器）的概念。他认为AI是一个即将破裂的泡沫，但像Whisper这样的开源模型将留下有益的残余。关键在于谁控制AI，而非技术本身。

谷歌发布LiteRT.js，将高性能AI推理带入浏览器，支持CPU、GPU和NPU硬件加速，性能比现有方案提升最多3倍，并集成YOLO等模型。

openpilot 0.11.1 版本在驾驶员监控、热管理、横向控制报告和车辆支持方面进行了多项改进。新模型利用大型视觉语言模型（VLM）改善手机检测，减少了误报，并提高了驾驶员手机使用的检测准确性。热阈值从75°C提高到85°C，显著减少了热阻断。新增横向机动报告功能，便于调整转向控制。还修复了多个汽车品牌的问题，并新增了对Acura MDX 2022-24和Rivian R1S/R1T 2025的支持。

在短短24小时内，OpenAI、SpaceXAI和Meta相继发布新模型，但共同点是降价竞争。价格战正在重塑AI市场，企业需构建模型组合以优化成本与性能。

Ypipe是一款基于Java的免费本地AI客户端，集成了MCP编排功能，无需Python环境即可运行。它支持私有代理聊天、本地模型管理、一键集成，并可与SAP、Oracle等遗留系统对接，确保数据主权。提供零配置便携性、跨平台支持及无头模式，适合企业级本地AI部署。

本文介绍了millfolio如何通过混合标签系统高效处理本地AI推理：使用确定性字符串和引用标签覆盖大多数交易，仅对模糊尾部使用设备端AI标签。标签在索引时计算一次并存储，查询时不重复运行。回填使用批处理、去重和优先级调度器以避免过载。性能数据显示每个不同描述约650ms，有效行速8.5行/秒。系统包含预览机制，用户可在保存前验证标签效果。

GDP.pdf是一个新的基准测试，评估AI模型处理现实世界PDF文档的能力。测试涵盖金融、法律、医疗等10个领域，结果显示即使是顶尖模型（如GPT-5.5）的得分也低于30%。文章强调了PDF作为全球经济命脉的重要性，并指出模型在关键任务中的失败可能导致严重后果。

作者尝试用Claude AI复刻1986年的经典游戏《Thrust》，但AI生成的版本质量很差。然而，通过用AI分析原始6502汇编代码，作者深入理解了游戏的物理、音效和绘图机制，最终成功用TypeScript实现了忠于原作的复刻版。

MuScriptor是Kyutai与Mirelo合作开发的开源权重解码器专用Transformer模型，能够将多乐器音频转录为MIDI。模型采用三阶段训练：在145万合成MIDI上预训练、17万真实录音（超1.1万小时）上微调、300首人工验证曲目上强化学习。在DTest基准上，其Multi F1达48.2%，远超YourMT3+的21.9%。提供103M、307M和1.4B三种参数规模，推理代码采用MIT许可，权重采用CC BY-NC 4.0。

本教程介绍如何基于DeepAnalyze-8B构建一个自主数据科学代理。我们准备稳定的Colab运行时，安装依赖，以4位模式加载模型以适配有限GPU内存。添加沙盒执行环境，使模型能生成并安全运行Python代码，观察结果并持续迭代。最后，代理处理多文件电子商务工作区，完成数据清洗、连接、分析、可视化和生成分析报告。

西北大学研究人员受小脑启发，开发出一种新型忆晶体管，能以极低能耗快速检测异常事件。在实验中，该设备仅用五分之一个心跳时间就识别出心律失常，准确率超98%，能耗仅为传统AI的万分之一。

本文回顾了2025年5月至2026年6月期间生成式空间AI的快速发展，从文本到网格、视频生成、交互式世界模型、相机可控生成、本地化生产管线到AI原生CAD，记录了技术从演示到生产就绪的转变，并讨论了剩余挑战。

SK海力士在美上市融资265亿美元，成为史上最大外资IPO，超越阿里巴巴2014年250亿美元的纪录。公司被呼吁在美国建设新工厂。

尼莱·帕特尔在The Vergecast分享他对增强现实眼镜的看法，强调其不可避免的隐私问题。

本周AI新闻梳理：IBM推出0.7纳米芯片技术，OpenAI与博通发布专为推理设计的Jalapeño芯片，英伟达展示全液冷AI工厂设计；政府监管加强，Anthropic恢复模型访问权限，OpenAI提议向美国政府转让5%股权；工作角色快速演变，前哨工程师、SAP外部招聘与宜家内部培训成为焦点。

Tensorlake 重建了沙箱的网络入口架构，将数据路径从 L7 反向代理迁移到 L4 字节转发，利用内核 TLS（kTLS）和 splice(2) 实现零拷贝，大幅提升吞吐量并降低 CPU 开销。架构变化包括分离数据路径和控制平面、使用 kTLS 在内核中完成加解密、通过字节流监测实现自适应超时。性能测试显示，单连接吞吐量从 1.12 GB/s 提升至 2.50 GB/s，每 GB 的 CPU 消耗从 0.90 CPU 秒降至 0.49 CPU 秒。

本文介绍了 NVIDIA Nemotron 3 模型的独特架构，包括混合 Mamba-Transformer MoE 设计和支持高达 1M token 的上下文长度。亚马逊 SageMaker AI 现在推出针对 Nemotron 3 的无服务器模型定制服务，支持监督微调（SFT）、基于可验证奖励的强化学习（RLVR）和基于 AI 反馈的强化学习（RLAIF）三种技术。文章详细说明了如何通过 SageMaker Studio 控制台或 Python SDK 准备数据、启动定制任务、监控训练进度和评估模型，帮助企业将通用模型转化为领域专用资产。

亨利·沙因公司开发了Image Verify，这是一个基于Amazon SageMaker AI的AI驱动系统，可实时评估牙科X光片质量，减少保险理赔拒付。该系统在数月内从概念扩展到超过10,000个场所，处理了数百万张X光片，中位延迟低于2秒。

了解在 AWS 上部署 Unsloth 量化模型的四种模式：使用 EC2 进行直接访问，使用 SageMaker AI 进行托管服务，以及使用 EKS/ECS 进行容器化推理。理解 Unsloth 的动态量化技术、模型格式（GGUF、safetensors）和运维最佳实践。

本文介绍了如何使用vLLM在Amazon SageMaker HyperPod上通过HyperPod推理运算符实现分离式预填充和解码（DPD）。DPD通过将预填充和解码阶段分配到不同的GPU池，消除了长提示对令牌生成的干扰，从而降低了首令牌延迟和令牌间延迟，提高了推理性能。