GPU 基础设施

微软周四报告称，由于建设新的数据中心，其去年碳排放量大幅上升，这对其气候目标构成了挫折，而蓬勃的AI需求预计将在未来十年推动全球排放量急剧增加。

纽约州长霍楚尔签署行政令，暂停全州数据中心建设一年，并计划废除销售税豁免，要求数据中心公平承担电网升级费用。此举旨在保护居民利益，但被视为对人工智能行业的重大打击，可能为其他州树立先例。

本文深入探讨了TPU和GPU集群拓扑结构，以及用于Transformer训练和推理的核心集体操作。重点介绍了环状算法在大型消息通信中的应用，并分析了TPU的2D/3D环面拓扑和带宽层次结构。

开放模型如NVIDIA Nemotron使企业能够构建满足特定需求的AI，提供完全的控制权、定制能力和成本效益，并推动从AI使用到AI拥有的转变。

在AI工厂中，电力是不可回避的约束。每瓦性能决定了在固定电力预算内能生成的token数量，直接影响收入和盈利能力。随着代理型AI推动token需求增长，今天的架构决策将决定谁能扩展。NVIDIA Blackwell平台通过全栈协同设计实现高达25倍的每瓦性能提升，并已在生产中验证。

纽约州州长凯西·霍楚尔签署行政令，在全州范围内暂停新建大型AI数据中心，为期一年。此举旨在应对能源消耗和环境影响。

在全球大规模投资人工智能数据中心的背景下，Meta的该项目是规模最大的之一，预计成本达500亿美元。

扩展LLM的关键不是增加GPU，而是消除每个请求中的不必要工作。本文介绍了12种实用的减少延迟和成本的方法。

Meta计划投资500亿美元扩建其路易斯安那州的数据中心，并探索出租多余计算能力给其他AI实验室。这表明Meta可能效仿亚马逊、谷歌等公司，从社交媒体巨头转型为云服务提供商。

大规模AI数据中心投资导致芯片、电脑和电力价格上涨，可能使通胀持续高于美联储目标，并促使加息。

本文提出了一种针对大语言模型推理的高效GPU方法，采用三层矩阵存储格式，包括稀疏张量核心层、插槽填充层和残差层，实现稀疏矩阵乘法，在50%稀疏度下首次超越密集矩阵乘法，最高可达1.64倍内核加速和1.41倍端到端加速。

《卫报》全球科技报道团队正在调查为支撑人工智能革命而建造的庞大数据中心的影响。他们讲述了其报道领域如何日益转向线下现实。

AI数据中心需求推动内存制造商收入激增，但产能建设滞后可能导致长期高价，若AI需求未达预期，将面临严重衰退。

过去五年，Alphabet、亚马逊、Meta、微软和甲骨文这五大美国科技公司为扩建AI数据中心，债务总额增加了约3500亿美元。尽管投资者对AI前景看好，但亚马逊本周250亿美元的债券发行遇冷，显示市场对巨额投资的担忧。甲骨文因AI支出增加被标普下调评级，而英特尔因债务和战略失误陷入困境。大型云服务商今年计划投入高达7250亿美元，主要投向数据中心和英伟达芯片。

本教程通过 TileGym 探索 NVIDIA 的基于 tile 的 GPU 编程，构建一个可在不同硬件上运行的 Colab 工作流程。我们探测 CUDA 环境，尝试真实的 cuTile 后端，并在标准 Colab GPU 缺乏 cuTile 堆栈时回退到 Triton。我们学习核心 tile 思想：对整个数据块进行操作，而不是单个线程，然后加载、计算和存储它们。我们实现了向量加法、融合 GELU、行级 softmax、分块矩阵乘法和 flash attention，并将每个结果与 PyTorch 进行比较。

Mesh LLM是一种新型分布式AI计算系统，通过iroh网络将多台机器的GPU和内存池化，提供一个OpenAI兼容的API。用户可以在本地或对等节点上运行模型，甚至将大型模型拆分到多台机器上。它解决了AI计算成本高、缺乏控制的问题，支持私有部署和公共网格，无需依赖中央服务器。

谷歌发布LiteRT.js，将高性能AI推理带入浏览器，支持CPU、GPU和NPU硬件加速，性能比现有方案提升最多3倍，并集成YOLO等模型。

本教程介绍如何基于DeepAnalyze-8B构建一个自主数据科学代理。我们准备稳定的Colab运行时，安装依赖，以4位模式加载模型以适配有限GPU内存。添加沙盒执行环境，使模型能生成并安全运行Python代码，观察结果并持续迭代。最后，代理处理多文件电子商务工作区，完成数据清洗、连接、分析、可视化和生成分析报告。

本文介绍了 NVIDIA Nemotron 3 模型的独特架构，包括混合 Mamba-Transformer MoE 设计和支持高达 1M token 的上下文长度。亚马逊 SageMaker AI 现在推出针对 Nemotron 3 的无服务器模型定制服务，支持监督微调（SFT）、基于可验证奖励的强化学习（RLVR）和基于 AI 反馈的强化学习（RLAIF）三种技术。文章详细说明了如何通过 SageMaker Studio 控制台或 Python SDK 准备数据、启动定制任务、监控训练进度和评估模型，帮助企业将通用模型转化为领域专用资产。

本文介绍了如何使用vLLM在Amazon SageMaker HyperPod上通过HyperPod推理运算符实现分离式预填充和解码（DPD）。DPD通过将预填充和解码阶段分配到不同的GPU池，消除了长提示对令牌生成的干扰，从而降低了首令牌延迟和令牌间延迟，提高了推理性能。

太阳能和家庭储能公司Sunrun启动了一项试点计划，让客户在家中托管AI计算节点，并为此获得补偿。此举旨在应对大型数据中心面临的公众反对，探索分布式AI计算基础设施。

SmolVLM2-2.2B在能力和规模之间取得了实用平衡，可在单个消费级GPU上运行，并生成真正有用的视频摘要。本文构建了一个本地管道，提取帧、用SmolVLM2分析并输出结构化JSON摘要。

美国参议员埃德·马基（Ed Markey）提出一系列法案，旨在监管数据中心、自动化招聘系统、工作场所监控以及保护儿童免受AI侵害。马基表示，对未监管的人工智能所带来的危险感到担忧，包括能源消耗、算法偏见、经济不平等加剧等问题。

作者通过对比童年电脑与当今的B300 GPU系统，反思AI技术的快速发展。探讨了LLMs的争议、符号AI与统计AI的差异、智能的本质以及未来的梦想与现实。文章还包含与朋友的关于确定性和记忆的讨论。

红杉资本合伙人David Cahn三年前首次计算了硅谷AI基础设施巨额支出的财务影响，他根据Nvidia的GPU收入推导出需要2000亿美元的收入才能收回前期投资。

SK海力士作为先进存储芯片供应商，受益于全球AI数据中心建设热潮，利润飙升。公司于周五确定其巨额美国上市定价，计划融资265亿美元，成为全球最大规模股票发行之一。

TensorSharp是一个基于.NET 10的本地LLM推理引擎，支持GGUF模型、GPU加速，并提供命令行工具、浏览器聊天服务器及兼容Ollama和OpenAI的API。它强调隐私性、零按token费用，并支持多种硬件后端。文中还提供了快速入门指南和性能基准测试比较。

新加坡公司Datagrid获准在新西兰南部的Makarewa建设价值35亿新西兰元（约20亿美元）的AI数据中心，计划于2026年动工，2028年投入运营。当地居民对电力、水资源消耗及噪音污染表示担忧，呼吁项目方提高透明度。

随着代理AI推动上下文记忆需求激增，存储角色从边缘走向核心。Solidigm提出以token per watt作为数据中心效率新指标，并通过高密度SSD和液冷技术重新定义AI基础设施。

NVIDIA发布了Nemotron-Labs-3-Puzzle-75B-A9B，这是Nemotron-3-Super的压缩变体，通过迭代式Puzzle压缩技术，将总参数量从120.7B降至75.3B，活跃参数从12.8B降至9.3B。在单个8xB200节点上，吞吐量提升至原模型的2.03倍（100 tok/s每用户）；在单块H100上，1M token并发数从1提升至8。该模型在多项基准测试中保持高精度，但指令跟随和智能体评估略有下降。

随着代理型AI用例增多，实时交互需求推动推理基础设施重构。d-Matrix与NVIDIA合作推出异构计算解决方案，通过堆叠DRAM和逻辑芯片提升内存带宽，实现低延迟快速令牌生成，开启新的营收层级。

DDN首席执行官Alex Bouzari在RAISE峰会上表示，AI数据基础设施决定了GPU投资能否获得回报。全球正在分化成高效利用GPU和闲置GPU的两类组织。DDN参与了12个主权AI项目，其技术使Salesforce的GPU生产力提升了70%，并得到NVIDIA长期使用验证。DDN的Infinidat平台旨在连接分布式边缘到核心的AI架构，解决多数据中心和多云的整合难题。

AI智能体生成的高性能GPU内核虽然通过数值测试，但仍可能存在隐藏缺陷。本文介绍了Gimlet Labs开发的一款早期研究系统，利用形式化验证补充传统数值测试，确保AI生成及人工编写的内核的正确性。通过一个缺失中间裁剪的注意力机制案例，展示了形式化验证如何发现测试遗漏的等价性问题。

Prime Intellect 发布 Lab 平台，旨在让每个人都能训练自己的 AI 模型。该平台集成了环境中心、托管训练和评估功能，支持从强化学习到推理的完整后训练流程，无需管理GPU集群或底层算法细节。

NVIDIA发布了Nemotron-Labs-3-Puzzle-75B-A9B，这是Nemotron-3-Super的压缩变体。通过迭代式Puzzle压缩，模型参数从120.7B总/12.8B活跃降至75.3B总/9.3B活跃。在单个8xB200节点上，用户吞吐量达到100 tok/s时，总吞吐量提升至Super的2.03倍；在单个H100上，1M令牌并发数从1提升至8。

Prime Intellect 宣布完成1.3亿美元A轮融资，由Radical Ventures领投，NVIDIA、英特尔、戴尔等参投，总融资额超1.5亿美元。公司旨在构建开放超级智能堆栈，利用强化学习（RL）使企业能够拥有自己的模型优化循环，而非依赖少数封闭实验室。其平台涵盖训练、部署和持续改进模型的完整工具链，已拥有超6000家客户，年化收入超1亿美元。未来将聚焦长时程代理、递归语言模型、自动化科研和持续学习等前沿方向。

OpenClaw从一个周末项目成长为全球性开源运动，每周新增450万用户，成为GitHub史上增长最快的仓库。如今，它正式成立501(c)(3)非营利基金会，旨在保持项目开放、独立，并由社区驱动。基金会将提供治理、稳定资金，并雇佣全职团队。合作伙伴包括OpenAI、NVIDIA、微软、密歇根大学等，共同推动个人AI代理的发展。

线段检测是视觉SLAM、3D重建和工业检测的关键模块。现有深度学习方法虽精度高，但最小模型也需数兆字节内存，超出低成本MCU的容量。本文研究亚兆字节预算下的最大可达精度，提出MiLSD——针对MCU约束设计的检测器，系统比较紧凑全卷积骨干网络中的三种输出表示，发现所提出的F-Clip中心-长度-角度公式在小模型规模下学习效率最高。8位量化可保持全精度性能，而4位量化导致显著退化，尤其角度回归，量化感知训练仅能部分恢复损失。在1兆字节激活预算下，结合亚像素解码、测试时增强和轻量验证器，MiLSD将ShanghaiTech Wireframe上的sAP10从10.6（25k参数，0.25 MB）提升至24.1。本文不试图与GPU级解析器竞争，而是绘制了嵌入式视觉系统中不同表示、位宽、容量和后处理策略下的精度-内存权衡图。

美国拥有足够的电力来支持AI数据中心，但将其输送到需要的地方才是问题所在。电网互联排队时间从2005年的20个月增加到2023年的55个月，成为AI发展的主要障碍。市场机制本身能有效调配发电资源，但电网基础设施规划滞后。

Modal公司刚完成3.55亿美元的C轮融资，其CTO Akshat Bubna在播客中阐述了从开发者体验到智能体体验的转变。他强调Kubernetes并不适合突发性AI工作负载，并介绍了Modal的AI云原生组件：无服务器函数、GPU快照、沙箱等。

NVIDIA 通过开放数据和合成数据推动智能体 AI 发展，强调数据质量、可检查性和信任。

LangChain与NVIDIA合作推出NemoClaw深度代理蓝图，结合LangChain深度代理代码、NVIDIA Nemotron 3 Ultra和OpenShell，为企业构建开放、受治理的代理系统。该蓝图在代理评估中实现了领先性能，且推理成本降低约10倍。

数据中心消耗大量能源和水资源，并散发大量热量。除了科技精英，还有谁从这些投资中受益？气候变化和人工智能这两大生存威胁在澳大利亚及全球的数据中心爆炸式增长中交汇。

NVIDIA Nemotron 3 Ultra 与 LangChain 深度代理框架结合，在开放模型中取得最高准确率，同时以比顶级封闭模型低 10 倍的推理成本完成更多任务。该成果无需重新训练模型，而是通过优化模型周围环境实现。Abridge、Amdocs、Box 等企业正在将专业代理嵌入其平台，EY 等系统集成商则基于此开放栈为客户构建定制化代理。

Deep Agents Code现在可作为NVIDIA NemoClaw的治理蓝图运行，使用开放模型Nemotron 3 Ultra，提供默认拒绝网络、人工审批和完整审计日志，适用于敏感代码现代化。

文章阐述了美国如何通过将能源转化为算力，再转化为智能，构建下一个出口层，从而重新定义国家实力。核心观点包括：经济安全始于国家能力，能源是所有产业的基石，算力是能源通往智能的转化层，以及美国需要从物理、金融、技术和文明维度同时推进战略。

法国AI初创公司ZML在被誉为图灵奖得主Yann LeCun的支持下，推出了一款免费软件，旨在使多种开源大型语言模型能够在包括Nvidia、AMD、Google TPU、Apple Metal和Intel Arc在内的多种芯片上高效运行。

本教程从Colab实际操作角度探索NVIDIA的Cosmos框架，诚实地评估真实Cosmos 3检查点所需的硬件条件。我们检测运行时环境，基于框架的真实结构、CLI界面和输入模式，构建并训练了一个紧凑的全模态混合Transformer模型，该模型共享跨模态注意力，同时将每种模态路由到各自的专家网络。使用合成物理世界数据和自回归滚动，展示了模型如何跨文本、视觉和动作模态预测未来潜在状态。

Light-Omni是一种多模态智能体框架，通过双上下文状态（全局状态和参数化潜在状态）实现无需迭代推理的反射式视频理解，在多个基准测试中超越M3-Agent，速度提升12.1倍，GPU内存效率提升2.6倍，并可作为现有多模态大语言模型的记忆系统。

本文提出Design-CP，为RFdiffusion 3引入两种上下文并行推理策略（1D行分片和2D网格分片），将二次激活分布到多GPU，使得在有限显存下设计大型蛋白质纳米颗粒成为可能。实验表明，2D分片在二十面体组装中扩展性更好，并成功在16GB GPU集群上实现了八面体纳米颗粒设计。