GPU 基礎設施

微軟週四報告稱，由於建設新的數據中心，其去年碳排放量大幅上升，這對其氣候目標構成了挫折，而蓬勃的AI需求預計將在未來十年推動全球排放量急劇增加。

紐約州長霍楚爾簽署行政令，暫停全州數據中心建設一年，並計劃廢除銷售税豁免，要求數據中心公平承擔電網升級費用。此舉旨在保護居民利益，但被視為對人工智能行業的重大打擊，可能為其他州樹立先例。

本文深入探討了TPU和GPU集羣拓撲結構，以及用於Transformer訓練和推理的核心集體操作。重點介紹了環狀算法在大型消息通信中的應用，並分析了TPU的2D/3D環面拓撲和帶寬層次結構。

開放模型如NVIDIA Nemotron使企業能夠構建滿足特定需求的AI，提供完全的控制權、定製能力和成本效益，並推動從AI使用到AI擁有的轉變。

在AI工廠中，電力是不可迴避的約束。每瓦性能決定了在固定電力預算內能生成的token數量，直接影響收入和盈利能力。隨着代理型AI推動token需求增長，今天的架構決策將決定誰能擴展。NVIDIA Blackwell平台通過全棧協同設計實現高達25倍的每瓦性能提升，並已在生產中驗證。

紐約州州長凱西·霍楚爾簽署行政令，在全州範圍內暫停新建大型AI數據中心，為期一年。此舉旨在應對能源消耗和環境影響。

在全球大規模投資人工智能數據中心的背景下，Meta的該項目是規模最大的之一，預計成本達500億美元。

擴展LLM的關鍵不是增加GPU，而是消除每個請求中的不必要工作。本文介紹了12種實用的減少延遲和成本的方法。

Meta計劃投資500億美元擴建其路易斯安那州的數據中心，並探索出租多餘計算能力給其他AI實驗室。這表明Meta可能效仿亞馬遜、谷歌等公司，從社交媒體巨頭轉型為雲服務提供商。

大規模AI數據中心投資導致芯片、電腦和電力價格上漲，可能使通脹持續高於美聯儲目標，並促使加息。

本文提出了一種針對大語言模型推理的高效GPU方法，採用三層矩陣存儲格式，包括稀疏張量核心層、插槽填充層和殘差層，實現稀疏矩陣乘法，在50%稀疏度下首次超越密集矩陣乘法，最高可達1.64倍內核加速和1.41倍端到端加速。

《衞報》全球科技報道團隊正在調查為支撐人工智能革命而建造的龐大數據中心的影響。他們講述了其報道領域如何日益轉向線下現實。

AI數據中心需求推動內存製造商收入激增，但產能建設滯後可能導致長期高價，若AI需求未達預期，將面臨嚴重衰退。

過去五年，Alphabet、亞馬遜、Meta、微軟和甲骨文這五大美國科技公司為擴建AI數據中心，債務總額增加了約3500億美元。儘管投資者對AI前景看好，但亞馬遜本週250億美元的債券發行遇冷，顯示市場對鉅額投資的擔憂。甲骨文因AI支出增加被標普下調評級，而英特爾因債務和戰略失誤陷入困境。大型雲服務商今年計劃投入高達7250億美元，主要投向數據中心和英偉達芯片。

本教程通過 TileGym 探索 NVIDIA 的基於 tile 的 GPU 編程，構建一個可在不同硬件上運行的 Colab 工作流程。我們探測 CUDA 環境，嘗試真實的 cuTile 後端，並在標準 Colab GPU 缺乏 cuTile 堆棧時回退到 Triton。我們學習核心 tile 思想：對整個數據塊進行操作，而不是單個線程，然後加載、計算和存儲它們。我們實現了向量加法、融合 GELU、行級 softmax、分塊矩陣乘法和 flash attention，並將每個結果與 PyTorch 進行比較。

Mesh LLM是一種新型分佈式AI計算系統，通過iroh網絡將多台機器的GPU和內存池化，提供一個OpenAI兼容的API。用户可以在本地或對等節點上運行模型，甚至將大型模型拆分到多台機器上。它解決了AI計算成本高、缺乏控制的問題，支持私有部署和公共網格，無需依賴中央服務器。

谷歌發佈LiteRT.js，將高性能AI推理帶入瀏覽器，支持CPU、GPU和NPU硬件加速，性能比現有方案提升最多3倍，並集成YOLO等模型。

本教程介紹如何基於DeepAnalyze-8B構建一個自主數據科學代理。我們準備穩定的Colab運行時，安裝依賴，以4位模式加載模型以適配有限GPU內存。添加沙盒執行環境，使模型能生成並安全運行Python代碼，觀察結果並持續迭代。最後，代理處理多文件電子商務工作區，完成數據清洗、連接、分析、可視化和生成分析報告。

本文介紹了 NVIDIA Nemotron 3 模型的獨特架構，包括混合 Mamba-Transformer MoE 設計和支持高達 1M token 的上下文長度。亞馬遜 SageMaker AI 現在推出針對 Nemotron 3 的無服務器模型定製服務，支持監督微調（SFT）、基於可驗證獎勵的強化學習（RLVR）和基於 AI 反饋的強化學習（RLAIF）三種技術。文章詳細説明了如何通過 SageMaker Studio 控制台或 Python SDK 準備數據、啓動定製任務、監控訓練進度和評估模型，幫助企業將通用模型轉化為領域專用資產。

本文介紹瞭如何使用vLLM在Amazon SageMaker HyperPod上通過HyperPod推理運算符實現分離式預填充和解碼（DPD）。DPD通過將預填充和解碼階段分配到不同的GPU池，消除了長提示對令牌生成的干擾，從而降低了首令牌延遲和令牌間延遲，提高了推理性能。

太陽能和家庭儲能公司Sunrun啓動了一項試點計劃，讓客户在家中託管AI計算節點，併為此獲得補償。此舉旨在應對大型數據中心面臨的公眾反對，探索分佈式AI計算基礎設施。

SmolVLM2-2.2B在能力和規模之間取得了實用平衡，可在單個消費級GPU上運行，並生成真正有用的視頻摘要。本文構建了一個本地管道，提取幀、用SmolVLM2分析並輸出結構化JSON摘要。

美國參議員埃德·馬基（Ed Markey）提出一系列法案，旨在監管數據中心、自動化招聘系統、工作場所監控以及保護兒童免受AI侵害。馬基表示，對未監管的人工智能所帶來的危險感到擔憂，包括能源消耗、算法偏見、經濟不平等加劇等問題。

作者通過對比童年電腦與當今的B300 GPU系統，反思AI技術的快速發展。探討了LLMs的爭議、符號AI與統計AI的差異、智能的本質以及未來的夢想與現實。文章還包含與朋友的關於確定性和記憶的討論。

紅杉資本合夥人David Cahn三年前首次計算了硅谷AI基礎設施鉅額支出的財務影響，他根據Nvidia的GPU收入推導出需要2000億美元的收入才能收回前期投資。

SK海力士作為先進存儲芯片供應商，受益於全球AI數據中心建設熱潮，利潤飆升。公司於週五確定其鉅額美國上市定價，計劃融資265億美元，成為全球最大規模股票發行之一。

TensorSharp是一個基於.NET 10的本地LLM推理引擎，支持GGUF模型、GPU加速，並提供命令行工具、瀏覽器聊天服務器及兼容Ollama和OpenAI的API。它強調隱私性、零按token費用，並支持多種硬件後端。文中還提供了快速入門指南和性能基準測試比較。

新加坡公司Datagrid獲准在新西蘭南部的Makarewa建設價值35億新西蘭元（約20億美元）的AI數據中心，計劃於2026年動工，2028年投入運營。當地居民對電力、水資源消耗及噪音污染表示擔憂，呼籲項目方提高透明度。

隨着代理AI推動上下文記憶需求激增，存儲角色從邊緣走向核心。Solidigm提出以token per watt作為數據中心效率新指標，並通過高密度SSD和液冷技術重新定義AI基礎設施。

NVIDIA發佈了Nemotron-Labs-3-Puzzle-75B-A9B，這是Nemotron-3-Super的壓縮變體，通過迭代式Puzzle壓縮技術，將總參數量從120.7B降至75.3B，活躍參數從12.8B降至9.3B。在單個8xB200節點上，吞吐量提升至原模型的2.03倍（100 tok/s每用户）；在單塊H100上，1M token併發數從1提升至8。該模型在多項基準測試中保持高精度，但指令跟隨和智能體評估略有下降。

隨着代理型AI用例增多，實時交互需求推動推理基礎設施重構。d-Matrix與NVIDIA合作推出異構計算解決方案，通過堆疊DRAM和邏輯芯片提升內存帶寬，實現低延遲快速令牌生成，開啓新的營收層級。

DDN首席執行官Alex Bouzari在RAISE峯會上表示，AI數據基礎設施決定了GPU投資能否獲得回報。全球正在分化成高效利用GPU和閒置GPU的兩類組織。DDN參與了12個主權AI項目，其技術使Salesforce的GPU生產力提升了70%，並得到NVIDIA長期使用驗證。DDN的Infinidat平台旨在連接分佈式邊緣到核心的AI架構，解決多數據中心和多雲的整合難題。

AI智能體生成的高性能GPU內核雖然通過數值測試，但仍可能存在隱藏缺陷。本文介紹了Gimlet Labs開發的一款早期研究系統，利用形式化驗證補充傳統數值測試，確保AI生成及人工編寫的內核的正確性。通過一個缺失中間裁剪的注意力機制案例，展示了形式化驗證如何發現測試遺漏的等價性問題。

Prime Intellect 發佈 Lab 平台，旨在讓每個人都能訓練自己的 AI 模型。該平台集成了環境中心、託管訓練和評估功能，支持從強化學習到推理的完整後訓練流程，無需管理GPU集羣或底層算法細節。

NVIDIA發佈了Nemotron-Labs-3-Puzzle-75B-A9B，這是Nemotron-3-Super的壓縮變體。通過迭代式Puzzle壓縮，模型參數從120.7B總/12.8B活躍降至75.3B總/9.3B活躍。在單個8xB200節點上，用户吞吐量達到100 tok/s時，總吞吐量提升至Super的2.03倍；在單個H100上，1M令牌併發數從1提升至8。

Prime Intellect 宣佈完成1.3億美元A輪融資，由Radical Ventures領投，NVIDIA、英特爾、戴爾等參投，總融資額超1.5億美元。公司旨在構建開放超級智能堆棧，利用強化學習（RL）使企業能夠擁有自己的模型優化循環，而非依賴少數封閉實驗室。其平台涵蓋訓練、部署和持續改進模型的完整工具鏈，已擁有超6000家客户，年化收入超1億美元。未來將聚焦長時程代理、遞歸語言模型、自動化科研和持續學習等前沿方向。

OpenClaw從一個週末項目成長為全球性開源運動，每週新增450萬用户，成為GitHub史上增長最快的倉庫。如今，它正式成立501(c)(3)非營利基金會，旨在保持項目開放、獨立，並由社區驅動。基金會將提供治理、穩定資金，並僱傭全職團隊。合作伙伴包括OpenAI、NVIDIA、微軟、密歇根大學等，共同推動個人AI代理的發展。

線段檢測是視覺SLAM、3D重建和工業檢測的關鍵模塊。現有深度學習方法雖精度高，但最小模型也需數兆字節內存，超出低成本MCU的容量。本文研究亞兆字節預算下的最大可達精度，提出MiLSD——針對MCU約束設計的檢測器，系統比較緊湊全卷積骨幹網絡中的三種輸出表示，發現所提出的F-Clip中心-長度-角度公式在小模型規模下學習效率最高。8位量化可保持全精度性能，而4位量化導致顯著退化，尤其角度迴歸，量化感知訓練僅能部分恢復損失。在1兆字節激活預算下，結合亞像素解碼、測試時增強和輕量驗證器，MiLSD將ShanghaiTech Wireframe上的sAP10從10.6（25k參數，0.25 MB）提升至24.1。本文不試圖與GPU級解析器競爭，而是繪製了嵌入式視覺系統中不同表示、位寬、容量和後處理策略下的精度-內存權衡圖。

美國擁有足夠的電力來支持AI數據中心，但將其輸送到需要的地方才是問題所在。電網互聯排隊時間從2005年的20個月增加到2023年的55個月，成為AI發展的主要障礙。市場機制本身能有效調配發電資源，但電網基礎設施規劃滯後。

Modal公司剛完成3.55億美元的C輪融資，其CTO Akshat Bubna在播客中闡述了從開發者體驗到智能體體驗的轉變。他強調Kubernetes並不適合突發性AI工作負載，並介紹了Modal的AI雲原生組件：無服務器函數、GPU快照、沙箱等。

NVIDIA 通過開放數據和合成數據推動智能體 AI 發展，強調數據質量、可檢查性和信任。

LangChain與NVIDIA合作推出NemoClaw深度代理藍圖，結合LangChain深度代理代碼、NVIDIA Nemotron 3 Ultra和OpenShell，為企業構建開放、受治理的代理系統。該藍圖在代理評估中實現了領先性能，且推理成本降低約10倍。

數據中心消耗大量能源和水資源，並散發大量熱量。除了科技精英，還有誰從這些投資中受益？氣候變化和人工智能這兩大生存威脅在澳大利亞及全球的數據中心爆炸式增長中交匯。

NVIDIA Nemotron 3 Ultra 與 LangChain 深度代理框架結合，在開放模型中取得最高準確率，同時以比頂級封閉模型低 10 倍的推理成本完成更多任務。該成果無需重新訓練模型，而是通過優化模型周圍環境實現。Abridge、Amdocs、Box 等企業正在將專業代理嵌入其平台，EY 等系統集成商則基於此開放棧為客户構建定製化代理。

Deep Agents Code現在可作為NVIDIA NemoClaw的治理藍圖運行，使用開放模型Nemotron 3 Ultra，提供默認拒絕網絡、人工審批和完整審計日誌，適用於敏感代碼現代化。

文章闡述了美國如何通過將能源轉化為算力，再轉化為智能，構建下一個出口層，從而重新定義國家實力。核心觀點包括：經濟安全始於國家能力，能源是所有產業的基石，算力是能源通往智能的轉化層，以及美國需要從物理、金融、技術和文明維度同時推進戰略。

法國AI初創公司ZML在被譽為圖靈獎得主Yann LeCun的支持下，推出了一款免費軟件，旨在使多種開源大型語言模型能夠在包括Nvidia、AMD、Google TPU、Apple Metal和Intel Arc在內的多種芯片上高效運行。

本教程從Colab實際操作角度探索NVIDIA的Cosmos框架，誠實地評估真實Cosmos 3檢查點所需的硬件條件。我們檢測運行時環境，基於框架的真實結構、CLI界面和輸入模式，構建並訓練了一個緊湊的全模態混合Transformer模型，該模型共享跨模態注意力，同時將每種模態路由到各自的專家網絡。使用合成物理世界數據和自迴歸滾動，展示了模型如何跨文本、視覺和動作模態預測未來潛在狀態。

Light-Omni是一種多模態智能體框架，通過雙上下文狀態（全局狀態和參數化潛在狀態）實現無需迭代推理的反射式視頻理解，在多個基準測試中超越M3-Agent，速度提升12.1倍，GPU內存效率提升2.6倍，並可作為現有多模態大語言模型的記憶系統。

本文提出Design-CP，為RFdiffusion 3引入兩種上下文並行推理策略（1D行分片和2D網格分片），將二次激活分佈到多GPU，使得在有限顯存下設計大型蛋白質納米顆粒成為可能。實驗表明，2D分片在二十面體組裝中擴展性更好，併成功在16GB GPU集羣上實現了八面體納米顆粒設計。