NVIDIA

本教程透過 TileGym 探索 NVIDIA 的基於 tile 的 GPU 程式設計，構建一個可在不同硬體上執行的 Colab 工作流程。我們探測 CUDA 環境，嘗試真實的 cuTile 後端，並在標準 Colab GPU 缺乏 cuTile 堆疊時回退到 Triton。我們學習核心 tile 思想：對整個資料塊進行操作，而不是單個執行緒，然後載入、計算和儲存它們。我們實現了向量加法、融合 GELU、行級 softmax、分塊矩陣乘法和 flash attention，並將每個結果與 PyTorch 進行比較。

本文介紹了 NVIDIA Nemotron 3 模型的獨特架構，包括混合 Mamba-Transformer MoE 設計和支援高達 1M token 的上下文長度。亞馬遜 SageMaker AI 現在推出針對 Nemotron 3 的無伺服器模型定製服務，支援監督微調（SFT）、基於可驗證獎勵的強化學習（RLVR）和基於 AI 反饋的強化學習（RLAIF）三種技術。文章詳細說明了如何透過 SageMaker Studio 控制台或 Python SDK 準備資料、啟動定製任務、監控訓練進度和評估模型，幫助企業將通用模型轉化為領域專用資產。

紅杉資本合夥人David Cahn三年前首次計算了矽谷AI基礎設施鉅額支出的財務影響，他根據Nvidia的GPU收入推匯出需要2000億美元的收入才能收回前期投資。

NVIDIA釋出了Nemotron-Labs-3-Puzzle-75B-A9B，這是Nemotron-3-Super的壓縮變體，透過迭代式Puzzle壓縮技術，將總引數量從120.7B降至75.3B，活躍引數從12.8B降至9.3B。在單個8xB200節點上，吞吐量提升至原模型的2.03倍（100 tok/s每使用者）；在單塊H100上，1M token併發數從1提升至8。該模型在多項基準測試中保持高精度，但指令跟隨和智慧體評估略有下降。

隨著代理型AI用例增多，即時互動需求推動推理基礎設施重構。d-Matrix與NVIDIA合作推出異構計算解決方案，透過堆疊DRAM和邏輯晶片提升記憶體頻寬，實現低延遲快速令牌生成，開啟新的營收層級。

DDN執行長Alex Bouzari在RAISE峰會上表示，AI資料基礎設施決定了GPU投資能否獲得回報。全球正在分化成高效利用GPU和閒置GPU的兩類組織。DDN參與了12個主權AI專案，其技術使Salesforce的GPU生產力提升了70%，並得到NVIDIA長期使用驗證。DDN的Infinidat平臺旨在連線分散式邊緣到核心的AI架構，解決多資料中心和多雲的整合難題。

NVIDIA釋出了Nemotron-Labs-3-Puzzle-75B-A9B，這是Nemotron-3-Super的壓縮變體。透過迭代式Puzzle壓縮，模型引數從120.7B總/12.8B活躍降至75.3B總/9.3B活躍。在單個8xB200節點上，使用者吞吐量達到100 tok/s時，總吞吐量提升至Super的2.03倍；在單個H100上，1M令牌併發數從1提升至8。

Prime Intellect 宣佈完成1.3億美元A輪融資，由Radical Ventures領投，NVIDIA、英特爾、戴爾等參投，總融資額超1.5億美元。公司旨在構建開放超級智慧堆疊，利用強化學習（RL）使企業能夠擁有自己的模型最佳化迴圈，而非依賴少數封閉實驗室。其平臺涵蓋訓練、部署和持續改進模型的完整工具鏈，已擁有超6000家客戶，年化收入超1億美元。未來將聚焦長時程代理、遞迴語言模型、自動化科研和持續學習等前沿方向。

OpenClaw從一個週末專案成長為全球性開源運動，每週新增450萬使用者，成為GitHub史上增長最快的倉庫。如今，它正式成立501(c)(3)非營利基金會，旨在保持專案開放、獨立，並由社群驅動。基金會將提供治理、穩定資金，並僱傭全職團隊。合作伙伴包括OpenAI、NVIDIA、微軟、密歇根大學等，共同推動個人AI代理的發展。

NVIDIA 透過開放資料和合成資料推動智慧體 AI 發展，強調資料質量、可檢查性和信任。

LangChain與NVIDIA合作推出NemoClaw深度代理藍圖，結合LangChain深度代理程式碼、NVIDIA Nemotron 3 Ultra和OpenShell，為企業構建開放、受治理的代理系統。該藍圖在代理評估中實現了領先效能，且推理成本降低約10倍。

NVIDIA Nemotron 3 Ultra 與 LangChain 深度代理框架結合，在開放模型中取得最高準確率，同時以比頂級封閉模型低 10 倍的推理成本完成更多工。該成果無需重新訓練模型，而是透過最佳化模型周圍環境實現。Abridge、Amdocs、Box 等企業正在將專業代理嵌入其平臺，EY 等系統整合商則基於此開放棧為客戶構建定製化代理。

Deep Agents Code現在可作為NVIDIA NemoClaw的治理藍圖執行，使用開放模型Nemotron 3 Ultra，提供預設拒絕網路、人工審批和完整審計日誌，適用於敏感程式碼現代化。

法國AI初創公司ZML在被譽為圖靈獎得主Yann LeCun的支援下，推出了一款免費軟體，旨在使多種開源大型語言模型能夠在包括Nvidia、AMD、Google TPU、Apple Metal和Intel Arc在內的多種晶片上高效執行。

本教程從Colab實際操作角度探索NVIDIA的Cosmos框架，誠實地評估真實Cosmos 3檢查點所需的硬體條件。我們檢測執行時環境，基於框架的真實結構、CLI介面和輸入模式，構建並訓練了一個緊湊的全模態混合Transformer模型，該模型共享跨模態注意力，同時將每種模態路由到各自的專家網路。使用合成物理世界資料和自迴歸滾動，展示了模型如何跨文本、視覺和動作模態預測未來潛在狀態。

本期AINews涵蓋了2026年7月6日至7日的廣泛AI發展。亮點包括Lilian Weng對遞迴自我改進中套件工程深入分析、Meta推出Muse Image和預覽Muse Video（具有代理生成迴圈）、以及Anthropic、LangChain和Google在代理平臺上的重大產品更新。其他值得注意的內容：NVIDIA的Audex音訊模型、Cohere的阿拉伯語ASR、與Hugging Face和NVIDIA的機器人整合、Liquid AI的Antidoom方法減少推理迴圈失敗、以及Anthropic有爭議的J-space可解釋性研究。還涵蓋了代理和法律AI的基準測試、研究自動化和推理效率進展。

NVIDIA釋出了Audex，一個統一的音訊-文本大語言模型，採用MoE架構（30B總引數，3B啟用），基於Nemotron-Cascade-2骨幹網路。該模型能處理音訊理解、語音識別、翻譯、TTS和音訊生成，且在多階段SFT和文本RL訓練後，文本效能幾乎無退化。在語音識別上領先開源模型（OpenASR WER 6.82），並能生成通用音訊。模型以非商業許可釋出。

NVIDIA Vera是一種專為AI代理時代設計的新型CPU，強調大規模下的最大單執行緒效能。它基於自研Olympus核心，相比前代Grace效能提升50%，並配備高頻寬記憶體與低功耗設計。在代理工作負載中，Vera相比x86 CPU提供1.8倍的持續單核效能，並在真實測試中展現出1.5至1.9倍的速度提升。Vera整合了從工具呼叫到資料處理的全部工作，使AI工廠能最大化GPU利用率。

NVIDIA和Hugging Face合作，將NVIDIA Isaac GR00T 1.7模型和Isaac Teleop框架整合到Hugging Face的開源機器人庫LeRobot中，並計劃引入NVIDIA Cosmos 3。這些整合為開發者提供了更易訪問和標準化的機器人開發路徑，推動開放機器人社群的創新。

Palantir執行長Alex Karp在CNBC上猛烈抨擊AI行業，稱其“瘋狂”，並指責OpenAI和Anthropic對美國企業徵收“財富稅”。然而，他實際上強調了主權AI的重要性，即企業應擁有自己的計算、模型和資料。Palantir與Nvidia合作推出了主權AI OS參考架構，允許客戶在安全、隔離的環境中部署Nvidia的Nemotron模型，這使股價上漲了9%。

在2026年國際機器學習大會（ICML）上，超過2000篇論文引用了NVIDIA GPU，Nemotron、Cosmos和BioNeMo等開放模型成為機器人、生命科學和合成資料生成等AI研究的基礎。NVIDIA有74篇論文被收錄，突出了視覺、強化學習和智慧體訓練等趨勢。

各國正在投資國內AI基礎設施，包括AI工廠、基於本地資料訓練的基礎模型以及人才培養，以定製化AI滿足本地需求，這一趨勢由生成式和代理式AI驅動。來自歐洲、亞洲和拉丁美洲的案例展示了社會效益。

Epoch AI的獨立資料庫覆蓋全球67個大型AI資料中心，透過衛星影像、許可證等公開資料追蹤其建設時間線。最大的設施是SpaceXAI在孟菲斯的Colossus 2，IT功率達946 MW，計算能力相當於111.2萬塊H100 GPU。美國集中了大部分資料中心，尤其在得克薩斯、俄亥俄等州。總IT功率容量達10.8 GW，加上冷卻等基礎設施後總設施功率達14 GW，超過紐約市峰值需求。硬體以NVIDIA H100、H200、B200 GPU為主，Google和Amazon也使用自研晶片。

Nvidia正在資助購買了其GPU的neocloud公司，透過回租閒置容量和收入分成，逐步從硬體公司轉變為類似銀行的角色。

Anthropic 於 2026 年 6 月 30 日釋出了 Claude Science 測試版。該應用基於現有 Claude 模型，採用多智慧體架構：一個協調智慧體將任務分配給領域專家智慧體，一個審查智慧體標記並糾正引文和數字，每個圖表附帶其確切程式碼、環境和完整訊息歷史。它管理本地機器、透過 SSH 的 HPC 以及 Modal 上的計算，並連線 60 多個資料庫和 NVIDIA BioNeMo 技能。

NVIDIA Research推出HORIZON，一種免手動代理框架，將硬體設計視為基於Git工作樹的倉庫級程式碼演化。該框架在所有評估的RTL基準測試中達到100%透過率，但團隊指出代理式硬體設計尚未完全解決。

NVIDIA與多所大學團隊提出ASPIRE框架，透過編寫和除錯機器人程式，將驗證過的修復轉化為可複用的技能庫。在LIBERO-Pro上提升高達77分，並零樣本遷移到未見過的長時域任務。

NVIDIA Cloud Functions (NVCF) 是一個用於大規模部署、管理和執行 GPU 加速工作負載的開源平臺。它支援長期執行的函式和非同步任務，利用 Kubernetes 進行編排，並提供統一控制平面、負載均衡路由、多叢集自動縮放等功能。本文介紹了 NVCF 的架構、工作負載型別、核心能力以及如何使用 Bazel 構建。

本文深入調查NVIDIA DGX工作站的實際能力，揭露其748GB統一記憶體中僅252GB為高速HBM3e，其餘為低速LPDDR5X。透過Cornell、Snowflake等使用案例和GLM-5.2等基準測試，探討其能否承載本地前沿模型推理。

一個面向系統管理員、GPU伺服器工程師、平臺工程師、SRE和MLOps工程師的實用、可引用的知識庫，涵蓋從物理資料中心和InfiniBand網路到Kubernetes、Slurm、Ray、分散式訓練、強化學習後訓練和大規模LLM推理服務的GPU叢集部署、運維和最佳化。涵蓋NVIDIA全系列產品（Ampere、Hopper、Blackwell資料中心GPU，RTX消費級和工作站卡，DGX系統包括DGX Spark），當前以Blackwell Ultra（B300/GB300 NVL72）為重點更新至2026年中。

Anthropic 推出了 Claude Science 公開測試版，整合了 NVIDIA BioNeMo Agent Toolkit，使科學家能夠使用自然語言直接與數字代理對話，執行端到端的研究工作流程，加速計算生命科學研究。

本期涵蓋Anthropic的Fable 5重新上線並配備安全兜底，生態系統轉向多模型編排。開源模型如GLM-5.2透過ZCode和基準測試取得進展。智慧體基礎設施引入維基記憶和結構化組合模式，Devin Security Swarm展示基於智慧體的漏洞發現。架構進展包括NVIDIA TwoTower和端側推理突破。

隨著 AI 從模型開發轉向生產推理，計算需求加速並轉向持續執行的 AI 工廠。NVIDIA 推出新戰略，透過收入分成和信用支援模式，讓初創企業、模型構建者等獲得大規模加速計算資源。Sharon AI 和 Firmus 等公司已率先部署。

AWS GovCloud（美國）區域新增對 OpenAI 開源 GPT OSS 模型（120B 和 20B）及 NVIDIA Nemotron 系列模型（Nano 9B v2、Nano 12B v2、Nano 30B、Super 120B）的支援，透過 Amazon Bedrock 提供統一的 API 訪問，推理過程完全在美國境內由美國公民運營的基礎設施上進行，滿足 FedRAMP、DoD SRG 等合規要求。

NVIDIA 及其合作伙伴正在投資美國製造業、供應鏈、電網和熟練勞動力，以便美國能夠生產更好的醫療、突破性科學發現、更強的工業生產力以及全球技術領導地位所需的基礎設施。

NVIDIA釋出了Nemotron-Labs-TwoTower擴散語言模型，該模型採用雙塔架構，在凍結的自迴歸骨幹網路上新增訓練過的去噪器，實現了2.42倍的生成吞吐量提升，同時保留了98.7%的基準質量。模型以開放權重形式釋出，支援擴散、模擬自迴歸和自迴歸三種推理模式。

作者使用NVIDIA Jetson Orin Nano Super和Kokoro-82M模型構建了一個本地文本轉語音應用StreamTTS，利用持久流（S2）而非傳統請求-響應架構，實現了可共享、可重放的即時音訊生成，並解決了慢推理、多使用者公平排程和去重等問題。

Hugging Face 與 Cerebras 合作，利用 Gemma 4 模型打造即時語音 AI 系統，透過開放模組化架構顯著降低延遲，實現更自然的對話體驗。該系統整合 Nvidia 的語音識別、Cerebras 的推理加速和 Alibaba 的語音合成，已在 9000 多臺 Reachy Mini 機器人中應用。

Together AI完成8億美元C輪融資，由Aramco Ventures、NVIDIA、Vista Equity等領投，旨在加速開源AI的普及。公司強調，閉源模型的成本無法規模化，而開源模型結合全棧最佳化可實現6-20倍成本降低。Together AI已推出FlashAttention-4、Together Megakernel等創新，成為全球最大的AI token生產商之一。

輝達釋出了BioNeMo Agent Toolkit，與Anthropic的Claude Science整合，使科學家能透過自然語言與AI代理互動，加速藥物發現、基因組學等生命科學研究。該工具包整合了輝達的加速模型、庫和微服務，包括Parabricks、RAPIDS-singlecell和nvMolKit，顯著提升計算速度。全球前20大藥企中有18家使用輝達BioNeMo。Claude Science現已進入公開測試。

Anthropic於週二推出Claude Science，這是一款面向科學家的新應用，可在macOS和Linux上本地執行或遠端使用。該工具旨在整合科研人員常用的資料庫和工具，如PubMed、Jupyter、R和終端，提供一站式研究環境。目前處於測試階段，主要面向生命科學領域，但未來計劃擴充套件。Claude Science基於標準Claude模型，透過協調代理訪問超過60個資料庫，並利用Nvidia BioNeMo工具包連線生命科學模型。它還能生成視覺化內容（如3D蛋白質結構），並與高效能運算叢集或Modal賬戶整合，處理大規模計算任務。

NVIDIA 的推理軟體堆疊透過與 GPU、CPU、網路和系統的協同設計，並藉助開源生態系統，持續提升硬體效能。在 Blackwell 平臺上，該軟體堆疊在一個月內將 DeepSeek V4 模型的令牌成本降低了 5 倍。文章詳細介紹了軟體最佳化如何透過生產運營、應用加速和基礎設施訪問三個層次，將單個最佳化轉化為系統級效能提升，從而降低每令牌成本。

賈維爾·辛格是NVIDIA Isaac ROS團隊的負責人，致力於為物理AI時代構建基礎設施。他的工作基於開源ROS 2框架，提供CUDA加速庫和AI模型，支援自主移動機器人、操控系統和人形機器人。從少年時期的LEGO Mindstorms起步，辛格在伯克利學習後加入NVIDIA，其實習專案最終演變為Isaac ROS。他強調開源的重要性，認為它能給開發者信心，並加速機器人領域的未來。

視覺AI代理正成為將物理世界影片資料轉化為工廠、城市等環境運營智慧的實用方式，但面臨資料缺口、微調專業知識和複雜組裝等挑戰。NVIDIA Metropolis代理技能和藍圖結合Omniverse的OpenUSD模擬和合成資料生成，提供可重用工作流。文章透過康寧、Linker Vision和Foxconn三個案例展示瞭如何生成缺陷資料、擴充套件場景覆蓋並部署影片分析代理。

Moondream的推理引擎Photon透過流水線解碼技術，將GPU空閒時間降至最低，在NVIDIA B200上實現了約33ms的近即時視覺語言模型推理，解碼吞吐量提升高達35%。該技術透過重疊CPU和GPU工作，消除了傳統逐令牌解碼中的“GPU泡沫”。

NVIDIA開源了BioNeMo Agent Toolkit，將OpenFold3、DiffDock、GenMol等生物分子模型封裝為AI智慧體可呼叫的技能。每個技能描述模型用途、輸入、輸出和失敗模式，智慧體可自主選擇、執行和解釋結果。在Codex CLI和GPT-5.5 fast基準測試中，技能將任務完成率從57.1%提升至100%，代幣效率翻倍。

Anthropic 的 Claude 模型在 Microsoft Foundry 中——託管於 Microsoft Azure 並執行在 NVIDIA GB300 Blackwell Ultra GPU 上——現已普遍可用，為 Azure 原生企業構建自主且特定領域的 AI 代理提供了強大新方式。

Bolt Graphics推出新款遊戲GPU，旨在與Nvidia競爭。該影片展示了其技術特點和市場定位。

螢火蟲航空的藍色幽靈2號任務將在月球軌道上使用NVIDIA Jetson邊緣AI平臺，實現直接在太空進行AI推理，大幅減少資料傳輸延遲。該任務搭載Ocula月球成像服務，用於繪製著陸點、探測礦物組成等，支援未來人類和機器人探索。

本期Import AI涵蓋NVIDIA的ENPIRE系統實現機器人自主改進、人類預測技術發展的歷史性失敗、騰訊用於除錯萬卡GPU叢集的ARGUS系統、關於人工智慧導致人類失權的哲學文章，以及LOCUS地方法規語料庫的釋出。