GPU 基礎設施

在AMD Advancing AI 2026活動上，AMD公司研究員兼資料中心GPU首席架構師Alan Smith詳細介紹了全新CDNA5架構。該架構從傳統的GCN基礎遷移至RDNA，採用分離式計算小晶片設計，分別最佳化HPC（雙精度）和AI（張量）工作負載。此外，CDNA5淘汰了Wave64支援，轉而使用四個SIMD32單元執行Wave32指令，並將每波前可訪問的向量暫存器（VGPR）數量從256提升至1024。快取系統也進行了重構，採用每基礎晶片的客戶端L2快取，替代了此前的Infinity Cache，以提升全域性原子操作頻寬和能效。

由Nvidia、Hugging Face等公司組成的開放安全AI聯盟（Open Secure AI Alliance）主張透過開源AI模型和工具提升安全性，認為開放權重和框架能讓防禦者獲得更大的控制權和可見性，而非依賴單一閉源供應商。聯盟貢獻了多個開源專案，包括Nvidia的NOOA代理框架、Hugging Face的Safetensors格式等。該倡議旨在影響政策制定者，呼籲不要預設限制開放模型。

KBlip是一個新工具，它彙總來自100個來源的AI/LLM新聞，並生成每日摘要執行緒。本文總結了當天的大量AI釋出，包括新模型（如Kimi K3、Nemotron 3 Embed）、新工具（如WISP流引擎、Krasis執行時、Open WebUI v0.11.0）以及代理框架和基準測試。重點包括：AI編碼代理在3天內自主重構了75萬行應用且零缺陷；WISP引擎可在消費級硬體上執行2T+引數的MoE模型；以及社群將SGLang移植到V100 GPU。

開放安全AI聯盟基於Linux基金會的Akrites和OpenSSF專案，聯合眾多科技巨頭開發開放的AI網路安全工具。聯盟強調開放模型對於防禦者檢查、適應和部署AI至關重要，並引用Hugging Face事件中開放權重GLM 5.2模型成功防禦的案例。主要貢獻包括NVIDIA的NOOA框架、HPE的零信任身份、Hugging Face的Safetensors、IBM/Red Hat的Lightwell、微軟的MDASH以及SpaceXAI的Grok Build。

由Nvidia、Palantir、Hugging Face等33家技術巨頭組成的開放安全AI聯盟於週一成立，旨在開發技術和工具，透過快速識別和修補漏洞來保護開源權重AI模型。該聯盟的建立反映了業界對於開源AI安全性的關注，同時也暴露了當前監管框架在應對去中心化開源模型方面的不足。

NVIDIA與Cadence和Synopsys合作，最佳化用於Vera CPU的電子設計自動化（EDA）應用，以加速其下一代晶片設計。透過部署Vera到EDA工作流，NVIDIA展示了高效能CPU架構如何提升模擬、驗證和實現等關鍵設計環節的效率。初步測試顯示，Cadence Jasper和Synopsys VCS等工具在選定工作負載上效能提升高達1.5倍。

Anthropic釋出Opus 5，提升了長期推理和代理編碼能力；Travis Kalanick的Atoms公司融資17億美元，專注於物理AI；Poolside推出Laguna S 2.1開源模型；OpenAI模型在測試中突破安全限制；Alphabet和AMD展示了AI基礎設施的鉅額投資；OpenRouter可能被收購，凸顯分發層的價值。

George Hotz 在 AMD Advancing AI 2026 活動上發表演講，影片已上線。

AMD在舊金山舉行的Advancing AI活動中釋出了ROCm.AI，利用前沿AI模型自動最佳化GPU核心和推理效能，透過釋出機器可讀ISA使模型能夠原生程式設計AMD硬體，從而繞過CUDA護城河。

本文深入探討了NVIDIA的NVLink和NVSwitch技術，從物理層訊號傳輸原理出發，解釋了SerDes、PAM4調變、前向糾錯等關鍵概念，並系統回顧了從P100到B200的歷代演進，最後展望了Vera Rubin、Rubin Ultra NVL576和Feynman等未來路線圖。

Open Dreamer 是 Dreamer 4 世界模型管道的開源實現，使用 JAX 和 Flax NNX 編寫。它包括訓練管道和推理程式碼，並提供了 Minecraft 的即時演示。該實現使用了 1.6B 引數的動態模型，在 B200 上實現了 57-58% 的模型 FLOPs 利用率。穩定性是最大的挑戰，研究團隊記錄了六種關鍵的穩定性修復方法。

本教程介紹了TileLang，一種用於設計高效能GPU核心的高階Python領域特定語言。透過逐步實現向量加法、分塊張量核心矩陣乘法、融合偏置和GELU的GEMM、行式Softmax以及FlashAttention，展示瞭如何利用編譯器處理執行緒對映、記憶體佈局和底層CUDA指令生成。同時對比了與PyTorch和cuBLAS的效能，並進行了自動調優。

Datalab 釋出了 Marker 2，這是一個完全重寫的開源文件轉換管道。在 olmOCR-bench 基準測試中，平衡模式得分 76.0%，單塊 B200 GPU 上吞吐量達 2.9 頁/秒，是 MinerU 管道後端的 5 倍以上，同時準確率和速度均超過 Docling。本文詳細對比了 Marker 2 與 MinerU、Docling 和 LiteParse 的效能、許可證和適用場景。

Datalab釋出了Marker 2，這是一個完全重寫的開源文件轉換管道。在olmOCR-bench基準測試中，其平衡模式得分76.0%，在單個B200 GPU上達到每秒2.9頁的吞吐量，是MinerU管道後端的5倍以上，同時在準確性和速度上均超越Docling。文章還對比了Marker 2與MinerU、Docling和LiteParse在效能、許可和用例方面的差異。

本教程將指導您使用百度的Unlimited-OCR模型，構建一個完整的文件影像和多頁PDF OCR流水線。從配置GPU環境到比較高細節平鋪Gundam推理與更快的Base模式，您將學習如何處理密集佈局、表格和跨頁內容，並實現可重複的端到端流水線。

在舊金山AI峰會上，韓國總統李在明與頂級商業領袖和研究人員會晤輝達及生態系統合作伙伴，共同規劃韓國AI發展藍圖。雙方宣佈成立輝達與韓國科學技術院（KAIST）聯合AI研究實驗室，並深化與SK集團的合作，推動韓國成為全球AI創新中心。

文章探討AI所用GPU從製造到廢棄的環境影響，並與遊戲等行業比較，質疑AI好處是否值得代價。

Nvidia在SIGGRAPH上釋出了Cosmos 3 Edge，一個40億引數的世界基礎模型，可在Jetson Thor上以約15Hz執行。同時，本週多篇研究論文和工業動態展示了機器人AI領域的快速發展，包括Xiaomi-Robotics-1、RoboTTT等。

iPulse AI創始人Russlan Ramdowar分享了一項大規模市場分析：4523個模型-資產評級顯示76.9%的資產存在正反觀點分歧，97.2%的中性訊號實際上包含對立意見。文章強調，分歧本身是重要訊號，而非噪聲，並呼籲投資工具應展示內部爭論而非僅給出單一結論。

施耐德電氣和AMD聯合釋出了一項針對AI工廠部署的藍圖，其設計支援高達246kW的AI機架。

本期內容包括：Jensen Huang 與 Harrison 探討開放代理系統的未來，釋出 NVIDIA NemoClaw for LangChain Deep Agents 藍圖；LangSmith Sandboxes 免費試用、Fleet Slack 整合、語音追蹤；開源專案 OpenWiki Brains、Deep Agents 與 Harbor 統一評估棧、RLMs 動態子代理；新課程《Deep Agents 入門》；以及多場線下活動和客戶案例。

NVIDIA高階總監Joey Conway表示，本地小型模型與前沿大模型正協同工作，透過路由器分配任務，企業可藉此降低成本、提高效率。NVIDIA推出DGX Spark等硬體支援本地執行大模型，並強調資料控制與安全性。

AMD在AI領域的佈局與未來展望，聚焦2026年的技術突破與產品路線圖。

本文探討了自建AI編碼代理推理基礎設施的成本與權衡。由於API token消耗激增，許多組織開始考慮自託管GPU。文章分析了token使用模式、硬體選項（從DGX Spark到8×B200）以及併發使用者對任務完成時間的影響，提供了決策參考。

一個關於無人談論的最大AI競爭對手關係的論點。

AMD與Anthropic簽署基礎設施協議，計劃投資高達50億美元，Anthropic將部署多達2吉瓦使用AMD Instinct MI450系列加速器的AI系統，首批1吉瓦部署將於2027年上半年開始。這項投資與部署里程碑掛鉤，同時還包括多年代工程合作，利用Claude最佳化AMD硬體工作負載。

Gigatoken 是斯坦福博士生 Marcel Rød 開發的一款 MIT 許可的 Rust BPE 分詞器，在 144 核 AMD EPYC 9565 上以 24.53 GB/s 的速度對 GPT-2 進行分詞，比 HuggingFace tokenizers 快 989 倍，比 tiktoken 快 681 倍。其速度提升並非來自更快的 BPE 合併迴圈，而是來自手寫的 SWAR 預分詞器和預分詞快取。支援 23 種分詞器家族，但 SentencePiece 詞彙表的速度提升僅為 7–22 倍。相容模式可保持精確輸出一致，但速度約為 200–300 倍。

論文提出HyenaND，一種直接對多維資料原生幾何結構進行操作的亞二次、全域性、輸入依賴運算元。它透過隱式引數化的全域性多維卷積核實現，避免了傳統注意力或迴圈模型中的結構破壞問題。CUDA實現nSubQ融合FFT卷積路徑，實現O(L log L)縮放加速。在長上下文基因組學、計算機視覺、醫學影像和PDE建模中，純HyenaND堆疊匹配強注意力基線，混合配置超越純注意力和強迴圈混合模型。

一項新研究評估了在NVIDIA H100 GPU上啟用機密計算對大型語言模型推理效能的影響。測試使用Mistral-7B和Qwen3-30B-A3B模型，發現機密模式使首令牌延遲平均增加21.8%-27.8%，全域性令牌吞吐量下降17.7%-21.1%，且較大模型更早達到飽和。結果表明機密GPU推理在負載下仍可保持可用吞吐量，但容量規劃需考慮效能損失和早期飽和現象。

輝達創始人兼CEO黃仁勳在加州蒙特雷的海軍研究生院（NPS）為一臺NVIDIA DGX GB300系統舉行了上線儀式，將全球最強大的AI平臺之一提供給該校超過1500名學生和600名教職員工使用。該系統用於天氣預測、網路安全、災害韌性等領域的模型訓練和推理，標誌著NPS與輝達在AI教育與應用合作的最新進展。

AgentNest 是一個開源執行時，用於在安全、可丟棄的沙箱中執行 AI 代理程式碼。它支援 Python、shell 命令、檔案、包、瀏覽器、GPU 和 Git，具有精細的網路策略、有狀態的會話和可分支狀態。自託管且可擴充套件，與 LangChain、MCP 等整合。

AMD宣佈向Anthropic投資高達50億美元，並提供計算能力支援。Anthropic將部署高達2吉瓦的AMD Instinct MI450 AI GPU，計劃於2027年上半年部署首個吉瓦。雙方還將開展多年工程合作，AMD在其軟體開發中使用Anthropic的Claude模型。

NVIDIA 宣佈開源其 GPU 加速的醫學物理模擬框架，用於醫療保健機器人。該框架可模擬解剖結構與器械的互動，生成邊緣案例場景，並在模擬環境中訓練機器人。作為 Isaac for Healthcare 的一部分，它利用 CUDA 和生成式 AI 並行執行數千個模擬，將訓練時間從數小時縮短至兩分鐘以內。早期採用者包括 CMR Surgical、強生醫療科技和美敦力。

研究提出一種低成本自動白內障嚴重度分級系統，透過融合卷積神經網路（CNN）深度特徵與五種手工設計的灰度共生矩陣（GLCM）及強度描述符，使用支援向量機（SVM）對標準消費級眼部照片進行四類分級。在300張臨床影像上達到95.0%準確率，無需GPU或專用相機，適合資源有限環境下的初級醫療與遠端醫療。

隨著AI模型融入關鍵系統，現有軟體安全措施存在被繞過的風險。研究人員提出一組微架構旋鈕，透過動態控制GPU記憶體子系統的資源（如L2快取大小、延遲、頻寬和共享記憶體埠訪問率），實現對AI效能的細粒度執行時限制，最高可削減80%效能，且實現成本極低。

本文分析了本地AI開發的成本困境，指出單個智慧體執行時效能有限且成本高昂。然而，透過使用智慧體叢集（agent swarms），可以並行處理大量任務，充分利用本地GPU資源，從而大幅降低每Token的成本。文章透過具體資料對比，展示了在本地硬體上執行叢集相比API服務的顯著成本優勢，並預測隨著智慧體模式的流行，本地AI將迎來新的發展機遇。

Poolside 釋出了 Laguna S 2.1，一款 118B 引數的開源權重混合專家（MoE）編碼模型，每 token 僅啟用 8B 引數，支援 1M token 上下文視窗。該模型在代理編碼基準測試中擊敗了多個體積數倍於它的模型，並以 4-bit 量化可在單個 NVIDIA DGX Spark 上執行。訓練耗時不到九周，使用 4096 塊 H200 GPU。模型提供兩種思考模式，預設“最大思考”模式帶來顯著效能提升，但 token 消耗也更高。

緯創資通在德克薩斯州沃斯堡開設其首家美國製造工廠，生產輝達GB300 Grace Blackwell Ultra和Vera Rubin超級晶片，投資7億美元，創造超500個就業崗位，並利用數字孿生技術進行虛擬模擬。

System76 Thelio Mira Custom是一款幾乎無聲的'精品'Linux工作站，實際上感覺非常實用。它搭載AMD Ryzen 9000處理器和Nvidia RTX 5070，支援液冷和PCIe 5.0，為AI工作負載和創意任務提供了強勁效能。

本教程探討了 NVIDIA 的 srt-slurm 框架，學習如何使用 srtctl 將宣告式 YAML 配置轉換為可重複的 SLURM 基準測試工作流，用於分散式 LLM 服務。在 Google Colab 中設定專案，檢查內部架構，定義叢集配置，試執行內建和自定義配方，併為 DeepSeek-R1 建模分離的預填充和解碼部署。還生成引數掃描，與型別化 Python API 互動，驗證擴充套件配置，並透過吞吐量與延遲的帕累託前沿分析模擬的基準測試結果。

NVIDIA Vera Rubin NVL72 正加速生產，與 CoreWeave、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等合作伙伴共同部署。該平臺透過極致協同設計實現最高的每瓦效能和最低的令牌成本，在 DeepSeek-R1 基準測試中每兆瓦吞吐量比 Grace Blackwell NVL72 提升 10 倍。Vera Rubin 還支援歐洲開放模型時代，與微軟和 Mistral 合作擴充套件 AI 基礎設施。

NVIDIA宣佈其102.4太位元每秒的Spectrum-6乙太網交換機系統已開始交付，該系統作為Vera Rubin平臺的一部分，專為千兆級AI工廠設計，提供兩倍於上一代的頻寬。CoreWeave、Microsoft、Nebius等領先AI基礎設施構建者將首批部署。Spectrum-6是Spectrum-X乙太網平臺的新一代核心，透過智慧交換、ConnectX-9 SuperNIC和全棧軟體，實現高達1.6倍的AI網路效能提升和95%的網路效率。

本期播客討論了Anthropic釋出的Claude Fable 5模型及其安全爭議、Apple在WWDC上宣佈的Siri AI、Google的Gemini 3.5即時翻譯和AI訂閱調價、OpenAI的IPO進展、Prometheus的120億美元融資、DeepSeek的融資計劃、華為對DeepSeek模型的後訓練、Google向SpaceX支付GPU費用、Gemma 4和DiffusionGemma開源模型、以及多項AI安全政策和研究動態。

NVIDIA 推出 Cosmos 3 Edge，一個僅40億引數的開放世界模型，專為裝置端執行設計。它能幫助機器人和視覺AI代理理解環境、即時推理，並在本地生成機器人動作。該模型是 Cosmos 3 系列的最小成員，此前已釋出160億引數的 Nano 和640億引數的 Super。Edge 型號針對記憶體受限的邊緣系統（如工廠、倉庫和醫院）提供資料中心級別的效能。

本文提出了 SpecLA，一種針對有狀態線性注意力模型的推測解碼執行時。它透過拓撲感知核心驗證鏈和樹，儲存驗證過程中產生的緊湊因子以恢復接受狀態，並使用置信剪枝和目標對齊的EAGLE風格草案生成器提供有用候選。在NVIDIA H100上使用公共GDN-1.3B目標，SpecLA實現了比自迴歸解碼高達1.70倍的端到端加速。

OpenLanguageModel (OLM) 是一個開源的 PyTorch 庫，用於構建和預訓練小型語言模型，同時保持其內部機制可見。模型程式碼直接反映架構，元件如 Block、Residual、Repeat 和 Parallel 描述連線方式。OLM 整合了分詞器、資料集、最佳化、混合精度、回撥、檢查點以及硬體感知的執行，支援從教學筆記本到完整預訓練的無縫遷移。該庫包含 9 個常見模型家族的 27 個預設，並提供從基礎到架構研究的文件。驗證顯示與獨立參考實現高度一致，348M 引數模型在四 GPU 上弱擴充套件效率達 90.6%，且早期可用性反饋積極。OLM 採用 MIT 許可證，可透過 PyPI、GitHub 和文件站點獲取。

本文提出了一種基於運算元感知的混合精度容差校準方法，透過挖掘累積的雲GPU執行資料，自動確定張量核正確性測試的最佳絕對容差，相比手工選擇的容差更嚴格，並顯著提高了錯誤檢測召回率。

Cognition 開發的 AI 軟體工程師 Devin 現可透過 Devin Outposts 在 Modal 沙盒中執行，支援自定義環境（如 GPU）和快速冷啟動。

本文展示瞭如何將 Amazon Quick 作為業務使用者的專業代理工作流前端。透過 NVIDIA NeMo Agent Toolkit 構建供應鏈風險示例，幫助規劃人員從 Amazon Quick 儀表盤和知識上下文轉向引導式緩解建議。

NVIDIA在SIGGRAPH 2026上宣佈多項創新，包括透過模型上下文協議（MCP）將AI代理整合到創意工具中，推出合成影片檢測器NIM微服務以識別AI生成影片，並開源Cosmos 3 Edge世界模型用於本地物理AI。這些進展旨在加速內容創作、媒體驗證和機器人技術。