AI工廠：智慧時代的新基礎設施

AI工廠是一種新型基礎設施，專門用於即時生產智慧。在工業時代，發電廠將能源轉化為電力；在AI時代，AI工廠將能源轉化為令牌——這是推理模型、智慧體和智慧系統的生產單位。其經濟性由令牌產量定義：每秒令牌數、每瓦令牌數、每令牌成本、利用率和執行時間。在這一模式下，每瓦效能直接轉化為收入，每令牌成本影響每個AI工廠的經濟效益。

AI不再僅僅是軟體，它已成為關鍵基礎設施。AI工廠同步大規模計算資源，同時服務數十億次請求。它們由軟體編排，包含持續執行的自主多智慧體系統，全天候生產智慧。智慧體系統利用最佳效能的AI模型（包括NVIDIA Nemotron）進行推理和規劃，開放模型可針對企業特定需求進行定製、最佳化並安全部署，所有這些都可在AI工廠中完成。

AI工廠的架構專為新型工作負載設計：始終線上的推理不僅響應提示，還能由自主智慧體進行推理、規劃、搜尋、使用工具、檢索資料、編寫程式碼並採取行動。這些多智慧體系統使AI工作負載更長、更深、更消耗計算資源，要求基礎設施保持高效執行。效能取決於讓整個工作流程順暢移動，確保智慧持續生產以應對下一步行動和決策。

自主智慧體依賴於加速計算、快速記憶體、用於上下文的儲存、用於協調的網路、用於編排的軟體以及用於執行的CPU。工作負載在整個堆疊中移動，每一步通常都有嚴格的延遲要求。AI工廠包含全棧系統，旨在保持這些工作流連續執行，以高效大規模生產令牌所需的吞吐量、響應能力和利用率。

硬體、網路、記憶體、儲存和軟體經過協同設計，每一層持續最佳化以提高利用率、降低每令牌成本並增加產出。它們在響應性和吞吐量之間取得平衡，以最大化生產。隨著AI工作流變得更長、更具互動性，工廠必須即時執行。這意味著路由請求、管理記憶體、協調服務、平衡延遲和吞吐量，並保持全棧高利用率。軟體層至關重要，因為高效運營工廠決定了智慧產量和價值創造。

在AI計算中，每瓦效能已成為AI工廠競爭力的終極衡量標準。資料中心曾儲存檔案，現在AI工廠生產令牌。對於AI生產者，輸出直接影響收入；對於企業，每令牌成本決定了能否盈利地擴充套件AI。SemiAnalysis的InferenceX基準測試量化了這種轉變：NVIDIA Blackwell Ultra GPU提供最低的每令牌成本，使AI工廠從相同功耗中產出更多智慧，單位成本更低。每瓦更多令牌意味著更高的基礎設施成本效率；更低的每令牌成本改善了大規模推理的經濟性。

NVIDIA GB300 NVL72系統每兆瓦產生的令牌數比上一代多50倍，導致每令牌成本比NVIDIA Hopper平臺低35倍。NVIDIA Dynamo框架有助於編排長上下文推理和海量推理吞吐量，保持利用率在高水平。NVIDIA Vera Rubin平臺進一步延長了曲線，隨著推理和代理型AI的擴充套件，Vera Rubin系統透過LPX將每瓦效能提升35倍，並透過更深的全棧最佳化降低令牌成本。

從GPU起步，NVIDIA已擴充套件到全棧AI工廠，包括加速計算、高速互連、液冷系統、推理軟體、自主智慧體、參考架構以及構建和運營它們所需的生態系統。NVIDIA與Cisco、Dell、HPE、Lenovo和Supermicro等全球系統合作伙伴緊密合作，將AI基礎設施引入企業資料中心。還依賴於精心挑選的AI軟體合作伙伴生態系統，為每個企業的用例構建AI解決方案。這些AI工廠可部署於多種用例，從代理型AI工作負載到物理AI和機器人技術。各行各業的組織——從金融服務、生命科學到製造業和公共部門——都將需要構建或租用AI工廠。

NVIDIA自身執行企業AI工廠以加速公司發展，數百個自主AI智慧體協助工程、軟體和運營團隊。這是一個實際證明：AI工廠可以改變公司構建、設計和運營的方式，提高企業內部生產力，將AI從偶爾使用的工具轉變為融入日常工作的能力。AI工廠可以從小規模開始支援一個業務單元或工作負載，也可以從零構建以支援大規模高效能AI推理和訓練。NVIDIA DSX參考設計統一了設計、模擬、運營和生態系統技術，以建立吉瓦級AI工廠，實現每兆瓦最低令牌成本。

構建這些吉瓦級AI工廠需要更多最佳化計算，還需要一個共享數字環境，在其中設施設計、硬體系統、電力、冷卻和運營可以在建設前共同建模，並在部署後持續改進。NVIDIA Omniverse DSX藍圖透過數字孿生支援這一工作流，連線設施、硬體和軟體，利用Omniverse、OpenUSD和SimReady資產幫助合作伙伴驗證設計並最佳化AI工廠生命週期內的運營。

全棧方法幫助組織從每個系統中提取更多智慧，將AI基礎設施轉變為自主、始終線上的推理、行動和洞察引擎。上一次工業革命將能源轉化為工作，這一次將能源轉化為智慧。AI工廠是這個新時代的基礎設施，旨在推動下一波經濟增長。