AI創新者採用NVIDIA Vera——為何大規模最大單執行緒CPU至關重要

AI創新者正在採用NVIDIA Vera，這是一款專為代理AI時代設計的新型CPU，其核心特性是大規模最大單執行緒效能。在代理系統的建立和部署過程中，CPU處於推理、響應時間和學習的關鍵路徑上。CPU執行AI模型指令的工作：工具呼叫、程式碼執行、資料處理、KV快取和結果分析。

在AI工廠中，速度至關重要。CPU執行工具的速度越快，代理完成任務的速度就越快。對於AI工廠而言，GPU利用率是資料中心最有價值的資源，等待CPU完成任務的時間會限制AI工廠的收入，甚至更糟——影響GPU利用率。AI工廠需要一款具備最大單執行緒效能的CPU，以最大化收入和代理效能。

當今的資料中心CPU並非為大規模速度而設計。雖然PC和工作站有快速的CPU，但資料中心CPU的發展方向卻偏離了單執行緒效能。雲端計算的興起促使CPU製造商構建更高核心數的CPU，同時以犧牲效能為代價降低成本。最佳化每可租用核心成本的CPU增加了每晶片的核心數，卻從使核心快速執行的部分（如高效能記憶體結構和每核心更快的指令處理）中佔用了矽片面積。轉向小晶片架構進一步降低了成本，但產生了“小晶片稅”，即每個CPU核心無法再獲得晶片的全部記憶體效能。

AI代理需要一款專為大規模最大單執行緒效能設計的CPU。大規模最大單執行緒CPU確保在系統滿載時每個代理步驟都能快速執行。每個核心在滿效能下完成代理任務，不受其他核心影響。這類CPU的設計不同，以提供：負載下每核心的強大效能、每核心足夠的記憶體頻寬以保持活躍核心的資料供應、可預測的延遲。每個核心都能完成任務，而不被其他核心拖慢，從而實現出色的吞吐量和最快的單核任務效能。

NVIDIA Vera代表了這種新型CPU設計。

最大單執行緒CPU如何構建以執行代理迴圈

AI代理不會在單個請求後停止執行。它以迴圈方式運作：模型推理下一步，CPU執行模型周圍的工作，結果返回，模型決定下一步，然後迴圈再次執行。這種模式產生了傳統CPU未最佳化的需求。傳統CPU工作是由使用者觸發的間歇性短互動，而代理工作是持續且並行的：代理群連續執行，每個代理透過一系列步驟前進，每一步都依賴於前一步的結果。

CPU中更多的核心意味著每個CPU能處理更多的代理任務，資料中心CPU需要大量核心以最大化任務吞吐量。然而，增加核心數量並不能縮短單個代理迴圈中每一步的時間。更多核心無法使任何單個任務執行得更快。事實上，旨在最大化核心數的CPU甚至會因資源爭用而拖慢每個核心的效能。

單個核心的效能對於推動每一步完成的速度至關重要。附加核心的吞吐量有用但不夠。由於每個動作依賴於之前的結果，單核速度決定了迴圈推進的速度。

單執行緒核心效能與吞吐量：最終，最佳的代理CPU需要每個核心的最佳單執行緒效能，且每個核心必須無妥協地提供該效能。世界以秒計算，代理以納秒計算。NVIDIA Vera正是為此新型工作——以及速度——而構建。

NVIDIA Vera——面向代理的最大單執行緒CPU

NVIDIA Vera是一款大規模最大單執行緒CPU，從頭為代理迴圈設計：即模型呼叫之間代理使用工具、處理資料、執行程式碼和檢查結果的工作。

Vera的核心是Olympus，NVIDIA自定義CPU核心，每週期指令數比NVIDIA Grace高50%。這很重要，因為許多代理步驟是順序的。工具呼叫、程式碼執行、測試執行或資料處理步驟必須在下一個模型呼叫之前完成。更快的核心能更快地推進每個迴圈。

Vera將更快的核心與高達1.2TB/s的LPDDR5X記憶體頻寬（功耗低於40瓦）以及單片計算晶片相結合，幫助活躍核心保持資料供應，並以3.4TB/s的核心間頻寬（是其他資料中心CPU的3倍）保持資料移動可預測。這使得所有88個核心都能獲得CPU的全部記憶體效能，而不會造成瓶頸。

結果是更快的代理迴圈。在代表代理執行的CPU負載工作負載中，Vera提供比x86高1.8倍的持續每核心效能。這些增益在工具呼叫、程式碼執行、資料處理步驟和驗證過程中累積，幫助AI工廠用現有GPU完成更多代理工作。

Perplexity在Vera上測試了其日常執行的代理工作。執行一個真實的程式碼工作流——克隆倉庫並在沙盒中執行測試套件——Vera比x86快約1.5倍，並同時啟動沙盒的速度提升高達1.9倍。Perplexity現已計劃在其即將推出的生產系統中部署Vera。

代理還依賴資料。它們不斷查詢、檢索、過濾和移動資訊，Vera能更快地執行這些CPU端資料工作負載。合作伙伴已測量到，與領先的x86伺服器CPU相比，使用Starburst進行大規模SQL分析時速度提升3倍，使用Redpanda進行即時流處理時延遲降低高達6倍。

代理工作不是單一工作負載。代理執行工具和沙盒、處理資料、服務請求並透過強化學習訓練下一個模型——所有這些都依賴於相同的優勢。一個Vera就能處理整個範圍，而不需要為每種工作使用不同的CPU。由於Vera同時也是NVIDIA Vera Rubin中託管GPU的CPU，並驅動NVIDIA BlueField-4 STX儲存處理器，整個AI工廠執行在一個架構和一個工具鏈上。

NVIDIA並未止步。下一代Rosa CPU搭配Rigel核心將繼續NVIDIA面向代理AI時代的CPU路線圖。Rigel是NVIDIA下一代Arm v9.2 CPU核心，在保持相同矽片面積的同時提供比Olympus更高的每核心效能。關鍵改進包括更好的指令傳遞、更大的L2快取和更高效的記憶體處理。

為代理速度而建

在代理AI時代，將有數十億個代理，每個代理都需要CPU來行動、檢查、檢索、執行和驗證。在這個新市場中，完成的代理工作就是產品。更快的代理迴圈幫助每個GPU花費更多時間產生收入，減少等待時間。

NVIDIA Vera是為那個未來而建的CPU。

瞭解更多關於NVIDIA Vera CPU的資訊。