Nvidia PAIR 讓你的閒置 Mac 和 PC 為 AI 智慧體工作
輝達推出開源軟體路由器 PAIR,可利用家中閒置的 Mac 和 PC 執行本地 AI 模型,加速智慧體工作流;它相容 Ollama/LM Studio,支援輝達 GPU 與 M4 晶片 Mac,現已開放測試。
輝達長期以來一直押注開放模型和本地 AI,其收購 Hugging Face 的動作會進一步加速這一方向。在產品層面,輝達也在努力讓更多潛在使用者在自己裝置上執行 AI 模型。週四,輝達釋出了 Nvidia Personal AI Router(PAIR)——一個面向家庭網路的開源軟體路由器,可以用家中閒置的 Mac 和 PC 按需執行小型模型,並藉助子智慧體加速智慧體工作流。
PAIR 的主要目標是加速 NemoClaw、OpenClaw 或 Hermes 這類智慧體,讓它們能夠並行使用更多子智慧體。工作方式是由主智慧體把任務拆給多個子智慧體,而這些子智慧體的模型請求可以執行在閒置的電腦上。
輝達稱 PAIR 為“虛擬推理路由器”,並明確強調這不是新的推理引擎。它會利用某臺機器上已經安裝好的 Ollama 或 LM Studio 來執行模型。PAIR 安裝在每一臺電腦上後,可以透過 mDNS 發現本地網路中的不同系統,並檢查它們是否有能力處理請求。
需要說明的是,PAIR 不會把單個推理請求拆分到多個機器上。輝達強調,它不合並 GPU,也不把視訊記憶體池化成單個加速器,更不能把一個推理請求分散到多臺機器執行。
輝達解釋說:“智慧體可以透過它熟悉的本地介面傳送請求。PAIR 透過其代理接收請求,識別引擎和模型要求,並選擇一個符合條件的節點。該節點從頭到尾執行請求,再透過 PAIR 把響應返回。對智慧體來說,它始終看到的是一條連線,而 PAIR 在背後負責排程。”
PAIR 支援 Windows、macOS 和 Linux 以及相容 GPU。具體而言,最低要求是 Nvidia GeForce RTX 20 系列或更新的顯示卡,或配備 M4 或更新晶片的 Mac,或 Nvidia DGX Spark。值得注意的是,儘管 Mac 不使用 Nvidia GPU,輝達仍然支援了 Mac。今年晚些時候 RTX Spark PC 和筆記本上市後,也會得到支援。
每臺機器可以放不同模型,但 PAIR 只會把請求路由到已啟用所需引擎且具備所請求模型的節點。如果多臺機器裝了同一個模型,路由器就能更靈活地分發併發請求。
PAIR 會持續關注哪些電腦處於可用狀態。一旦使用者回到某臺電腦辦公或玩遊戲並重新佔用 GPU,該機器上的本地推理引擎就會停止。在輝達的示例中,用兩臺配備 RTX 5090 顯示卡和 32GB 視訊記憶體的高階 PC(目前價格約為 5000 美元,儘管初始官方建議零售價是 2000 美元)執行 Qwen3.6 35B A3B 模型,五個子智慧體的速度提升了約 1.6 倍。
當然,家裡很少人會有好幾張 RTX 5090,甚至還有幾臺 DGX Spark。所以真實場景中,比如一臺 Mac Studio、幾臺 Mac mini 加一臺遊戲 PC 的效果還有待觀察,但即便如此也應該能加速本地智慧體工作流。
Nvidia PAIR 目前以測試版形式提供。開始使用只需將它安裝到每一臺希望加入網路的機器上,讓它發現並配對系統,並確保這些機器安裝了 Ollama 或 LM Studio 且已下載所需模型。PAIR 也能幫助安裝 Ollama 或 LM Studio,並在配對的電腦上發起模型下載。