Nvidia PAIR 讓你的閒置 Mac 和 PC 為 AI 智能體工作
英偉達推出開源軟件路由器 PAIR,可利用家中閒置的 Mac 和 PC 運行本地 AI 模型,加速智能體工作流;它兼容 Ollama/LM Studio,支持英偉達 GPU 與 M4 芯片 Mac,現已開放測試。
英偉達長期以來一直押注開放模型和本地 AI,其收購 Hugging Face 的動作會進一步加速這一方向。在產品層面,英偉達也在努力讓更多潛在用户在自己設備上運行 AI 模型。週四,英偉達發佈了 Nvidia Personal AI Router(PAIR)——一個面向家庭網絡的開源軟件路由器,可以用家中閒置的 Mac 和 PC 按需運行小型模型,並藉助子智能體加速智能體工作流。
PAIR 的主要目標是加速 NemoClaw、OpenClaw 或 Hermes 這類智能體,讓它們能夠並行使用更多子智能體。工作方式是由主智能體把任務拆給多個子智能體,而這些子智能體的模型請求可以運行在閒置的電腦上。
英偉達稱 PAIR 為“虛擬推理路由器”,並明確強調這不是新的推理引擎。它會利用某台機器上已經安裝好的 Ollama 或 LM Studio 來運行模型。PAIR 安裝在每一台電腦上後,可以通過 mDNS 發現本地網絡中的不同系統,並檢查它們是否有能力處理請求。
需要説明的是,PAIR 不會把單個推理請求拆分到多個機器上。英偉達強調,它不合並 GPU,也不把顯存池化成單個加速器,更不能把一個推理請求分散到多台機器執行。
英偉達解釋説:“智能體可以通過它熟悉的本地界面發送請求。PAIR 通過其代理接收請求,識別引擎和模型要求,並選擇一個符合條件的節點。該節點從頭到尾執行請求,再通過 PAIR 把響應返回。對智能體來説,它始終看到的是一條連接,而 PAIR 在背後負責調度。”
PAIR 支持 Windows、macOS 和 Linux 以及兼容 GPU。具體而言,最低要求是 Nvidia GeForce RTX 20 系列或更新的顯卡,或配備 M4 或更新芯片的 Mac,或 Nvidia DGX Spark。值得注意的是,儘管 Mac 不使用 Nvidia GPU,英偉達仍然支持了 Mac。今年晚些時候 RTX Spark PC 和筆記本上市後,也會得到支持。
每台機器可以放不同模型,但 PAIR 只會把請求路由到已啓用所需引擎且具備所請求模型的節點。如果多台機器裝了同一個模型,路由器就能更靈活地分發併發請求。
PAIR 會持續關注哪些電腦處於可用狀態。一旦用户回到某台電腦辦公或玩遊戲並重新佔用 GPU,該機器上的本地推理引擎就會停止。在英偉達的示例中,用兩台配備 RTX 5090 顯卡和 32GB 顯存的高端 PC(目前價格約為 5000 美元,儘管初始官方建議零售價是 2000 美元)運行 Qwen3.6 35B A3B 模型,五個子智能體的速度提升了約 1.6 倍。
當然,家裏很少人會有好幾張 RTX 5090,甚至還有幾台 DGX Spark。所以真實場景中,比如一台 Mac Studio、幾台 Mac mini 加一台遊戲 PC 的效果還有待觀察,但即便如此也應該能加速本地智能體工作流。
Nvidia PAIR 目前以測試版形式提供。開始使用只需將它安裝到每一台希望加入網絡的機器上,讓它發現並配對系統,並確保這些機器安裝了 Ollama 或 LM Studio 且已下載所需模型。PAIR 也能幫助安裝 Ollama 或 LM Studio,並在配對的電腦上發起模型下載。