NVIDIA 開源首個 GPU 加速的醫學物理模擬框架
NVIDIA 宣佈開源其 GPU 加速的醫學物理模擬框架,用於醫療保健機器人。該框架可模擬解剖結構與器械的互動,生成邊緣案例場景,並在模擬環境中訓練機器人。作為 Isaac for Healthcare 的一部分,它利用 CUDA 和生成式 AI 並行執行數千個模擬,將訓練時間從數小時縮短至兩分鐘以內。早期採用者包括 CMR Surgical、強生醫療科技和美敦力。
在醫療機器人能夠真正服務於現實世界之前,它必須學會物理世界如何反作用於自身。人體解剖結構千差萬別;手術器械會彎曲、按壓、滑動,並與組織互動;醫學影像可能充滿噪聲或不完整;而開發者最需要理解的那些罕見邊緣場景卻不會按時出現。這構成了醫療機器人領域最大的瓶頸之一:獲取海量多樣化的資料,以訓練、測試和最佳化機器人的行為。
NVIDIA 今日宣佈開源其全新的 GPU 加速醫學物理模擬框架——作為 Isaac for Healthcare 的一部分——旨在幫助醫療機器人開發者模擬解剖結構-器械互動、生成難以捕獲的場景、進行虛擬測試,並在投入硬體密集型測試之前訓練或評估機器人策略。該框架將解剖結構、醫療裝置行為、感測器模擬與機器人學習融為一體,使團隊能夠建立可複用的模擬環境,而無需為每個工作流重建定製場景,從而節省開發時間並加速創新上市。
由於該框架是開源的,醫療機器人開發者可以審查其程式碼,根據自身裝置和流程進行調整,並構建在 GPU 加速的基礎之上,無縫整合更廣泛的 NVIDIA 技術棧。開源在醫療領域尤為重要,因為團隊需要透明地瞭解塑造系統行為的資料、模型和權重。訪問開放模型和權重有助於開發者復現結果、評估在不同解剖結構和場景下的效能、識別侷限性,併為監管審查積累證據。
為醫療機器人打造虛擬訓練場
對於物理 AI 而言,經驗即運動中的資料。開發者需要訓練機器人,使其在解剖結構變化、器械行為差異、環境條件改變或策略意外失敗時仍能正常執行。醫學物理模擬幫助開發者模擬解剖結構、器械接觸、摩擦力和感測器輸入,然後透過互動和環境測試來評估機器人應對這些變化的表現。該框架由 NVIDIA CUDA 加速,是 Isaac for Healthcare 的一部分——構建於 NVIDIA Warp、Newton 和 Cosmos 模擬及生成式 AI 技術之上——可以並行執行數百個模擬環境,幫助團隊更早地探索更多場景並識別故障模式。
對於機器人構建者而言,這將模擬從定製工程轉變為可複用的基礎設施。其擴充套件能力令人矚目:基準測試顯示,使用 GPU 原生模擬並行執行 8,192 個機器人訓練環境,可將訓練時間從超過五小時縮短至不到兩分鐘。藉助該框架,開發者可以連線血管解剖結構、導管和導絲等柔性器械、模擬 X 射線成像以及強化學習。該框架設計為可擴充套件至更多器械、解剖結構、感測器和醫療機器人領域。
醫學物理模擬融合了經典物理模擬和生成式 AI 物理模擬。經典模擬用於建模已知的物理規則,如器械接觸、摩擦和運動。而 NVIDIA Cosmos-H Dreams 是框架內基於即時生成式 AI 的物理模擬能力,用於從程式化資料中學習視覺場景動態。兩者結合,為開發者提供了更豐富的方式,在虛擬環境中構建和測試醫療機器人系統,然後再轉向物理原型和實驗室測試。
構建醫療機器人未來的生態系統
醫療機器人領域的領導者們已經開始應用模擬驅動開發來解決具體的手術挑戰。CMR Surgical 與 Capgemini 旗下的 Cambridge Consultants 合作,利用 Cosmos-H-Dreams 隱式學習軟組織手術中的互動物理,並生成患者特定的模擬。CMR 將其 Versius 手術機器人系統中近 500 小時的匿名臨床資料貢獻給了 Open-H Embodiment 開放資料集,惠及膽囊切除術、攝護腺切除術、疝修補術和子宮切除術等手術。
“開源模型使我們能夠基於共享知識進行構建,加速負責任的創新,並最終有可能為全球患者帶來更一致的護理和更好的預後,”CMR Surgical 技術長 Chris Fryer 表示。
強生醫療科技正在使用 Isaac for Healthcare 中的醫學物理模擬和基於 Cosmos 的基礎模型,為其用於泌尿科的 MONARCH 平臺構建數字孿生,模擬複雜的解剖結構和腎結石場景。XCath 正在使用醫學物理模擬進行血管內自主策略訓練。Inner Logic 正利用合成資料加速醫療技術發展,透過 NVIDIA 醫學物理模擬驗證器械力學並生成虛擬證據以支援監管審批。美敦力結構性心臟部門正在探索將醫學物理模擬與模擬 X 射線感測相結合,為導管導航研究生成資料。
Isaac for Healthcare 棧中的新層級
作為 NVIDIA Isaac for Healthcare 的一個模組化能力,醫學物理模擬可以獨立使用,也可以與數字孿生管道、醫療感測器模擬、NVIDIA Isaac Lab 開放機器人學習框架以及 NVIDIA 開放模型和策略協同使用。開發者可以探索開源的醫學物理模擬框架,檢視可用的參考工作流,並開始為自己的器械、解剖結構和醫療機器人應用構建模擬環境。