Nvidia、物理AIで医療ロボットのデータ問題解決に挑む
Nvidiaは新しいオープンソースの医療物理シミュレーションフレームワークを発表。医療ロボットを物理AIシステムとして捉え、シミュレーションで訓練データを生成し、手術用ロボットの開発を加速する。
Nvidiaは、医療ロボットを物理的人工知能(AI)システムとして捉える新しい医療物理シミュレーションフレームワーク(Medical Physics Simulation)を発表しました。このフレームワークは、コードだけでなく、物理的な経験を通じて学習する必要があるロボットの訓練を目的としています。
物理AIとは、Nvidiaや多くのロボット業界が、テキストや画像だけでなく、接触、力、結果を通じて世界の振る舞いを学習する機械を表す用語です。言語モデルがテキストから学習するのに対し、物理AIシステムはカテーテルが血管壁に当たった時や、ロボットアームが軟組織に過度の圧力を加えた時など、実際の物理的相互作用から学習します。このような学習には通常、実世界で動作する物理的な身体か、またはそれを代替できるほど詳細なシミュレーションが必要です。
医療ロボティクスにおいて、実際の手術で身体的な経験を得ることは稀であり、厳しく規制され、ロボットが必要とする多様なシナリオを迅速に生成することは困難です。Medical Physics Simulationは、Nvidiaがそのような身体化された経験を計算的に生成する試みです。このフレームワークは、Isaac for Healthcareプラットフォームへのオープンソースの追加として発表され、手術や診断ロボットが通常臨床経験の数年を要する物理的相互作用(例:石灰化した血管壁に引っかかるガイドワイヤー、異常な角度で詰まった腎結石、少数の手術でしか現れない軟組織の反応)を生成します。
これらのエッジケースは手術室で予定通りに発生することはありませんが、シミュレーションにより開発者はオンデマンドで生成できます。このフレームワークは、体内でのデバイスの振る舞いをモデル化する2つの方法を組み合わせています。古典物理シミュレーションは、カテーテルの曲がり方、血管壁の抵抗力、器具が組織を移動する際の接触力の変化など、既に理解されている機械的ルールを扱います。生成AIは、Cosmos-H Dreamsと呼ばれるコンポーネントを通じて、手術データから学習した視覚的なシーン力学を提供し、手動でコード化することが難しい部分を担当します。
この組み合わせは、物理AIの提案を縮小したものです。古典シミュレーションはロボットポリシーに必要な物理法則を提供し、生成シミュレーションは汎化に必要な視覚的・解剖学的変異の範囲を提供します。NvidiaのWarpおよびNewtonライブラリを使用してGPU上で大規模に並列実行することで、フレームワークは一度に1つのシーンを処理するのではなく、多数の並列訓練環境を実行できます。Nvidiaは、8,192の並列環境を実行するベンチマークで、訓練時間を5時間以上から2分未満に短縮したと述べています。ただし、これはスループットを示すものであり、臨床的信頼性を示すものではなく、不完全な画像、遅延したセンサー読み取り、シミュレーションでモデル化されていない解剖構造に対してこのように訓練されたポリシーがどのように機能するかについては何も語っていません。
言語モデルがエッジケースで性能を発揮できないと悪い答えを生成しますが、物理AIシステムがエッジケースで性能を発揮できないと患者の体内で動作することになります。並列シミュレーションアプローチは、開発者が障害モードを探索する速度を向上させる真の進歩ですが、それらのシミュレートされた障害モードが実際の手術室で実際に起こることと一致するかどうかは別の問題です。
Nvidiaが早期導入者として挙げる組織は、物理AIアプローチを異なる深さで適用しています。CMR SurgicalとCapgemini傘下のCambridge Consultantsはデータ面で最も進んでおり、CMRはVersius Surgical Robotic Systemから500時間近くの匿名化臨床データをOpen-H Embodimentデータセットに提供し、Cosmos-H Dreamsを使用して軟組織相互作用物理をモデル化し、患者固有のシミュレーションを生成しています。Johnson & Johnson MedTechは、このフレームワークとCosmosベースの基盤モデルを使用して、腎結石シナリオに焦点を当てた内視鏡用MONARCHプラットフォームのデジタルツインを構築しています。XCathは血管内自律ポリシー訓練に適用し、人間の操作なしで血管をナビゲートする物理的振る舞いをシステムに教えています。Inner Logicはデバイス力学を検証するための合成データを生成し、規制提出をサポートするための計算機内証拠を生成する予定ですが、その証拠に基づく提出は公に確認されていません。Medtronic Structural Heartは最も初期の段階で、カテーテルナビゲーション研究のためのシミュレートされたX線センシングを模索しています。
これらはすべて訓練演習またはデータセットへの貢献であり、この方法で学習されたポリシーで患者に動作する展開システムはなく、Nvidiaもそう主張していません。医療ロボティクスは、ほとんどの物理AIアプリケーション(産業用や倉庫用ロボットを含む)が同じ程度には直面しないガバナンス要件を抱えています。規制当局や臨床審査委員会は、システムがどのように行動に至ったかを確認する必要があり、テストで行動が許容可能に見えたことを確認するだけでは不十分です。
オープンソースフレームワークにより、開発者はシミュレーション内の物理的仮定を検査し、異なる解剖構造で結果を再現し、FDAまたは同等の機関への提出に適した証拠のトレイルを構築できます。これは、クローズドなベンダーパイプラインがチームが規制当局に弁護する必要がある仮定を隠してしまうほとんどのソフトウェアカテゴリよりも、物理AIにおけるオープン性に対するより強力な議論です。しかし、それだけで検証の問題が解決するわけではありません。オープンコードにより外部のレビュー担当者がモデルの論理をチェックできますが、モデルの物理的振る舞いが体内で実際に起こることと一致することを確認するわけではなく、その確認は依然としてこれらの企業がまだ公開していないテストから得られる必要があります。
Nvidiaは、手術用および診断用ロボットの物理AI開発におけるハードウェア前段階を短縮できるインフラを構築し、この規模で並列訓練を実行することは、ワークフローごとにカスタムシミュレーションシーンを再構築する必要がないことを意味します。