新しいarXiv論文で、研究者らは臨床プロトコル実行タスクへの強化学習（RL）の適用を検討している。タスクには検査値の確認、閾値の適用、正しい構造のFHIRオーダーの発行などが含まれる。臨床分野の専門家が決定ロジックを検証器にエンコードすれば、その検証器はエピソードごとのアノテーションなしで無制限のロールアウトを採点できる。しかし、RLを適用するには健全なフィードバック経路と十分な基礎能力が必要である。
研究チームはMedAgentBench v1とv2を監査し、41.7%の「サイレントフィニッシュ」上限を発見した。これは、エージェントが多くの場合、単に行動しないことで報酬を得られることを意味し、不作為がRLの支配戦略となってしまう。この問題を解決するため、彼らはMedAgentBench-v3（MAB-v3）を構築した。これは508のタスクを含み、サイレントフィニッシュの上限を8.9%にまで下げている。
Qwen3-8Bモデルを訓練する際、著者らは2つの構造的障壁を特定した。第一は「能力の天井」である。20のタスクタイプのうち10は基礎性能が0%であり、勾配がゼロになるためモデルは学習できない。第二は「フォーマット知識の壁」である。3つのタスクタイプは、探索では発見できない正確な臨床コードを必要とする。
実験の結果、純粋なRLはpass@1で18.2%に達したが、ルールベースの教師あり微調整（SFT）は34.1%であった。この15.9ポイントの差は完全に上記の障壁に起因する。著者らはタスクを決定、フォーマット知識、ルックアップの3つに分類する分類法を提案し、この分類法がRLの学習可能性を予測し、解決策を示すと述べている。すなわち、SFTを使用して必要なコード知識を注入し、その後RLを使用して条件ロジックを学習するのである。
この研究は、臨床エージェントのRL訓練を設計する際に、フィードバック経路の品質とモデルの基礎能力を慎重に考慮する必要があることを強調している。より合理的なベンチマークとハイブリッド訓練戦略を構築することで、実際の医療環境におけるモデルのパフォーマンスをより効果的に向上させることができる。