最新の言語モデルが臨床ワークフローに急速に導入される一方、その安全性を評価するインフラは追いついていない。静的な医療QAベンチマークでは、救急医療で重要な故障モード——軌跡レベルの安全性崩壊、ツール誤用、持続的な臨床圧力への妥協——を捉えられない。そこで研究者らは、Corecraft を基にした初の公開強化学習環境 HealthCraft を提案する。これは現実的な救急条件下で軌跡レベルの安全性に報酬を与える。
HealthCraft は FHIR R4 ワールドステート上に構築され、14のエンティティ型と3987のシードエンティティを持ち、24のMCPツールを公開する。二層評価基準を定義し、安全基準が一つでも違反されると報酬をゼロにする。研究チームは6カテゴリにわたる195タスクをリリースし、2255の二値基準（うち515は安全クリティカル）で評価。後から10タスクのネガティブクラスを追加し、合計205タスク、2337基準となった。
V8結果では、Claude Opus 4.6 のPass@1が24.8%[21.5-28.4]、GPT-5.4が12.6%[10.2-15.6]で、安全故障率はそれぞれ27.5%と34.0%だった。マルチステップワークフロー（実際の救急ケアに最も近い）では、性能がほぼゼロに低下（Claude 1.0%、GPT-5.4 0.0%）。個々のステップでは部分的な能力を示すにもかかわらずだ。
v2からv8の間に修正された6つのインフラバグにより、どちらのモデルが「強い」かの順位が変わった。これはインフラの忠実性が測定の一部である証拠だ。決定論的LLM判定オーバーレイで評価ノイズを抑制し、60回のネガティブクラススモークパイロットでは、報酬信号がそのまま訓練に使えないことを示した：抑制基準の通過率0.929は、評価ハーネスは許容できるが訓練報酬としてはゲーム化可能である。
研究チームはCorecraft 5.2節に従い、Megatron+SGLang+GRPOループとの結合を準備し、訓練報酬のアブレーションは将来の課題とした。環境、タスク、ルーブリック、ハーネスはApache 2.0で公開されている。