臨床判断をLLMから取り除く

AIセラピーの分野では、臨床判断の安全性と信頼性を確保することが重要です。Hamo AIチームは、大規模言語モデル（LLM）に臨床ステップを自律的に決定させず、代わりに決定論的パイプラインを使用して決定を生成から分離することを決定しました。

パイプラインの流れは次のとおりです。各やり取りは、スコアリング（SCORE）、状態バケットの選択、アドミッションゲート、アクションの選択、マイクロプラクティス、危機事前スクリーニング、そして生成（GENERATE）を経ます。このうち、スコアリングと生成はLLMが行い、それ以外のステップはすべて決定論的コードです。モデルは臨床ステップの適切性を決定せず、アドミッションテーブルを見ることも、それについて推論することも求められません。生成が呼び出されるまでに、決定はすでに計算されています。

中核となるのはアドミッションテーブルで、9つの治療学派と4つのクライアント状態を含みます。各セルは、特定の状態で許可される療法を定義します。例えば、安定したクライアントに対する認知行動療法（CBT）は、思考記録、証拠確認、行動実験を許可しますが、崩壊しているクライアントには接地練習のみを許可します。テクニックセットはモデルが慎重に感じたからではなく、状態スコアが異なる行を指したために狭まります。

危機検出は生成前に実行され、3つの段階に分かれています。第1段階は決定論的キーワード事前スクリーニングで、純粋なコード、目標50ミリ秒未満、実際には通常5ミリ秒以内。第2段階はゼロ温度分類器で、決定論的構成により、同じメッセージは常に同じ判定を得ます。目標3秒、実際0.8〜2秒。第3段階は継続的再評価です。トリガーされると、生成は完全にスキップされ、固定メッセージが送信され、担当臨床医に通知されます。固定メッセージは意図的です。急性リスク下では、言語モデルに創造性を発揮させたくありません。

記事はこの設計のコストを正直に認めています。会話の流暢さの低下、パイプラインがモデルの「望む」よりもぎこちない返答を生成することがあります。イテレーション速度の低下、新しい学派の追加にはテーブルの変更と臨床レビューが必要です。一般的な会話ができないこと、これは意図的ですが、能力の欠如です。エンジニアリングの複雑さの増加、決定論的主干には多くのコードが必要です。

これらのコストにもかかわらず、この設計は重要な利点を提供します。アドミッションゲートは説得されません。弁の立つクライアントが説得力によってより深い治療を得ることはなく、状態スコアがすべてを決定します。さらに、安全フラグは減衰しません。3週間前のリスク信号でも、今日許容される操作を制限します。

未解決の問題には、危機プロトコルが意図的に隠されたリスクを検出できないこと、物理的介入ができないこと、結果スロープ指標がまだロードマップ上にあることなどがあります。完全な危機プロトコルは詳細に公開されており、機関パートナーが監査できるようになっています。