大規模言語モデルはメンタルヘルス支援において有望であるが、治療的品質が向上するのは、評価が受動的な指標ではなく実行可能な制御信号として機能する場合に限られる。カナダのトロント大学などの研究者らは、多次元で人間に調和した評価に基づいて治療的応答生成を意思決定最適化問題として定式化するフレームワークを提案した。このフレームワークは2段階で構成され、より安全で効果的かつ共感的なメンタルヘルス対話を実現することを目指している。
第1段階では、チームはTheraJudgeを開発した。これは完全にオープンソースの治療的評価器であり、人間がアノテーションした高品質データを用いて選好最適化（preference-based optimization）により訓練され、7つの重要な心理的次元（安全性、関連性、共感、サポート、指導、探索、具体性）にわたって治療的応答を確実に評価できる。実験の結果、TheraJudgeは臨床医の評価と高い一致を示し、級内相関係数（ICC）は0.87から0.95に達した。これは従来の教師あり学習ベースラインや強力なクローズドソース評価システム（例：GPT-4を評価者として使用）を大幅に上回る成果であり、特に安全性、関連性、共感の次元で優れた性能を発揮した。
第2段階では、TheraAgentが導入された。これはマルチエージェント協調最適化システムであり、批評家（Critic）、コーチ（Coach）、セラピスト（Therapist）の3つの専門役割で構成される。批評家は応答の具体的な問題を特定し、コーチは改善の方向性とアドバイスを提供し、セラピストはそれらのフィードバックに基づいて修正された応答を生成する。これらの役割が調整された洗練プロセスを通じて、TheraJudgeの評価シグナルを正確な応答修正に変換する。この反復設計により、システムは一度きりの出力ではなく継続的に自己改善を行う。
厳格な盲検評価において、TheraAgentは治療品質スコア（5点満点）を平均0.43ポイント向上させ、96%の評価者間信頼性がその信頼性を証明した。特筆すべきは、初期スコアが3以下の低品質応答に対して、システムは平均2.45ポイントの改善を達成し、回復率は94%に達したことである。これはTheraAgentが安全でないまたは効果の低い出力を効果的に捕捉し修正できることを示している。
研究者らは、この研究の中心的教訓として、メンタルヘルス大規模言語モデルの効果的な調整は、より強力な生成能力に頼るのではなく、人間に調和した評価に基づいて行動することに由来すると強調している。このフレームワークは完全にオープンソースとして公開され、コードとモデルはGitHubで入手可能であり、再現可能なベンチマークとツールをコミュニティに提供する。本研究はメンタルヘルスAIの発展を促進するだけでなく、汎用AI調整への新たな視点を提供する。