训练治疗性评判员与多智能体系统以实现与人类对齐的心理健康支持
本研究提出一个框架，通过多维度、人类对齐的评估来驱动治疗性回应生成。第一阶段引入TheraJudge，一个基于人类标注数据通过偏好优化训练的开源治疗性评估器，能在7个心理维度上提供可靠判断。第二阶段引入TheraAgent，通过协调的优化过程（包括批评者、教练和治疗师角色）将评估信号转化为有针对性的回应修订。实验表明，TheraJudge与临床医生评分高度一致（ICC=0.87-0.95），超越监督基线和强大的闭源评估器；TheraAgent在盲评中将治疗质量提升0.43分（5分制），低质量回应改善2.45分，恢复率达94%。
大型语言模型在心理健康支持领域展现出巨大潜力，但要真正提升治疗质量，评估必须作为可操作的控制信号而非被动指标。来自加拿大多伦多大学等机构的研究人员提出了一种创新框架，通过训练治疗性评判员（TheraJudge）和多智能体系统（TheraAgent），将治疗性回应生成形式化为一个基于多维、人类对齐评估的决策优化问题。该框架分为两个阶段，旨在实现更安全、更有效、更共情的心理健康对话。
在第一阶段，团队开发了TheraJudge，这是一个完全开源的治疗性评估器。它利用人类标注的高质量数据，通过偏好优化（preference-based optimization）进行训练，能够从七个关键心理维度（安全性、相关性、同理心、支持性、指导性、探索性和具体性）对治疗性回应进行可靠评判。实验结果显示，TheraJudge与临床医生评估结果高度一致，组内相关系数（ICC）达到0.87至0.95，显著超越了传统的监督学习基线和强大的闭源评估系统（如GPT-4作为评判员）。特别是在安全性、相关性和同理心等关键维度上，TheraJudge表现出色，为后续的回应优化奠定了坚实基础。
第二阶段引入了TheraAgent，这是一个多智能体协同优化系统。它包含三个专门角色：批评者（Critic）负责识别回应中的具体问题，教练（Coach）提供改进方向和建议，治疗师（Therapist）则根据前两者的反馈生成修正后的回应。这三个角色通过协调优化过程，将TheraJudge的评估信号转化为精准的回应修订。这种迭代式设计使得系统能够不断自我完善，而非一次性生成最终输出。
在严格的盲评实验中，TheraAgent将治疗质量评分（5分制）平均提升了0.43分，且96%的评估者间一致性验证了其可靠性。更令人瞩目的是，对于初始得分低于或等于3分的低质量回应，系统平均改善了2.45分，恢复率达到94%。这意味着TheraAgent能够有效捕捉并修正不安全或无效的输出，极大提升了心理健康支持的质量。
研究人员强调，这项工作的核心启示是：心理健康大语言模型的有效对齐，关键在于将人类对齐的评估作为行动依据，而非单纯依赖更强大的生成能力。这一框架已完全开源，代码和模型可在GitHub上获取，为社区提供了可复现的基准和工具。该研究不仅推动了心理健康AI的发展，也为通用AI对齐提供了新的思路。