AI News HubLIVE
站内改写2 分钟阅读

将临床决策权从LLM中剥离

本文介绍了一种用于AI治疗的系统设计,该系统通过确定性管道决定临床行动,不让LLM自行决策。系统包括评分、状态桶、准入表、动作选择、微实践和危机预筛查等步骤,仅在评分和生成阶段使用LLM。文章还讨论了该方法的成本与局限性。

来源Hacker News AI作者: chrischengzh

在AI治疗领域,一个关键问题是如何确保临床决策的安全性和可靠性。Hamo AI团队决定不让大型语言模型(LLM)自行决定临床步骤,而是采用一种确定性管道来分离决策与生成。

该管道的流程如下:每次交互都经过评分(SCORE)、选择状态桶、准入门、选择动作、微实践、危机预筛查,最后生成(GENERATE)。其中,评分和生成由LLM完成,其余所有步骤都是确定性代码。模型从不决定临床步骤是否合适——它甚至看不到准入表,也不需要推理它。当模型被调用生成时,决策已经计算完毕。

核心是一个准入表,包含九种治疗学派和四种客户状态。每个单元格定义了在特定状态下允许的疗法。例如,认知行为疗法(CBT)对稳定客户允许思想记录、证据检查和行为实验,但对正在崩溃的客户只允许接地练习。技术集不会因为模型感觉谨慎而缩小,而是因为状态分数索引到了不同的行。

危机检测在生成前运行,分为三个阶段:第一阶段是确定性关键词预筛查,纯代码,目标50毫秒以下,实际通常在5毫秒内;第二阶段是零温度分类器,确定性配置,同一消息始终得到相同判定,目标3秒,实际0.8-2秒;第三阶段是持续重新评估。一旦触发,生成被完全跳过,发送固定消息,并通知主治临床医生。固定消息是故意的——在急性风险下,不应让语言模型发挥创造性。

文章坦承了这种设计的成本:对话流畅度下降,管道有时会产生比模型“想要”的更生硬的回复;迭代速度变慢,添加一种新学派需要修改表格和临床审核;无法进行通用对话,这是有意为之,但确实是一种能力缺失;工程复杂度增加,确定性主干需要大量代码。

尽管有这些成本,该设计提供了关键优势:准入门不会被说服。一个能言善辩的客户不会因为说服力而获得更深层的治疗——他们的状态分数决定一切。此外,安全标志不会衰减:三周前的风险信号仍然会限制当前允许的操作。

未解决的问题包括:危机协议无法检测故意隐藏的风险,也无法进行物理干预;结果斜率指标仍在路线图中。完整的危机协议已公开详细发布,以便机构合作伙伴审计。