跳到主要内容
AI News HubLIVE
站内改写3 分钟阅读

关键技能:为Genie Code提升医疗与生命科学领域能力

文章摘要

Databricks推出Vital Skills,一套开源的Agent Skills,为编码代理注入医疗与生命科学领域的专业知识。在BiomniBench基准测试中,配备Vital Skills的Genie Code在相关任务上得分更高,表现出更好的准确性、一致性和严谨性,同时在非相关任务上未产生负面影响。

关键技能:为Genie Code提升医疗与生命科学领域能力
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

Databricks近期发布了Vital Skills,这是一套开源的Agent Skills,旨在为编码代理赋予医疗与生命科学(HLS)领域的专业知识。通用编码代理虽然能写出看似合理的代码,但往往缺乏领域纪律性,例如会不经提示就选择临床阈值,或采用通用统计方法而非领域内标准的专业方法。Vital Skills通过打包的“操作手册”解决了这一问题,这些手册基于开放的Agent Skills标准构建,帮助代理明确该问哪些问题、哪些步骤不可省略,以及应使用哪些经过验证的工具。

Genie Code是Databricks优化的编码代理,允许用户通过聊天而非编写代码来完成数据和AI任务。其与Unity Catalog的集成确保代理理解企业数据,并遵循与平台其他部分相同的安全和治理规则。然而,即便是Genie Code这样的先进代理,也缺乏领域特异性,可能采用不符合HLS标准的通用方法和临床阈值。Vital Skills正是为了弥合这一差距而设计,它使生成的代码与受治理的数据紧密相连,并让用户获得一个完整的系统,而不仅仅是一个沙盒环境。借助Databricks生态系统,用户可以基于所有数据资产、实现端到端的治理、获得包括模型服务、GPU和Apps在内的综合平台,并保持开放选择——支持任何云、任何模型和任何框架。

在评估方面,Databricks在BiomniBench这一公开的生物医学数据分析基准上测试了Genie Code(有无Vital Skills)。结果显示,在技能覆盖的5个任务上,Genie Code的平均得分从71.9提升至76.9(满分100);而在18个范围外的任务上,得分保持稳定(无技能69.1,有技能71.2),表明技能在不需要时不会产生干扰。此外,配备技能后,Genie Code在每次范围内运行中都能正确打开对应的技能,并且在某个队列任务中,基线版本静默丢弃了一半合格患者,而使用技能后所有患者都被正确纳入。

每个Vital Skills技能都由曾多次为客户解决该问题的现场工程师主导开发,并遵循三项原则:首先,“先询问再假设”——当决策应由分析师做出时(如临床阈值),技能会暂停并提供选项让用户选择;其次,“信任经过测试的工具,而非即兴代码”——对于敏感工作,Genie Code运行经过测试的工具和代码,而不是每次编写新逻辑;最后,“用数据证明”——每个技能都在相同任务上与无技能的Genie Code进行并行运行对比。

技能目录覆盖了医疗与生命科学价值链的多个环节,包括生物信息学(如bulk-rnaseq用于寻找差异表达基因、open-weight-models用于打包和部署开源HLS模型、pathway-enrichment-analysis用于通路富集分析、sc-rnaseq用于单细胞RNA-seq分析)、临床分析(如cohort-builder用于构建可复现的患者队列、rwe-cohortstudy用于比较效果研究、semantic-builder用于构建语义层、phi-deidentifier用于HIPAA安全港去标识化),以及其他技能如presentation-builder用于生成演示幻灯片、report-writer用于撰写报告、accelerators用于路由到相关HLS加速器、skill-eval用于基准测试技能本身。这些技能可以直接使用,也可以根据用户需求进行定制,以利用用户在特定学科中的深厚专业知识。

以cohort-builder技能为例,分析师用自然语言描述人群(如“患有2型糖尿病且血糖控制不佳的患者”),技能将其转化为可复现、可解释和可辩护的队列。该技能能处理结构化和非结构化数据,在关键决策点暂停询问而非猜测,先检查可行性并显示合格患者数量,解释每个患者的纳入理由而不暴露原始临床笔记,并确保每次运行结果一致。在配对评估中,自由文本队列的F1分数从0.62提升至1.00。另一个例子是open-weight-models技能,它帮助科学家将Geneformer、TEDDY等生物基础模型部署为受治理的模型,过程中会询问运行方式(实时端点、批处理作业、应用或管道),固定模型及其工件以确保可复现和可审计,在Unity Catalog中注册并测试模型,并监控推理流量。在一个TEDDY单细胞模型部署任务中,无技能的Genie Code完成了27项检查中的19项,而有技能时27项全部完成。

为了评估技能效果,Databricks还提供了skill-eval技能,可为每个技能构建定制的评估工具,包括适当的任务、数据、评分器和预期结果。此外,在BiomniBench上的三次测试进一步验证了Vital Skills的价值。用户可以在Genie Code中浏览并安装Vital Skills,并将多个技能串联起来完成复杂任务,例如在部署开源模型后创建并调度批处理推理作业,或为嵌入模型创建向量搜索索引。

展开要点与分析

文章情报

工程师进阶

要点

  • Vital Skills是开源Agent Skills,为编码代理提供医疗与生命科学领域专业知识
  • 在BiomniBench测试中,配备Vital Skills的Genie Code在范围内任务得分从71.9提升至76.9
  • 技能设计遵循“先询问再假设”、“使用经过测试的工具而非即兴代码”和“用数据证明效果”三大原则
  • 技能目录覆盖生物信息学、临床分析、报告生成等多个环节,并支持自定义扩展

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。