能力条件化支架：专业人类与LLM协作的新框架
大型语言模型个性化通常适应用户偏好和风格，但未考虑用户在不同专业领域评估能力的差异。这可能导致专业领域漂移，即用户在自己无法可靠评估的领域依赖AI生成推理。本文提出能力条件化支架，一种将专业知识划分为强、混合、弱三个领域，并根据结构化能力档案调节干预行为的框架。初步评估表明，该框架能产生一致的能力档案调节干预行为，包括档案切换下的类别反转和混合领域风险区域的选激活。研究发现，能力感知支架可以在风格个性化之外支持更可靠的专业人机协作。
大型语言模型（LLM）的个性化通常侧重于根据用户偏好和风格调整输出，但一个关键缺陷是未能考虑用户在不同专业领域的评估能力差异。这种局限性可能导致一种被称为“专业领域漂移”的现象：用户在自己无法可靠评估的领域过度依赖AI生成的推理，从而引发决策风险。例如，一位医生可能擅长临床诊断，但在基因组学方面缺乏专业知识，如果LLM在未加适当约束的情况下提供基因组学建议，医生可能无法准确判断其正确性，进而造成误判。
为应对这一挑战，Sen Yang等研究者提出了“能力条件化支架”（Capability Conditioned Scaffolding）框架。该框架将用户的专业知识划分为三个领域：强领域（用户具备可靠评估能力）、混合领域（部分能力）和弱领域（评估能力不足）。基于这些结构化能力档案，系统会动态调节AI的干预行为，例如在弱领域加强约束、提供更详细的解释和验证步骤，而在强领域减少干预、允许用户自主决策。这种设计旨在防止用户在不熟悉的领域盲目信任AI，同时在不必要的场合维持用户自主权。
研究团队在多个MMLU子集和四种不同的LLM平台上进行了初步评估。MMLU（大规模多任务语言理解）是一个广泛使用的基准测试，覆盖了从人文到科学的众多领域。实验结果表明，该框架能够产生一致的能力档案调节干预行为：当用户能力档案被交换时，干预行为出现类别反转，即原来在强领域采取的放手策略变为弱领域的严格控制；在混合领域风险区域，系统能选激活保护机制，当预测到用户可能犯错时主动介入。这些发现证实了能力感知支架的有效性，并表明其在不同模型和领域间具有鲁棒性。
这项工作超越了传统的风格个性化，为专业人机协作提供了更可靠的解决方案。未来，该框架有望应用于医疗、法律、金融等高危领域，帮助专业人士在利用AI效率的同时避免盲目信任。此外，该框架还可以扩展到教育场景，根据学生的学习能力动态调整辅导策略。研究者计划进一步在真实世界场景中验证该框架，并探索如何自动构建用户的能力档案以提高实用性。