RLHF偏好数据中的评分者状态偏差：一个审计框架
该研究揭示了一种在人类反馈强化学习（RLHF）中存在的结构性混淆因素：评分者的心理状态可能随时间影响其偏好标签，从而产生系统性偏差。论文提出了一个审计框架用于检测这种偏差，并定义了相关概念、可证伪的预测和初步研究方案。
一篇新的研究论文审视了强化学习从人类反馈（RLHF）中一个可能被忽视的偏差来源：评分者状态。论文由Elena Kopteva和Vitaliy Hlynianyi-Zhuk撰写，于2026年4月14日提交至arXiv。研究指出，在标注过程中，评分者如果处于持续的压力或困境中，其偏好可能会随时间发生变化，从而使得偏好数据不仅包含对响应质量的判断，还包含评分者的情绪状态。这种状态依赖的偏差不同于常规的分歧或随机标签噪声，因为它可以在相似条件下工作的评分者之间共享，并有可能通过奖励建模和策略优化传播到最终的AI系统中。
为了应对这一挑战，作者提出了一个“评分者状态偏差”的假设，并开发了一套审计框架。该框架定义了三种关键概念：评分者状态偏移（指评分者偏好的系统性变化）、评分者状态混淆（指状态与质量判断的混合）以及相关性评分者状态偏差（指多个评分者同时发生状态偏差并产生系统性影响）。此外，论文引入了“生存级情绪真实性”作为可测量的响应模式，通过分析词汇、语用、话语和与安全相关的特征来识别。
研究人员推导了五个可证伪的预测，并设定了效应量阈值，以便进行初步审计。他们还概述了一个审计协议和试点研究计划，该计划可应用于公开可用的指令调优模型。需要注意的是，这项工作的目的并非推断任何特定已部署模型的训练历史，而是将评分者状态偏差作为一个合理且可测试的结构性偏差来源进行隔离研究。
这项研究为RLHF数据质量提供了新的视角，强调了标注过程中的心理因素可能对AI对齐产生重要影响。未来的工作可以基于该框架对现有和未来的偏好数据集进行审计，以减轻潜在的偏差风险。该论文的DOI为10.48550/arXiv.2607.16195，属于人工智能领域（cs.AI）。