全双工语音代理中LALM音频裁判的可靠性评估
一篇新研究评估了Gemini模型作为音频裁判在全双工语音代理对话中的可靠性。基于209个立体声会话，在8个维度上与人类评分者进行对比，结果显示Gemini 2.5 Flash在多数维度上与人类高度一致，且成本仅为人类评分的约1/100。研究还指出模型切换需重新校准，并提出了部署时需注意的四个方面。
近日，一篇题为“A Reliability Assessment of LALM Audio Judges for Full-Duplex Voice Agents”的研究论文发布，系统评估了Gemini系列模型作为大语言音频模型（LALM）音频裁判的可靠性。该研究聚焦于全双工语音代理场景，直接基于原始立体声波形对对话进行评分，测试了Gemini 2.5 Flash、3.5 Flash和3.1 Pro三款模型。
研究团队以Gemini 2.5 Flash为标准模型，与三位经过校准的人类评分者对209个立体声会话进行对比，评分涵盖8个生产维度。这些会话包括152个全双工对话（涉及13种口音和条件组合）以及57个注入缺陷的对抗性样本。实验结果表明，Gemini 2.5 Flash在多项指标上表现出与人类评分的高度一致性：在8个维度中的5个上，LALM-人类Spearman相关系数与人类之间的差异不超过0.07；在7个维度上，两者的95%自助法置信区间相互重叠。此外，在6个维度中，LALM与三名人类评分者均值的偏差在1分以内的会话占比达到60%至92%。在缺陷检测方面，45个（共48个）缺陷-维度组合中，LALM的灵敏度与人类相当或更优（基于Newcombe-Wilson 95%置信区间）。
研究还比较了Gemini系列模型的排序能力：Gemini 3.5 Flash在全部8个维度上实现了与人类评分的一致，而Gemini 3.1 Pro尽管排序相关性相当，但在多个维度的评分显著低于人类。因此，研究者强调，模型切换时必须基于特定校准数据进行重新验证，不能仅凭排序相关性假设一致性。
论文指出了部署时需注意的四个领域，并估算了人类评分的成本约为等效LALM工作量的两个数量级。基于当前数据，研究认为LALM可作为人类评分的替代或第四评分员，但需在有证据支持的维度上谨慎部署。该研究为全双工语音代理的自动化评估提供了实证基础。