全雙工語音代理中LALM音頻裁判的可靠性評估
一篇新研究評估了Gemini模型作為音頻裁判在全雙工語音代理對話中的可靠性。基於209個立體聲會話，在8個維度上與人類評分者進行對比，結果顯示Gemini 2.5 Flash在多數維度上與人類高度一致，且成本僅為人類評分的約1/100。研究還指出模型切換需重新校準，並提出了部署時需注意的四個方面。
近日，一篇題為“A Reliability Assessment of LALM Audio Judges for Full-Duplex Voice Agents”的研究論文發佈，系統評估了Gemini系列模型作為大語言音頻模型（LALM）音頻裁判的可靠性。該研究聚焦於全雙工語音代理場景，直接基於原始立體聲波形對對話進行評分，測試了Gemini 2.5 Flash、3.5 Flash和3.1 Pro三款模型。
研究團隊以Gemini 2.5 Flash為標準模型，與三位經過校準的人類評分者對209個立體聲會話進行對比，評分涵蓋8個生產維度。這些會話包括152個全雙工對話（涉及13種口音和條件組合）以及57個注入缺陷的對抗性樣本。實驗結果表明，Gemini 2.5 Flash在多項指標上表現出與人類評分的高度一致性：在8個維度中的5個上，LALM-人類Spearman相關係數與人類之間的差異不超過0.07；在7個維度上，兩者的95%自助法置信區間相互重疊。此外，在6個維度中，LALM與三名人類評分者均值的偏差在1分以內的會話佔比達到60%至92%。在缺陷檢測方面，45個（共48個）缺陷-維度組合中，LALM的靈敏度與人類相當或更優（基於Newcombe-Wilson 95%置信區間）。
研究還比較了Gemini系列模型的排序能力：Gemini 3.5 Flash在全部8個維度上實現了與人類評分的一致，而Gemini 3.1 Pro儘管排序相關性相當，但在多個維度的評分顯著低於人類。因此，研究者強調，模型切換時必須基於特定校準數據進行重新驗證，不能僅憑排序相關性假設一致性。
論文指出了部署時需注意的四個領域，並估算了人類評分的成本約為等效LALM工作量的兩個數量級。基於當前數據，研究認為LALM可作為人類評分的替代或第四評分員，但需在有證據支持的維度上謹慎部署。該研究為全雙工語音代理的自動化評估提供了實證基礎。