文化漏斗：数据中缺失的，无法对齐
当前文化对齐方法主要关注推理时干预，但模型可能缺乏足够的文化知识。研究提出“文化漏斗”概念，指出在后训练阶段文化信号显著减少，而地理集中、任务专业化的数据占主导。多语言虽能增强地理多样性，但不能保证平衡。发布含560万样本的文化标记数据集，提升下游文化基准性能。
来源arXiv Computational Linguistics作者: Ananya Sahu, Mehrnaz Mofakhami, Daniel D'Souza, Thomas Euyang, Julia Kreutzer, Marzieh Fadaee
来自arXiv的最新研究《文化漏斗：数据中缺失的，无法对齐》揭示了大语言模型（LLM）在文化对齐方面的一个关键问题：当前方法主要关注推理时的干预，但模型本身可能并未在训练数据中获得足够的文化知识。研究者将这种现象称为“文化数据漏斗”——在预训练、微调、对齐和推理数据集的四阶段管道中，明确的文化信号在后训练阶段急剧下降，而地理集中、任务专业化的数据则占据主导地位。
研究团队开发了一个多维标签框架，对大规模数据集中的文化内容进行标记和分析。他们发现，尽管多语言训练能够增加文化知识的地理多样性，但这并不能保证不同文化背景下的表征是平衡的。相反，以英语为中心、特定任务的数据在后期阶段挤压了文化多样性。
为了验证这一观点，研究者利用他们构建的文化标记数据集（称为CultureMarkers，包含560万样本）改进下游文化基准测试的性能，证明了将焦点转移到训练数据管道的必要性。该数据集已在Hugging Face上公开，供其他研究者使用。
这项研究挑战了当前流行的“推理时对齐”范式，强调文化对齐应从数据源头开始。对于构建真正具有文化包容性的AI系统，这一发现具有重要意义。研究还指出，仅仅增加模型的多语言能力并不能解决文化偏差，因为训练数据的文化多样性才是根本。未来的工作应关注如何在预训练阶段就纳入丰富的文化知识，而不仅仅是在后训练阶段进行微调。该团队计划进一步扩展标签框架，覆盖更多小众文化，并探索文化数据增强技术，以缓解漏斗效应。