观点：开发数据探针，从根本上理解数据如何影响大语言模型性能

一篇题为“Position: Let's Develop Data Probes to Fundamentally Understand How Data Affects LLM Performance”的论文被ICML 2026立场论文轨道接收。该论文由Shiqiang Wang等四位作者撰写，于2026年5月11日提交至arXiv，探讨了数据在大语言模型（LLM）中的核心作用。尽管数据是LLM的基础，但什么使某些数据在训练、调优、对齐、上下文学习等不同阶段有用，以及为什么有用，仍然是一个悬而未决的问题。

当前的研究方法严重依赖对大型公共数据集进行大量实验，以获得数据过滤和数据集构建的经验启发式。这些方法计算密集，且缺乏理解特定数据特征如何驱动LLM行为本质的原则性方式。作者指出，这种经验驱动的方法无法揭示数据作用的根本机制。

为此，该论文倡导开发系统方法论，从适当定义的随机过程中生成合成序列，目标是这些序列在LLM工作流的一个或多个阶段使用时能揭示有用的特征。作者将此类序列称为“数据探针”。通过观察LLM对数据探针的行为，研究人员可以系统地研究数据特征如何影响模型性能、泛化能力和鲁棒性。

这些探针序列展现出可用理论概念（如典型集）来观察的统计特性，这些概念被推广以描述LLM的行为。典型集是信息论中的概念，用于描述典型序列的性质，作者将其扩展至LLM领域。这种数据探针方法为超越经验启发式、揭示数据在LLM训练和推理中作用的根本性见解提供了途径。

论文还提供了相关引用信息：arXiv编号2605.18801，属于人工智能（cs.AI）、信息检索（cs.IR）和机器学习（cs.LG）领域。该论文的ICML记录链接为https://icml.cc/virtual/2026/poster/67154。此外，论文附有PDF和HTML版本，供读者获取详细内容。