一篇新提交至 arXiv 的论文《从语境偏移到风格坍缩：为何训练目标比规模更重要》（arXiv:2605.28826，作者 Rohan Mahapatra，2026 年 4 月 8 日提交）对现代大语言模型训练流程提出了一项结构性批评。论文的核心主张是：在当代大语言模型中，语言特征并非单纯的风格产物，而是训练对齐目标下概率质量分配的探针；现有训练流水线正在系统性地重塑语言分布，而这一变化无法被常规质量指标察觉。
研究分析了 17 个参数规模从 4.1 亿到 1000 亿以上的模型，并使用 24 个具有语言学动机的探针进行测量。结果显示，经过指令微调的系统在话语和结构维度上系统性地压缩了语言熵，平均放大倍数为 1,949% 至 16,853%，峰值可达 5,181% 至 209,675%。与此同时，复杂标点被选择性抑制，出现频率仅为基线的 3.2% 至 23.2%。作者将这种极端语言再分配称为“风格坍缩”：模型并非随机退化，而是把风格概率质量集中到了狭窄的分布区间。
一个值得注意的发现是，这类效应在 RLHF 阶段并不会进一步恶化。在匹配的基础模型与指令微调模型对之间，分歧模式的统计差异并不显著（p > 0.25）。换言之，偏好优化并没有修复或加剧坍缩，说明问题更多源于更早的训练目标与对齐设定，而非 RLHF 本身。
论文进一步考察了正则化强度的影响。弱干预（lambda=1.0）使坍缩加剧 240%；而强控制（lambda=5.0）则实现 40.5% 的改善，尽管参数规模落后前沿模型 200 至 1000 倍，却在相关指标上领先 96.7% 至 98.2%。此外，lambda=5.0 相比中等正则化带来高 15% 的 distinct-4、高 27% 的词汇多样性，以及低 78% 的重复率。作者由此得出结论：对齐需要足够的控制强度，而不仅仅是分布平滑。
论文的意义超出单一指标。作者指出，当前对齐流水线存在结构性局限：偏好优化会重塑语言分布，这种重塑对标准质量评测不可见，却可以通过分布探针检测出来。这一发现对 AI 文本检测、训练数据污染识别以及语言的长期演化都有潜在影响。论文共 26 页、13 张表、2 幅图，作者计划投稿至 NeurIPS 2026，主题归类为计算与语言（cs.CL）。