这篇题为《Predict and Reconstruct: Joint Objectives for Self-Supervised Language Representation Learning》的预印本论文由 Aimen Boukhari 撰写，于 2026 年 4 月 16 日提交至 arXiv，归类为计算与语言（cs.CL），并交叉列于人工智能（cs.AI）。论文共 12 页，包含 10 幅图和 11 张表，作者同时公开了代码链接。其核心问题指向自 BERT 以来文本编码器预训练中长期占据主导地位的掩码语言建模（MLM）目标：这种做法虽然有效，却倾向于让表示紧紧依附于表层词元的身份，而非更深层的语义结构。
受 LeCun 于 2022 年提出的联合嵌入预测架构（JEPA）在视觉和音频领域取得成功的启发，作者提出一种混合式预训练目标，在同一个共享编码器上同时施加 JEPA 风格的隐空间预测损失与标准的 MLM 目标。两类目标之间由一个可学习的标量参数在训练过程中持续调节权重，从而实现动态平衡，而非依赖人工设定的固定比例。
在实验设计上，作者使用相同的模型架构和相同的算力预算（NVIDIA H100），在英文维基百科上分别预训练了混合模型和纯 MLM 基线模型，以保证对比的公平性。随后，研究在五个 GLUE 基准任务——SST-2、MRPC、MNLI、CoLA 和 STS-B——上展开广泛的表示分析，并采用四种不同的池化策略考察嵌入空间的性质。
结果显示，混合编码器产生的嵌入显著更加均匀，均匀性指标低于 -0.16，而纯 MLM 模型约为 -0.05；在最大池化下，混合模型呈现出更丰富的谱几何结构；同时，它编码的表层词汇信息更少，在语义与词汇之间取得了更好的平衡。值得注意的是，两者在线性探针的下游准确率上表现相近，但几何层面的差异既一致又显著。作者据此指出，JEPA 预测目标以标准准确率指标难以捕捉的方式重塑了潜在空间，说明仅凭下游任务分数并不足以全面评价预训练目标的优劣。
论文还讨论了相关背景信息，包括其在 arXiv 上的浏览上下文（2026 年 6 月的新投稿）、DOI 信息、提交历史以及代码可用性等。整体而言，这项工作为文本表示学习提供了一种结合预测与重建的新思路，并强调了几何分析在评估语言表示质量方面的重要价值。