「Predict and Reconstruct: Joint Objectives for Self-Supervised Language Representation Learning」と題されたこのプレプリント論文は、Aimen Boukhari によって執筆され、2026年4月16日に arXiv へ投稿された。分類は計算と言語（cs.CL）で、人工知能（cs.AI）にも関連分野として登録されている。論文は12ページ、10点の図と11点の表から成り、著者はコードへのリンクも公開している。本研究が扱う中心的な問題は、BERT 以降テキストエンコーダの事前学習で支配的な地位を占めてきたマスク言語モデリング（MLM）にある。MLM は有効ではあるものの、表現が深い意味構造ではなく表層的なトークン同一性に強く結び付きやすいという性質を持つ。
著者は、LeCun が2022年に提唱し、視覚や音声の分野で成功を収めた Joint Embedding Predictive Architectures（JEPA）に着想を得て、単一の共有エンコーダ上で JEPA 型の潜在空間予測損失と標準的な MLM 目的を組み合わせるハイブリッドな事前学習目的を提案している。二つの目的は学習可能なスカラー・パラメータによって学習中に継続的に重み付けされ、固定比率ではなく動的にバランスが取られる仕組みである。
実験設計では、同一のアーキテクチャと同一の計算予算（NVIDIA H100）を用い、英語版 Wikipedia 上でハイブリッドモデルと純粋な MLM ベースラインをそれぞれ事前学習し、公平な比較を確保している。その後、SST-2、MRPC、MNLI、CoLA、STS-B という五つの GLUE ベンチマーク上で、四種類のプーリング戦略を用いて表現の広範な分析を行い、埋め込み空間の性質を多角的に検討した。
その結果、ハイブリッドエンコーダが生成する埋め込みは著しく均一性が高く、uniformity は -0.16 未満で、純粋な MLM の約 -0.05 と対照的であった。また、最大プーリングの下ではより豊かなスペクトル幾何構造を示し、表層的な語彙情報の符号化が少なく、意味と語彙のバランスがより良好であることが確認された。特筆すべきは、線形プローブによる下流タスクの精度は両者でほぼ同程度であったにもかかわらず、幾何学的な差異は一貫して有意であった点である。著者はこのことから、JEPA の予測目的が標準的な精度指標だけでは捉えきれない形で潜在空間を再形成していると結論付け、下流スコアのみで事前学習目的の優劣を評価するのでは不十分だと指摘している。
論文には、arXiv 上での閲覧コンテキスト（2026年6月の新着投稿）、DOI 情報、投稿履歴、コードの利用可能性といった付随情報も含まれている。全体として本研究は、予測と再構成を組み合わせたテキスト表現学習の新たな方向性を示すとともに、言語表現の品質評価において幾何学的分析が持つ重要性を強調するものとなっている。