コード用大規模言語モデル（LLM）の教師あり微調整（SFT）では、従来すべての応答トークンに一様な交差エントロピー損失を適用し、各トークンが同等に有用な学習信号を提供すると暗に仮定していました。しかし、コードは構文的・意味的な完全性に依存するため、この仮定は適切ではありません。自然言語分野では、高価値トークンのみを監視するトークンレベルの選択手法が提案されていますが、コードに直接転用するとプログラムの一貫性を損なう恐れがあります。
この問題に対し、Zhijie Dengらによる論文「CODEBLOCK: Learning to Supervise Code at the Right Granularity」では、構造認識型スパース監視フレームワーク「CODEBLOCK」を提案しています。CODEBLOCKは、孤立したトークンではなく構造的に完全なコード証拠を選択します。まず、高品質な指示-応答ペアを選別し、抽象構文木（AST）を用いてコード応答を構文的に一貫したコーディング項目（式、文、関数定義など）に分割します。次に、コアロジックトークン（演算子、変数名、キーワードなど）上の一般化交差エントロピーを集約して各項目の有用性を推定します。さらに、データフロー解析を用いて、各コーディング項目の到達可能性（プログラム入口から到達可能か）とブリッジ信号（異なる依存経路を接続するか）を計算し、重要なプログラム依存関係を伝播・接続するブロックを優先するよう再ランク付けします。訓練中、完全な応答はコンテキストとして利用可能ですが、損失は選択されたコード項目と情報価値のある自然言語トークン（コメント、エラーメッセージなど）にのみ適用されます。
6つのコード生成ベンチマーク（HumanEval、MBPPなど）での実験により、CODEBLOCKは監視応答トークンのわずか1.9%しか使用せずに、全トークンSFTや競合する選択ベースラインよりも平均pass@1で優れた結果を示しました。これは、コードの構造的特性に合わせた監視粒度の設計が、計算コストを大幅に削減しながらモデル性能を向上させることを示しています。本研究は、リソースが限られた環境や迅速な反復が必要な開発シナリオにおいて、コードLLMの効率的な微調整に新たな道を開くものです。なお、本論文は2026年6月10日にarXivに投稿され（arXiv:2606.18286）、機械学習（cs.LG）を主題としています。