驚くほどシンプルな自己蒸留でコード生成が向上

Appleの機械学習研究チームは、「Embarrassingly Simple Self-Distillation Improves Code Generation」と題した研究を発表し、大規模言語モデル（LLM）が自身の生の出力のみを使用してコード生成能力を向上させる、極めてシンプルな自己蒸留手法（SSD）を提案しました。検証器や教師モデル、強化学習は一切不要です。具体的な手順は、特定の温度とトランケーション設定でモデルから解をサンプリングし、そのサンプルを用いて標準的な教師付き微調整を行うというものです。実験では、SSDによりQwen3-30B-InstructモデルのLiveCodeBench v6におけるpass@1精度が42.4%から55.3%に向上し、改善は主に難しい問題に集中していました。この手法はQwenおよびLlamaシリーズの4B、8B、30Bスケールのモデル（指示型・思考型の両方）で一貫した効果を示しています。

この単純な手法が機能する理由として、研究チームはLLMのデコードにおける「精度と探索の対立」（precision-exploration conflict）を挙げています。SSDは文脈に応じてトークン分布を再形成し、精度が必要な場面では妨害となる長尾分布を抑制し、探索が必要な場面では有益な多様性を保持します。これにより、従来の検証器や強化学習に頼らない新たな後訓練の方向性が示されました。

また、同じページでは関連研究として2つの論文が紹介されています。1つは『BISCUIT: Scaffolding LLM-Generated Code with Ephemeral UIs in Computational Notebooks』（IEEE VL/HCC 2024採択）で、計算ノートブックにおけるLLM生成コードの理解と操作を支援するものです。もう1つは『Applying RLAIF for Code Generation with API-usage in Lightweight LLMs』（ACL 2024ワークショップ採択）で、軽量LLMのコード生成能力を向上させるためのAIフィードバック強化学習（RLAIF）フレームワークを提案しています。これらの研究は、SSDのアプローチを補完するものです。