新しい研究では、LoRAアダプタを介してドキュメントを4ビットGemma-4-e4bモデルの重みに直接内蔵し、クローズドブックQA（検索やコンテキストウィンドウ予算なしで質問に答える）を実現する方法が調査されました。単一ドキュメントから99ドキュメントコーパスにわたる約100のトレーニング実行を通じて、研究者らは、アダプタ容量が十分であれば、トレーニングデータの品質がクローズドブック精度の主要なレバーであり、LoRAランク、学習率、および2つの代替アーキテクチャの合計を凌駕することを発見しました。容量自体はハードゲートであり、それを下回るとデータ介入は役に立ちません。
重要な実験では、単一のキュレーションパス（正解を1〜6語の標準形に短縮し、トリビアを削除）により、15ドキュメントコーパスのクローズドブック精度が57.7%から85.7%に向上し、あらゆるアーキテクチャ変更よりも大きなジャンプを示しました。研究ではまた、容量の傾向（ランクはコーパスサイズとともに成長する必要がある）が確認されましたが、この傾向はランクと学習率の結合と絡み合っており、当初は誤診されていました。
15ドキュメントのスライスでは、実際の検索ベースラインが追加されました。内蔵アダプタ（再現率84.2%）は、BM25-RAGパイプライン（58.9%）や現実的なゴールドチャンクオラクル（65.6%）をも凌駕し、かつ低レイテンシを実現しました。論文では、3つの誤診を含む全弧が、LLMトレーニングの経験的デバッグのケーススタディとして報告されています。
この研究の意義は、LoRA微調整におけるデータ品質の優位性を明らかにした点にあり、従来のモデルアーキテクチャや容量重視の見方に挑戦しています。実際の応用においては、LoRAアダプタを展開する際に、より大きなランクや複雑な構造を追求するよりも、データのクリーニングと標準化に投資すべきであることを示唆しています。また、容量の閾値の存在は、アダプタが情報を吸収するのに十分な表現能力を持つことの重要性を強調しています。
さらに、この研究はクローズドブックQAへの実用的な道筋を提供しています。知識をモデル重みに内蔵することで、外部検索システムへの依存を排除し、レイテンシとインフラコストを削減できます。現時点では小規模コーパスに限定されていますが、この手法はより大規模な知識ベースに拡張可能であり、効率的で自律的なQAシステムの構築に貢献する可能性があります。