一項新的研究探討了如何通過LoRA適配器將文檔直接內化到4-bit Gemma-4-e4b模型的權重中，從而實現閉卷問答：無需檢索或上下文窗口預算。在從單文檔到99個文檔語料的約100次訓練實驗中，研究人員發現，一旦適配器容量足夠，訓練數據質量就成為影響閉卷準確率的主要槓桿，其作用遠超LoRA秩、學習率甚至兩種替代架構的總和。而容量本身是一個硬性門檻，低於該門檻時任何數據干預都無效。
一個關鍵實驗顯示，僅通過一次數據整理處理——將標準答案縮短為1-6個詞的規範形式並刪除瑣碎問題——就將15個文檔語料的閉卷準確率從57.7%提升至85.7%，提升幅度超過任何架構變化。研究還確認了一個容量趨勢：秩必須隨語料大小增長，但這一趨勢與秩和學習率之間的耦合關係相互糾纏，研究團隊最初曾誤診這一問題。
在15個文檔的子集上，研究團隊添加了真實的檢索基線進行比較：內化適配器（84.2%召回率）擊敗了BM25-RAG流水線（58.9%）甚至一個現實的黃金塊預言機（65.6%），同時延遲更低。論文詳細報告了整個研究弧線，包括三次誤診，作為LLM訓練經驗調試的案例研究。
這項研究的意義在於，它揭示了數據質量在LoRA微調中的主導地位，挑戰了以往強調模型架構和容量的觀點。對於實際應用而言，這意味着在部署LoRA適配器時，應優先投資於數據清洗和標準化，而不是單純追求更大的秩或更復雜的結構。研究還強調了容量門檻的存在，提醒從業者需要確保適配器具有足夠的表示能力來吸收所提供的信息。
此外，研究為閉卷問答提供了一種可行的路徑：通過將知識內化到模型權重中，可以消除對外部檢索系統的依賴，從而降低延遲和基礎設施成本。儘管實驗目前僅限於小規模語料，但這一方法有望擴展到更大規模的知識庫，為構建高效、自主的問答系統鋪平道路。