一項新的研究探討了如何透過LoRA介面卡將文件直接內化到4-bit Gemma-4-e4b模型的權重中，從而實現閉卷問答：無需檢索或上下文視窗預算。在從單文件到99個文件語料的約100次訓練實驗中，研究人員發現，一旦介面卡容量足夠，訓練資料質量就成為影響閉卷準確率的主要槓桿，其作用遠超LoRA秩、學習率甚至兩種替代架構的總和。而容量本身是一個硬性門檻，低於該門檻時任何資料干預都無效。
一個關鍵實驗顯示，僅透過一次資料整理處理——將標準答案縮短為1-6個詞的規範形式並刪除瑣碎問題——就將15個文件語料的閉卷準確率從57.7%提升至85.7%，提升幅度超過任何架構變化。研究還確認了一個容量趨勢：秩必須隨語料大小增長，但這一趨勢與秩和學習率之間的耦合關係相互糾纏，研究團隊最初曾誤診這一問題。
在15個文件的子集上，研究團隊新增了真實的檢索基線進行比較：內化介面卡（84.2%召回率）擊敗了BM25-RAG流水線（58.9%）甚至一個現實的黃金塊預言機（65.6%），同時延遲更低。論文詳細報告了整個研究弧線，包括三次誤診，作為LLM訓練經驗除錯的案例研究。
這項研究的意義在於，它揭示了資料質量在LoRA微調中的主導地位，挑戰了以往強調模型架構和容量的觀點。對於實際應用而言，這意味著在部署LoRA介面卡時，應優先投資於資料清洗和標準化，而不是單純追求更大的秩或更復雜的結構。研究還強調了容量門檻的存在，提醒從業者需要確保介面卡具有足夠的表示能力來吸收所提供的資訊。
此外，研究為閉卷問答提供了一種可行的路徑：透過將知識內化到模型權重中，可以消除對外部檢索系統的依賴，從而降低延遲和基礎設施成本。儘管實驗目前僅限於小規模語料，但這一方法有望擴充套件到更大規模的知識庫，為構建高效、自主的問答系統鋪平道路。