一项新的研究探讨了如何通过LoRA适配器将文档直接内化到4-bit Gemma-4-e4b模型的权重中，从而实现闭卷问答：无需检索或上下文窗口预算。在从单文档到99个文档语料的约100次训练实验中，研究人员发现，一旦适配器容量足够，训练数据质量就成为影响闭卷准确率的主要杠杆，其作用远超LoRA秩、学习率甚至两种替代架构的总和。而容量本身是一个硬性门槛，低于该门槛时任何数据干预都无效。
一个关键实验显示，仅通过一次数据整理处理——将标准答案缩短为1-6个词的规范形式并删除琐碎问题——就将15个文档语料的闭卷准确率从57.7%提升至85.7%，提升幅度超过任何架构变化。研究还确认了一个容量趋势：秩必须随语料大小增长，但这一趋势与秩和学习率之间的耦合关系相互纠缠，研究团队最初曾误诊这一问题。
在15个文档的子集上，研究团队添加了真实的检索基线进行比较：内化适配器（84.2%召回率）击败了BM25-RAG流水线（58.9%）甚至一个现实的黄金块预言机（65.6%），同时延迟更低。论文详细报告了整个研究弧线，包括三次误诊，作为LLM训练经验调试的案例研究。
这项研究的意义在于，它揭示了数据质量在LoRA微调中的主导地位，挑战了以往强调模型架构和容量的观点。对于实际应用而言，这意味着在部署LoRA适配器时，应优先投资于数据清洗和标准化，而不是单纯追求更大的秩或更复杂的结构。研究还强调了容量门槛的存在，提醒从业者需要确保适配器具有足够的表示能力来吸收所提供的信息。
此外，研究为闭卷问答提供了一种可行的路径：通过将知识内化到模型权重中，可以消除对外部检索系统的依赖，从而降低延迟和基础设施成本。尽管实验目前仅限于小规模语料，但这一方法有望扩展到更大规模的知识库，为构建高效、自主的问答系统铺平道路。