大型預訓練模型在自然語言處理和計算機視覺等領域取得了巨大成功，但對其進行全引數微調的計算成本極高。低秩適配（LoRA）作為一種高效的微調方法，透過引入低秩矩陣來近似權重更新，顯著降低了計算開銷，成為事實上的標準。然而，LoRA也存在固有侷限：其低秩點估計更新限制了模型的表達能力，導致與全微調之間存在持續的效能差距；同時，它缺乏內建的不確定性量化能力，這在可靠性至關重要的應用場景中是一個嚴重缺陷。
為了解決這些問題，研究人員提出了BaLoRA，即貝葉斯低秩適配。BaLoRA是LoRA的貝葉斯擴充套件，其核心創新在於一種輸入自適應的貝葉斯引數化方法。該方法對LoRA矩陣施加貝葉斯先驗，並透過後驗推斷實現自適應噪聲注入。令人驚訝的是，這種貝葉斯擴充套件不僅提供了校準良好的不確定性估計，更重要的是，自適應噪聲注入顯著提升了預測精度，在自然語言推理和視覺任務中均縮小了與全微調之間的差距。
為了驗證BaLoRA的實際效果，研究團隊將其應用於金屬有機框架（MOF）的帶隙預測任務。MOF是一種具有廣泛應用前景的多孔材料，其帶隙預測對於材料設計至關重要。實驗結果表明，BaLoRA能夠生成零樣本的測試時不確定性估計，這些估計與模型誤差的相關性比經過訓練的LoRA整合更強。此外，隨著計算資源的增加，BaLoRA的不確定性估計單調改善，且精度不受影響。
BaLoRA的提出為大規模模型的微調提供了一種新的思路。它不僅提升了模型在關鍵任務中的可靠性，還透過貝葉斯框架引入了不確定性量化能力，使得模型在科學發現、醫療診斷等高風險管理領域更加可信。未來，BaLoRA有望成為LoRA的替代方案，在更多實際應用中發揮重要作用。