RSLoRA：透過表示敏感性探測進行LoRA免訓練秩分配

低秩適配（LoRA）已成為引數高效微調（PEFT）的基石技術，然而傳統的統一秩分配方法忽略了神經層功能的異質性。現有的秩分配方法通常面臨計算強度與啟發式簡單性之間的權衡：基於訓練的方法開銷過高，而預分配方法無法捕捉動態任務特定的表示流形。為了解決這一問題，來自Jiaqi Liu等人的研究團隊提出了RSLoRA（Representational Sensitivity LoRA），一種由啟用空間幾何驅動的免訓練、免梯度秩分配器。該方法識別了跨層的“敏感性機制轉變”，觀察到靜態權重分析和區域性梯度不足以反映更新如何重塑模型的內部表示。RSLoRA引入了一種虛擬表示探測機制，透過模擬結構化低秩噪聲的適配過程，並利用有效秩（Effective Rank）和弗雷歇距離（Fréchet Distance）測量由此產生的流形位移，從而識別需要更高秩容量的高敏感性模組。該框架有效彌合了專家設計的啟發式方法與實際表示影響之間的差距。大量評估表明，RSLoRA在多個主流基準測試中持續優於最先進的分配器，如AdaLoRA和GoRA。透過消除迭代訓練時調整和反向梯度的需求，RSLoRA為大規模模型適配提供了一種高效、魯棒且表示感知的解決方案。該研究論文於2026年7月5日提交至arXiv，編號2607.09757，共16頁幷包含3幅圖表。論文主題涵蓋計算機視覺（cs.CV）和人工智慧（cs.AI）。研究者強調，該方法不僅在效能上超越現有技術，還顯著降低了計算開銷，使得在實際部署中更容易應用。未來，RSLoRA有望成為大模型微調中秩分配的標準工具。