微調視覺語言模型用於理解當前損傷並利用質量守護代理進行優先級評分
本研究提出了一種利用微調視覺語言模型（VLM）自動化橋樑損傷理解和修復優先級評分的方法。通過使用QLoRA對LLaVA-1.5-7B進行微調，基於多達4000張橋樑損傷圖像和檢查文本記錄，並在800張圖像的測試集上評估。實驗表明，2000個訓練樣本即可在2.9小時內達到接近最優的驗證損失，超過2000後收益遞減。此外，引入了一個兩階段質量守護代理，使用微調的Swallow-8B SLM在優先級評分前拒絕低質量VLM輸出。
文章情報
要點
- 微調LLaVA-1.5-7B模型用於橋樑損傷自動識別與優先級評分
- 2000個訓練樣本即可達到近最優性能，更多數據收益遞減
- 推理優化使每張圖像處理時間降低70.2%
- 兩階段質量守護代理有效過濾低質量輸出
為甚麼重要
這條新聞值得關注，因為微調LLaVA-1.5-7B模型用於橋樑損傷自動識別與優先級評分。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
日本的法律要求每五年對橋樑進行強制性的目視檢查，但不同工程師分配的定性損傷評級（a-e級別）存在顯著的評分者間變異性，這是基礎設施一致性管理的關鍵障礙。熟練工程師的老齡化進一步威脅了檢查能力。本文提出了一種使用微調視覺語言模型（VLM）自動化橋樑損傷理解和修復優先級評分的方法。
研究人員使用QLoRA對LLaVA-1.5-7B進行了微調，訓練數據最多包含4000對橋樑損傷圖像和檢查文本記錄，並在固定的800張圖像測試集上評估。模型輸出自然語言描述，識別結構構件和損傷模式，然後基於規則的評分引擎計算五級修復優先級指數。漸進式訓練研究（1k/2k/3k/4k樣本）顯示，2000個訓練樣本在僅2.9小時的訓練中即可達到接近最優的驗證損失；超過2000後，驗證損失每增加一倍樣本僅改善不超過0.2%，表現出明顯的收益遞減。此外，在保留測試集上的語義相似性在3000樣本時達到峯值（0.6909），在4000樣本時下降（0.6739），表明質量策劃的中等規模數據優於更大但噪聲更多的語料庫。結合torch.compile()和批處理（batch_size=8）的推理優化實現了每張圖像10.06秒，比未優化基線降低了70.2%。
該方法有助於橋樑檢查中的數據治理，減少評分者間變異性，並提供AI輔助分類來增強專家工程師的檢查工作流程。此外，作者引入了一個兩階段質量守護代理，使用微調的Swallow-8B SLM在優先級評分前拒絕低質量VLM輸出，防止來自損壞或無法識別圖像的虛假分數。該研究為自動化基礎設施檢查提供了有前景的方向，特別是在熟練檢查人員短缺的情況下。
然而，該研究也存在一些侷限性。例如，訓練數據僅包含有限類型的橋樑損傷，可能無法覆蓋所有實際場景。此外，模型的性能高度依賴於訓練數據的質量和多樣性，未來需要更多來自不同橋樑和損傷類型的樣本來驗證其泛化能力。另外，雖然質量守護代理能夠過濾部分低質量輸出，但誤拒絕可能影響整體效率。儘管如此，這項工作代表了將大型視覺語言模型應用於關鍵基礎設施維護的重要一步，有望在減少人工檢查負擔的同時提高評估一致性。