少數優秀條款:比較LLM與領域訓練的小語言模型在結構化合同提取上的表現
一項研究比較了領域訓練的小語言模型Olava Extract與前沿大語言模型在結構化合同提取上的效能。Olava的宏F1為0.812,微F1為0.842,推理成本降低78%至97%,且幻覺更少,挑戰了大型模型的必要性。
近日,一項發表在arXiv上的研究對領域訓練的小語言模型(SLM)與前沿大語言模型(LLM)在結構化合同提取任務上的表現進行了全面對比。該研究由Nicole Lincoln、Nick Whitehouse、Jaron Mar和Rivindu Perera共同完成,論文於2026年5月7日提交,引發了廣泛關注。
研究團隊測試了名為Olava Extract的自託管法律領域混合專家模型,與五款前沿大型語言模型進行了嚴格比較。結果顯示,Olava Extract在綜合效能上表現最佳,宏F1達到0.812,微F1達到0.842,同時推理成本相比前沿模型降低了78%至97%。這一顯著的成本優勢意味著企業可以在不犧牲效能的情況下大幅減少AI部署的財務負擔。
更重要的是,Olava Extract在精確度上取得了最高分數,生成的幻覺和未支援的提取結果遠少於其他模型。在法律工作流程中,幻覺可能導致嚴重的操作風險,比如遺漏關鍵條款或生成誤導性資訊,從而增加後續的人工審查負擔。Olava Extract的高精確度特性因此具有重要的實際價值,能夠幫助法律團隊更可靠地自動化合同分析。
研究的發現挑戰了當前業界普遍認為高效能企業AI必須依賴越來越大模型、龐大基礎設施支出和集中託管提供商的觀點。Olava Extract的成功表明,透過領域特定的訓練和高效的模型架構(如混合專家設計),小語言模型可以在特定任務上超越大模型,同時大幅降低成本。此外,自託管的部署方式還能增強資料安全性和隱私保護,這對於處理敏感法律文件的企業來說尤為重要。
這項研究不僅為法律科技領域提供了新的思路,也對整個人工智慧行業產生了啟示:在追求模型規模的同時,不應忽視領域知識和效率最佳化的價值。未來,類似的領域專用小模型有望在更多垂直行業(如醫療、金融、合規等)中推動AI技術的實際落地,幫助企業以更低成本獲得高精度的自動化能力。論文作者包括Nicole Lincoln、Nick Whitehouse、Jaron Mar和Rivindu Perera。