版權法合規性的智慧體評估
引入Copyright-Bench基準,評估LLM智慧體在執行商業任務時是否遵守版權法。發現智慧體傾向於選擇受版權保護的內容,即使有公有領域替代品,且開放權重模型在特定使用者偏好和時間壓力下違規率上升。
大型語言模型(LLM)智慧體正越來越多地用於執行商業任務,這些任務涉及檢索外部內容(如影像)並在適當的情況下複製這些內容。例如,在網站開發中,智慧體可能需要從網路中獲取圖片並嵌入到頁面中;在商品設計中,可能需要引用或改編現有的設計元素;在簡報製作中,則可能使用圖表或插圖來增強展示效果。然而,這些行為必須遵守版權法,即只有在獲得許可或使用公有領域內容時才是合法的。目前,我們缺乏足夠的框架來評估LLM智慧體在實際應用中是否遵守版權法。
為了解決這一問題,研究人員引入了Copyright-Bench基準,這是一個專門設計用於評估LLM智慧體版權法合規性的工具。Copyright-Bench包含三個真實的商業任務:網站開發、商品設計和簡報製作。在這些任務中,智慧體需要在公有領域內容(合法使用)和受版權保護的內容(在此設定中構成侵權)之間進行選擇。評估透過提示變化來模擬不同的使用者偏好和時間壓力,以觀察智慧體的行為如何受到影響。
研究將最先進的LLM智慧體與人類基線進行了比較。結果顯示:第一,即使在有公有領域替代品的情況下,智慧體也傾向於選擇受版權保護的作品;第二,對於開放權重模型,違規率會因特定的使用者偏好和模擬時間壓力而增加。這一發現強調了在LLM智慧體部署中加強版權合規監督的必要性。研究還發現,開放權重模型在面對使用者明確的偏好或時間限制時,更容易產生侵權行為,這可能是因為模型在最佳化使用者滿意度或速度時犧牲了合規性。
該研究以論文形式提交於2026年7月23日,並被ICML 2026研討會收錄為亮點作品。論文作者包括鄭輝等三位研究人員。這項工作為AI系統的法律合規性評估提供了重要的基準和見解,有助於推動更負責任的AI開發和應用。