約束獲取需要更好的基準測試
約束獲取（CA）及相關研究因缺乏適當基準而進展受限。現有基準多為求解器設計，忽視領域知識工件。本文提出MPMMine基準套件，以一致性、標準化、完整性、可擴充套件性、開放性和版本控制為指導，採用MiniZinc、CommonMark和JSON開放格式，提供多模型、多例項及大量解與非解，並附有自然語言描述，以支援文本到模型方法。
文章情報
要點
- 約束獲取研究受限於不充分的基準測試，影響可重複性和跨研究可比性。
- 現有基準針對求解器設計，缺乏CA方法所需的領域知識工件。
- MPMMine基準套件強調一致性、標準化、開放格式和多樣化資料，包括自然語言描述。
- MPMMine提供整數和連續域中的多模型、數十例項及數千解與非解。
為什麼重要
這條新聞值得關注，因為約束獲取研究受限於不充分的基準測試，影響可重複性和跨研究可比性。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
約束獲取（Constraint Acquisition, CA）及從領域知識工件驗證和增強數學規劃（Mathematical Programming, MP）模型的相關研究，目前面臨基準測試不足的困境。研究團隊在最新論文中指出，這種缺陷嚴重阻礙了實驗的可重複性和跨研究的可比性，從而延緩了CA方法的成熟。現有基準大多是為求解器評估而設計，並非針對CA演算法的評估。它們組織鬆散，對個體問題的處理方式不一致，且缺少CA方法所需的領域知識工件。
為應對這一挑戰，論文介紹了名為MPMMine的新型基準套件，專門用於評估利用多樣領域知識工件發現、驗證和增強MP模型的演算法。MPMMine的設計遵循六大原則：一致性、標準化、完整性、可擴充套件性、開放性和版本控制。它採用統一的結構，並依賴開放格式，包括MiniZinc、CommonMark和JSON。該基準套件為每個問題提供多個模型，每個模型包含數十個例項，並提供整數域和連續域中的數千個解和非解。此外，還包含自然語言描述，以支援文本到模型（text-to-model）方法。
MPMMine的推出旨在彌補當前基準的不足，為CA和MP模型增強研究提供標準化、可擴充套件且豐富的測試平臺。透過提供多樣化的資料和統一結構，研究人員能夠更可靠地比較不同演算法，促進該領域的快速發展。論文還指出，MPMMine的開放性和版本控制確保了資料的長期可用性和可追溯性。
這項研究發表於arXiv，論文標題為“Constraint acquisition needs better benchmarks”，作者包括Rafał Stachowiak等人，提交日期為2026年5月25日。論文共12頁，包含1張圖，並附有相關資料集。相關資料集可透過指定URL獲取。該研究涉及人工智慧（cs.AI）和計算工程、金融與科學（cs.CE）等領域，MSC分類為90C90（主）和90C05（次），ACM分類為I.6.3、I.2.2和I.2.7。