PatiGonit22K：一個用於解決複雜孟加拉語數學應用題的綜合資料集

近日，研究人員在arXiv上釋出了PatiGonit22K資料集，這是一個專門用於解決複雜孟加拉語數學應用題的綜合資料集。數學應用題（MWP）是評估自然語言理解和定量推理能力的重要基準。儘管在高資源語言（如英語）方面取得了顯著進展，但孟加拉語由於缺乏大規模標註資料集，在該領域仍處於未充分探索的狀態。PatiGonit22K資料集的釋出旨在填補這一空白。

該資料集包含22,441個問題，是在原始PatiGonit資料集的基礎上擴充套件而來。原始資料集規模較小，而新版本增加了大量更復雜的數學問題，包括多步運算方程。這使得資料集在不同難度級別上提供了均衡的基準，能夠更全面地評估模型的數學推理能力。每個問題都經過精心翻譯、註釋、文化適配和驗證，以確保語言一致性和數學正確性。研究人員特別強調了文化適配的重要性，因為數學應用題往往涉及特定文化背景，直接翻譯可能導致理解偏差。

透過增加孟加拉語數學應用題的規模和複雜性，PatiGonit22K為低資源語言中的數學推理和教育NLP應用提供了更全面的資源。該資料集有望推動孟加拉語及其他低資源語言在自然語言處理領域的發展，特別是在智慧教育系統和數學推理任務方面。論文已提交至arXiv，編號為2607.22859，作者包括Swastika Kundu等人。資料集的使用遵循相關許可證，可用於學術研究。未來，該團隊計劃進一步擴充套件資料集，並探索多語言遷移學習的可能性。這一工作不僅對孟加拉語NLP研究具有重要意義，也為其他低資源語言的類似研究提供了範例。

此外，PatiGonit22K的構建遵循了嚴格的流程。首先，研究人員收集了各種來源的數學問題，包括教科書、考試和線上資源，確保問題的多樣性和代表性。然後，這些問題被翻譯成孟加拉語，並經過母語者的稽核。之後，對每個問題進行了數學註釋，包括方程形式、難度等級和所需運算步驟。文化適配環節調整了問題中可能涉及的文化特定元素，例如貨幣單位、人名和場景，使其更符合孟加拉國的實際情況。最後，透過多輪驗證確保正確性。資料集的分層結構允許研究人員根據需求選擇特定難度或型別的問題，為模型評估提供了靈活性。

總的來說，PatiGonit22K是一個重要的貢獻，它解決了孟加拉語NLP中的一個關鍵瓶頸——缺乏高質量、大規模且文化適配的數學應用題資料集。隨著該資料集的釋出，預計將湧現出更多針對孟加拉語數學推理的研究，並促進低資源語言NLP的整體進步。研究人員已公開資料集，並鼓勵社群使用和貢獻，以進一步豐富這一資源。