近日，一個名為“Handwritten-edit benchmark”的新基準測試正式釋出，旨在評估AI模型識別和解釋手寫編輯標記的能力。該測試要求模型處理帶有手寫註釋的掃描頁面，並將這些編輯轉換為結構化的JSON格式。任務不僅要求檢測編輯的存在，還需明確編輯型別、原始文本、修正後的文本、所在行號以及頁面標識。編輯型別共分為六種：插入、刪除、替換、標點、大小寫和斜體。模型需要根據視覺線索，如插入符號（^）、刪除線、圓圈等，推斷作者的意圖。例如，插入透過脫字元表示，刪除透過刪除線體現，替換則常見於圈出或下劃線的文本旁附有替換內容。這些操作融合了精細的視覺識別與自然語言理解。
在初步評估中，Fable 5模型取得了最高分數，而Opus 4.8則在計數錯誤方面表現不佳，相比前代版本退步了55%。這一結果突顯了手寫編輯理解任務的挑戰性，尤其是處理細微視覺標記時的困難。基準測試的樣例頁面取自狄更斯的經典小說《小杜麗》，展示了真實世界的編輯場景。該基準測試有望推動AI在文件理解、數字人文和自動校對等領域的發展。未來的模型需要更全面地結合視覺與語言線索，才能準確還原手寫編輯的意圖，實現真正的上下文理解。