「Handwritten-edit benchmark」と名付けられた新しいベンチマークが公開され、AIモデルが手書き編集マークを認識・解釈する能力を評価しています。このテストでは、モデルは手書き注釈が付いたスキャンページを処理し、それらの編集を構造化JSON形式に変換する必要があります。タスクは編集の存在を検出するだけでなく、編集タイプ、元のテキスト、修正後のテキスト、行番号、ページ識別子を明確にすることを求めます。編集タイプは挿入、削除、置換、句読点、大文字化、イタリックの6つに分類されます。モデルはキャレット記号（^）、取り消し線、丸囲みなどの視覚的手がかりから作者の意図を推測します。例えば、挿入は通常キャレット記号で示され、削除は取り消し線で示されます。置換は丸で囲まれたり下線が引かれたテキストの近くに代替テキストがある場合に見られます。これらの操作は細かい視覚認識と自然言語理解を融合させています。
初期評価では、Fable 5モデルが最高スコアを獲得し、Opus 4.8は前バージョンと比較して誤カウントで55%の後退を示しました。この結果は、特に微妙な視覚マークを扱う際の手書き編集理解タスクの難しさを浮き彫りにしています。ベンチマークのサンプルページはディケンズの『リトル・ドリット』から取られており、現実世界の編集シナリオを示しています。このベンチマークの登場は、文書理解、デジタル人文科学、自動校正などの分野でのAIの発展を促進すると期待されています。将来のモデルは、手書き編集の意図を正確に再現するために、視覚と言語の手がかりをより包括的に組み合わせ、真のコンテキスト理解を実現する必要があります。