ACAT(アスペクトベース感情分析協調アノテーションツール)は、Webベースの協調アノテーションプラットフォームであり、アスペクトベース感情分析(ABSA)データセット構築における重要なボトルネックを解決することを目的としています。ABSA研究では、信頼性の高いモデルを訓練するために高品質なデータセットが不可欠です。しかし、既存のアノテーションツールは出力をフラットファイルとして扱うため、研究者は複数のアノテータのデータを手動で統合し、関係構造を再構築し、カスタムスクリプトでアノテータ間一致(IAA)指標を計算しなければなりません。このプロセスは時間がかかり、エラーが発生しやすく、データセットの規模と一貫性を制限していました。
ACATは、4つのABSAワークフローをネイティブでサポートしています:(1)アスペクトカテゴリ感情分析(Aspect-Category Sentiment Analysis)、(2)節レベルのセグメンテーション(Clause-Level Segmentation)、(3)文字レベルの位置追跡を伴うアスペクト項感情分析(Aspect-Term Sentiment Analysis with character-level position tracking)、(4)デュアルスパンオフセット保存を伴うアスペクト感情トリプレット抽出(Aspect Sentiment Triplet Extraction with dual span offset preservation)。その中核的な革新は、自動化されたETL(抽出、変換、ロード)パイプラインであり、エクスポート時に協調アノテーションを整列させ、IAA指標(生の一致、Cohen's Kappaなど)を直接計算し、トレーニング可能なデータセットを生成します。これにより、後処理が不要になります。
予備検証として、1,002件のレストランレビューを用いて評価が行われました。専門知識の異なる2人のアノテータ(1人は専門家、もう1人は初心者)がACATを使用した結果、中央値のアノテーション時間は31.58秒、すべてのタスクにおける生のIAAは0.78から0.86の範囲でした。アノテータの経験レベルに差があるにもかかわらず、高い一貫性が達成されました。このツールは第28回国際ビッグデータ分析と知識発見会議(DaWak 2026)に採択されており、オープンソースコードとデモが公開されています。
ACATの登場は、ABSAデータセット構築のプロセスを簡素化するだけでなく、標準化された再利用可能な協調プラットフォームを研究者に提供し、感情分析分野のデータセット構築とモデル評価の進展に貢献すると期待されています。Webベースのインターフェースにより遠隔協力が容易になり、自動化されたETLパイプラインは手動でのデータ統合作業を排除します。将来は、より多くのNLPアノテーションタスクへの拡張や、能動学習などの機能統合が計画されており、アノテーション効率のさらなる向上が見込まれています。