データに語らせる：AIによるクラウドソースコレクションからのキーワード抽出
本研究は、オックスフォード大学の第二次世界大戦アーカイブを事例に、クラウドソースコレクションにおける自動キーワード抽出の技術的・倫理的課題を調査。3つのNLP手法を評価し、有望だが完全な解決策はなく、生成AIよりもオープンウェイト抽出モデルが責任ある展開に適していると結論づけている。
この研究は、オックスフォード大学の研究者によって実施され、クラウドソースコレクションにおける大規模なキーワード自動抽出の技術的、実践的、倫理的課題に取り組んでいます。プロジェクトは、オックスフォード大学が運営するクラウドソースの第二次世界大戦デジタルアーカイブ「Their Finest Hour Online Archive」をケーススタディとして採用しました。このアーカイブには、一般市民から寄せられた文書、写真、体験談が多数含まれています。研究チームは、固有表現認識（NER）、キーワード抽出、トピックモデリングという3つの自然言語処理（NLP）アプローチを評価し、これらの手法を伝統的な統計手法から現代の生成AIニューラルネットワークに至るまで、様々なAI技術でテストしました。
結果は、NLP手法が大規模なキーワード抽出に大きな可能性を提供する一方で、単一の手法で完全な解決策とはならないことを示しました。モデルの選択が結果を大きく左右し、例えば統計ベースのTF-IDFは稀なエンティティの抽出に弱く、ニューラルネットワークベースのモデルは複雑な意味を捉えられるものの、出力が不安定になることがあります。研究チームは、クラウドソースコレクションではメタデータが存命の貢献者との関わりの直接の産物であるため、自動キーワード抽出は技術的性能だけでなく、透明性、説明可能性、貢献者の意図の尊重といった特有の管理責任を伴うと強調しています。
責任ある展開の観点から、オープンウェイト（open-weight）の抽出モデル（BERTベースの微調整モデルなど）が最も適していると結論付けられました。これらのモデルはローカルで実行でき、機密データをサードパーティのAPIに送信する必要がなく、重みが公開検証可能です。一方、生成AI（GPTシリーズなど）は抽象化の可能性があるものの、不正確または偏ったラベルを生成する可能性があり、そのブラックボックス性からエラーの追跡が困難であるという説明責任リスクを導入します。研究は、クラウドソースコレクションの管理者が生成AIの利点と欠点を慎重に評価し、説明可能性の高い抽出モデルを優先することを推奨しています。
この研究は技術的評価に加えて、実践的な枠組みも提供しています。キーワード抽出方法を選択する際には、コレクションの規模、主題分野、貢献者の背景、倫理的要件を考慮する必要があります。最終的に、この研究はデジタル人文科学における大規模自動キーワード抽出のための貴重な指針を提供し、特に生成AIが急速に発展する現在、技術を責任を持って展開する方法を考える上で重要です。