AIシステムの透明性と信頼性を高める：シーミン・ウェン氏インタビュー

AAAI/SIGAI博士コンソーシアムシリーズの最新インタビューでは、透明で信頼できるAIシステムの研究に取り組むシーミン・ウェン氏を特集します。彼女の研究内容、インターンシップ経験、そしてAIを志したきっかけについて詳しく聞きました。

博士研究について

シーミン・ウェン氏はフィラデルフィアのドレクセル大学で情報科学の博士課程に在籍しています。彼女の研究はAIシステムの透明性と信頼性の向上を目指しています。現在の言語モデルは非常に自信ありげな回答を返しますが、その回答が正しいかどうか、どこから来たのかを確認する簡単な方法はありません。彼女は、モデルが推論過程を示し、出力の根拠を明示できるようにすることで、特に医療や法律文書レビューの分野で人々がAIを本当に信頼できるようにすることを目指しています。

研究の概要

博士課程の研究は「実際に使えるほど性能の良い解釈可能モデルは作れるか？」という問いから始まりました。従来の解釈可能モデルは精度でブラックボックスモデルに劣り、実用が困難でした。彼女はプロトタイプベースのアプローチを開発し、そのギャップを埋めました。モデルは学習した類似例を示して決定を説明し、性能を犠牲にしません。さらに、この考え方を生成モデルに拡張し、回答だけでなくその回答の正確な出典を示す可能性を探りました。また、これらのアイデアを医療AIに応用し、非常に限られたトレーニングデータでも動作する解釈可能な診断ツールを構築しました。

空間グラウンディングの躍進

研究のハイライトは空間グラウンディングの仕事です。モデルが空間座標を学習する方法を再設計したところ、精度が約65%から85%以上に跳ね上がりました。元の損失関数は文書内の小さな領域を事実上無視しており、モデルがそれらを無視することを学習していました。規模を考慮した損失関数を導入することで状況が一変しました。この経験は、モデルの教え方がモデル自体と同じくらい重要であることを強く示しており、彼女の博士論文全体の核となる考え方です。

今後の計画

これまでの研究で、プロトタイプベースの推論による分類と文書質問応答のための空間グラウンディングを通じて、性能を犠牲にすることなく言語モデルの透明性を高められることが示されました。次のステップとして、これらのアイデアをより大きな生成モデルに拡張したいと考えています。現在、プロトタイプベースの手法は分類にしか機能しませんが、この種の事例ベース推論を生成モデルに拡張することは大きな未解決の課題です。一つの方向性として、モデルの異なる層がどのように異なる種類の知識を符号化するかを分析し、その構造を利用してモデル出力のより豊かで詳細な説明を構築することを探っています。また、プロトタイプベースの推論を報酬モデルに統合することで、AIアライメントプロセス自体をより透明にする方法も模索しています。報酬モデルがある応答を他の応答よりも好む理由を説明できれば、より安全で信頼性の高いAIシステムを構築できるという考えです。

サムスンとアマゾンでのインターンシップ

マウンテンビューのサムスンリサーチアメリカでは、NLP研究インターンとして言語インテリジェンスチームに所属しました。彼女は単純そうに見えて非常に難しい問題に取り組みました。AIが複雑な文書を読み、質問に答え、その答えの正確な位置を指し示すことができるか？医師が20ページの医療レポートをレビューする場面を想像してください。医師はAIが「患者はXという疾患を持っています」と言うだけでなく、その結論を裏付ける正確な段落を見たいのです。彼女は、文書内の座標間の空間関係をモデルに理解させる新しいトレーニング手法を開発し、答えを正確に特定する能力を大幅に向上させました。この研究は今年のACLで採択されました。

アマゾンでの応用科学者の夏のインターンシップでは、別の関連する問題に取り組みました。それは、人々が実際に理解し信頼できるAI出力を作ることです。アマゾンのマーケットプレイスには数百万の商品と数千のカテゴリがあり、各カテゴリにはそれを正確にカバーする明確な定義が必要です。以前はこれらの定義は手作業で書かれており、数週間かかり、新しい商品や新興カテゴリのペースに追いつけませんでした。彼女はこれらの定義を自動生成するシステムを構築し、精度と明確さの両方で人間が作成した定義を上回りました。彼女にとって、これはAIの可能性を雄弁に示す例でした。数百万のアイテムにわたる情報を統合するタスクでは、出力が明確で信頼できるように設計されていれば、AIは手作業よりも正確で一貫性のある結果を生み出せるのです。

振り返ってみると、両方の経験は同じ教訓を強化しました。強力なAIを構築するだけでは不十分です。人々がモデルの出力を理解したり検証したりできなければ、テクノロジーはその可能性を最大限に発揮できません。

AI研究のきっかけ

彼女の旅は学部の最終年度プロジェクトから始まりました。MNISTという基本的な手書き数字データセットで単純なニューラルネットワークを訓練し、その小さなモデルが95%以上の精度を達成できることに驚きました。その瞬間、何かが彼女の中で火をつけました。もし単純なネットワークが画像を理解できるなら、人間の言語を理解できるだろうか？実際に人と会話できるだろうか？彼女はその問いを追求することに情熱を注ぐようになりました。そしてGPTや大規模言語モデルの登場により、かつてSFのように感じられたことの多くが現実になりました。しかし、これらのシステムが強力になるにつれて、新たな問いが湧き上がってきます。人々が本当に頼りにできるほど安全で信頼できるものにできるだろうか？それがAIがその可能性を最大限に発揮するための鍵であり、今日の彼女の研究を駆り立てています。

研究以外の楽しみ

彼女はできるだけ外に出るようにしています。フィラデルフィアのフェアマウントパークの川沿いを散歩し、仕事の後に夕日を眺めること、冬にはポコノ山脈でスキーをすること、夏にはカヤックや川に浮かぶことが大好きです。自然は最高のリチャージ方法であり、心身のバランスを保ってくれます。

シーミン・ウェンについて

シーミン・ウェン氏はドレクセル大学の情報科学博士課程学生で、言語モデルをより解釈可能で信頼できるものにする研究を行っています。彼女の研究は、テキスト分類のためのプロトタイプベースの解釈可能モデルと、文書質問応答のための空間グラウンディングアーキテクチャに及びます。ACL、COLING、AAAIなどの会議で発表し、NIHやDARPAが支援する連邦政府資金による研究プロジェクトにも貢献しています。また、サムスンリサーチアメリカ、アマゾン、平安科技で産業研究経験を積んでいます。研究以外では、カヤック、スキー、フィラデルフィア周辺の自然探索を楽しんでいます。