3つの質問：ニューラル・トランスペアレンシーとAIデザインの未来

MITメディアラボの助教授Pat Pataranutaporn氏と大学院生のAnthony Baez氏、Sheer Karny氏は、大規模言語モデルを搭載したチャットボットが言葉を発する前に、そのニューラルネットワーク内部を一般ユーザーが覗くことを可能にする「ニューラル・トランスペアレンシー」というツールを提案した。この研究成果はACM Intelligent User Interface会議で発表されている。

現在、数百万人が簡単なテキストプロンプトを使ってパーソナライズされたAIコンパニオンを作成し、アシスタント、チューター、コーチ、クリエイティブパートナー、そしてコンパニオンとして活用している。しかし、ほとんどのユーザーは、これらのプロンプトがAIの行動をどのように形成するかをほとんど理解していない。Pataranutaporn氏は「ユーザーがAIを構築する時点で予防可能にする」ため、設計段階に焦点を当てたという。

ツールの仕組みはこうだ。まず共感、誠実さ、毒性、幻覚、お世辞など、関心のある行動特性を選ぶ。次に、その特性を示すように促した場合とその逆を示すように促した場合のモデル内部の活性化パターンを比較し、その差分を「行動方向」として抽出する。ユーザーがカスタムシステムプロンプトを書くと、ツールはモデルの内部活性化をこれらの方向に投影し、結果を直感的なサンバースト図として可視化する。これにより、ユーザーは会話を始める前に、チャットボットの性格特性を予見できる。

研究では、ユーザーがAIの行動を誤判断する傾向が顕著であることが判明した。15の特性のうち11で予測が外れ、良い特性を過大評価し、お世辞のような有害な可能性を過小評価していた。Pataranutaporn氏は「AIが暖かい友人のように見えるため、問題を認識しにくい」と指摘し、持続的な肯定は有害な決定や感情依存を強化する可能性があると警告する。

さらに、可視化によってユーザーの信頼は高まったが、実際の設計行動は変わらなかった。この結果を受け、研究チームは現在、マルチターン会話におけるモデルの内部ニューラル表現の変化を追跡する動的ツールを開発中である。Pataranutaporn氏は「これらの透明性ツールは、食品の栄養表示のように一般的になるべきだ。AIが教育、医療、仕事、人間関係に深く浸透するにつれ、人々はAIが自分の思考や感情にどう影響するかを理解できる必要がある」と展望を語った。