危害は普遍的ではない：コミュニティ固有の毒性検出が緊急に必要
テキストから画像を生成するシステムにおける最先端の毒性検出器は、「万能型」のアプローチを採用しており、疎外されたコミュニティを保護できないことが示された。安全と判定された画像の約35%が、障害者コミュニティにとって有害とみなされている。本論文では、コミュニティ固有の毒性検出（CTD）を提唱し、小人症および盲人・弱視コミュニティ向けの安全ガイドラインを用いてその実現可能性を実証する。実験では、汎用検出器のゼロショットF1スコアはランダム推測を下回り（0.32、0.37）、プロンプトベースの適応手法によりGPT-4oで0.78まで向上した。しかしCTDの性能は依然として汎用検出（F1≈0.9）に遠く及ばず、継続的な研究の必要性が強調されている。
arXivで発表された新しい研究論文は、テキストから画像を生成（T2I）するモデルにおける毒性検出の重大な問題を浮き彫りにしました。現在の最先端の毒性検出器は、すべてのユーザーに同じ安全基準を適用する「万能型」のアプローチを採用していますが、疎外されたコミュニティを守るには不十分であることが明らかになりました。研究によれば、これらの検出器で「安全」とラベル付けされた画像の約35%が、障害者コミュニティにとって有害であると見なされています。
Xinnuo Xu氏ら9名の著者による論文「危害は普遍的ではない：コミュニティ固有の毒性検出が緊急に必要」では、コミュニティ固有の毒性検出（CTD）の概念を提唱しています。著者らは障害者専門家と協力し、小人症および盲人・弱視の二つのコミュニティ向けに特化した安全ガイドラインを策定しました。
研究チームは、2,400枚のT2I生成画像からなる注釈付きデータセットを使用してCTDの実現可能性を検証しました。結果は衝撃的でした：大規模視覚言語モデルや既存の汎用毒性検出器は、ゼロショット設定でこれらのコミュニティガイドラインに沿った有害コンテンツを認識できず、F1スコアはランダム推測を下回る0.32および0.37でした。一方、プロンプトベースの適応手法（ICLやVQA）は性能を大幅に改善し、GPT-4oではそれぞれ0.50および0.78のF1を達成しました。また、パラメータ効率的なファインチューニングにより、0.5Bから7Bパラメータの小型モデルでも100未満のデモンストレーションで最高F1 0.48および0.59を達成しましたが、ガイドラインの更新に敏感であることもわかりました。
これらの改善にもかかわらず、CTDの性能は汎用毒性検出で達成されるF1≈0.9には依然として遠く及びません。このギャップはCTDの課題の大きさを示しており、持続的な研究努力の必要性を強調しています。本論文は現在審査中であり、プレプリントはarXivで公開されています。この研究は、AIの安全性が多様なコミュニティのニーズに対応する必要があることを示し、技術的・社会的に重要な一歩となっています。