インターネット上で拡散されるミームは、画像とテキストを組み合わせ、文化的な背景や文脈を反映することで、ユーモアや皮肉、あるいは憎悪を表現する強力なメディアです。しかし、ユーモアと悪意が混在する場合、その意図を正確に理解し、適切に分類することは非常に困難です。従来のマルチモーダル分類器の多くは、視覚情報とテキスト情報を独立に処理し、それらの間の複雑な相互作用を無視するか、限られた説明可能性しか提供できませんでした。このような問題に対処するため、Shanhong Liu氏を含む5名の研究者らは、MAR-12（Multi-Angle Reasoning with 12 perspectives）という新しいフレームワークを提案しました。この研究は、AAAI-ICWSM 2027に採択されています。
MAR-12の中心的なアイデアは、ユーモアとヘイトに関する理論に基づいた12の構造化された視点を導入することです。これらの視点は、視覚的手がかり、テキスト内容、文化的背景、感情など、ミームの多様な側面をカバーします。フレームワークはまず、視覚言語モデル（VLM）を使用して、各ミームをこれら12の視点から解釈します。次に、「役割認識ソフトゲートアテンション機構」を適用し、各視点が最終的な判断にどの程度寄与するかを学習します。このメカニズムにより、モデルは入力に応じて重要な視点に焦点を当てることができます。その後、プロトタイプベースの分類器を用いて最終予測を出力します。プロトタイプベースの分類器は、各クラスの代表的な特徴をプロトタイプとして保持するため、分類結果の解釈性が向上します。最後に、各視点の推論結果とアテンション重みを組み合わせて、自然言語による説明を生成します。この説明は、ミーム内のユーモア要素と有害要素がどのように相互作用して最終判断に至ったかを明らかにします。
実験では、PrideMMとMemotionという二つの公開データセットを使用しました。PrideMMはミームにおけるユーモアと攻撃性の検出に焦点を当て、Memotionは感情とユーモアの分析を目的としています。その結果、MAR-12はユーモア検出で80.3%、ヘイト検出で75.9%の精度を達成し、既存の最先端手法を上回りました。また、人間評価およびGPT-4を用いた自動評価により、MAR-12が生成する説明は一貫性があり説得力があることが確認されました。特に、ユーモアと有害性が同時に存在する複雑なミームにおいて、その有効性が顕著でした。
この研究の意義は、単に分類精度を向上させただけでなく、ミーム理解における説明可能性の重要性を強調した点にあります。ソーシャルメディアのコンテンツモデレーションでは、判断の根拠を明確に示すことが求められます。MAR-12は、多角的な推論と注意機構の透明性により、モデルの決定過程を人間が理解可能な形で提示します。このアプローチは、今後のミーム分析だけでなく、他の複雑なマルチモーダルタスクにも応用可能です。著者らは、コードとデータセットを公開する予定であり、コミュニティによるさらなる発展が期待されます。