互聯網模因（memes）作為一種融合圖像、文本和文化背景的複合媒介，已經成為社交媒體上表達幽默、諷刺甚至仇恨的主要形式。然而，當幽默與惡意意圖同時存在時，準確識別其中的含義和意圖變得極具挑戰。傳統的多模態分類器往往將視覺和文本信息分開處理，忽略了它們之間的複雜相互作用，並且缺乏透明、可解釋的推理過程。這種侷限性在實際應用中尤為突出，例如在內容審核中，不僅需要判斷模因是否包含仇恨言論，還需要提供清晰的解釋以支持審核決策。
針對這一挑戰，來自Shanhong Liu等五位研究人員提出了MAR-12（Multi-Angle Reasoning with 12 perspectives）框架，該工作已被AAAI-ICWSM 2027會議接收。MAR-12的核心思想是通過多個理論驅動的視角來系統地分析模因，從而揭示幽默和仇恨元素之間的動態關係。該框架首先利用視覺語言模型（VLM）從12個不同的視角（例如，基於幽默理論的視角、基於仇恨理論的視角）對每個模因進行初步解析。這些視角覆蓋了視覺線索、文本語義、文化背景、情感基調等多個維度，確保對模因的多方面理解。
接下來，MAR-12引入了一種角色感知的軟門控注意力機制（role-aware soft-gated attention）。這個機制能夠自動學習每個視角對於最終分類的重要性，即哪些視角在特定模因中更為關鍵。這種動態加權方式使得模型能夠根據實際輸入調整關注重點，例如當圖像中包含明顯的仇恨符號時，與該符號相關的視角權重會更高。然後，框架使用一個基於原型的分類器（prototype-based classifier）來生成最終的預測結果。原型分類器的優勢在於它能夠將每個類別的代表性特徵抽象為原型，從而增強分類的可解釋性。最後，MAR-12綜合各視角的推理過程和注意力權重，生成自然語言解釋。這些解釋不僅指出了模因中的幽默和仇恨元素，還説明了它們是如何共同作用導致最終判斷的。
實驗在PrideMM和Memotion兩個公開數據集上進行。PrideMM專注於模因中的幽默與攻擊性檢測，而Memotion則側重於情感和幽默分析。結果顯示，MAR-12在幽默檢測上達到了80.3%的準確率，在仇恨檢測上達到了75.9%的準確率，均超過了現有的最先進方法。更值得注意的是，通過人類評估和基於GPT-4的自動評估，MAR-12生成的解釋被評價為連貫、有説服力，並且在幽默與有害信號同時存在的模因上表現尤為突出。這表明該框架不僅提升了分類性能，還顯著增強了模型的可解釋性和可信度。
這項研究的重要意義在於，它為可解釋的模因理解系統提供了一個新的範式。在社交媒體內容審核、在線安全監測等實際應用中，準確性與可解釋性同等重要。MAR-12通過結構化的多視角推理和透明化的注意力加權，使得模型決策過程不再是一個“黑箱”，而是可追溯、可驗證的。此外，該框架的理論驅動視角設計也鼓勵進一步探索其他領域（如諷刺檢測、文化敏感分析）中的多角度推理方法。論文的代碼和數據集尚未公開，但作者計劃在後續工作中發佈，以促進社區的進一步研究。