本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

モーダル内近傍は決して嘘をつかない:グラフベースのモーダル内推論によるモーダル間ノイズ対応の修正

記事の要約

本論文はIN2Rフレームワークを提案し、離散的なラベル選択から、モーダル内データの幾何学的安定性を利用した連続的なソフトプロトタイプの合成へとパラダイムを転換する。Flickr30K、MS-COCO、CC152Kでの実験で最先端手法を大幅に上回る性能を示した。

ソースarXiv Computer Vision著者: Yang Liu, Wentao Feng, Shu-Dong Huang, Yalan Ye, Jiancheng Lv
モーダル内近傍は決して嘘をつかない:グラフベースのモーダル内推論によるモーダル間ノイズ対応の修正
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

クロスモーダル検索は画像とテキストを結びつける重要な技術だが、大規模なウェブ収集データセットには「ノイズ対応」、すなわち画像とテキストの対応関係そのものが誤っているという問題が避けられず、モデルの汎化性能を大きく損なう。Yang Liu氏ら5名の著者による論文「Intra-Modal Neighbors Never Lie: Rectifying Inter-Modal Noisy Correspondence via Graph-Based Intra-Modal Reasoning」は、この問題に新たな枠組みで取り組むもので、International Conference of Machine Learning 2026に採択され、2026年6月2日にarXiv(arXiv:2606.04061、コンピュータビジョンとパターン認識のcs.CV分野)に提出された。

既存の手法は主にノイズを除去するか代替ラベルを探すことで対処してきたが、著者らはこれらの手法が依然として「離散選択」パラダイムに縛られていると指摘する。単一の離散的な代理に依存することは「単一点脆弱性」と「離散化誤差」を招く。前者は選んだ代理が誤りであれば監督信号全体が破綻することを意味し、後者は連続的な意味関係を離散ラベルに押し込めることで生じる情報損失を意味する。

これを克服するため、著者らは「モダリティ内近傍認識ノイズ補正」(Intra-modal Neighbor-aware Noise Rectification、IN2R)という新しいフレームワークを提案する。これは「代替ラベルを探す」から「信頼できる監督目標を合成する」へと発想を転換するものだ。IN2Rはモダリティ内データが持つ固有の幾何学的安定性を利用し、グラフ精製器(Graph Refiner)によって、動的なクロスモデルメモリ(Cross-Model Memory)から検索した近傍に対して関係推論を行う。離散ラベルを伝播させる代わりに、本手法は局所的な意味近傍の合意を反映する連続的なソフトプロトタイプを合成し、モダリティ間のずれを効果的に補正する。

実験ではFlickr30K、MS-COCO、CC152Kの3つのデータセットで広範な評価が行われ、IN2Rが最先端の手法を大幅に上回ることが示された。コードと事前学習済みモデルはGitHub(https://github.com/liuyyy111/IN2R)で公開されており、再現と今後の研究に利用できる。本研究は、離散的なラベル選択からモダリティ内近傍関係に基づく連続的な監督合成へと視点を移すことで、クロスモーダル検索におけるノイズ対応問題に新たな道筋を示している。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 既存手法は離散選択パラダイムにより単一点脆弱性と離散化誤差に悩まされる
  • IN2Rは動的クロスモデルメモリ上のグラフリファイナを用いて連続的なソフトプロトタイプを合成
  • Flickr30K、MS-COCO、CC152KでSOTAを大幅に上回る

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。