マルチモーダル大規模言語モデル（MLLM）は、画像理解タスクにおいて目覚ましい進歩を遂げてきました。しかし、既存のMLLMのほとんどは自己回帰生成に依存しており、複数の領域をキャプションする必要がある認識タスクでは効率が制限されます。各領域を順次処理するため、領域の数に比例して推論時間が増加します。この問題に対処するため、研究チームはPerceptionDLMを提案しました。これは、効率的な並列領域認識のために最適化されたマルチモーダル拡散言語モデルです。
PerceptionDLMは、オープンソースの拡散MLLMの中で最先端の性能を達成する強力な基本ベースラインであるPerceptionDLM-Baseを基盤としています。このアーキテクチャは、拡散言語モデル（DLM）の並列デコード特性を完全に活用します。自己回帰モデルとは異なり、DLMはランダムノイズから反復的にノイズを除去してテキストを生成し、複数の出力位置を同時に処理できます。PerceptionDLMは、効率的なプロンプティングと構造化アテンションマスキングを導入し、モデルが複数のマスク領域を同時に認識できるようにします。これにより、シーケンスレベルとトークンレベルの両方で領域記述を並列生成できます。具体的には、効率的なプロンプティングは複数の領域のマスク情報をコンパクトな表現に圧縮し、構造化アテンションマスキングは各領域の記述を生成する際に、その領域に関連する画像部分のみに注意を向けさせます。この設計により、従来の逐次処理と比較して推論効率が大幅に向上します。
DLMの視覚認識能力における並列性を体系的に評価するために、研究チームは新しいベンチマーク「ParaDLC-Bench」を構築しました。これは既存のDLC-Benchを拡張し、画像ごとに複数の領域マスクを含めることで、キャプション品質と推論効率の共同評価を可能にします。従来の逐次領域評価とは異なり、ParaDLC-Benchはモデルにすべての領域の記述を一度に生成させ、エンドツーエンドのレイテンシを測定します。
実験では、PerceptionDLMは領域キャプションにおいて最先端の自己回帰モデルと同等の競争力を維持しながら、マルチ領域認識タスクで大幅な高速化を達成しました。例えば、4つの領域を処理する場合、PerceptionDLMの推論速度は自己回帰モデルよりも数倍速く、キャプション品質の低下はほとんど見られませんでした。研究者らは、拡散言語モデルの利点を活用して並列領域キャプションと認識を実現したのはこれが初めてであると述べています。この研究を促進するため、コード、モデル、データセットはすべて公開されています。この成果は、より効率的でリアルタイムな視覚認識システムの開発への道を開くものです。