自動運転システムやスマートシティの進化に伴い、効率的でロバストなシーン理解の需要が高まっています。セマンティックセグメンテーションは、自動運転車が複雑な都市環境を理解する上で重要な役割を果たします。しかし、高い精度を達成しながら計算コストを最小限に抑えることは依然として大きな課題です。この論文では、都市シナリオにおけるリアルタイムセマンティックセグメンテーションのために設計された軽量かつ効率的な深層学習モデルであるエッジゲート洗練ネットワーク(EGRNet)を提案します。
EGRNetは、計算複雑性を低減するために深度分離可能畳み込みを採用し、豊富なマルチスケール文脈情報を捕捉するために拡張残差ブロックを使用します。深度分離可能畳み込みは、標準的な畳み込みを深さ方向の畳み込みと点単位の畳み込みに分解し、パラメータ数と計算量を大幅に削減します。拡張残差ブロックは、拡張畳み込みを導入することでパラメータを増やさずに受容野を広げ、より広範な文脈情報を捉えることができます。さらに、新しいエッジゲート洗練(EGR)モジュールを導入し、学習可能なゲーティング機構を通じて元の特徴と洗練された特徴を適応的に融合し、境界保持とエッジ感度領域を強化します。このモジュールは特徴融合の重みを動的に調整し、エッジ領域での細かい処理を可能にします。特徴表現をさらに改善するために、ネットワーク全体にSqueeze-and-Excitation(SE)注意機構が適用され、チャネル間の依存関係を明示的にモデル化してチャネル特徴応答を適応的に再調整します。
Cityscapesデータセットでの評価では、EGRNetはわずか0.46Mのパラメータで平均交差比(mIoU)65.28%を達成し、最小限のリソース消費で高い精度を示しました。この性能は軽量ネットワークの中で競争力があり、より多くのパラメータを持つモデルを上回ることもあります。さらに、軽量な敵対的攻撃検出戦略を導入し、ネットワークの初期段階に軽量な検出器を追加することで、潜在的な敵対的入力を識別してフィルタリングし、リアルタイム性能を損なうことなく敵対的攻撃に対するロバスト性を確保しています。効率性、精度、弾力性を組み合わせることで、EGRNetは自動運転車、ドローン、スマート監視システムなどの安全が重要なリアルタイムアプリケーションにおけるエッジデバイスへの展開に適しています。