動的な都市物流の現場では、時間依存性の高いタスクが確率的に発生するため、異種の自律飛行体（AAV）による物流タスクの割り当てにおいて最適性を確保することが大きな課題となっている。従来の割り当て手法では、タスク集合が時々刻々と変化する状況に対応しきれず、大規模な異種機隊を扱う際にヒューリスティックなルールが局所的な準最適解に陥りやすい。この課題に対処するため、arXivに投稿された論文は、強化学習によって強化された重複連合形成ゲームのアプローチを提案している。これは、異種AAVが動的な物流タスクに対してより効率的な重複連合を動的に形成できるようにすることを目指すものである。
この手法では、まず動的タスク割り当てモデルを構築し、大域的最適性をサービス品質とリソース消費の両方を結合した一般化物流コストによって数学的に定量化する。ランダムな注文到着によって引き起こされる時変タスク集合に対処するため、著者らはTransformerベースのソフトアクター・クリティック（SAC）ネットワークを設計した。このネットワークは、マルチヘッド自己注意機構を活用して可変長の物流状態をエンコードし、タスク間の時空間依存関係を捉えることで、学習したポリシーが重複連合形成ゲームにおける連合更新プロセスを適応的に導く。これにより、従来のヒューリスティックルールを置き換えることが可能となる。
理論面では、形成される連合形成プロセスが正確ポテンシャルゲームを構成することが証明されており、これによりアルゴリズムが有限回の反復でナッシュ安定均衡に収束することが保証される。この性質は、アルゴリズムの収束性と安定性に堅牢な数学的基盤を提供するものである。
数値シミュレーションの結果は、一般化物流コスト基準の下で、提案アルゴリズムがタスク割り当ての最適性を効果的に向上させることを示している。32機のAAVと80のタスクを含むシナリオでは、ヒューリスティックな重複連合形成（OCF）ベースラインと比較して、コストを39.76%削減することに成功した。さらに、屋内飛行実験によって手法の実用性が検証されている。この研究は、強化学習とゲーム理論を組み合わせることで、動的物流における異種マルチエージェントのタスク割り当てに対して有望な解決策を提供しており、今後、都市航空交通や即時配送などの分野への応用が期待される。