忠実であって訂正ではない：マルチホップエージェント中継におけるメッセージ形式の効果は階層に依存する

arXivに公開された新しい研究「忠実であって訂正ではない：マルチホップエージェント中継におけるメッセージ形式の効果は階層に依存する」では、大規模言語モデル（LLM）エージェントが互いに情報を引き継ぐ際のメッセージ形式が情報の忠実度に与える影響を詳細に調査しています。Zayx Shawnらによるこの研究では、制御された中継テストベッドを用いて、5つのメッセージ形式（自由自然言語、精密指示自然言語、JSON、トリプル、キー・バリュー）を6ホップにわたって評価しました。テストベッドでは、プログラムで生成された12の原子的事実がホップごとに再エンコードされ、固定の強力な評価器がプログラム的な正解と照合してスコアを付けました。また、2つの中継能力階層、認知負荷条件、ペアフォークエラー注入も検討されています。

研究の結果、メッセージ形式の影響は一様ではなく、中継能力の階層に大きく依存することが明らかになりました。強力な中継（大規模モデル）で忠実な中継指示が与えられた場合、情報伝達はほぼ無損失であり、古典的な「電話ゲーム」現象は発生しませんでした。各ホップに認知負荷を追加しても、形式ごとの忠実度は±1.8ポイント以内に収まりましたが、生成コストは24%から53%増加しました。一方、弱い中継（1.5Bパラメータモデル）では状況が一変します。形式間の6ホップリコールのばらつきは2.3ポイントから20.5ポイントへと8.7倍に拡大し、これは2つの相反するメカニズム（剛直な形式によるエンコードコストと、固定キーJSONスキーマに固有のドリフト耐性）によって引き起こされ、形式ランキングが途中で逆転します。

さらに、ペアフォークエラー注入実験では、一度誤った値が導入されると、すべての形式で83%から100%のチェーンにおいて最終ホップまでその誤りが持続し、真の値の保持率とよく一致し、隣接する事実への副次的損害は検出されませんでした。これは、構造化形式が誤り訂正ではなく、忠実で誤りを局所化するチャネルを提供することを示しています。研究者らは、形式選択はパイプライン内の最も弱い中継に基づくべきだと強調しています。この研究は、マルチエージェントシステムの設計において、混合能力シナリオでは最も弱い中継に適応した形式を優先することで、全体的な情報忠実度を最大化できることを示唆しています。これらの発見は、実際のマルチエージェントシステムの展開においてメッセージ形式を選択する際に直接的な指針を提供します。