モバイルクラウドソーシングにおけるLLMファインチューニングのための正直なオンライン選好集約
本論文では、モバイルクラウドソーシングにおける大規模言語モデル（LLM）のファインチューニングのための正直なオンライン選好集約を研究する。作業者が戦略的にフィードバックを誤報告する問題に対し、動的ベイジアンゲームモデルと重み付け集約メカニズムを提案する。このメカニズムはフィードバックの正確性に基づいて重みを動的に調整し、正直なフィードバックを保証し、劣線形後悔O(√T)を達成する。実データセットでの実験により、ベースライン方式と比較して有意な性能向上を示した。
モバイルクラウドソーシングアプリケーション、例えばナビゲーションサービスでは、プラットフォームは大規模言語モデル（LLM）を使用して交通状況予測などのコンテンツを生成することが多い。ユーザーの要求をよりよく満たすために、プラットフォームはクラウドワーカーから収集したフィードバックを通じてLLMの出力を反復的に調整し、人間の嗜好に合わせる必要がある。しかし、ワーカーは自身の影響力や報酬を最大化するために、オンラインでの嗜好フィードバックを戦略的に誤って報告する可能性がある。既存のクラウドソーシングパイプライン（例えばEMベースの重み推定）は、このオンライン設定で最も正確なワーカーを特定できず、Tタイムスロットにわたって線形後悔O(T)をもたらす。
この問題に対処するため、シンガポール工科大学のShugang HaoとLingjie Duanは最新の論文で新しい解決策を提案している。彼らはまず、プラットフォームと戦略的ワーカーの間のマルチエージェントオンライン学習プロセスをモデル化する動的ベイジアンゲームを定式化した。このモデルは、各ワーカーを戦略的なプレーヤーと見なし、過去のフィードバックと現在の戦略に基づいて行動を調整できるようにする。その上で、各ワーカーのフィードバックの正確性に応じて選好集約における重みを動的に調整するオンライン加重集約メカニズムを設計した。具体的には、特定のワーカーのフィードバックが最終的な集約結果とよく一致する場合、その重みは増加し、逆に大きく逸脱する場合は減少する。この適応的な重み調整メカニズムは、戦略的な誤報告が重みの低下につながり影響力を弱めるため、ワーカーに正直なフィードバックを提供するインセンティブを与える。
理論的分析により、このメカニズムが戦略的ワーカーからの正直なフィードバックを保証し、劣線形後悔O(√T)を達成することが証明された。これは、時間Tの増加に伴い平均後悔が1/√Tの割合で減少することを意味し、従来の線形後悔よりもはるかに優れている。さらに、チームはこのメカニズムを、各タイムスロットで限られたワーカーのフィードバックしか得られない困難なシナリオに拡張し、それでも劣線形後悔を保証した。これにより、メカニズムのロバスト性と実用性が示されている。
実世界のデータセットを用いたLLMファインチューニング実験では、提案メカニズムがベースライン方式と比較して集約精度と最終モデル性能の両方で顕著な改善を示した。実験では、複数ラウンドのユーザーフィードバックを含むナビゲーションデータセットを使用し、LLMの出力を人間の嗜好に合わせた。その結果、提案メカニズムは、通常の加重集約やEM法などのベースラインと比較して、集約精度が約15%向上し、誤修正回数が約30%減少した。
この研究は、モバイルクラウドソーシングにおけるLLMの安全なアライメントのための強力なツールを提供し、オンライン学習環境での戦略的行動への対処における理論的可能性を示している。また、推薦システムやコンテンツモデレーションなど、人間のフィードバックを利用する他の機械学習アプリケーションにも応用できる。将来の研究方向としては、マルチタスク設定での選好集約や、分散型またはプライバシー保護設定への拡張が考えられる。