近年、強化学習を用いて物理シミュレーション上で両手の器用なロボットハンドにピアノを演奏させる研究が進んでいる。しかし、自由度の高いハンド（Shadow Handなど）では、タスク報酬のみに依存した学習や逆運動学（IK）の逆変換を用いると、不自然な姿勢や関節の過伸展が頻繁に発生する。これは、高自由度システムには多数の冗長性があり、報酬関数が各関節角度を正確に制約できないため、ポリシーが不自然だがタスク効率的な姿勢を取る傾向があるからである。従来の模倣学習や報酬整形による対策は、各曲に合わせた高品質な専門家デモデータを必要とし、コストが高くスケーラビリティに欠ける。
本研究では、対抗的姿勢正則化（Adversarial Posture Regularization, APR）と呼ばれる新しい手法を提案する。APRは、専門家による精密なデモデータを必要とせず、日常的な人間のピアノ演奏データを少量だけ利用する。このデータは曲と正確に同期している必要はなく、非構造的な日常演奏の動画やモーションキャプチャデータで構わない。研究チームは、コンシューマ向けのMeta Quest 3を使用して、人間のピアノ演奏時の非構造化手運動データを収集し、その主要な動き情報をShadow Handにリターゲティングした。収集したデータは公開されている。
APRの核となるアイデアは、敵対的学習の枠組みを導入することである。具体的には、ポリシーが生成する手の姿勢と実際の人間の手の姿勢を識別する判別器を訓練する。一方、強化学習ポリシーは、タスク報酬（音符の正確さなど）を最大化すると同時に、この判別器を欺くように学習する。この敵対的目标により、ポリシーの姿勢分布は人間の事前分布に近づき、より自然な手の形状が生成される。この方法は、姿勢の類似性を明示的に定義する必要がないという利点がある。
実験の結果、APRはcPSI（手の姿勢類似性指数）、BSE（関節伸展偏差）、FAC（指の関節協調性）の3つの人間らしさ指標において、従来手法を大幅に上回る性能を示した。また、視覚的な品質も明らかに向上した。プロジェクトのコードとデータセットはGitHub（https://github.com/APRProject/APRPianist）で公開されている。本研究は、ロボットの器用な操作における人間とロボットの自然なインタラクションの実現に貢献し、将来的には手術ロボットや義手制御など、精密な手の制御が必要な分野への応用が期待される。