在一项最新研究中，研究人员提出了一种名为对抗姿势正则化（Adversarial Posture Regularization, APR）的方法，旨在解决强化学习训练灵巧手弹奏钢琴时产生的非自然姿态问题。该方法的核心思想是，通过对抗学习使机械手的姿态分布逼近人类演奏时的自然姿态，从而避免传统方法中因仅依赖任务奖励或逆运动学（IK）导致的手部关节过度伸展或奇怪的手型。
传统的强化学习方法虽然能够训练双灵巧机械手在物理仿真中以高音符准确度弹奏钢琴，但对于自由度较高的灵巧手（如Shadow Hand），单纯依靠任务奖励或逆运动学反转往往会产生不自然的姿势。这是因为高自由度系统存在大量冗余，奖励函数难以精确约束每个关节的角度，导致策略倾向于利用不自然但任务高效的姿态。此前的一些工作通过模仿学习或奖励塑形尝试缓解这一问题，但通常需要收集与特定歌曲对齐的高质量专家演示数据，成本高昂且难以扩展。
APR方法另辟蹊径，仅需少量随意的人类钢琴弹奏数据——这些数据无需与歌曲精确对齐，甚至可以是非结构化的日常演奏视频。研究团队使用消费级Meta Quest 3头显设备，采集了人类弹奏时的非结构化手部运动数据，并将关键运动信息通过重定向技术映射到Shadow Hand机器人手上。这些数据已公开释放，供学术界和工业界使用。
在技术实现上，APR引入了一个判别器网络，用于区分策略生成的手部姿态与真实人类手部姿态。策略网络在强化学习过程中，除了要最大化任务奖励（如音符准确度），还要试图欺骗判别器，使其无法区分自己的姿态与人类姿态。通过这种对抗目标，策略的姿态分布逐渐向人类先验分布靠拢，从而产生更自然的手形。这种方法本质上是一种隐式的姿态正则化，无需显式定义姿态的相似性度量。
实验结果表明，APR方法在三个人体相似性指标——cPSI（手部姿势相似性指数）、BSE（关节伸展偏差）和FAC（手指关节协调性）上均显著优于先前的方法，并且在视觉质量上也有明显提升。项目代码和数据集已在GitHub上开源（https://github.com/APRProject/APRPianist）。这项研究为机器人灵巧操作中实现更自然的人机交互提供了新的思路，未来有望应用于需要精细手部控制的领域，如手术机器人、假肢控制等。