AI 摘要 · 由英文经 AI 翻译
Gated Residual Body-Hand Coordination for Whole-Body Humanoid Teleoperation
Ruiming Wu, Shuang Li, Liding Zhang, Alois Knoll, Zhaopeng Chen
TL;DR
独立生成的身体与手部指令可能无法维持双手交互的几何关系。本文通过有界门控残差修正协调冻结的模块化控制器，并为机器人准备专用运动参考。在留出的 GRAB 动作上，相较于直接组合，残差将腕部和指尖几何误差降低了 39.2–56.3%，同时保持了相近的全身跟踪能力。
问题
独立生成的身体与手部指令不会显式保持跨链几何关系，因而双手交互时腕部定位和手指重定向误差可能不断累积。
出处：§I · p. 1方法
残差策略对冻结的身体与手部指令分别施加有界修正，并采用运动条件动作门控和参考几何条件奖励门控。
出处：§I · p. 2结果
39.2–56.3%：Full Residual 相较于直接组合，降低了报告的全部四项腕部和指尖几何误差。
出处：C. Residual Ablation · p. 6结论与局限
仿真结果表明，双手交互中的腕部和指尖几何关系得到改善，同时保持了相近的全身跟踪能力。
出处：§VII · p. 7已发布的 G1 策略仍是更强的训练数据不匹配参照，其训练规模显著更大。
出处：§VI · p. 7
Abstract
from arXiv · showhide
Whole-body humanoid teleoperation commonly combines a motion-tracking policy with a separate dexterous-hand retargeter. However, independently generated commands do not explicitly preserve body-hand geometric relations, leading to mismatches in relative wrist poses and fingertip positions during bimanual interaction. We present a gated residual coordination framework that keeps both modules frozen and applies bounded corrections to their outputs. A motion-conditioned action gate allocates correction authority across joint groups, while reference-geometry-dependent reward gates emphasize relevant interaction objectives during training. To establish the nominal body controller on Agile One, we introduce multi-pose morphology calibration that jointly estimates triaxial scales and effector-local offsets, together with staged motion dataset curation for training a SONIC-based tracker. The residual policy uses human motion references, initial commands, and robot proprioception without explicit object or contact observations. In simulation, it reduces wrist and fingertip geometry errors by 39.2-56.3% over direct composition on held-out GRAB motions, while preserving whole-body tracking on AMASS, with success rates of 89.03% without residual coordination and 89.29% with it. Ablations characterize the contributions of reward gating, adaptive correction authority, and separate body and hand correction heads.
I. 引言
分别生成的身体与手部指令可能无法维持跨链几何关系，即使各模块都能跟踪自身参考。本文保留模块化控制器，并通过有界残差、依赖上下文的门控及面向机器人的运动准备来协调其指令。
I. 引言
- 独立的身体与手部指令可能累积腕部放置和手指重定向误差，导致双手交互中的相对腕部姿态和指尖位置不准确。即使各模块都能很好地跟踪自身参考，也可能出现这种不匹配。出处：§I · p. 1
- 若以单体控制器取代模块化架构，动作空间和优化空间都会扩大，子系统开发也会相互耦合；任一组件发生变化时，还需要联合重新训练。面向特定机器人的参考数据也带来挑战，因为单姿态标定无法区分身体缩放与效应器局部偏移。出处：§I · p. 1
- 运动条件化的 action gate 在各关节组间分配修正权限，而依赖参考几何的 reward gate 则在几何关系与任务相关时突出交互目标。action gate 在执行时发挥作用；reward gate 则用于塑造训练过程。出处：§I · p. 2
- 该框架通过分离且受关节组约束的修正，联合优化冻结的身体与手部指令，同时保留模块化跟踪器和手部重定向器。残差策略决定在何处以及何时施加修正，而非取代名义模块。出处：§I · p. 2
- 多姿态标定联合估计根坐标系下的三轴缩放和效应器局部偏移；分阶段的数据筛选则为基于 SONIC 的跟踪器准备面向特定机器人的参考数据。多组成对的人体—机器人姿态可消除单姿态拟合中的缩放—偏移歧义。出处：§I · pp. 1–2
II. 相关工作
已有工作通过多种互补方法处理跨形态映射、全身跟踪、灵巧手映射和交互感知控制。所引工作尚未将独立生成的身体与手部指令之间的指令级协调作为单独问题处理。
A. 动作数据、重定向与筛选
- 重定向与筛选方法致力于解决跨形态映射和参考数据质量问题，包括可行性筛选，以及可能优于更大规模未筛选语料的经筛选动作子集 [5], [14]。当相关信息可用时，所引方法还会处理时间伪影以及人与物体、环境之间的关系 [12], [13]。出处：A. Motion Data, Retargeting, and… · p. 2
C. 残差协同与门控
残差控制与门控为协调模块化身体—手部指令提供了背景，论文还为 Agile One 准备了具身特定参考数据。本文将其远程操作设定与使用任务特定物体或接触观测的方法区分开来。
C. 残差协同与门控
- 残差方法在现有控制器输出上叠加校正动作；以往针对交互的方法可能以物体、接触、目标或任务阶段信号为条件 [7], [8], [22]–[25]。相较之下，本文设定根据人体参考、初始指令和机器人本体感知推断协同关系，不使用任务特定的物体或接触观测。出处：C. Residual Coordination and Gating · pp. 2–3
III. 多姿态形态校准与运动数据集整理
- 通过 7 组人工配对的人体与 Agile One 姿态，联合估计根坐标系下的三轴尺度和末端执行器局部偏移。这些配对姿态为形态补偿提供了校准数据。出处：Figure 2 · p. 3
C. 残差协同与门控
- 以往的门控机制按接触阶段、运动相位、事件窗口或机器人与目标的距离激活目标；本文则根据人体运动参考确定奖励相关性和残差控制权限 [26]–。这两种机制分别提供互补的上下文相关控制与奖励调节。出处：C. Residual Coordination and Gating · p. 3
III. 多姿态形态校准与运动数据集整理
- Agile One 参考语料库始于来自 5 个 SEED 类别的 52,663 个配对候选样本，并在校准与整理过程中保留人体—机器人对应关系。Agile One 有 29 个身体自由度。出处：§III · p. 3
A. 多姿态形态校准
该方法对齐人体与机器人的形态以校准重定向，并整理所得动作参考数据，用于跟踪器训练。校准使用多组配对姿态；整理工作则针对参考数据质量、时间不连续、地面高度对齐和冗余问题。
A. 多姿态形态校准
- 通过多组配对的人体—机器人姿态，联合估计根坐标系下的三轴缩放和效应器局部偏移，以补偿运动学差异。根坐标系缩放会随人体旋转纵向、横向和垂直方向的修正量；当21 × 6设计矩阵的秩为六时，七姿态拟合具有可辨识性。出处：A. Multi-Pose Morphology Calibration · p. 3
- 对52,663条校准候选轨迹进行逐帧位置和朝向检查，剔除超出设定限制的动作后，保留46,363条轨迹。检查对象包括骨盆、头部、腕部和踝部目标。出处：A. Multi-Pose Morphology Calibration · p. 3
B. 语料库级整理
- 整理流程包括质量筛选、瞬态IK修复、足部高度对齐和密度感知筛选，因为几何上有效的目标仍可能存在不连续、地面对齐偏差或动作冗余。Fig. 3展示了这四项操作，并标示了剔除、对齐或保留的处理结果。出处：B. Corpus-Scale Curation · p. 3, Figure 3 · p. 4
- 质量筛选后保留31,878个动作；瞬态IK修复会重建符合条件的突发关节切换，最终共保留28,523个动作。在120 Hz下，每帧变化超过3°会被标记为突发切换；若事件影响同一运动链中至多两个关节，则进行插值并重新检查。出处：B. Corpus-Scale Curation · p. 3
- 足部高度对齐后保留24,821个动作；密度感知筛选最终得到20,000条参考数据，总时长为43.67小时。筛选基于153个动作描述符剔除密集邻域；在150个非恒定描述符上，保留数据与输入数据的百分位范围比中位数为100.53%。出处：B. Corpus-Scale Curation · p. 4
IV. 门控残差协调
该框架先训练基于 SONIC 的名义跟踪器，再通过受限且由动作门控的残差修正，协调冻结的身体与手部指令生成器。独立的修正头保留各自不同的输出空间，共享表征则支持二者协调。
IV. 门控残差协调
- 共享主干、双头残差策略协调冻结的身体与手部指令，并通过人体动作门控调节有界修正权限。身体和手部生成器保持冻结；依赖几何关系的奖励门控仅影响残差训练。出处：§IV · p. 4, Figure 4 · p. 5
A. 基础跟踪器训练
- 基于 SONIC 的名义跟踪器采用 PPO 训练 30,000 次迭代，随后冻结，再进行指令级协调学习。课程逐步增加默认姿态初始化、动力学随机化、根部速度扰动，以及动作与关节限位正则化。出处：A. Base Tracker Training · p. 4
B. 残差指令接口
- 共享表征连接两个独立修正头：29 维身体修正头和 32 维手部修正头，分别用于修改归一化跟踪器动作和物理关节角目标。修正幅度受关节组边界约束；腿部修正的边界更严格，头部修正则被禁用。出处：B. Residual Command Interface · p. 4
C. 人体运动动作门控
人体运动动作门控会在操作与 locomotion 之间连续分配校正权限，而非在不同控制器之间切换。
C. 人体运动动作门控
- 动作门控利用25个参考帧——过去15帧、当前帧和未来9个采样帧——评估操作与 locomotion 的运动特征。未来采样帧取自 SONIC 现有的180 ms缓冲区，不会增加额外的前瞻时间。出处：C. Human-Motion Action Gate · p. 5
- 非零门控下限可在操作期间保留支撑校正，并在 locomotion 期间保留上身与手部校正。由此得到的校正权限连续调节，而非选择单个激活的控制器。出处：C. Human-Motion Action Gate · p. 5
D. 几何门控学习
几何门控学习依据人体参考几何关系对任务空间关系加权，并随交互距离变化突出不同目标。门控仅使用人体参考，无需物体状态或接触标签。
D. 几何门控学习
- 任务空间目标通过位置、距离、旋转和方向误差，比较根部、手腕、指尖及双腕之间的关系。这些关系项可适应人体与机器人在肢体长度、手部尺寸和可达工作空间上的差异。出处：D. Geometry-Gated Learning · p. 5
- 随着人体参考距离增大，Logistic近距离门控会降低指尖间关系和双腕间关系目标的权重，距离范围分别为0.10–0.20 m和0.20–0.40 m。远距离门控会在0.20–0.40 m范围内提高腕部方向权重。出处：D. Geometry-Gated Learning · p. 5
- 门控距离完全取自人体参考，因此评估时无需物体状态或接触标签。残差训练使用2,304段GRAB动作（含镜像版本）和1,006个PICO参考。出处：D. Geometry-Gated Learning · p. 5
V. 实验
实验评估了在留出的 AMASS 动作上进行重定向校准和 SONIC 跟踪器适配的效果。SONIC AO 的表现与数据量和计算预算匹配的 G1 策略相当，而规模更大的已发布 G1 策略表现更强。
A. 重定向校准
- 三轴七姿态校准使 IK 后的根部和腕部目标误差分别降低 11.6% 和 28.4%，而踝部目标误差增加了 0.36 mm，从 1.67 mm 增至 2.03 mm。两种校准配置均应用于相同的 52,663 个配对动作候选。出处：A. Retargeting Calibration · pp. 5–6, Table I · p. 5
B. SONIC 跟踪器评估
- 跟踪器评估使用 8,802 段留出的 AMASS 动作（不含 GRAB），每段动作均生成十个带观测扰动的副本。成功率测试采用根部和远端高度终止条件；跟踪测试则保留全部帧，直至动作结束。出处：B. SONIC Tracker Evaluation · p. 6
- SONIC AO 的跟踪误差与数据量和计算预算匹配的 G1 策略相当，而 SONIC G1 Released 在所有报告的跟踪指标上均取得最高成功率和最低误差。已发布策略作为非数据量匹配的参照，其训练使用了规模大得多的数据集和计算预算。出处：Table II · p. 6, B. SONIC Tracker Evaluation · p. 6
C. 残差消融
在留出的 GRAB 动作上，消融结果表明，残差协调比直接组合更能改善身体与手部的几何关系；门控机制和校正头则揭示了协调、根部执行与残差使用之间的权衡。
C. 残差消融
- 所有条件下根部跟踪成功率均为 100%，因此消融比较主要关注连续几何误差。基准包含五种设置下的 50 段留出动作，并采用匹配的副本以及相同的命令生成器和参考数据。出处：C. Residual Ablation · p. 6
- Table III 中的根部误差和身体-手部协调误差显示，与直接组合相比，Full Residual 将根部 XY 误差降低了 24.2%，并将报告的四项腕部与指尖几何误差均降低了 39.2–56.3%。出处：C. Residual Ablation · p. 6
- Constant Reward Gate 的总体协调误差最低，而 Full Residual 能改善近距离双手交互时的腕间距离和旋转误差。在近距离双手交互时段，Full Residual 将腕间距离误差从 6.54 cm 降至 6.11 cm，将腕部旋转误差从 23.57° 降至 22.33°；其原始饱和率在这些时段之外为 0.96%，在时段之内为 3.15%，相比之下分别为 1.62% 和 1.67%。出处：C. Residual Ablation · p. 6
- Constant Action Gate 和 Upper-Body Only 会增大根部 XY 误差，而 Single Head 会提高原始残差饱和率，却未带来稳定的几何优势。Constant Action Gate 将根部 XY 误差从 0.110 m 增至 0.129 m；Upper-Body Only 则使其升至 0.153 m。原始残差饱和率指门控和缩放之前，接近 tanh 饱和状态的活跃残差通道-时间项所占比例。出处：C. Residual Ablation · p. 6
D. 全身跟踪保持
在相同的关节手部平台上，加入残差协调后成功率略有提高，根部朝向误差有所降低；其他跟踪误差小幅增加。
D. 全身跟踪保持
- 未见过的 GRAB 动作同步对比将人体参考、直接组合和残差协调分别列于不同的行中。该图在展示 AMASS 跟踪保持结果的同时，还提供了定性对比。出处：Figure 5 · p. 7
- 89.03% 至 89.29%：在相同的关节手部平台上启用残差后，高度缩放成功率有所变化。Table IV 报告了 AMASS 跟踪保持对比结果。出处：D. Whole-Body Tracking Preservation · p. 6, Table IV · p. 7
- 根部朝向误差从 0.2089 降至 0.2020 rad，而根部 XY、身体位置和身体朝向误差均小幅增加。残差条件与基线条件使用相同的关节手部平台和中性手部参考；两者仅在是否使用残差策略上不同。出处：D. Whole-Body Tracking Preservation · pp. 6–7
VI. 讨论与局限
讨论指出，残差协调能够改善留出集上的身体–手部几何关系，但需要权衡双手协调、根节点执行和残差使用。结论概述了该框架，并提出未来工作的更广泛评估与反馈方向。
VI. 讨论与局限
- 留出集 GRAB 结果表明，与直接组合相比，该方法改善了身体–手部几何协调，但完整模型并未使所有汇总指标都达到最优。奖励门控将学习目标聚焦于特定交互，动作门控则根据运动情境调节修正权限。出处：§VI · p. 7
- 评估仅涵盖仿真、单一人形机器人形态、一个训练随机种子，且动作门控依赖基础系统提供的 180 ms 参考缓冲区。该策略也缺少显式物体状态、接触力和触觉反馈。出处：§VI · p. 7
VII. 结论
- 论文总结指出，有界、运动条件化的残差能够协调冻结的全身与手部指令生成器，在改善双手几何关系的同时维持相近的全身跟踪效果。名义 Agile One 身体控制流采用多姿态形态标定和分阶段动作筛选，以训练基于 SONIC 的跟踪器。出处：§VII · p. 7
- 未来工作将探索触觉反馈、神经网络手部重定向、更强的预训练跟踪器，以及在更广泛动作范围上的泛化能力。目标包括实现接触感知的残差协调，并改善人机手部对应关系。出处：§VII · p. 8