Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

• HIL-SERL 将预训练视觉主干网络、结合人工示范和纠正的样本高效离策略 RL，以及面向安全的低层控制器整合起来。人工纠正以离策略方式纳入学习过程，对于学习难以从零开始掌握的挑战性任务尤其重要。出处：§1 · pp. 1–2
• 该系统能够处理动态操作、精密装配、物体交接和双臂协调，涵盖动力学复杂、维度高且时程长的任务。示例包括翻炒锅具、挥击 Jenga 积木、主板和同步带装配、组装 IKEA 书架，以及汽车仪表板装配。出处：Figure 1 · p. 2, §1 · p. 2
• 与模仿学习相比，成功率提高 101%，周期时间缩短 1.8x；在真实世界训练 1–2.5 小时后，几乎所有任务都达到近乎完美的成功率。这些结果表明，RL 能在实际可行的训练时间内直接在真实世界中学习复杂的视觉操作策略。出处：§1 · p. 3
• 论文将 HIL-SERL 与最先进的 RL 方法进行比较，并通过消融实验分析各组件的作用，包括 RL 如何支持反应式和开环控制策略。分析认为，实证性能提升源于对系统组件的精心整合，并探讨 RL 为何能够实现近乎完美的成功率和具备通用性的策略灵活性。出处：§1 · p. 3
• 据作者所知，该工作首次报告了基于图像输入的真实世界 RL 双臂协调，以及 Jenga 挥击和同步带装配任务。这些结果将 RL 拓展至以往被认为用现有方法无法实现或几乎难以克服的任务。出处：§1 · pp. 2–3

真实世界 RL 的算法与系统

• 真实世界 RL 方法提升了样本效率、奖励设计和免重置学习能力，但往往需要较长训练时间；本框架整合现有方法，而非提出新算法。基于二元分类器的奖励结合示范，对本文的复杂任务效果显著。出处：§2 · pp. 3–4
• 与 SERL (Luo et al., 2024a) 相比，本系统在示范中加入人工纠正，并处理更长时程的双臂操作和动态操作任务。作者指出，纠正对于从错误中学习至关重要，尤其是对于难以从零开始学习的任务。出处：§2 · p. 4

灵巧机器人操作

• 以往的插入方法采用基于状态的模型、针对具体任务设计的柔顺工具，或多阶段视觉伺服；而本文方法在紧密闭环的感知—动作系统中学习任务相关特征和视觉运动策略。该学习策略被描述为输出反馈控制，能够支持反应式高精度任务。出处：§2 · p. 4
• 以往的动态操作研究采用动作捕捉、动态基元或准动态推挤；本系统则使用像素输入，处理难度更高的鞭式移除和反应式双臂同步装配同步带任务。同步带任务需要精确协调，动态调整张紧器和皮带，这使其区别于早期的缆线操作研究。出处：§2 · p. 4

3.1. 预备知识与问题陈述

• 该方法基于RLPD，通过对先验数据和在线策略数据进行等量采样，更新参数化Q函数和策略，以提高机器人RL的样本效率。策略被建模为以观测为条件的动作高斯分布，目标是最大化期望折扣奖励和轨迹成功率。出处：§3.1 · p. 5

3.2. 系统概述

• 该分布式系统将执行器、学习器和回放缓冲区设为独立进程，将20–30个人类示范与在线策略数据相结合，并支持模块化相机、遥操作、控制器和机械臂。学习器从示范缓冲区和RL缓冲区中等量采样，应用RLPD，并定期向执行器发送更新后的策略。出处：§3.2 · p. 5, Figure 2 · p. 6

3.3. 系统设计选择

• 关键设计包括采用预训练的ResNet-10/ImageNet视觉特征、由离线训练分类器生成的稀疏二元奖励、相对本体感知、安全导向控制，以及独立的离散夹爪评论器。夹爪模块分别求解连续和离散动作MDP，并使用DQN式argmax选择打开、关闭和保持等动作。出处：§3.3 · pp. 6–7

3.4. 人在回路强化学习

• 当策略陷入无法恢复或停滞状态时，人工操作员通过SpaceMouse介入；介入产生的转移数据存入两个缓冲区，而未介入时的策略转移数据则保留在RL缓冲区中。初期人工干预较频繁，随着策略改进而逐渐减少；有针对性的纠正与持续自主探索相结合，可加快学习。出处：§3.4 · pp. 7–8, Figure 3 · p. 8

3.5. 训练流程

• 训练时根据任务选择合适的相机，将图像裁剪并缩放至128x128；奖励分类器使用约200个正样本和1000个负样本训练，回放缓冲区则以20–30个示范初始化。奖励分类器的数据采集约需5分钟，分类器评估准确率通常超过95%；过长的成功介入可能导致早期价值估计不稳定。出处：§3.5 · pp. 8–9

4.1. 实验概述

• 实验涵盖七项任务，采用单臂或双臂系统，并结合视觉、本体感知、力/力矩、夹爪、扭转、扳手及离散夹爪动作空间。任务包括动态操作、精密装配、柔性物体处理、多阶段装配、双臂协作，以及反应式和预测式控制。出处：§4.1 · p. 9

4.2. 任务描述

• 任务套件包括接触密集型主板装配、分阶段完成的 IKEA 书架装配、双臂仪表盘装配与交接任务、同步带处理、抽积木弹射，以及物体翻转。主板装配依次包含 RAM、SSD、USB 抓取插入和 USB 卡扣固定等子任务；长时程 IKEA 装配使用三个串联策略，随机化抓取姿态，且每个子任务尝试两次。出处：SSD Assembly · pp. 11–12

4.3. 实验结果

• 在几乎所有任务中，HIL-SERL 经过 1–2.5 小时的真实世界训练后，成功率达到 100%；相比之下，HG-DAgger 的平均成功率为 49.7%，平均循环时间则从 9.6 s 降至 5.4 s。出处：§4.3 · p. 15
• HIL-SERL 训练期间，干预率和干预时长均有所下降；而 HG-DAgger 需要更频繁的纠正，表明策略的自主性逐步增强。在代表性学习曲线中，HIL-SERL 达到 100% 成功率且干预率为零；HG-DAgger 的成功率和干预趋势则不一致。出处：Figure 5 · p. 14, §4.3 · p. 15

4.4. 鲁棒性结果

• 学习到的策略通过移动目标插入、反应式柔性同步带操作、在夹爪被迫打开后重试，以及释放并重新抓取位置不佳的物体来应对扰动。这些行为在 RAM 插入、同步带装配、仪表盘装配、物体交接及 USB 连接器抓取插入任务中均有定性展示。出处：§4.4 · p. 16, Figure 6 · p. 16

4.5. 其他基线对比

• 从零开始进行 RL 在所有测试任务上的成功率均为 0%；未进行在线纠正的示范学习表现也远逊于 HIL-SERL，其中汽车仪表盘装配任务的成功率为 0%。将离线示范数量从 20 增至 200，仍无法替代在线人工纠正带来的收益。出处：§4.5 · pp. 16–17
• BC、残差 RL、IBRL 和 DAPG 在精细或反应式任务上表现较差，因为它们更依赖不完美的示范或类似 BC 的行为。这一局限对汽车仪表盘装配、RAM 插入及其他需要闭环反应式行为的任务尤为重要。出处：§4.5 · p. 17
• 离策略学习会根据相关性动态调整人类数据的权重：早期利用示范，随后允许自主探索超越人类水平的表现。这种方式既能利用示范进行引导，又能避免受示范局限所约束。出处：§4.5 · p. 17
• Diffusion Policy 在 RAM 插入、汽车仪表盘面板和物体翻转任务上的成功率分别为 27%、28% 和 56%，显著低于我们的方法和 HG-DAgger。Diffusion Policy 每项任务使用 200 条示范，而我们的方法在离线回放缓冲区中使用 20 条示范。出处：§4.5 · p. 17

5.1. 学得策略的可靠性

• 所有任务均达到 100% 成功率，体现了 HIL-SERL 的高可靠性；这归因于强化学习能够从成功和失败中自我纠错。分析将这一机制与模仿学习进行了对比：在数据量相同的情况下，模仿学习缺乏类似的自我纠错能力。出处：§5.1 · p. 18
• 漏斗状状态访问逐渐集中于成功轨迹附近，关键状态的 Q 值及其方差均随之升高。在 RAM 插入任务中，这一逐渐收窄的漏斗连接初始状态与目标状态，表明策略的置信度和精度不断提高；Fig. 7 展示了训练动态。出处：§5.1 · pp. 18–19, Figure 7 · p. 18
• 与 HIL-SERL 相比，HG-DAgger 的状态访问分布更稀疏、更分散，因为它只在当前策略附近探索。分析指出，因此若要达到与 RL 相当的性能，可能需要更多演示、纠正，以及更多对数据质量的人工关注。出处：Figure 7 · p. 18, §5.1 · p. 19

5.2. 反应式策略与预测式策略

• 学得的策略呈现出预测式与反应式行为的区别：Jenga 抽击的动作方差始终接近零，而 RAM 插入的动作方差初始接近 0.6，随后在接近目标时迅速下降。精密装配任务需要持续根据感官反馈进行纠正，包括断开并重新建立接触；动态任务则更适合稳定的开环执行。Fig. 8 展示了这些模式。出处：§5.2 · p. 19, Figure 8 · p. 20
• 通过与环境交互，该方法无需显式制定接触处理行为即可习得反应式行为，并能在同一框架内学习反应式和预测式策略。这种适应能力使系统能够处理行为要求各异的操作任务。出处：§5.2 · pp. 19–20

• 该方法在成功率接近完美、循环时间快于包括模仿学习在内的其他方法，推动了机器人操控的发展。这些结果表明，model-free RL 能通过直接在真实世界中训练，有效应对复杂的感知操控任务。出处：§6 · p. 21
• 该框架有望泛化至多种操控技能，并支持高品种小批量制造；这类制造对定制化、敏捷性和灵活性要求较高。潜在应用领域包括电子、半导体、汽车和航空航天生产。出处：§6 · p. 21
• 短时且基本自主的训练可为机器人基础模型生成数据，而预训练价值函数则可减少从头进行任务专属训练的需求。可执行已收敛的策略来收集用于蒸馏的数据；通用操控价值函数则可针对特定任务和机器人本体进行微调。出处：§6 · p. 21
• 该方法能否扩展到时域显著更长的任务仍不确定，因为这类任务中的样本复杂度问题更加突出。改进预训练，或自动将任务分解为较短的子任务，或有助于克服这一局限。出处：§6 · p. 21
• 实验采用的随机化有限，也未测试在非结构化环境中的泛化能力，因此在这些条件下的鲁棒性尚未明确。文中提出，可通过延长训练并采用所需的随机化，以及使用在多样化数据集上预训练的视觉基础模型，来改善这一问题。出处：§6 · p. 21

补充材料

• 补充材料涵盖任务设置、硬件与软件，以及策略训练细节。出处：A. Task Setup and Policy Training… · p. 32

A. 任务设置与策略训练细节

• 任务设置部分说明，各项任务的硬件、软件和策略训练均有记录。出处：A. Task Setup and Policy Training… · p. 32

A.1. RAM 插入

• RAM 插入小节介绍了主板组装任务的硬件布局，包括机器人、相机位置和任务布局。出处：§A.1 · p. 32, Figure 9 · p. 32
• Figure 9 展示了主板组装任务所用的硬件配置。出处：Figure 9 · p. 32, §A.1 · p. 32

A.1.1. 裁剪图像

• 裁剪图像小节介绍了对输入图像进行裁剪，以突出场景中与任务相关的区域。出处：§A.1.1 · p. 32, Figure 10 · p. 32
• Figure 10 展示了策略所用相机拍摄的裁剪后输入图像示例。出处：Figure 10 · p. 32, §A.1.1 · p. 32

A.1.2. 策略训练细节

• RAM 插入任务的策略训练细节见 Table 2。本节将 Table 2 作为补充训练信息的来源。出处：§A.1.2 · p. 33
• Table 2 专门列出 RAM 插入任务的策略训练细节。表格的适用范围由其标题界定。出处：Table 2 · p. 33

A.2. SSD 组装

• Figure 9 展示了主板组装任务所用的硬件设置。该设置包括机器人、相机布置和任务布局。出处：§A.2 · p. 34
• 主板组装的硬件说明涵盖了任务中使用的机器人。机器人是 Figure 9 所示设置中的一个组成部分。出处：§A.2 · p. 34
• 设置说明还列出了主板组装所用的相机布置和任务布局。Figure 9 中一并展示了这些要素。出处：§A.2 · p. 34

A.2.1. 裁剪图像

• 如 Figure 11 所示，通过裁剪输入图像提取了与任务相关的图像区域。Figure 11 展示了策略所用相机拍摄的输入图像示例。出处：§A.2.1 · p. 34, Figure 11 · p. 34

A.2.2. 策略训练细节

• Table 3 报告了 SSD 组装任务的其他策略训练细节。出处：§A.2.2 · p. 34
• Table 3 专门列出了 SSD 组装的策略训练细节。出处：Table 3 · p. 34

A.3. USB 抓取与插入

• Figure 9 展示了主板组装的硬件配置。出处：§A.3 · p. 35
• 硬件配置包括机器人、摄像头布置和任务布局。出处：§A.3 · p. 35

A.3.1. 裁剪图像

• 图像经过裁剪，以聚焦于场景中与任务相关的部分。出处：§A.3.1 · p. 35
• Figure 12 展示了策略所用摄像头的示例输入图像。出处：Figure 12 · p. 35

A.3.2. 策略训练细节

• USB 抓取与插入的策略训练细节见 Table 4。该表介绍 USB 抓取与插入任务。出处：§A.3.2 · p. 35, Table 4 · p. 35

A.4. 线缆夹取；A.4.1. 裁剪图像；A.4.2. 策略训练细节

• 相关内容介绍了线缆夹取的面向任务图像裁剪和策略训练细节；Figure 9 则展示了主板组装任务中的机器人、相机布置和任务布局。Figure 13 展示了用作策略输入的相机样例图像。出处：§A.4.1 · p. 36, §A.4.2 · p. 36, Table 5 · p. 36

A.5. IKEA - 侧板；A.5.1. 策略训练细节

• IKEA 侧板组装的硬件配置及策略训练细节见 Table 6。硬件介绍涵盖机器人、相机布置和任务布局。出处：§A.5 · p. 37, Figure 14 · p. 37, §A.5.1 · p. 37

A.6. IKEA - 顶板；A.6.1. 策略训练细节

• IKEA 顶板组装的策略训练细节见 Table 7；硬件配置部分则展示了机器人、相机布置和任务布局。硬件配置见 Figure 14。出处：§A.6 · p. 39, §A.6.1 · p. 39, Table 7 · p. 39

A.7. 汽车仪表盘组装；A.7.1. 裁剪图像；A.7.2. 策略训练细节

• 汽车仪表盘组装采用了硬件配置和面向任务的裁剪图像；策略训练细节见 Table 8。Figures 15 和 16 分别展示了硬件布置和相机输入样例。出处：§A.7 · p. 40, Figure 15 · p. 40, §A.7.1 · p. 40

A.8. 物体交接；A.8.1. 裁剪图像；A.8.2. 策略训练细节

• 物体交接采用了硬件配置和面向任务的裁剪图像；策略训练细节见 Table 9。Figures 17 和 18 分别展示了硬件布置和相机输入样例。出处：§A.8 · p. 42, Figure 17 · p. 42, §A.8.1 · p. 42

A.9. 同步带组装；A.9.1. 裁剪图像；A.9.2. 策略训练细节；A.10. Jenga 击打；A.10.1. 裁剪图像；A.10.2. 策略训练细节

• 同步带组装部分介绍了硬件配置、裁剪后的面向任务相机图像，以及 Figures 19–20 和 Table 10 中的策略训练细节。出处：§A.9 · p. 44, §A.9.1 · p. 44, §A.9.2 · p. 44

A.10. Jenga 击打；A.10.1. 裁剪图像；A.10.2. 策略训练细节；A.11. 物体翻转；A.11.1. 裁剪图像；A.11.2. 策略训练细节

• 对于 Jenga 击打任务，论文在 Figures 21–22 和 Table 11 中介绍了硬件配置、面向任务的裁剪相机输入及其他策略训练细节。出处：§A.10 · p. 46, §A.10.1 · p. 46, §A.10.2 · p. 46

B. Reward Classifier 训练细节

• Reward classifier 将预训练的 ResNet-10 特征提取器与两层 MLP 结合，使用交叉熵损失和 Adam 进行训练，学习率为 3e-4，共迭代 100 次。网络使用采集的数据集进行训练。出处：B. Reward Classifier Training Details · p. 50
• 通过 SpaceMouse 遥操作采集并标注图像：成功完成任务的图像标记为 1，其余标记为 0。部分任务还纳入了额外的假阳性和假阴性样本，以提升分类器性能；Fig. 25 展示了 RAM 插入示例。出处：B. Reward Classifier Training Details · p. 50, Figure 25 · p. 50

C. Diffusion Policy训练细节

• 扩散策略基线的训练参数见 Table 13。该表明确列出了扩散策略的训练细节。出处：Table 13 · p. 51, C. Diffusion Policy Training Details · p. 51

D.1. 本体感知信息表征

• 本体感知信息以每个回合随机化的初始末端执行器坐标系为参照进行表征，从而在保持相对几何关系一致的同时实现跨位置迁移。这种变换可避免策略过拟合于机器人基座坐标系中的特定全局位置。出处：§D.1 · p. 52
• 策略通常在其观测坐标系中输出 6 DoF twist，并通过伴随变换将其映射到机器人基座坐标系。控制器软件要求动作以基座坐标系表示。出处：§D.1 · p. 52
• 对于两个动态操作任务，策略改为输出 3 DoF 前馈 wrench，并通过雅可比矩阵转置将其转换为关节力矩。wrench 在当前观测坐标系中表示，并作为设定值发送给底层控制器。出处：§D.1 · p. 52

D.2. 机器人控制器

• 大多数任务采用以 1000 Hz 运行、接收由策略以 10 Hz 计算的设定值的阻抗控制器，并针对富接触训练的稳定性作了额外处理。控制器将其控制目标转换为关节力矩，并包含零空间力矩。出处：§D.2 · p. 52
• 将位姿误差限制在 |e| ≤ Δ 可在不直接降低控制器增益的情况下限制交互力，从而在约束接触力的同时保持精度。由此得到的弹簧-阻尼力上界为 k_p⋅|Δ| + 2k_d⋅|Δ|⋅f，其中 f 为控制频率。出处：§D.2 · p. 53
• 对于两个动态任务，前馈 wrench 控制器以 1000 Hz 运行，接收策略以 10 Hz 给出的设定值，并将期望 wrench 转换为关节力矩。转换过程使用雅可比矩阵转置，并加入零空间力矩。出处：§D.2 · p. 53

E. 策略训练曲线图

• 在所有实验任务中，HIL-SERL 学习曲线均达到 100% 成功率和 0% 人工干预率，周期时间则逐步缩短。各项指标均以连续 20 个 episode 的运行平均值表示。出处：Figure 26 · p. 54