RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

研究动机

• 网络规模的模型具备广泛的下游能力，但要收集规模相当的机器人交互数据并不现实，直接将这些模型应用于机器人也很困难。论文对比了数十亿个网络文本词元和图像，以及收集数百万次机器人试验并不现实这一点。出处：§1 · p. 2

方法

• RT-2 将低层机器人动作标记为文本，并在机器人轨迹和互联网规模的视觉语言任务上联合训练视觉语言模型。这使多模态内容能够采用共享的词元格式组成序列，让同一模型既能生成自然语言输出，也能生成机器人动作。出处：§1 · p. 2, Figure 1 · p. 2

能力

• RT-2 将源自网络数据的视觉和语言知识迁移到机器人策略中，提升了对新物体以及语义多样化指令的泛化能力。该方法将从机器人数据中学到的物理动作，与从网络数据中学到的图像和文本理解能力结合起来。出处：§1 · p. 3

结果

• 6k 次机器人评测表明，模型的泛化能力显著提升，并涌现出语义推理能力，包括理解未见过的指令，以及根据物体大小或空间关系选择物体。论文还报告了借助 chain-of-thought 实现的多阶段推理，例如选择石块作为临时锤子，或为感到疲倦的人选择能量饮料。出处：§1 · p. 3

视觉-语言模型

• 视觉-语言模型包括 CLIP 等表征学习模型，以及将视觉和文本输入映射为自由形式文本的视觉-语言模型。在多种 VLM 类型中，这两类模型尤其相关。出处：§2 · p. 3
• 本文通过使 VLM 能够预测机器人动作并利用已有的 VLM 知识提升泛化能力，将其拓展到机器人闭环控制。本文着重于结合视觉-语言能力与动作预测，而非仅生成文本。出处：§2 · p. 3

机器人学习中的泛化

• 大规模、多样化的数据集使机器人能够泛化到新颖的物体实例、新颖的语义物体类别以及未见过的环境。既有研究展示了机器人在这三个维度上的泛化能力。出处：§2 · pp. 3–4
• 不同于多数既有研究，本文旨在构建一个模型，借助比机器人观测数据更广泛的预训练数据，使其能够在上述三个维度上泛化到未见过的条件。该方法将广泛的预训练数据作为实现统一泛化的关键要素。出处：§2 · p. 4

机器人操作的预训练

• 机器人操作的预训练通常采用通过 ImageNet 监督、数据增强或针对机器人控制设计的目标函数初始化的视觉表征。这些方法通常使用机器人相机观测数据来初始化编码器。出处：§2 · p. 4

模型系列

• RT-2 将 PaLI-X 和 PaLM-E 改造为 VLA 模型，规模从数十亿参数到数百亿参数不等。这些变体分别命名为 RT-2-PaLI-X 和 RT-2-PaLM-E。出处：§3.1 · p. 5

动作表示

• RT-2 将机器人动作的每个维度表示为离散化的输出词元，并将这些词元拼接成以空格分隔的目标字符串，与语言词元一同使用。动作空间包括末端执行器在位置和旋转上的 6-DoF 位移及伸展程度，并为动作预留了 256 个词元。出处：§3.2 · pp. 5–6

训练方案

• 将机器人数据与原始网络数据共同微调，能够结合抽象视觉概念与底层机器人动作，从而提升策略的泛化能力。仅使用机器人数据进行朴素微调，无法获得对网络规模视觉概念的同等接触。出处：§3.2 · p. 6

输出约束

• 对于机器人动作任务，RT-2 将解码限制为有效动作词元；对于标准视觉-语言任务，则保留完整的自然语言词汇表。这种区分确保输出可由真实机器人执行，同时不限制常规视觉-语言响应。出处：§3.2 · p. 6

部署

• 训练规模最大的模型为 55B parameters；RT-2-PaLI-X-55B 的运行频率为 1-3 Hz，而其 5B 版本的运行频率约为 5 Hz。这些模型使用云端服务，以支持适当的控制频率并服务多台机器人。出处：§3.3 · p. 6

• 实验重点关注 RT-2 在真实场景中的泛化能力及涌现能力。实验围绕这两个方面的问题展开。出处：§4 · p. 6

已见任务

• 评估涵盖 200 多项已见任务，包括抓取、敲击、放置、移动以及抽屉的开启或关闭。已见任务套件沿用 RT-1，包含 36 项抓取、35 项敲击、35 项直立放置、48 项移动、18 项抽屉操作和 36 项与抓取相关的任务。出处：§4.1 · p. 7
• RT-2 模型在已见任务上的表现与 RT-1 相近，而其他基线的成功率更低。比较对象包括 RT-2-PaLI-X、RT-2-PaLM-E、RT-1、VC-1 和基于 R3M 的策略。出处：§4 · p. 7, §4.1 · p. 8

未见情形评估

• 在涉及未见物体、背景和环境的泛化实验中，RT-2 的优势最为明显。评估区分简单和困难情形；困难情形使用更难抓取或独特的物体、更多样的背景和新物体，以及视觉上明显不同的办公室桌面环境。出处：§4.1 · p. 8

解读

• 泛化能力的提升归因于从互联网规模的预训练数据中迁移了更具泛化性的视觉和语义概念。论文将视觉语言动作模型描述为能够把网络知识迁移到端到端机器人策略中的模型。出处：§4.1 · p. 8, §4.2 · p. 9

消融实验

• 与仅使用机器人数据进行微调相比，协同微调提升了泛化能力；而从头训练一个超大模型即使参数量达到 5B，表现仍然不佳。消融实验比较了协同微调、仅使用机器人数据微调和从头训练。出处：§4.3 · p. 10

5. 局限性

• 网络规模的 VLM 预训练提升了语义和视觉泛化能力，但 RT-2 不会习得新的动作。其物理技能仍受限于机器人数据中所涵盖的技能分布。出处：§5 · p. 11
• 大型 VLA 模型可以实时运行，但其较高的计算成本可能成为高频控制的主要瓶颈。文中指出，量化和蒸馏可能有助于实现更高频率的推理，或降低硬件成本。出处：§5 · p. 11

6. 结论

• 作者提出结合视觉语言模型预训练与机器人轨迹数据来训练视觉语言动作模型。该方法将机器人动作作为文本 token 纳入模型的输出格式。出处：§6 · p. 11
• RT-2-PaLM-E 和 RT-2-PaLI-X 是两个 VLA 实例，经过联合微调后可输出以文本 token 表示的机器人动作。出处：§6 · p. 11
• 由此得到的模型能够生成性能优异的机器人策略，同时显著提升泛化表现。出处：§6 · p. 11
• 这些模型获得了源自网络规模视觉语言预训练的涌现能力。出处：§6 · pp. 11–12
• 本文认为，这种简单且通用的方法为机器人直接受益于性能更强的视觉语言模型提供了可行路径。出处：§6 · p. 12

A. 贡献 •

• 本文的贡献包括设计并执行训练流程、在仿真和真实世界中评估模型，以及针对算法设计选择开展消融实验。出处：A. Contributions • · p. 19

B. 数据集

• 从覆盖 109 种语言、约 10B 个样本的数据中筛选出的 1B 个 WebLI 图文对，构成视觉语言训练数据的主体。数据混合中还包括图像描述和视觉问答数据集。出处：B. Datasets · p. 19
• 移动操作演示配有自然语言指令，涵盖列出的七种技能，包括物体操作、抽屉操作和容器放置。机器人数据集基于 Brohan et al. (2022)。出处：B. Datasets · p. 19
• RT-2-PaLI-X 将训练数据混合中约 50% 分配给机器人数据集，而 RT-2-PaLM-E 分配约 66%。这些权重用于协同微调。出处：B. Datasets · pp. 19–20
• Language-Table 的协同微调根据图像帧和文本指令预测动作、指令、机械臂位置、时间步数和任务是否成功。五项预测任务包括根据连续两帧图像和一条文本指令预测动作。出处：B. Datasets · p. 20

C. 基线

• 基线使用完全相同的机器人数据，包括用于检验 VLM 预训练价值的 RT-1，以及面向机器人的视觉基础模型 VC-1。RT-1 被描述为基于 transformer 的模型；VC-1 则提供专为机器人任务设计的预训练视觉表征。出处：C. Baselines · p. 20

D. 用于 RT-2 的 VLM

• PaLI-X 使用 ViT-22B 处理图像序列，并将投影后的图像 token 输入一个含 50 层、32B 参数的编码器—解码器主干网络。该主干网络联合处理文本和图像嵌入，并以自回归方式生成输出 token。出处：D. VLMs for RT-2 · p. 20
• PaLM-E 使用仅含解码器的 LLM 和 ViT-4B 视觉投影；Language-Table 则使用 PaLI-3B、ViT-G/14 和 UL2-3B。PaLM-E 通过将机器人数据投影到语言 token 空间，并把连续变量与文本输入拼接，来接收多模态输入。出处：D. VLMs for RT-2 · p. 21

F.1. 评估场景

• 评估场景用于衡量模型在推理、符号理解和人物识别方面的涌现能力。这些场景旨在对 RT-2 的涌现能力进行量化研究。出处：§F.1 · p. 21, Figure 8 · p. 22

F.2. 评估指令

• Table 2 列出了用于评估未见物体、背景和环境的自然语言指令。这些指令涵盖模型在未见过的视觉条件和环境条件下的泛化能力。出处：§F.2 · p. 21
• 每条针对未见物体、背景和环境的指令执行 1-5 次，具体次数取决于相应评估集中的指令总数。重复次数随评估集大小而变化。出处：§F.2 · p. 21
• Table 3 列出了用于量化涌现能力评估的自然语言指令。这些指令对应于为 RT-2 描述的量化语义场景。出处：§F.2 · p. 21, Table 3 · p. 22
• 每条量化涌现能力评估指令均执行 5 次。量化评估集中的重复次数固定。出处：§F.2 · p. 21

F.1. 评估场景

• Figure 8 展示了部分评估场景，而完整的量化指令列表见 Table 3。图中展示的指令仅为 Appendix F.2 所列完整指令的一部分。出处：§F.1 · p. 21, Figure 8 · p. 22, Table 3 · p. 22

G. 失败案例

• 尽管能正确关注指令并到达第一个目标物体，RT-2 在 Language Table 的一些案例中仍无法泛化到未见的物体动力学。这是因为模型难以控制与训练数据所涵盖情况存在显著差异的动力学。出处：G. Example Failure Cases · p. 23, Figure 9 · p. 23
• 作者推测，在多样化环境和物体上扩展数据集，或许能提升模型对机器人—环境交互动力学的泛化能力。他们特别建议纳入更多具有相似推动动力学的多样化案例。出处：G. Example Failure Cases · p. 23
• 尽管定性和定量评估均显示出有希望的涌现表现，但在当前训练数据集构成和训练方法下，RT-2 仍出现了许多值得注意的失败案例。论文将这些案例列为当前系统的局限。出处：G. Example Failure Cases · p. 23

H.1. 总体表现（Section 4.1）

• 在已见任务上，RT-2 的表现与基线模型相当或更好。这概括了 Table 4 中报告的总体对比结果。出处：§H.1 · p. 23
• 在泛化到未见物体、背景和环境时，RT-2 的表现显著优于基线模型。这些对比属于总体定量评估结果。出处：§H.1 · p. 23

H. 定量实验结果

• Table 4 报告了两种 RT-2 实例和基线模型在已见训练任务及未见泛化评估中的总体定量结果。未见设置评估了模型对新物体、新背景和新环境的泛化能力。出处：Table 4 · p. 23

H.2. 涌现能力评估，对应 Section 4.2

• 在新指令上，RT-2 的表现比 RT-1 高出 2x 到 3x，且无需额外的机器人示范。这些结果见 Table 5 的涌现能力定量评估。出处：§H.2 · p. 24
• 涌现能力评估结果表明，RT-2 利用了网络规模的视觉语言预训练所带来的能力。论文将这些发现作为预训练有益于机器人控制的证据。出处：§H.2 · p. 24
• Table 5 汇报了 RT-2 和各基线模型在涌现能力评估中的定量表现。该表对比了支撑所报告涌现结果的数据。出处：Table 5 · p. 24

H.3. 模型规模与训练消融，对应 Section 4.3

• 在各项消融实验中，模型规模对性能有重要影响。这一结论来自 Table 6 中给出的定量结果。出处：§H.3 · p. 24
• co-fine-tuning 的表现优于 fine-tuning，而 fine-tuning 又优于从头训练。这一排序见各项训练方法消融实验。出处：§H.3 · p. 24
• Table 6 汇报了针对模型规模和训练方法的消融实验。这些消融实验考察参数量和训练策略与泛化能力之间的关系。出处：Table 6 · p. 24

额外的思维链推理结果

• 使用 RT-2-PaLM-E 获得了额外的思维链推理执行过程。这些示例见 Figure 10。出处：§I · p. 24, Figure 10 · p. 25
• PaLM-E-12B 的预训练包含用于高层 VQA 规划任务的机器人图像，但这些示例均不包含此处评估的低层动作。说明指出，这些图像可能类似于泛化场景，但须与此处评估的低层动作区分开来。出处：§I · p. 24