RoboTTT: Context Scaling for Robot Policies

贡献

• RoboTTT 将上下文扩展至 8K 时间步，达到最先进机器人基础模型的三阶数量级，同时不增加推理延迟。由此得到的模型称为 RoboTTT-8K。出处：§1 · p. 2

动机

• 长视觉运动上下文支持仅凭一段人类视频演示进行单次上下文模仿。这一动机将该能力与大多数最先进机器人基础模型采用的单步或短历史上下文形成对照。出处：§1 · p. 2

方法

• RoboTTT 将 Test-Time Training 集成到 Vision-Language-Action 策略中，以训练和推理期间均通过梯度下降更新的快速权重作为循环状态。与慢速权重不同，快速权重在部署期间仍会持续适应。出处：§1 · p. 2
• 快速权重保留显著特征，同时丢弃冗余的观测和动作；随着时间推移传递这些权重，可使推理开销保持恒定。相比之下，Transformer 推理的开销会随历史长度增长，即使使用 KV cache 也是如此。出处：§1 · p. 3

Test-Time Training 机制

• 与仅在训练期间更新、推理时保持冻结的慢权重不同，TTT 在训练和推理期间都会更新快权重。快权重动态建模上下文信息，慢权重则是模型参数。出处：§2 · p. 3
• TTT 的更新步骤将上下文信息编码到快模型参数中，应用步骤则在下游预测时检索这些信息。投影矩阵和快权重初始化通过外层任务损失进行学习。出处：§2 · p. 3

机器人序列模型

• 为简洁起见，省略语言信息；机器人轨迹由各时间步上的图像、本体感知和动作块元组构成。轨迹表示为 ξ = {(o_t, q_t, A_t)}^T_{t=1}.出处：§2 · p. 3
• 机器人序列策略根据运行历史和当前观测对动作进行条件建模，而长上下文策略旨在扩展历史长度。策略表示为 π(A_t|ξ_<t, o_t, q_t)。出处：§2 · p. 3

架构

• RoboTTT 在 DiT 注意力层之后添加 TTT 层，使注意力处理各个时间步，而 TTT 层处理整条轨迹中的信息。模型根据跨越 T 个时间步的视觉语言、本体感知和加噪动作 token，预测 H-step 动作块。出处：Figure 2 · p. 4, §3.1 · p. 4
• 学习得到的 tanh 门控初始值接近零，在保留预训练模型能力的同时，使 TTT 的贡献能够在训练过程中逐渐增大。每个 DiT 层都会学习一个初始值为 0.001 的 α，用于对 TTT 输出加权，再将其加到注意力输出上。出处：§3.1 · p. 4, Figure 3 · p. 4

训练方案

• 序列动作强制对每个动作块独立采样扩散噪声水平，避免整条序列共用一个噪声水平所导致的不稳定性。该方法采用 flow matching，并为各动作块独立采样噪声水平，因为共用噪声可能使整条序列统一变得容易或难以学习。出处：Figure 2 · p. 4, §3.2 · p. 5
• TBPTT 通过在片段边界截断梯度，同时让快速权重贯穿整个序列，实现固定内存下的任意长训练上下文。内存占用取决于片段长度，而非序列总长度；初始化 W0 则通过第一个片段获得梯度。出处：§3.2 · p. 5, Figure 4 · p. 5

上下文适应

• 掩码 flow-matching 损失可将演示或失败轨迹作为上下文来更新快速权重，而机器人动作或人工纠正则提供模仿目标。对于视频模仿，视频损失会被掩码，机器人轨迹则以条件方式训练；DAgger Distillation 将失败轨迹映射为纠正动作。出处：§3.3 · p. 6

主要评估

• RoboTTT的平均任务完成率达到79%，比GR00T N1.7的42%高出87%，比GDN的56%高出41%。RoboTTT在每项任务中都取得了最多的完全成功试验，并在10次试验中有2次完成Gear Bot，而所有基线均未能完成。出处：§4 · pp. 7–8

上下文长度扩展

• RoboTTT在8K预训练时间步下达到71.5%，比同一模型在1K时间步下的表现（43.9%）高出63%。性能从128到8K时间步稳步提升，从1K时间步起就超过表现最好的短上下文基线，且未见饱和；GDN则未能从更长上下文中获益。出处：§4 · pp. 8–9, Figure 8 · p. 8

一次性模仿

• 借助上下文中的人类视频演示，RoboTTT在10次Circuit装配试验中有6次完成任务，而GDN完全失败。结果表明，RoboTTT能够通过梯度下降更新的fast weights检索演示中的配置，而循环记忆基线则做不到。出处：§4 · p. 9, Figure 9 · p. 9

Perturbation robustness

• RoboTTT recovers in 15/20 roof-perturbation trials versus 13/20 for GDN and at most 10/20 for short-context baselines.For tire perturbations, both RoboTTT and GDN recover in 18/20 trials, showing within-episode conditioning benefits from visuomotor context.出处：§4 · pp. 9–10

消融实验

• 移除序列动作强制训练会显著损害闭环性能，而TTT-linear变体的表现仍比MLP fast model低27%。这些发现表明，序列动作强制训练和表达能力更强的非线性fast models是该训练方案的重要组成部分。出处：§4 · p. 11
• 加入动作token可带来23%的相对提升；对于TTT MLP，加入register tokens还可进一步带来18%的相对提升。register tokens对GR00T N1.7没有帮助，这表明其收益取决于TTT的时序建模。出处：§4 · p. 11

长上下文策略

• 大多数机器人基础模型采用单步或短历史上下文，通常只使用当前观测或 2–8 个连续观测。部分方法通过输入轨迹、压缩 token 或预测过去动作来扩展观测窗口。出处：§5 · p. 11
• 自回归展开历史的模型能够捕捉长上下文依赖，但其解码延迟会随上下文长度线性增长；RNN 策略的推理复杂度则保持恒定。文中将这些方法与 LSTM 等传统循环架构进行对比。出处：§5 · p. 11
• 以往方法通过上下文摘要、辅助目标或选择性绕过上下文，缓解历史信息引发的虚假相关性。当策略对过去观测中隐式编码的历史动作过拟合时，就会产生这类相关性。出处：§5 · pp. 11–12

测试时训练

• TTT 在训练和推理期间使用自监督目标更新一小部分参数，即快速权重，以持续存储和检索上下文信息。近期工作改进了 TTT 的优化方法、在线学习目标，以及与语言和视觉模型的集成。出处：§5 · p. 12
• 不同于使用额外测试任务数据微调整个模型的机器人研究，RoboTTT 基于 TTT 层构建带有快速权重的视觉运动策略。最接近的已有工作为 VLM 配备快速权重，以适配机器人的价值函数，而非构建视觉运动策略。出处：§5 · p. 12

局限性

• 扩展训练上下文长度会增加训练成本，因此未来可采用 TNT 等较新的 Test-Time Training 技术。文中将训练成本列为首要局限，并提出 TNT 作为未来可能的研究方向。出处：§6 · p. 12
• 未来工作可以探索面向机器人技术的 Test-Time Training 层目标。论文认为其对 Test-Time Training 的整合有充分依据，同时指出面向机器人技术的目标仍是一个开放的研究方向。出处：§6 · p. 12
• 尽管 RoboTTT 大幅提升了任务表现，但仍无法应对部署中遇到的所有失败模式。文中指出，部署中尚未解决的失败问题仍是一项局限。出处：§6 · p. 12

结论

• RoboTTT 通过将 Test-Time Training 融入机器人基础模型，将机器人策略的视觉运动上下文扩展至 8K 个时间步。该方法既被提出为一种机器人模型，也是一套训练方案。出处：§6 · p. 12
• RoboTTT 支持基于上下文中人类视频演示的一次性模仿、即时策略改进、抵御外部扰动的鲁棒性，以及在多阶段、长时程任务上更强的闭环表现。这些能力是在上下文长度达到 8K 个时间步时实现的。出处：§6 · p. 12

A.1. 模型架构

• RoboTTT 基于预训练的 GR00T N1.7 构建，采用 Eagle 作为 VLM 骨干网络，并以 Diffusion Transformer 作为动作头。该架构在 DiT 的 16 层中各加入一个 TTT 层。出处：§A.1 · p. 20
• 原有的 538M 个 DiT 参数在 16 个 DiT 层中加入约 10M 参数的 TTT 层后，增至 690M。每个 TTT 层都包含一个采用 GeLU 激活函数的两层 MLP 快速模型。出处：§A.1 · p. 20
• 每个 TTT 层都会在测试时通过标准梯度下降更新其快速模型。快速模型是一个采用 GeLU 激活函数的两层 MLP。出处：§A.1 · p. 20

A.2. 训练

• 预训练混合使用桌面双臂机器人数据和经过筛选、侧重长轨迹的第一人称人类视频数据。Fig. A.1 报告了轨迹长度分布。出处：§A.2 · p. 20, Figure A.1 · p. 20
• 预训练时仅更新新添加的 TTT 或 GDN 序列建模层，后训练时则对所有参数进行微调。预训练期间，其余 GR00T N1.7 组件保持冻结。出处：§A.2 · p. 20
• 每次预训练使用 16 块 NVIDIA GB200 GPU，每次特定任务后训练使用 8 块 GPU。运行使用 NVIDIA GB200 GPU。出处：§A.2 · p. 20
• 报告的训练配置采用 1K 上下文长度，且每设备批量大小为 1。模型预训练 30K 步，后训练 20K 步。出处：§A.2 · p. 20
• 所有模型均使用 AdamW，权重衰减为 1 × 10−5。预训练采用 WSD，峰值学习率为 2 × 10−5；后训练采用余弦调度，峰值学习率为 5 × 10−5。出处：§A.2 · p. 20

A.3. 部署

• 部署在 YAM 双臂桌面机器人上运行，使用四台 RealSense D405 相机采集 480p RGB 观测。相机分别安装在顶部、底部、左腕和右腕。出处：§A.3 · p. 20
• 配备 NVIDIA RTX 5090 GPU 的工作站可实现 30 Hz 控制频率。部署期间，推理在该工作站上运行。出处：§A.3 · p. 20

• 本节涵盖任务定义和实验细节。出处：B. Task Definition and Experiment… · p. 20

评分

• 任务依据各自专属的评分细则，按 [0, 1] 的任务完成度评分。评分细则为任务进展中的阶段性里程碑设定部分分数。出处：§B.1 · p. 20

Pup Go Car

• Pup Go Car 要求装配车顶和车轮，并进行螺丝固定、钻孔、双手交接以及翻转小车。机器人放置并拧紧车顶，翻转小车，插入并拧紧车轮，再将电钻在双手之间传递。出处：§B.1 · pp. 20–21, Figure A.2 · p. 21

Gear Bot

• Gear Bot 要求在底盘两侧安装齿轮和车轮、将底盘翻转两次、安装机器人头部，并通过遥控驱动它。该任务通过多个安装、翻转、插入和遥控阶段，完成整个玩具模型的装配。出处：Figure A.3 · p. 21, §B.1 · p. 21

Circuit

• Circuit 包含约 80 种由两件或三件组件构成的装配配置，有时还需随后接通电路。评分根据组件数量以及是否包含开关或按钮而有所不同；装配顺序错误不予部分分数。出处：§B.1 · pp. 21–22, Figure A.4 · p. 22

基线

• GR00T N1.7 和 GR00T N1.7 Hist. 使用官方实现；GR00T N1.7 Hist. 还扩展支持输入历史帧。对于 GDN，我们将每个 TTT 层替换为配置匹配的 Gated DeltaNet 层，同时保持层的位置、门控机制和参数量不变。出处：§B.2 · p. 22

评估

• Pup Go Car 和 Circuit 任务各进行 20 次 rollout；Gear Bot 任务以及采用单次人类视频评估的 Circuit 任务各进行 10 次。模型部署在 YAM 双臂桌面机器人上，并记录和复现初始物体摆放，以确保起始条件一致。出处：§B.2 · p. 22