AI 摘要 · 由英文经 AI 翻译
WARP-VLA: Wrist-Camera Adaptation for View-Robust Policy Execution in Vision-Language-Action Models
Junmyeong Lee, Dongmin Shin, Min-Gyu Park, Wooseok Jeon, Inho Chang, Hae-Gon Jeon
TL;DR
相机配置变化会增加 VLA 部署难度,腕部相机尤为明显,因为细微位移就会改变交互线索。WARP-VLA 采用视角专属专家和特征条件路由,无需相机标定;在腕部相机扰动下,π0.5 的平均成功率从 39.2% 提升至 78.3%。
Abstract
from arXiv · showhide
Despite recent advances in Vision-Language-Action models (VLAs) for robotic manipulation, their performance remains sensitive to changes in camera configuration. The problem becomes more evident in cross-setup deployment, as reproducing the exact camera pose used for training is nearly impossible. Unlike fixed external views, wrist views are more challenging because the camera moves with the robot, causing even small mounting variations to alter fine-grained geometric cues. To address this, we propose WARP-VLA, a camera-view robust VLA for diverse wrist camera configurations. WARP-VLA adopts a Mixture-of-Experts (MoE) architecture where individual experts learn view-specific feature transformations, and a router combines them based on implicit view information. This allows the policy to be deployed without requiring camera extrinsic parameters as additional input. Through experiments on the LIBERO benchmark, WARP-VLA improves the average success rate of pi-0.5 from 39.2% to 78.3% under wrist-view perturbations. The real-robot experiments further show that the feature-level adaptation learned in simulation successfully transfers to diverse deployment settings. To facilitate reproducibility and future research, we release our wrist viewpoint robustness benchmark and a plug-and-play implementation.
I. 引言
腕部相机视角的变化会改变精细的交互线索,从而影响 VLA 的部署;而复现训练时的相机配置并不容易。WARP-VLA 无需相机标定即可适配腕部视角特征。实验显示,该方法提升了视角鲁棒性,包括在腕部视角扰动下提高 π0.5 的成功率。
I. 引言
- 腕部相机位姿变化会改变夹爪与物体的空间关系,而在不同安装方式下难以复现原始配置。更广泛地说,相机配置往往没有记录,安装公差或机器人振动也可能导致视角变化。出处:§I · pp. 1–2
- 以往的相机鲁棒性方法往往依赖相机几何信息或合成的目标视角,因此需要进行标定或使用特定于相机的模型。对于腕部相机,不准确的标定会影响对近距离交互的解读。出处:§I · p. 2
- WARP-VLA 采用特定于视角的特征变换和基于特征的路由机制,无需相机标定即可适配腕部视角。该方法被设计为可插拔模块,适用于 VLA 策略。出处:§I · p. 2
- 在腕部相机扰动下,采用 WARP-VLA 后,π0.5 的平均成功率从 39.2% 提升至 78.3%。论文还报告称,相机位置变化后,真实机器人仍能成功抓取物体,而基线方法难以定位物体。出处:§I · p. 2
- 评估将 LIBERO 基准改编为腕部视角测试流程,并报告了该方法在仿真和真实机器人场景下的鲁棒性。研究贡献包括一个视角增强的 LIBERO 数据集,涵盖多种腕部相机配置。出处:§I · p. 2
II. 相关工作
以往的 VLA 研究通过视角增强、相机条件输入、视角合成和几何表征来应对视角变化。本文将自身目标界定为:使受扰动的腕部视角特征适配到冻结 VLA 的规范表征。
A. 视角不变 VLA
- 视角不变 VLA 方法通过扩展训练视角、引入几何或相机线索、转换相机坐标系下的动作,或合成测试视角来提升鲁棒性,但覆盖范围和域适配仍是值得关注的问题。AnyCamVLA 无需重新训练策略,但其新视角合成模型仍需在多视角图像上进行仿真域微调。出处:A. View-Invariant VLAs · p. 2
B. 几何感知 VLA
- 几何感知 VLA 会引入深度或点云线索、将几何先验融入策略组件,或在训练期间依据几何信息对齐特征。使受扰动的腕部视角特征适配到冻结 VLA 的规范表征,仍是一个独特的目标。出处:B. Geometry-Aware VLAs · pp. 2–3
A. 问题定义
WARP-VLA 在推理时无需显式相机参数,即可将受扰动的腕部相机特征适配到规范特征空间。其 MoE 适配器结合学习得到的视角专属变换,并以伪规范锚点为参照,同时保留冻结的视觉编码器和动作策略。
A. 问题定义
- WARP-VLA 将受扰动视角的特征映射到规范特征,并训练适配器为动作策略恢复规范表征。预测得到的规范特征替代受扰动的 token 输入策略。出处:A. Problem Definition · p. 3
- 伪规范锚点对基础策略规范视角微调数据集中的腕部视角特征进行跨帧平均。跨场景和任务取平均,可提供与规范相机配置相关的稳定参照。出处:A. Problem Definition · p. 3
B. 使用混合专家进行规范视角适配
- 有限数量的学习专家对连续腕部相机配置空间中的映射进行建模,并由特征条件路由器融合其输出。适配器置于图像编码器与动作策略之间,保留策略主干网络所需的 token 形状。出处:B. Canonical-View Adaptation with a… · p. 3
- 成对的规范特征为 MoE 适配器提供监督,同时视觉编码器和动作策略保持冻结。在 LIBERO 上训练的适配器可直接用于真实机器人实验,无需进一步训练适配器。出处:Figure 2 · p. 3, B. Canonical-View Adaptation with a… · p. 3
C. 基于空间 token 统计的锚点引导路由
WARP-VLA 根据扰动特征和规范锚点的统计信息,在多个专家之间路由腕部视角特征。不同路由组分别表示平移和倾斜变化,特征统计则为视角偏差提供线索。
C. 基于空间 token 统计的锚点引导路由
- 路由器根据观测到的腕部视角相对于规范表征的偏差,预测各专家的贡献。其输入由扰动视角特征和规范锚点构成;训练时随机混合锚点,以避免对单一规范视角过拟合。出处:C. Anchor-Guided Routing with Spatial… · p. 3
- 路由器表征结合了扰动视角与锚点之间残差的通道级激活和空间 token 统计量。空间统计量有助于区分不同扰动轴;比较残差特征与锚点特征,则可降低对场景和任务特定视觉内容的依赖。出处:C. Anchor-Guided Routing with Spatial… · pp. 3–4
- Figure 3 展示了 13 个径向—角度目标区域以及路由器选出的径向组和角度组;点的位置表示真实偏移量,颜色表示路由预测。路由器对平移专家组和倾斜专家组分别使用独立分布。出处:Figure 3 · p. 4, C. Anchor-Guided Routing with Spatial… · p. 4
- WARP-VLA 使用 15 个专家:其中 13 个覆盖径向距离和方位角空间中的平移区域,另外两个覆盖倾斜;路由在各组内独立归一化。因子化路由可表示平移和倾斜变化的组合,且不同视角因素之间不会相互竞争。出处:C. Anchor-Guided Routing with Spatial… · p. 4
D. 采用低秩分解的视角特定专家
每个视角特定专家通过与伪规范锚点进行交叉注意力,将受扰动的腕部特征变换到规范特征空间。各专家共享同一变换,并叠加紧凑的低秩残差,使其适配不同视角区域。
D. 采用低秩分解的视角特定专家
- 每个专家以受扰动的腕部 token 为查询,以伪规范锚点为键和值,生成规范视角特征。最终的适配表示通过路由权重融合各专家的输出。出处:D. View-Specific Experts with Low-Rank… · p. 4
- 各专家共享交叉注意力 Transformer 变换,并采用专家特定的低秩残差来适配不同视角区域。共享部分捕捉不同视角间共通的适配,残差则捕捉依赖视角的修正,避免为每个专家重复配置完整的 Transformer。出处:D. View-Specific Experts with Low-Rank… · p. 4
- 每个专家的共享投影矩阵对应 Transformer 模块中的注意力投影或前馈投影。专家特定的低秩因子仅增加少量参数,同时保留各自专属的视角变换。出处:D. View-Specific Experts with Low-Rank… · p. 4
- 所有专家起初采用相同的规范视角恢复函数,并在训练过程中逐渐专门化。专家特定的残差因子经过初始化,使各专家起初共享相同的交叉注意力变换。出处:D. View-Specific Experts with Low-Rank… · p. 4
E. 训练目标
WARP-VLA 训练视角特定专家重建规范视角特征,并训练路由器依据估计的责任度选择专家。推理时无需姿态监督,路由仅使用输入的腕部视角特征。
E. 训练目标
- 专家重建损失与路由监督损失共同促使专家专门化,并实现视角感知路由。专家损失分别衡量各专家的重建效果,而路由器则通过匹配估计的专家责任度进行训练。出处:E. Training Objective · pp. 4–5
- 通过责任度加权的重建监督各专家,以恢复规范视角特征,并使其专门处理对应的相机配置区域。独立的专家级重建可在特征适配过程中保留空间对应关系。出处:E. Training Objective · p. 5
- 责任度综合路由概率、重建质量和训练时的姿态先验;在边界附近,重叠的姿态区间会共享责任度。教师姿态先验和规范目标仅用于训练;推理时,路由器根据腕部视角特征的残差预测权重,无需相机参数或对策略进行微调。出处:E. Training Objective · p. 5
A. 实现细节
WARP-VLA 使用视角增强的 LIBERO 演示数据进行训练,并采用共享专家变换和轻量级路由专家。论文还展示了真实机器人工作空间及相机观测。
A. 实现细节
- 来自 40 个任务和四个套件的 2,000 条 LIBERO 演示数据,分别在十种经过扰动的腕部相机配置下重新渲染。偏移在半圆形平移区域内采样,其中 r ≤ 6 cm、θ ∈ [0°, 180°],倾斜范围为 τ ∈ [0°, 10°];其他设置保持不变。出处:A. Implementation Details · p. 5
- WARP-VLA 使用由八个模块组成的共享 ViT 变换,并配备 15 个路由专家和秩为 16 的低秩参数化。模型使用 Adam 训练 10,000 步,批量大小为 4,096,学习率为 3 × 10−4;在八张 GPU 上训练约 30 小时。出处:A. Implementation Details · p. 5
- 真实机器人设置图展示了操作工作空间,以及来自外部相机和腕部相机的示例观测。该图直观呈现了两种相机视角。出处:Figure 4 · p. 5
B. 仿真实验
WARP-VLA提升了仿真中的腕部视角鲁棒性,在扰动条件下优于具备相机感知能力的基线方法,并且无需进一步微调即可迁移至LIBERO-Plus。评估在两个基准上测试了标准和受扰动的相机配置。
B. 仿真实验
- 评估涵盖标准、小、中、大四种腕部相机条件;在每个非零扰动等级下均包含14种配置。LIBERO在每个扰动等级下使用560个回合;LIBERO-Plus在每个等级下的10K个回合中轮换测试这14种配置。出处:B. Simulation Experiments · p. 5
- π0.5在LIBERO上的平均成功率为39.2%;GAM在标准条件下的成功率为98.4%,在大幅扰动下则降至33.4%。该表汇总了LIBERO和LIBERO-Plus在腕部视角扰动下的成功率。出处:B. Simulation Experiments · p. 6, Table I · p. 6
- WARP-VLA在受扰动等级上的平均成功率分别比AnyCamVLA和KYC高6.0和16.0个百分点。在小幅扰动等级下,WARP-VLA的成功率也高于AnyCamVLA;据报告,这一比较优势源于特征空间适配,而非标准视角合成。出处:B. Simulation Experiments · p. 6, Table I · p. 6
- 56.5%:采用π0.5的WARP-VLA在LIBERO-Plus上取得最高平均成功率;AnyCamVLA为54.7%,KYC为30.1%。在LIBERO上训练的适配器无需额外微调即可迁移;它使π0.5和GR00T N1.7的平均成功率分别提高27.7和19.1个百分点。出处:B. Simulation Experiments · p. 6, Table I · p. 6
C. 真实机器人实验
在真实机器人上,WARP-VLA 在腕部相机扰动下优于 π0.5 和 AnyCamVLA。实验采用多个扰动等级的定制支架;定性对比显示,其夹爪与物体的对齐效果更好。
C. 真实机器人实验
- 真实机器人评测采用一个基准支架和九个扰动支架;每种相机配置下,10 个任务各进行五次试验。扰动包括沿 x 轴或 y 轴平移 2、4 或 6 cm,以及倾斜 3°、6° 或 9°;基线策略在每个任务的 50 次示范数据上微调。出处:C. Real-Robot Experiments · p. 6
- 48.7%:WARP-VLA 在相机配置受扰时的平均成功率,较 π0.5 提高 12.0 个百分点,较 AnyCamVLA 提高 8.0 个百分点。在基准设置下,WARP-VLA 的成功率为 80%;该成功率数据汇总了不同扰动等级下的结果。出处:C. Real-Robot Experiments · p. 7, Figure 6 · p. 7
- 定性试验中,π0.5 和 AnyCamVLA 的抓取位置不当,而 WARP-VLA 能将物体置于夹爪两指之间的中央,并完成杯球任务。图中局部放大图展示了方框区域,基线方法的夹爪与物体错位清晰可见。出处:C. Real-Robot Experiments · p. 7, Figure 5 · p. 7
D. 消融实验
消融结果表明,视角特异性专家和基于输入的学习路由有助于提升腕部视角适应的鲁棒性。结论指出,泛化能力受训练相机分布和可用视觉证据限制。
D. 消融实验
- 单一共享适配器虽优于未经适配的 VLA,但在扰动视角下不如 WARP-VLA 鲁棒。作者认为,这一差距源于腕部相机位移和倾斜造成的异质特征变化。出处:D. Ablation Studies · p. 7
- 尽管专家容量相同,均匀融合视角特异性专家的鲁棒性仍低于学习得到的路由。结果表明,MoE 可通过根据观测到的腕部视角调整各专家的贡献而获益。出处:D. Ablation Studies · p. 7
- 路由器选出的分配呈同心带状和角扇区分布,与定义的相机偏移区域相吻合,尽管边界存在一定重叠。偏移量并非路由器的输入;这种吻合表明,腕部图像 token 包含可用于视角相关路由的线索。出处:D. Ablation Studies · p. 8
V. 结论
- WARP-VLA 在 LIBERO 和 LIBERO-Plus 上均提升了鲁棒性,但其泛化仍受训练相机分布和可用视觉证据限制。当与任务相关的区域被完全遮挡或位于视野之外时,它无法完全弥补这一问题。出处:§V · p. 8