PaperlayerView exact revision on arXiv

Source-linked AI summary

BridgeVLA++: A Data-Efficient, Generalizable, and Memory-Augmented Vision-Language-Action Framework for 3D Manipulation

Peiyan Li, Yuze Zhu, Yixiang Chen, Qisen Ma, Yuan Xu, Jiabing Yang, He Guan, Yan Huang, Hongtao Wu, Xiao Ma, Tao Kong, Liang Wang, Tieniu Tan

arXiv:2608.05042v1cs.RO

TL;DR

현재 관측만으로는 완료된 하위 목표를 추적하거나 실행 중 가려진 task-relevant geometry를 활용할 수 없어 기존 3D VLA 방법이 충분하지 않을 수 있다. BridgeVLA++는 다음 행동과 작용 위치를 결정하기 위해 BridgeVLA에 통합된 temporal interaction-history memory와 지속적인 spatial-geometry memory를 결합한다. BridgeVLA++는 두 memory-dependent benchmark에서 state-of-the-art 성능을 달성하고, 기존 benchmark에서는 BridgeVLA와 동등하거나 더 나은 성능을 보이며, 실제 환경의 memory-dependent 성공률을 20.0%에서 93.3%로 높인다.

  • 문제

    현재 관측만으로는 완료된 하위 목표를 추적하거나 실행 중 가려진 task-relevant geometry를 활용할 수 없어 기존 3D VLA 방법이 충분하지 않을 수 있다.

  • 방법

    BridgeVLA++는 다음 행동과 작용 위치를 결정하기 위해 BridgeVLA에 통합된 temporal interaction-history memory와 지속적인 spatial-geometry memory를 결합한다.

  • 결과

    BridgeVLA++는 두 memory-dependent benchmark에서 state-of-the-art 성능을 달성하고, 기존 benchmark에서는 BridgeVLA와 동등하거나 더 나은 성능을 보이며, 실제 환경의 memory-dependent 성공률을 20.0%에서 93.3%로 높인다.

  • 시사점 및 한계

    이 framework는 spatial task, memory-dependent setting, 여러 robot embodiment에 걸쳐 data-efficient하고 generalizable하며 memory-aware한 manipulation을 지원한다.

Abstract

from arXiv · show

Leveraging pre-trained vision-language models (VLMs) to construct vision-language-action (VLA) models has emerged as a promising paradigm for 3D robot manipulation. However, existing 3D VLA methods remain data-hungry, exhibit limited generalization under distribution shifts, and lack explicit memory of past observations. These limitations hinder their application to data-scarce, open-world, and memory-dependent manipulation scenarios. Our previous work, BridgeVLA, improves data efficiency and generalization by preserving the input--output alignment of a pre-trained VLM during 3D action learning: raw point clouds are projected into multi-view images, and intermediate heatmaps are predicted before generating robot actions. In this work, we develop BridgeVLA++ by equipping BridgeVLA with a unified spatio-temporal memory architecture that models persistent spatial context and temporal interaction history. The resulting memory-augmented framework can reason over observation histories while preserving BridgeVLA's data efficiency and generalization capabilities. Extensive experiments show that our framework achieves strong performance on spatial manipulation tasks while exhibiting robust generalization. BridgeVLA++ further achieves state-of-the-art performance on two challenging memory-dependent manipulation benchmarks without sacrificing the data efficiency and generalization of the original BridgeVLA. In addition, BridgeVLA++ performs effectively in bimanual manipulation settings and is validated on an additional real-world robotic platform, demonstrating its scalability across tasks, environments, and robotic platforms. These results establish BridgeVLA++ as a unified 3D vision-language-action framework that simultaneously supports data-efficient learning, robust generalization, and effective memory-aware robot manipulation. Project website: https://bridgevla-plus.github.io/.

I. 서론

서론에서는 3D VLA를 VLM의 의미적 일반화와 3D 기하 효율성을 결합하는 방법으로 제시한 뒤, BridgeVLA++를 이력 의존적 조작을 위한 memory-augmented 확장으로 소개한다. 또한 시뮬레이션에서의 state-of-the-art 결과, 실제 환경에서의 성능 향상, 양손 조작 능력, embodiment 간 확장성을 요약한다.

  • 동기: 기존 3D VLA, 는 autoregressive action token을 통해 공간적 관찰-행동 대응을 잃고, 2D-to-3D modality gap에 직면하며, 가려진 물체나 이력 의존적 작업을 위한 memory가 부족하다.이러한 한계는 data efficiency, VLM prior transfer, 명시적 3D 기하 활용을 저해하며, 현재 관찰만으로는 충분하지 않을 때 올바른 행동을 선택하기 어렵게 한다.
  • BridgeVLA: BridgeVLA는 point cloud를 multi-view image로 투영하고 3D end-effector 위치로 back-project되는 2D heatmap을 예측함으로써 VLM pre-training과 3D 조작을 정렬한다.언어 조건부 object-grounding pre-training 전략은 heatmap 지식을 downstream robot action prediction으로 전이한다.
  • 시뮬레이션 결과: BridgeVLA는 RLBench, COLOSSEUM [14], GemBench 에서 state-of-the-art 성능을 달성하며, BridgeVLA++는 memory-dependent RMBench [16]와 MemoryBench 에서 state-of-the-art 결과를 달성한다.BridgeVLA++는 data efficiency와 generalization을 유지하면서 기존 benchmark에서 BridgeVLA와 동등하거나 더 우수한 성능을 보인다.
  • 실제 환경 검증: 실제 로봇에서 BridgeVLA는 강력한 baseline을 평균 32% 앞서며, BridgeVLA++는 BridgeVLA 대비 memory-dependent 성공률을 20.0%에서 93.3%로 높인다.실험은 Franka Research 3와 Dobot CR5A에서 수행되었으며, visual perturbation, 미등장 category와 instruction, memory-independent 및 memory-dependent 작업을 포함한다.
  • BridgeVLA++: BridgeVLA++는 unified spatio-temporal memory를 도입한다. temporal history는 다음에 무엇을 할지 결정하고, persistent spatial geometry는 정확히 어디에서 행동할지를 결정한다.Spatial memory는 이전의 덜 가려진 장면을 다시 렌더링하며, arm-specific action head를 통해 두 팔 사이에서 공유될 수 있다.

II. 관련 연구 … A. 문제 정식화

이 논문은 언어 조건부 2D 및 3D vision-language-action 모델을 검토하고, 3D reasoning으로의 발전과 현재 관측만으로 충분하지 않을 때 memory가 필요하다는 점을 강조한다. 이어 BridgeVLA의 multi-view heatmap 정식화를 제시하고, BridgeVLA++가 유지된 interaction 정보로 확장하는 keyframe 기반 memory-free manipulation 문제를 정의한다.

  • A. 언어 조건부 시각-운동 정책: 2D VLA policy는 일반적으로 transformer를 사용해 visual input과 language condition을 3D manipulation action으로 매핑하며, 복잡한 skill 학습을 위해 pre-trained VLMs를 활용하는 경우가 많다,,, –.
  • B. 3D Vision-Language-Action (VLA) 모델: 3D VLA 연구는 여전히 상대적으로 덜 탐구되었으며, 일부 방법은 vision-language policy에 3D reasoning, robotic representation, point-cloud fusion 또는 3D positional encoding을 통합한다,, [31],,.
  • C. Memory-Dependent Manipulation: BridgeVLA를 포함한 기존 VLA 및 3D manipulation policy 대부분은 Markovian하며 현재 observation만으로 action을 예측한다. 이는 task에 temporal context나 가려진 spatial geometry가 필요한 경우 충분하지 않다.
  • III. BRIDGEVLA: BridgeVLA는 관측된 point cloud를 orthographic view로 rendering하고 language-conditioned multi-view heatmap을 예측함으로써 3D manipulation input과 output을 공유된 2D 공간에 정렬한다.
  • III. BRIDGEVLA: 예측된 heatmap은 3D waypoint를 위치화하며, 이후 point cloud를 crop하고 확대해 다시 rendering한 뒤 heatmap을 back-project하여 다음 end-effector translation을 복원한다.
  • A. 문제 정식화: 이 문제는 language-conditioned multi-task 3D manipulation에 대한 expert demonstration을 사용하며, 각 RGB-D observation은 decision step t에서 expert action과 쌍을 이룬다.
  • A. 문제 정식화: 희소한 keyframe decision point에서 single-arm action은 target translation, rotation, gripper state, 그리고 선택적으로 collision-avoidance flag를 지정한다,,.이 action component를 제공하지 않는 benchmark에서는 collision flag를 생략한다.
  • A. 문제 정식화: motion planner 또는 low-level controller가 이를 실행하면 observation이 갱신되고, task가 완료되거나 step limit에 도달할 때까지 policy가 다음 keyframe을 예측한다. BridgeVLA++는 유지된 이전 interaction을 이 과정의 조건으로 사용한다.

B. 2D-Heatmap 사전 학습

BridgeVLA++는 VLM의 비구조화된 token 생성을 heatmap prediction을 통한 언어 조건부 2D spatial localization으로 변환하는 사전 학습 단계를 추가한다. 이렇게 얻은 backbone과 decoder는 3D action fine-tuning으로 전이되며, 공간적으로 변환 가능한 annotation을 갖는 dataset을 사용할 수 있다.

  • 동기와 기여: 추가된 사전 학습 단계는 2D heatmap prediction을 통해 VLM이 언어로 지정된 object를 ground하도록 학습하며, 사전 학습 출력을 공간적으로 정밀한 robot action 학습에 맞춘다.이는 비구조화된 token 생성에 기반한 output interface를 공간적으로 구조화된 localization으로 대체한다.
  • Heatmap supervision: RoboPoint [48]의 120K object-detection split을 사용해 각 image-prompt sample을 prompt된 object에 대한 spatially truncated Gaussian map으로 변환한다.여러 target object가 있는 경우 map을 평균하고 정규화해 하나의 ground-truth heatmap으로 만든다.
  • Model architecture: SigLIP vision encoder 와 Gemma transformer [51]를 결합한 PaliGemma [49]는 convex upsampling이 full-resolution heatmap을 decode하기 전에 image token을 2D patch grid로 재배열한다.Convex upsampling은 공간에 따라 변하는 interpolation weight를 예측해 고정된 bilinear 또는 nearest-neighbor interpolation보다 정밀한 localization을 가능하게 한다.
  • 전이와 확장성: heatmap 사전 학습을 거친 VLM backbone과 decoder는 3D action fine-tuning으로 전이되며, 이 formulation은 annotation을 object center, keypoint 또는 segmentation region으로 변환할 수 있는 dataset을 사용할 수 있다.이는 robot action을 token sequence로 표현하는 방식 [11], 에 대한 확장 가능한 대안을 제공한다.

C. 3D Action Fine-Tuning

BridgeVLA는 multi-view heatmap과 명시적 3D geometry를 통해 사전 학습된 VLM을 fine-tuning하여 proprioceptive input 없이 정밀한 robot action을 예측한다. 이 coarse-to-fine interface는 원래의 action 설계를 유지하면서 BridgeVLA++의 stage-specific temporal 및 spatial memory를 유도한다.

  • 3D Action Fine-Tuning: RGB-D observation을 colored point cloud로 재구성하고 top, front, right orthographic view로 렌더링한 뒤, language와 함께 처리하여 translational heatmap을 예측한다.VLM은 순수하게 image-and-language 기반으로 유지되어 2D heatmap pre-training과 3D policy fine-tuning 사이의 distribution shift를 줄인다.
  • Translation prediction: 후보 3D workspace 위치는 projected multi-view heatmap 값들을 집계해 점수화하며, highest-scoring candidate가 다음 keyframe의 end-effector translation이 된다.이를 통해 observation, heatmap output, 3D translational action 사이의 geometric correspondence를 유지한다.
  • Rotation, gripper, and collision prediction: Rotation, gripper state, collision avoidance는 선택된 translation 주변의 global multi-view context와 local feature로부터 공동 예측된다.Rotation에는 연속적인 6D representation을 사용하고, gripper 및 collision output에는 two-class softmax prediction을 사용한다.
  • Coarse-to-fine refinement: Coarse-to-fine refinement는 먼저 전체 workspace에서 translation을 localization한 다음, shared-parameter VLM을 magnified crop에 적용하여 final precise position을 생성한다.Coarse stage는 global localization을 지원하고, fine stage는 fine-grained manipulation의 precision을 향상한다.
  • BridgeVLA++ motivation: BridgeVLA++는 coarse-stage representation에 temporal memory를, fine-stage representation에 spatial memory를 추가하여, BridgeVLA의 heatmap interface와 action parameterization을 유지하면서 memory-conditioned policy를 구성한다.Coarse stage는 interaction history와 완료된 sub-goal을 사용할 수 있고, fine stage는 locally occluded geometry의 spatial context를 활용할 수 있다.

IV. BRIDGEVLA++ · A. 개요 · B. 조기 단계 추론을 위한 시간 메모리

BridgeVLA++는 BridgeVLA를 메모리가 없는 policy에서 상호보완적인 시간 메모리와 공간 메모리를 사용하는 memory-conditioned framework로 확장한다. 이러한 메모리는 interaction history를 바탕으로 조기 단계 결정을 지원하고, target geometry가 가려진 경우 세부 단계 localization을 지원하며, VLM의 visual token space에서 작동한다.

  • A. 개요: BridgeVLA++는 메모리가 없는 BridgeVLA policy를 각 decision step에서 사용할 수 있는 episode memory로 확장한다.이 확장은 현재 observation만으로는 완료된 sub-goal이나 task-relevant occluded geometry를 확인할 수 없는 경우를 다룬다.
  • A. 개요: episode memory는 interaction history를 요약하는 temporal memory와 이전에 관측한 scene geometry를 보존하는 spatial memory를 결합한다.이 두 구성요소는 현재 observation을 넘어 상호보완적인 정보를 제공한다.
  • A. 개요: temporal memory는 다음에 무엇을 할지에 대한 조기 단계 결정을 안내하는 반면, spatial memory는 부분적으로 가려진 상황에서 어디에 작용할지에 대한 세부 단계 결정을 지원한다.이러한 구분은 BridgeVLA의 coarse-to-fine action prediction을 보완한다.
  • A. 개요: 두 메모리는 모두 VLM의 visual token space에서 표현되고 처리되므로, BridgeVLA의 기존 heatmap-based pathway를 수정하지 않고도 통합할 수 있다.제공된 본문은 통합이 기존 heatm…을 수정하지 않는다고 서술하므로, pathway에 대한 설명은 인용된 heatmap-based formulation으로 제한된다.
  • B. 조기 단계 추론을 위한 시간 메모리: 조기 단계는 approximate target region을 예측하고 rotation, gripper-state, collision-avoidance prediction을 위한 feature를 제공한다.이러한 결정은 최근 interaction과 전반적인 task progress에 의존하므로, temporal memory가 조기 단계 representation을 보강한다.
  • B. 조기 단계 추론을 위한 시간 메모리: temporal memory는 initial anchor views, recent neighboring keyframes, adaptively selected sub-goal keyframes를 조기 단계 visual token으로 저장한다.이 구성요소들은 각각 초기 scene reference, 단기 transition context, 완료된 sub-goal에 대한 장기 evidence를 보존한다.

1) 초기 Anchor View: … C. Occlusion-Robust Fine Localization을 위한 Spatial Memory

BridgeVLA++는 고정된 초기 anchor view, 동적 temporal keyframe, adaptive sub-goal retention, persistent spatial point-cloud reference를 결합해 진행 상황 추론과 occlusion-robust fine localization을 지원한다. 이러한 memory는 전역 맥락, interaction history, 유용한 milestone, 과거에 관측된 geometry를 보존하면서 현재 관측을 보완한다.

  • 1) 초기 Anchor View:: 초기 anchor view A0는 실행 전반에서 scene 변화 식별과 task progress 추론을 위한 일관된 전역 기준을 제공한다.초기 point cloud는 coarse stage의 세 orthographic view로 rendering되며, 해당 virtual camera는 고정된 상태로 유지된다.
  • 2) History Keyframe:: 동적 history memory는 최근 인접 keyframe과 대표적인 sub-goal observation을 결합해 즉각적인 전이와 장기적인 task progress를 인코딩한다.인접 buffer는 실행된 최신 n = 2개 keyframe을 저장하고, sub-goal keyframe은 adaptive하게 선택된 유용한 milestone을 기록한다.
  • 3) Adaptive Sub-Goal Keyframe Selection:: Adaptive selector는 예측된 retention probability가 사전 정의된 threshold를 초과할 때만 keyframe을 유지해 sub-goal memory의 redundancy를 줄인다.Learnable query가 memory-conditioned image token을 요약하고, 작은 MLP가 retention probability를 예측한다.
  • 3) Adaptive Sub-Goal Keyframe Selection:: Selector는 memory-conditioned token을 평가하므로, temporal memory가 이미 표현한 정보 이상의 정보를 추가하는 observation을 유지할 수 있다.이 selection은 pre-memory token이 아니라 temporal-memory integration 이후에 수행된다.
  • C. Occlusion-Robust Fine Localization을 위한 Spatial Memory: Spatial memory는 현재 crop이 가려졌을 때 fine localization을 위한 덜 가려진 geometry reference로 초기 colored point cloud P0를 저장한다.Coarse stage가 waypoint를 예측한 후, P0는 이후 fine-stage crop과 동일한 viewpoint 및 zoom configuration을 사용해 다시 rendering된다.
  • C. Occlusion-Robust Fine Localization을 위한 Spatial Memory: Spatial memory는 canonical initial point cloud의 persistent geometry와 최신 current state를 결합해 현재 observation을 대체하지 않고 보완한다.이 adaptive zoom alignment를 통해 하나의 P0 reference가 변화하는 fine-stage crop을 지원할 수 있다.
  • C. Occlusion-Robust Fine Localization을 위한 Spatial Memory: 예측된 waypoint와 zoom transformation을 current 및 initial point cloud 모두에 적용하면 fine-stage comparison을 위한 geometrically aligned view가 생성된다.Aligned reference는 fine-stage virtual camera를 통해 rendering되고 visual token으로 인코딩된다.
  • C. Occlusion-Robust Fine Localization을 위한 Spatial Memory: View-specific attention을 사용하면 각 current-view token이 대응하는 reference-view memory token에만 attend할 수 있어, 정렬된 spatial correspondence를 보존한다.Current observation은 최신 scene state를 포착하고, spatial memory는 현재 가려졌을 수 있는 과거에 관측된 geometry를 제공한다.

D. 메모리 통합 … 1) 학습:

BridgeVLA++는 경량 attention module을 통해 temporal memory와 spatial memory를 통합하면서 BridgeVLA의 downstream processing pipeline을 유지한다. Scene-level memory 설계는 bimanual manipulation을 지원하며, 학습 과정에서는 일관된 memory를 구성하고 action 및 sub-goal prediction을 감독한다.

  • D. 메모리 통합: Temporal memory는 coarse-stage representation을 조건화하고, spatial memory는 compact attention module을 통해 fine-stage representation을 조건화한다.각 memory-injection block은 현재 visual token을 query로, memory token을 key와 value로 사용한 뒤 self-attention 및 feed-forward update를 수행한다.
  • D. 메모리 통합: Historical projection image 대신 encode된 visual-token grid를 cache하므로, episode 전체에서 재인코딩 없이 재사용할 수 있다.각 cached observation의 shape은 R_V × N × d이며, V는 orthographic view 수, N은 view당 visual token 수, d는 token dimension이다.
  • D. 메모리 통합: Memory-injection module은 token-grid shape을 유지하므로 BridgeVLA의 convex-upsampling module과 action-prediction head는 변경 없이 유지된다.Temporal 및 spatial injection module은 각각 약 168M 및 84M parameter를 추가하며, adaptive sub-goal selection은 약 18M parameter를 추가한다.
  • E. Bimanual 확장: Scene-level temporal memory와 spatial memory는 arm 간에 공유되며, 복제된 convex-upsampling module과 MLP action head가 arm별 bimanual action을 생성한다.VLM backbone, episodic memory, adaptive selection module은 공유되어 계산 비용이 가장 큰 component의 중복을 피한다.
  • F. 학습 및 추론 세부사항: 학습 중 memory는 preceding expert-demonstration observation으로 구성되며, initial observation을 temporal anchor이자 spatial reference로 사용한다.인접 observation과 annotation된 sub-goal keyframe은 이전 execution step에서 선택된다.
  • 1) 학습:: 기하학적 일관성을 유지하기 위해 current observation, memory observation, ground-truth action에 동일한 random rigid-body augmentation을 적용한다.목적 함수는 BridgeVLA의 action-prediction loss와 현재 keyframe을 sub-goal keyframe으로 유지해야 하는지를 감독하는 binary cross-entropy를 결합한다.
  • 1) 학습:: Bimanual task에서는 base loss가 두 arm의 action loss를 모두 포함하며, shared adaptive selection module은 하나의 sub-goal supervision loss를 받는다.이는 두 arm별 action prediction에 걸쳐 sub-goal selection supervision을 공유한다.

2) 추론: … B. COLOSSEUM & GemBench: 일반화

BridgeVLA++는 시공간 메모리를 추가하면서도 BridgeVLA의 분포 외 강건성을 유지하며, COLOSSEUM과 GemBench에서 BridgeVLA와 대등하거나 더 나은 성능을 보인다. 평가에는 RLBench에서의 메모리 구성과 일반적인 3D 조작도 포함된다.

  • 2) 추론:: 에피소드 시작 시 추론은 temporal anchor views와 spatial point-cloud reference P0를 구성하며, 나머지 temporal-memory 슬롯에는 zero padding을 적용한다.각 action 이후 현재 관측의 image tokens가 인접한 keyframes로 temporal buffer에 입력되며, adaptive selection을 통해 sub-goal keyframes를 유지할 수 있다.
  • V. 실험: 실험에서는 학습, 분포 이동 강건성, 아키텍처 구성 요소, 10 demonstrations를 활용한 플랫폼 간 배포, 메모리 의존적 조작을 평가한다.평가는 simulation 및 real-world 환경을 아우르며 BridgeVLA와 BridgeVLA++를 모두 평가한다.
  • A. RLBench: 일반적인 3D 조작: RLBench는 네 대의 RGB-D cameras를 사용하는 Franka Panda로 18개의 multi-task 조작 설정을 평가하며, non-prehensile, pick-and-place, precision insertion 과제를 포함한다.이 benchmark는 CoppeliaSim을 사용하며 기존 평가 프로토콜을 따른다.
  • A. RLBench: 일반적인 3D 조작: BridgeVLA는 voxel-space PerAct, point-scoring Act3D, SAM2Act를 포함한 최신 2D 및 3D baseline들과 비교된다.SAM2Act는 RLBench에서 이전의 최신 방법으로 식별되며 SAM2와 multi-view transformer를 통합한다.
  • A. RLBench: 일반적인 3D 조작: BridgeVLA는 18개의 RLBench 과제에서 평균 90.5%의 성공률을 달성해 SAM2Act보다 3.7 percentage points 높았으며, 새로운 최신 성능을 확립했다.이 향상은 Stack Cups와 같은 정밀도가 중요한 과제에서 특히 두드러지며, 각 view의 조밀한 heatmap localization을 뒷받침한다.
  • B. COLOSSEUM & GemBench: 일반화: COLOSSEUM은 12개의 미관측 perturbation axes와 원래 및 joint perturbation이 적용된 RLBench 설정을 테스트하며, GemBench는 새로운 objects와 compositions에 대한 계층적 일반화를 테스트한다.COLOSSEUM은 object 및 receptacle properties, backgrounds, lighting, distractors, camera pose를 변화시킨다.
  • B. COLOSSEUM & GemBench: 일반화: BridgeVLA++는 COLOSSEUM에서 BridgeVLA의 64.0% 대비 65.2%를, GemBench에서 50.0% 대비 51.1%를 달성해 일반화를 유지한다.비교에는 14개의 COLOSSEUM conditions와 새로운 rigid 및 articulated objects, 미관측 object–color compositions에 대한 GemBench의 계층적 일반화가 포함된다.

C. RMBench: Memory-Dependent Bimanual Manipulation … 2) Memory-Augmented Manipulation:

BridgeVLA++는 양손, 단일 팔, 실제 환경에서 강력한 memory-dependent manipulation 성능을 달성하면서 base model의 일반적인 manipulation 능력을 유지한다. 표적화된 spatio-temporal memory를 통해 높은 data efficiency와 task 및 platform 전반의 강건한 transfer를 바탕으로 episodic reasoning을 수행한다.

  • C. RMBench: Memory-Dependent Bimanual Manipulation: RMBench에서 96.0% overall success를 달성한 BridgeVLA++는 MemoryWAM을 13.0 points, Mem-0를 54.0 points 앞서며, 9개 task 중 8개에서 최고 또는 공동 최고 성능을 기록한다.RMBench는 task당 50 demonstrations를 바탕으로 short- 및 long-term episodic reasoning을 요구하는 반면, memory-free BridgeVLA는 18.9%만 달성한다.
  • D. MemoryBench: Single-Arm Memory Validation: MemoryBench에서 99.7±0.3% success를 달성한 결과는 BridgeVLA++가 episodic-memory 처리를 양손 coordination에서 단일 팔 시나리오로까지 일반화함을 확인한다.MemoryBench는 단일 팔 memory-dependent 평가를 제공하며, task별 비교는 Appendix I, Table XII에 보고되어 있다.
  • E. Real-World Experiments: 실제 환경 실험에서는 Franka와 Dobot platform에 BridgeVLA 및 BridgeVLA++를 배치해 sample efficiency, generalization, physical memory transfer, base manipulation competence의 보존을 검증한다.평가에는 static ZED 2i camera를 장착한 7-DoF Franka와 external RGB-D camera를 장착한 6-DoF Dobot CR5A가 포함된다.
  • 1) General Manipulation:: task당 단 3 demonstrations로 95.4% success를 달성한 결과는 BridgeVLA의 sample efficiency를 보여주며, 7개 real-world generalization setting 모두에서 RVT-2를 일관되게 능가한다.setting에는 distractor, lighting, background, height, combination, category shift가 포함된다.
  • 2) Memory-Augmented Manipulation:: 세 가지 실제 Dobot memory-dependent task에서 평균 성공률 93.3%를 기록한 BridgeVLA++는 30.0%에 그친 SAM2Act+보다 세 배 향상된 성능을 보였으며, BridgeVLA는 20.0%에 불과했다.비교 대상은 basic setting의 Cover Blocks, Press Button, Swap Eggplant다.
  • 2) Memory-Augmented Manipulation:: 표적화된 spatio-temporal memory는 무차별적 저장과 고정 window retrieval을 피함으로써, 핵심 historical information이 희석되는 문제를 방지하고 SAM2Act+를 능가한다.BridgeVLA++는 pre-trained VLM backbone과 selective spatial 및 temporal memory를 결합해 visual disturbance에 대한 강건성을 확보한다.
  • 2) Memory-Augmented Manipulation:: 두 memory-free Dobot task에서 BridgeVLA++는 모든 setting에 걸쳐 success rate와 generalization 측면에서 BridgeVLA와 같거나 이를 능가하며, memory integration이 foundational manipulation skill을 보존함을 보여준다.memory-free task는 Put in Drawer와 Put on Shelf이다.

F. 절제 연구 · VI. 결론 및 향후 연구

절제 실험은 heatmap 기반 예측, 입력 정렬, temporal memory가 가장 큰 기여를 하며, 다른 구성 요소들도 특정 측면에서 추가 성능 향상을 제공함을 보여준다. 결론에서는 BridgeVLA와 BridgeVLA++를 pre-trained VLM을 기반으로 구축된 alignment 기반 memory-augmented 3D VLA framework로 제시한다.

  • F. 절제 연구: heatmap prediction을 직접적인 target-position regression으로 대체하면 RLBench 평균 성공률이 90.5%에서 31.4%로 급락하고, 세 배 더 큰 batch size가 필요하다.Heatmap은 더 조밀한 supervision, 3D-to-2D projection에서 얻는 spatial prior, VLM의 image-space representation과의 alignment를 제공한다.
  • F. 절제 연구: VLM backbone에 per-pixel 3D position을 추가하면 성공률이 90.5%에서 56.2%로 낮아져, pre-trained image-feature distribution을 보존하는 것이 중요함을 보여준다.3D convolutional fusion module은 spatial cue를 주입하지만 image feature를 VLM pre-training distribution에서 벗어나게 한다.
  • F. 절제 연구: 2D heatmap pre-training을 제거하면 language-related real-world setting에서 BridgeVLA가 RVT-2와 대등한 성능을 내지 못하는 반면, full model은 특히 Combination에서 가장 우수한 성능을 보인다.Pre-training은 제한된 robot trajectory만으로는 제공할 수 없는 language grounding을 heatmap space에서 직접 학습시킨다.
  • F. 절제 연구: 연속적인 6D rotation을 discretized Euler-angle classification으로 대체하면 RLBench 평균 성공률이 90.5%에서 88.2%로 감소하며, 특히 high-precision orientation task에서 그 영향이 크다.6D representation은 near-vertical gripper pose에서도 견고하며 Euler-angle gimbal lock을 피한다.
  • F. 절제 연구: spatial memory S를 제거하면 BridgeVLA++의 RLBench 평균 성능이 93.7%에서 92.0%로 낮아지고, occlusion이 많은 정밀 조작 조건에서 Sort Shape는 72.0%에서 60.8%로 하락한다.이 효과는 arm-induced occlusion 중 세밀한 geometric alignment가 필요한 task에 집중된다.
  • F. 절제 연구: temporal memory T를 제거하면 RMBench 성공률이 96.0%에서 21.3%로 하락해 memory-free base model의 18.9%에 가까워지며, RLBench 성능도 93.7%에서 91.9%로 감소한다.Temporal memory는 안정적인 reference view와 local motion cue를 통해 memory-dependent sequencing과 일반적인 manipulation을 모두 지원한다.
  • VI. 결론 및 향후 연구: 결론에서는 BridgeVLA와 BridgeVLA++를 pre-trained VLM을 기반으로 구축된 효율적인 3D VLA model로 제시하며, multi-view 2D rendering, image-space heatmap, scalable heatmap pre-training을 사용한다.BridgeVLA++는 shared 2D image-space formulation을 유지하면서 memory augmentation을 통해 BridgeVLA의 alignment principle을 확장한다.

부록 … E. 평가 프로토콜

부록에서는 BridgeVLA++의 memory architecture, pre-training 및 fine-tuning 절차, training-data preparation, benchmark별 evaluation protocol을 규정한다. 이러한 설정은 spatial-temporal memory construction, staged optimization, keyframe 및 sub-goal supervision, rendering 및 augmentation 제약, simulation과 real-robot platform 전반의 evaluation을 다룬다.

  • A. Network and Memory Architecture: Memory architecture는 backbone의 2048차원 patch-token space에서 anchor-view, dynamic-keyframe, spatial memory를 위해 두 층, 여덟 헤드로 구성된 injection block 세 개를 사용한다.Anchor block은 세 개의 view를 연결해 view 간 scene 변화를 추적하고, 나머지 memory block은 해당 cached context를 사용한다.
  • B. Pre-Training: 모든 fine-tuning run은 RoboPoint의 120K object-detection split에서 수행한 2D-heatmap pre-training run 하나로 warm-start하며, memory block과 sub-goal gate는 train from scratch한다.Pre-training 설정에서는 detection box에서 ground-truth heatmap을 rendering하고, fine-tuning 이후에도 heatmap prediction을 유지한다.
  • C. Fine-Tuning Details: Fine-tuning은 먼저 PaliGemma를 freeze한 채 external module을 조정하고, 이후 unfrozen backbone과 해당 module을 jointly train하는 two-phase schedule을 사용한다.처음부터 trainable한 component에는 convex upsampling, MLP action head, memory injection block, sub-goal gate가 포함된다.
  • C. Fine-Tuning Details: Memory-enabled training에서는 random in-plane image augmentation을 비활성화하고 workspace를 고정된 scene bounds의 중심에 배치해 cached memory token과의 pixel correspondence를 보존한다.대신 SE(3) augmentation을 현재 observation과 memory input에 공동으로 적용한다.
  • C. Fine-Tuning Details: Memory capacity는 RMBench에서 K=12이며, neighboring keyframe과 최대 ten sub-goal slot을 저장하지만, sub-goal annotation이 없는 다른 경우에는 K=2다.실행된 각 keyframe은 neighboring slot 하나를 차지하고, gated keyframe은 neighboring window를 벗어난 뒤 sub-goal slot으로 들어간다. 그 밖의 rendering에서는 224 × 224 orthographic view 세 개를 사용한다.
  • D. Training Data Preparation: Training data preparation에서는 PerAct heuristic을 사용해 demonstration을 consecutive-keyframe transition으로 변환하며, RMBench에는 bimanual variant와 segment-level sub-goal label을 적용한다.Positive sub-goal label은 각 language segment의 마지막 keyframe을 표시하며, 동일한 segment가 반복되어도 서로 별개의 segment로 유지한다.
  • E. Evaluation Protocol: Dobot suite에서는 memory-free BridgeVLA, memory-augmented BridgeVLA++, SAM2Act+ [17]에 대해 동일한 ten-demonstration training set을 사용하여 다섯 개 task와 일곱 개 instruction을 평가한다.BridgeVLA는 memory 없이 BridgeVLA++와 backbone을 공유하는 반면 SAM2Act+ [17]는 다른 backbone과 retrieval scheme으로 memory를 사용하므로, 이 비교는 backbone 및 retrieval 차이와 memory 효과를 분리한다.

F. 계산 비용 … K. Franka 플랫폼에서의 일반 조작

계산 비용, 일반화, 메모리, ablation, real-world 평가 전반에서 BridgeVLA++는 메모리 의존적 기능을 추가하면서도 BridgeVLA의 강건성을 유지하고 실용적인 inference cost를 유지한다. temporal memory는 history-dependent task에 핵심적이며, real-world 결과는 input–output alignment를 통한 data-efficient manipulation을 뒷받침한다.

  • F. 계산 비용: 100회 trial에서 end-to-end latency는 BridgeVLA가 prediction step당 평균 0.35초, BridgeVLA++가 0.57초다.평가는 run마다 GPU 하나를 사용하며, real-world deployment에는 단일 NVIDIA RTX 4090을 사용한다. 두 latency 수치 모두 control loop의 나머지 시간에 비해 작다.
  • G. COLOSSEUM의 task별 결과: BridgeVLA는 14개의 COLOSSEUM 설정 중 13개에서 기존 방법 중 가장 높은 순위를 기록하며, appearance shift에서 가장 큰 우위를 보인다.table texture, table color, light color, receptacle texture에서 우위는 11–15점에 이른다.
  • H. GemBench의 task별 결과: BridgeVLA++는 68.9%로 GemBench L2에서 가장 높은 결과를 달성하며, L4 성능을 BridgeVLA의 0.0%에서 8.2%로 높인다.BridgeVLA는 L1에서 경쟁력 있는 성능을 유지하고 L3에서 가장 앞서지만, BridgeVLA++는 L1과 L3에서 몇 점을 양보한다. L4 향상은 거의 전적으로 memory extension에서 비롯된다.
  • I. MemoryBench의 task별 결과: BridgeVLA++는 MemoryBench를 거의 해결하며, Table XII에서 SAM2Act 기반 baseline 대비 보이는 margin은 run 간 불안정성보다 소수의 실패 episode를 반영한다.MemoryBench는 button을 누르면 이후에 필요한 visual evidence가 지워지는 세 task를 평가하고, RVT-2, SAM2Act, SAM2Act+와 비교한다.
  • K. Franka 플랫폼에서의 일반 조작: Franka suite는 단순한 pick-and-place부터 long-horizon drawer manipulation까지 아우르는 13개 task를 평가하며, trajectory는 3–9개의 keyframe을 포함한다.demonstration은 expert trajectory keypoint에서 kinesthetic teaching으로 수집한 뒤, 제시된 training 및 evaluation protocol을 따른다.
  • K. Franka 플랫폼에서의 일반 조작: 10개의 demonstration에서 BridgeVLA는 Franka suite에서 π0.5를 75점 넘게 능가하며, sample efficiency의 원천이 shared backbone이 아니라 input–output alignment임을 분리해 보여준다.비교에서는 BridgeVLA에 projected view에서의 heatmap prediction을 사용하고, π0.5에는 별도의 flow-matching action expert를 사용한다.

L. Dobot 플랫폼에서의 메모리 의존 조작 … O. Fine-Tuning 후 객체 Grounding 보존

BridgeVLA++는 두 번째 Dobot embodiment를 사용한 memory-dependent task에서 평가되며, baseline 분석, demonstration 수를 줄인 학습, fine-tuning 시각화를 통해 강건성, 효율성, 보존된 object grounding을 평가한다. 이러한 평가 전반에서 제시된 결과는 안정적인 task 성능, 경쟁 방법의 실패, 세 개의 demonstration으로 최소 7/10 성공, fine-tuning 후에도 유지되는 grounding을 보고한다.

  • L. Dobot 플랫폼에서의 메모리 의존 조작: BridgeVLA++는 RMBench의 세 가지 memory-dependent task family를 실제 Dobot 플랫폼으로 전이하며, 현재 observation만으로는 다음 action을 결정하기 어렵다.구성은 6-DoF Dobot CR5A, ChangingTek CTAG2F90-C parallel-jaw gripper, 하나의 고정형 ZED 2i stereo camera로 이루어진다.
  • M. 실제 로봇 Baseline의 실패 양상: SpatialVLA 는 task당 10 trajectories에서 거의 모든 task에 실패한다. 학습량을 50으로 늘리면 성능이 3.1%에서 28.5%로 상승하지만, 여전히 BridgeVLA에 크게 뒤처진다.본문은 SpatialVLA가 올바른 target을 향해 움직이지도 않는 경우가 많으며, 더 어려운 task에서 특히 취약하다고 설명한다.
  • M. 실제 로봇 Baseline의 실패 양상: BridgeVLA는 평가된 task 전반에서 안정적으로 동작하는 반면, π0.5 [2]는 단순한 pick-and-place에서는 간헐적으로 성공하지만, 불안정하고 이른 gripper 동작을 보이며 복잡한 long-horizon task에서는 실패한다.본문은 π0.5의 복잡한 task 실패 사례로 Put Zebra in Drawer를 제시한다.
  • M. 실제 로봇 Baseline의 실패 양상: ACT 는 workspace 경계 부근에서 일반화 성능이 낮으며, 이는 Gaussian action prior가 주변 영역에 낮은 확률을 할당하는 현상과 일치한다.실패는 demonstration이 조밀하게 포함하는 영역 바깥에 집중된다.
  • M. 실제 로봇 Baseline의 실패 양상: RVT-2 는 가장 강력한 Franka baseline이지만 BridgeVLA보다 강건성이 낮으며, 부정확한 grasp와 inaccurate placement를 보이고 generalization 조건에서는 격차가 더 커진다.비교는 Franka suite와 generalization 설정에서 보고된 실패 양상을 바탕으로 한다.
  • M. 실제 로봇 Baseline의 실패 양상: SAM2Act+ [17]는 고정 크기 history window가 초기 block 색상을 잃고 완료된 button press를 명시적으로 counting하지 못하기 때문에 Dobot memory task에서 실패한다.Cover Blocks에서는 누적된 약 11개의 history step이 거의 중복된 frame으로 채워져 초기 block 색상이 가려진다.
  • N. 3개 대 10개 Demonstration에서의 Sample Efficiency: task당 demonstration을 10개가 아닌 3개 사용해도 BridgeVLA는 모든 task에서 7/10 이상을 유지하며, 대부분의 task에서 10-demonstration model과 동일한 성능을 보인다.Table XVIII에는 task별 해당 success count가 제시되어 있다.
  • O. Fine-Tuning 후 객체 Grounding 보존: robot action data로 fine-tuning한 뒤에도 BridgeVLA는 2D-heatmap pre-training에서 얻은 object grounding을 유지하며, detection target은 annotated box를 중심으로 하는 truncated Gaussian이다.Figures 15와 16은 반복된 multi-view-like input에서 target 구성과 fine-tuned prediction을 시각화한다.

P. 실제 로봇 일반화 설정

실제 로봇 평가는 시각적 방해 요인, 새로운 물체–기술 조합, 미관측 물체 범주를 아우르는 6가지 일반화 설정으로 구성된다. 네 가지 GemBench 수준에 걸친 태스크별 결과, memory ablation, Franka 및 Dobot 플랫폼에서의 검증을 보고한다.

  • 일반화 설정: 6가지 설정에서 distractor, 조명 변화, 배경 변형, 높이가 조정된 물체, 미관측 물체–기술 13개 조합, 미관측 범주의 물체 7개를 평가한다.Distractor object는 target과 유사하고, Lighting은 조명을 끄며, Background는 식탁보를 변경하고, Height는 물체를 서랍이나 상자 위로 올린다.
  • GemBench 평가: 태스크별 GemBench 결과는 새로운 배치, 새로운 강체 물체, 새로운 관절형 물체, 새로운 장기 시계열 태스크를 다룬다.Tables XIII–XVI는 태스크 변형별 20회 trial과 5개 random seed에 대한 mean±std로 success rate를 보고하며, [15]에서 인용한 baseline도 포함한다.
  • Memory 평가: 평가에는 RMBench에서의 memory ablation이 포함되며, full BridgeVLA++를 두 가지 단일 memory 변형 및 memory-free BridgeVLA와 비교한다.Table XVII는 태스크당 100개 episode에 대한 success rate를 보고한다.
  • 실제 로봇 플랫폼: 실제 로봇 검증은 3개와 10개의 demonstration을 비교하는 Franka 실험과, memory-dependent 및 memory-free instruction을 다루는 Dobot 실험으로 구성된다.Table XVIII는 태스크당 10회 trial에 대한 Franka success count를 보고하고, Table XIX는 언어 instruction 및 설정별 10회 trial에 대한 Dobot success count를 보고한다.
Loading 2608.05042v1…