PaperlayerView exact revision on arXiv

Source-linked AI summary

Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Chenfei Wu, Xiong-Hui Chen

arXiv:2606.17846v2cs.ROcs.CVcs.LG

TL;DR

로봇 조작에는 foundation model의 scaling이 진정한 일반화를 이끄는지 검증하는 데 필요한 다양하고 정렬된 데이터가 부족하다. Qwen-RobotManip은 통합 alignment와 대규모 open-source 데이터로 이 문제를 해결하며, OOD 환경 전반에서 기존 모델을 크게 앞선다.

  • 문제

    로봇 조작 데이터는 이질적이고 수집 비용이 높으며 다양성이 제한적이어서, foundation model scaling으로 진정한 일반화를 달성할 수 있는지 분명하지 않다.

  • 방법

    Qwen-RobotManip은 representation, motion, behavioral alignment를 통합하고, 합성한 human-to-robot 데이터와 ~38,100시간 규모의 open-source corpus로 학습을 확장한다.

  • 결과

    Qwen-RobotManip은 21.5포인트의 우위로 RoboTwin-C2R Hard에서 π0.5를 앞서는 것을 포함해 OOD 환경 전반에서 기존 모델을 크게 능가한다(69.4 vs. 47.9).

  • 시사점 및 한계

    이 결과는 로봇 조작 모델이 학습 분포를 넘어 일반화하려면 alignment와 scale이 함께 필요함을 뒷받침한다.

  • 시사점 및 한계

    이 접근법은 synthesis artifacts, 주로 simulation 기반인 OOD 평가, 그리고 반응형 sub-second 제어를 위한 inference 제약에 여전히 제한된다.

Abstract

from arXiv · show

Foundation models in language and multimodality achieve strong generalization by aligning heterogeneous data under a unified formulation and training at scale. In this report, we investigate whether this scaling recipe can be applied to robotic manipulation to achieve genuine generalization. This is challenging because, unlike text, manipulation data is heterogeneous by nature, expensive to collect, and narrow in diversity, making alignment and scale simultaneously difficult. We present Qwen-RobotManip, a generalizable Vision-Language-Action foundation model built on Qwen-VL. Qwen-RobotManip introduces a unified alignment framework across the representation, motion, and behavioral dimensions of manipulation, making large-scale multi-source training coherent rather than conflicting. This alignment capability in turn enables Qwen-RobotManip to absorb manipulation data at a scale that prior training regimes could not sustain. A human-to-robot synthesis pipeline converts egocentric hand demonstrations into robot trajectories across 15 platforms, and a rigorous curation pipeline harmonizes heterogeneous datasets. Using only open-source datasets and human videos without proprietary data collection, Qwen-RobotManip constructs a ~38,100-hour pretraining corpus and exhibits emergent generalization capabilities, including zero-shot instruction following, robustness to perturbations, reactive error recovery, and cross-embodiment transfer. We find that standard benchmarks fail to capture pretraining quality and instead adopt OOD settings including RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF, and RoboTwin-XE. Qwen-RobotManip substantially outperforms prior state-of-the-art models, including $π$0.5, across all OOD settings, ranks 1st in RoboChallenge with a 20% relative improvement, and is validated on real-robot platforms including AgileX ALOHA, Franka, UR, and ARX.

1 서론

QWEN-ROBOTMANIP은 alignment-first scaling 전략을 robotic manipulation에 적용해 unified representation과 large-scale multi-source training으로 heterogeneous embodiment와 data 문제를 다룬다. OOD benchmark로 generalization을 평가하고 네 가지 physical robot platform에서 성능을 검증한다.

  • 동기: 서론은 제한적인 demonstration corpus와 불충분한 alignment가 기존 pretrained prior의 embodiment 및 task 간 전이를 가로막는다고 주장한다.기존 corpus는 제한된 teleoperation setup에 집중되어 있으며, data diversity만으로는 서로 다른 embodiment에서 발생하는 비일관적 signal을 해결할 수 없다.
  • 확장 가능한 data corpus: 이 모델은 open-source robot dataset과 egocentric human demonstration을 결합하고 이를 15개 robot platform에 걸친 trajectory로 합성해 학습 규모를 ∼38,100시간으로 확장한다.다단계 curation pipeline은 heterogeneous source를 조화시키고 signal quality를 보장한다.
  • 평가: QWEN-ROBOTMANIP은 standard in-domain benchmark에 의존하는 대신 genuine generalization과 in-distribution memorization을 구분하도록 설계된 OOD setting을 사용한다.제안된 evaluation suite에는 LIBERO-Plus, RoboTwin-Clean2Rand, RoboCasa365, EBench, RoboTwin-IF, RoboTwin-XE가 포함된다.
  • Alignment framework: QWEN-ROBOTMANIP은 representation, motion, behavioral dimension 전반에 unified alignment를 도입해 multi-source training이 충돌하지 않고 일관되게 이루어지도록 한다.주요 mechanism으로는 canonical masked state-action representation, camera-frame delta pose, in-context policy adaptation이 있다.
  • 실제 robot 검증: QWEN-ROBOTMANIP은 RoboChallenge Table30 v1 generalist track에서 ranks 1st를 기록했으며 AgileX ALOHA, Franka, UR, ARX 전반에서 검증되었다.검증은 in-domain, out-of-domain, few-shot adaptation, zero-shot cross-embodiment transfer setting을 포괄한다.

2 로봇 조작을 위한 데이터 소스

학습 코퍼스는 통합된 curation 아래 로봇 시연, egocentric 인간 조작 동영상, synthetic robot trajectory를 결합한다. 인간 시연을 15개 robot morphology로 retargeting해 약 24,808시간의 합성 데이터를 생성한다.

  • 코퍼스 구성: 코퍼스는 세 가지 상호보완적 modality를 통합한다: multi-platform robot demonstration, egocentric 인간 조작 동영상, human-to-robot conversion으로 생성한 synthetic robot data다.코퍼스는 대규모 heterogeneous data curation을 통해 embodiment, task, environment 전반의 generalization을 지원하도록 설계된다.
  • 로봇 시연: 로봇 시연은 simulation과 실제 환경에서 single-arm, bimanual, dexterous, mobile, humanoid loco-manipulation을 포괄하며, 9개 open-source dataset에서 총 11,000시간을 넘는다.데이터셋은 multimodal sensing과 long-horizon simulated task를 포함해 다양한 hardware platform과 manipulation setting을 다룬다.
  • Egocentric 인간 데이터: Egocentric 인간 손 데이터는 camera perspective가 robot-mounted view와 자연스럽게 정렬되고 수집된 source가 hand-pose annotation을 제공하기 때문에 로봇 시연을 보완한다.EgoDex는 194개 tabletop task에 걸친 338K개 demonstration에서 732 training hour를 제공하며, VITRA는 비구조적 egocentric video에서 약 1M개의 trajectory를 제공한다.
  • Human-to-Robot 합성: Human-to-robot conversion은 morphology gap을 완화하면서 hand trajectory를 robot end-effector의 position, orientation, gripper-width action으로 retargeting한다.Gripper frame은 hand geometry로 구성하며, robot base placement는 representative trajectory keyframe과 reach constraint를 사용해 15개 morphology 각각에 대해 별도로 최적화한다.
  • Human-to-Robot 합성: 각 인간 시연을 15개 bimanual robot configuration으로 rendering해 약 24,808시간의 합성 시연을 생성한다.Configuration에는 Panda, UR5e, ARX-L5, xArm7, Sawyer, Kinova Gen3, IIWA, Jaco, FR3, UR10e, ViperX, WidowX, Piper, YAM, AgileX ALOHA가 포함된다.

3 Qwen-RobotManip: 일반화 가능한 Vision-Language-Action 모델 설계

Qwen-RobotManip은 pretrained vision-language backbone과 flow-matching action expert를 결합하고, canonical state-action representation과 camera-frame action encoding을 통해 이기종 embodiment를 정렬한다. 또한 실행 이력에 조건을 둔 예측으로 parameter-free behavioral adaptation을 가능하게 하며, stochastic context sampling으로 단순한 action copying을 방지한다.

  • Model Architecture: 모델은 multimodal perception과 semantic reasoning을 continuous motor control에서 분리하여, action expert가 세밀한 동작에 특화되는 동시에 backbone은 end-to-end로 공동 학습되도록 한다.아키텍처는 vision-language backbone과 flow-matching action expert를 결합해 high-frequency control을 수행한다.
  • Canonical State-Action Representation: 80차원 canonical state-action vector는 arm state와 action에 공유 semantic slot을 할당하고 추가 자유도를 위한 차원을 예약하여 이기종 embodiment를 통합한다.서로 다른 robot은 template에서 관련 부분집합을 채우며, zero-padding된 차원은 차원별 binary mask를 사용해 loss에서 제외한다.
  • Cross-Embodiment Alignment: Camera-frame delta pose는 시각적으로 유사한 동작을 수치적으로 가까운 action과 정렬하여, 모델이 이기종 데이터에서 cross-embodiment synergy를 추출하도록 돕는다.이 representation은 end-effector motion을 camera frame을 기준으로 표현하여 데이터셋 간 coordinate-frame 불일치를 해소한다.
  • In-Context Policy Adaptation: policy는 동일 episode에서 얻은 최근 observation-action history의 구조화된 window를 현재 action prediction의 조건으로 사용하여 parameter updates 없이 새로운 robot이나 environment에 적응한다.이 in-context mechanism은 deployment 중 신속한 behavioral adaptation을 위해 설계되었다.
  • In-Context Policy Adaptation: Stochastic context sampling은 최근 action chunk를 복사하여 training loss를 최소화하는 것을 방지하고, 누락되거나 부분적이거나 시간적으로 어긋난 context에 대한 robustness를 높인다.deployment에서는 policy가 최근 chunk의 rolling window를 사용하고, training에서는 context subset을 무작위화하여 behavioral-dynamics reasoning을 유도한다.

4 학습

Qwen-RobotManip은 masked flow matching과 auxiliary language supervision을 사용해 일반화 성능을 유지하면서 이질적인 robot-action 및 vision-language 데이터를 공동 학습한다. 이후 generalist supervised fine-tuning을 적용하며, benchmark-specific shortcut learning을 줄이기 위해 선택적으로 target-domain data와 인접한 pretraining data를 혼합한다.

  • Pre-training: Joint training은 multi-source robot demonstrations, egocentric hand videos, human-to-robot trajectories를 vision-language supervision과 9:1 robot-to-VL ratio로 결합한다.VLM stream도 공동 학습해 action-prediction optimization 중 perceptual 및 language capabilities가 저하되는 것을 방지한다.
  • Pre-training: Masked flow matching은 유효한 embodiment-specific action dimensions와 timesteps로 학습을 제한해, active slots의 수와 무관하게 sample이 동일하게 기여하도록 한다.Mask는 공유된 80-dimensional canonical action space에 적용되며, λ = 0.1은 auxiliary VLM next-token supervision의 가중치를 정한다.
  • Supervised fine-tuning: Generalist SFT는 각 deployment domain의 모든 demonstrations를 하나의 model에 결합해, 별도의 specialist policies를 학습하는 대신 모든 target task를 실행하도록 한다.SFT는 complete unfiltered demonstrations에 대해 flow matching만 최적화하고 color-jitter augmentation을 적용한다.
  • SFT limitations: Domain-specific SFT는 제한된 visual 및 instructional diversity를 활용해, 실제 language grounding과 novel contexts에 대한 sensitivity를 유지하는 대신 benchmark patterns를 암기할 수 있다.유사한 train-test visual patterns에서는 scene과 action 사이의 shortcut correlations를 통해 높은 benchmark scores를 달성할 수 있다.
  • Post-training enhancement: Mixed post-training은 distributionally nearby pretraining samples와 benchmark data를 공동 학습해, domain-specific learning을 희석하지 않으면서 robust execution을 유지하고 adaptation을 확장한다.RoboTwin-IF는 visual patterns에서 선택된 default actions에 보상하는 대신, 동일하거나 유사한 visual scenes에서 instructions를 변화시켜 instruction following이 유지되는지를 평가한다.

5 배포

Qwen-RobotManip은 원격 서버에서 inference를 수행하고 WiFi를 통해 observation과 action을 전송한다. Real-Time Chunking (RTC) (Black et al., 2026)은 로봇이 현재 action chunk를 실행하는 동안 다음 action chunk를 생성해 network latency를 숨기므로, 매끄러운 real-time control이 가능하다.

  • 5 배포: 원격 서버 inference는 WiFi로 observation과 action을 전송하며, RTC (Black et al., 2026)는 실행 중에 다음 action chunk를 비동기적으로 생성해 latency를 완화하고 매끄러운 real-time control을 가능하게 한다.RTC는 cloud 기반 inference와 network transmission에서 발생하는 round-trip latency를 효과적으로 숨긴다.

6 실험 · 6.1 표준 벤치마크로 충분한가?

QWEN-ROBOTMAN의 평가는 표준 in-distribution 벤치마크가 대규모 로봇 pretraining의 가치를 가릴 수 있는 반면, OOD 벤치마크는 실제 transfer와 robustness를 드러낸다는 것을 보여준다. 이는 manipulation foundation model을 평가하기 위해 distribution-shifted evaluation을 사용하도록 한다.

  • 6.1 표준 벤치마크로 충분한가?: 평가는 다양한 embodiment와 task type을 포괄하는 robotic manipulation 벤치마크로 구성되며, 130개 task 조합에 걸친 LIBERO의 네 가지 single-arm tabletop suite와 RoboTwin을 포함한다.비교에는 여러 최신 VLA model이 포함되며, 널리 사용되는 표준 벤치마크부터 시작한다.
  • 6.1 표준 벤치마크로 충분한가?: 표준 LIBERO 및 RoboTwin 벤치마크에서 StarVLA와 Ours-scratch는 대규모 robotic pretraining이 없음에도 pretrained π0.5 및 Abot-M0와 비슷하거나 이를 능가한다.Figure 4는 다양한 embodiment와 task type을 포괄하는 두 가지 널리 사용되는 VLA 벤치마크에서 이 비교를 제시한다.
  • 6.1 표준 벤치마크로 충분한가?: training과 evaluation이 동일한 environment 및 task distribution을 공유하기 때문에, 표준 벤치마크에서는 pretrained prior가 transferable value에 거의 기여하지 않는데도 높은 success rate가 나올 수 있다.이는 우연이 아니라 벤치마크의 구조적 특성으로 제시된다.
  • 6.1 표준 벤치마크로 충분한가?: 85.7%에서 10.6%로: StarVLA는 RoboTwin Easy IID에서 RoboTwin-Clean2Rand OOD로 성능이 붕괴하는 반면, distribution shift 환경에서는 π0.5가 scratch-trained model을 크게 능가한다.perturbation severity가 증가할수록 격차가 커지며, 이는 OOD evaluation이 foundation-model quality를 측정하는 올바른 방법임을 뒷받침한다.
  • 6.1 표준 벤치마크로 충분한가?: LIBERO-Plus 및 RoboTwin-Clean2Rand에서 pretrained π0.5는 StarVLA와 Ours-scratch를 뚜렷하게 앞서며, in-distribution evaluation에는 나타나지 않는 transferable value를 입증한다.이러한 OOD 벤치마크는 training condition과 다르며, training from scratch로는 재현할 수 없는 generalization을 드러낸다.
  • 6.1 표준 벤치마크로 충분한가?: 실제 deployment에서는 model이 benchmark의 in-domain distribution에서 높은 순위를 차지하는 데 그치지 않고, 새로운 hardware, workspace 및 task에서 소수의 demonstration만으로 generalize해야 한다.따라서 중요한 특성은 foundation model이 internalize한 generalizable structure의 양이다.

6.2 일반화 능력

QWEN-ROBOTMANIP은 표준 in-distribution 점수가 실제 일반화를 안정적으로 측정하지 못하므로 주로 OOD benchmark에서 평가된다. task, scene, instruction, perturbation, cross-embodiment 설정 전반에서 π0.5를 포함한 기존 방법을 일관되게 능가한다.

  • 전체 OOD 결과: QWEN-ROBOTMANIP은 OOD benchmark 전반에서 기존 state-of-the-art model을 일관되게 능가하며, 평가 난도가 높아질수록 π0.5 대비 우위가 확대된다.LIBERO-Plus에서 7.0 points, RoboTwin-C2R Hard에서 21.5, EBench에서 18.5, RoboCasa365에서 19.0만큼 π0.5를 능가한다.
  • Zero-Shot Cross-Embodiment: QWEN-ROBOTMANIP은 camera-frame EEF action을 사용하면 embodiment 간 zero-shot transfer를 더 효과적으로 수행하며, AgileX ALOHA demonstration만으로 학습했을 때 π0.5의 7.5% 대비 23.9%에 도달한다.Camera-frame alignment는 robot 간 물리적으로 유사한 motion을 수치적으로 가깝게 만들지만, joint-space control은 joint configuration이 robot-specific이므로 transfer 성능이 낮다.
  • Task 및 Scene 일반화: QWEN-ROBOTMANIP은 task, scene, perturbation shift 전반에서 강한 일반화를 보이며, RoboCasa365에서 35.9%, EBench에서 overall success 45.6%, RoboTwin-Clean2Rand에서 Hard 설정 최고 success를 달성한다.EBench에서 composite score 60에도 도달하며, RoboTwin-Clean2Rand에서는 joint-space control로 62.6%, end-effector control로 60.8%를 달성한다.
  • Perturbation 강건성: QWEN-ROBOTMANIP은 복합 perturbation에서도 강건성을 유지하며, EBench 차원 전반에서 44.5–46.8% success를 유지하는 반면 π0.5는 mixed perturbation에서 34.6%에서 23.3%로 하락한다.EBench Table Top에서는 50.0% success와 score 70에 도달해 π0.5의 12.9% success rate를 거의 네 배로 높인다.
  • Instruction Following: QWEN-ROBOTMANIP은 RoboTwin-IF에서 π0.5의 49.6% 대비 72.2%를 달성하며, 5개 instruction-following suite 전반에서 language-conditioned control을 유지한다.target-object grounding, spatial relation, multi-way verb discrimination에서 특히 큰 향상을 보이며, 이는 dual-stream co-training strategy와 다양한 pretraining corpus가 뒷받침한다.

6.3 실제 환경 평가

QWEN-ROBOTMANIP은 in-domain 및 분포가 변형된 CobotMagic ALOHA task 모두에서 강력한 실제 환경 성능을 보이며, π0.5와 StarVLA를 크게 앞선다. 더 광범위한 real-robot 평가에서도 양손 협응, 견고한 pick-and-place, 재시도 기반 복구, 어려운 long-horizon task에서의 성능 향상을 입증한다.

  • In-Domain Evaluation: CobotMagic ALOHA에서 평균 ID success 88.6%를 기록해 π0.5의 42.9%와 StarVLA의 20.0%를 앞섰으며, 5회 trial 모두에서 5개 task를 해결했다.towel-folding에서는 4/5를 유지했지만 yellow-disc-insertion에서는 2/5로 하락해, 정밀한 insertion이 주요 약점임을 드러낸다.
  • Out-of-Domain Evaluation: scene, object, instruction이 변형된 CobotMagic ALOHA에서 평균 OOD success 87.5%를 기록해 π0.5의 37.5%와 StarVLA의 0.0%를 앞섰다.QWEN-ROBOTMANIP은 target-object-in-basket과 left-right-bowl-stacking에서 완벽한 success를 달성했으며, 더 어려운 tool-on-towel task에서도 효과적으로 수행했다.
  • Multi-Platform Evaluation: Table30 v1에서 success 45%와 process score 59.83을 기록해 DM0_generalist보다 success에서 8 percentage points, process score에서 11.4 points 높았다.30개 benchmark task에서 QWEN-ROBOTMANIP은 tight bimanual-coordination task 평균 40%를 기록해 π0.5의 21.2%를 앞섰으며, pour fries into plate에서 성공한 유일한 model이다.
  • Multi-Platform Evaluation: 12개 cross-embodiment pick-and-place task에서 평균 success 63.3%를 기록해 DM0를 15.0 percentage points 앞섰다.task는 단일 object grasping부터 4개 또는 5개 object의 sequential manipulation까지 4개 platform에 걸쳐 구성된다.
  • Emergent Retry Behavior: QWEN-ROBOTMANIP은 picking, placing, pouring, folding, wiping, sweeping 전반에서 실패한 action을 자발적으로 재시도하며 self-correction을 통해 fault tolerance를 높인다.이 동작은 중간 실패로 인해 task-level failure가 발생하는 상황에서도 복구를 가능하게 하며, object를 떨어뜨린 뒤 반복적으로 시도하는 사례에서 이를 확인할 수 있다.
  • Challenging Tasks: 어려운 실제 환경 task에서 previous SOTA method의 5%에 비해 success 36.7%를 달성했으며, arrange paper cups에서 70%, sort electronic products에서 50%를 기록했다.plug in network cable과 pour fries into plate에서 최소 30%에 도달한 유일한 model이며, make vegetarian sandwich에서 0이 아닌 success를 보인 유일한 model이다.

6.4 Ablation Study

Ablation 결과는 aligned action representation이 예측 가능한 cross-embodiment scaling과 downstream 성능 향상을 가능하게 하며, human-to-robot synthesis, VL co-training, structured prompting, in-context adaptation이 각각 특정 조건에서 robustness 또는 transfer를 높인다는 것을 보여준다.

  • Action space alignment: Unified representation은 1%–100% 데이터에서 validation-MSE가 대략 log-linear하게 감소하도록 하며, 반면 unaligned action field는 데이터가 늘어도 일관되게 이득을 얻지 못한다.실험은 nested data subset과 15개 embodiment type 및 154개 unseen task를 포괄하는 고정 OOD set을 사용하며, Figures 18 and 19는 prediction scaling과 downstream RoboTwin-C2R 성능을 연결한다.
  • Embodiment prompts: RoboTwin-Clean2Rand에서 natural-language embodiment prompt는 soft prompt보다 소폭 향상되며, structured prompt는 거친 identity만 사용하는 것보다 더 강한 conditioning을 제공한다.Prompt ablation은 speed를 500으로 설정한 OOD joint-control evaluation에서 early checkpoint를 사용한다.
  • In-context policy adaptation: In-context adaptation은 static embodiment prompt를 넘어 동적 behavioral 정보를 추가하지만, zero-padded initial context는 motion을 지연시킬 수 있어 context-conditioned variant와 context-free variant를 모두 사용하게 한다.Context가 없으면 네 번의 denoising step만으로 관측된 jitter 없이 안정적인 behavior가 가능하며, 따라서 deployment configuration은 빠른 response와 더 풍부한 intra-episode adaptation 사이에서 절충한다.
  • Human-to-robot synthesis: RoboTwin-Clean2Rand Hard에서 58.7%, Robot-only보다 +4.0, +Ego보다 +3.7이라는 결과는 human-to-robot synthesis가 robustness를 향상시킴을 보여주며, Easy도 72.9 → 73.4 → 74.2로 상승한다.LIBERO-Plus에서는 +H2R이 평균 success를 87.1%에서 89.0%로 높이고, Camera gain이 +7.2로 가장 크며 72.8 → 80.0으로 증가한다.
  • VL data co-training: VL data를 제거하면 LIBERO 성능은 0.9 및 1.2 point 소폭 하락하지만, RoboTwin-Clean2Rand easy와 hard는 각각 6.7 및 8.2 point로 훨씬 크게 하락한다.Ablation은 모든 VL-data mixture 없이 pretrain한 variant와 full model을 비교한다.
  • Architecture: Last-layer cross-attention은 LIBERO-Plus 평균 success 87.5%로 가장 높은 성능을 달성하면서, 비교한 vision-language-action fusion architecture 중 computational cost도 최소화한다.이는 per-layer feature fusion과 모든 VLM vision-language token을 DiT에 저장하는 방식을 피하며, pure self-attention variant는 뚜렷한 이점을 보이지 않는다.

6.5 Alignment 이후의 새로운 기능

VL data를 사용한 post-training은 VLM의 기반 능력을 보존해 out-of-distribution 및 언어 관련 일반화를 향상시키며, UnifiedEEF를 사용할 때만 VL/VLA 혼합 학습이 domain overfitting을 완화한다. Camera-frame delta EEF는 embodiment에 구애받지 않는 action interface를 추가로 제공해 control, skill transfer, zero-shot cross-embodiment generalization을 향상시킨다.

  • 설정 1: VL data co-training을 사용한 post-training: post-training 중 VL data를 추가하면 LIBERO-Plus가 90.1에서 91.4로, RoboTwin-Clean2Rand (easy)가 73.2에서 74.0으로, RoboTwin-IF가 71.6에서 73.1으로 향상된다.RoboTwin-Clean2Rand (hard)는 62.6 대 62.5로 거의 변하지 않아, visual-perturbation robustness보다 out-of-distribution generalization에서 이득이 더 큼을 보여준다.
  • 설정 1: VL data co-training을 사용한 post-training: 언어 관련 향상이 가장 크다. LIBERO-Plus language-perturbation success는 QWEN-ROBOTMANIP의 86.9%에서 VL data 사용 시 93.9%로 증가하며, Pick-Diverse-Object는 76%에서 81%로 향상된다.이러한 향상은 action-only fine-tuning으로 catastrophic forgetting을 유발하는 대신 pretrained VLM의 language understanding과 visual grounding을 보존한 결과로 해석된다.
  • 설정 2: VL 및 auxiliary VLA data co-training을 사용한 post-training: domain-specific RoboTwin-Clean에만 fine-tuning하면 학습이 계속될수록 RoboTwin-IF가 점진적으로 저하되는 반면, 이러한 domain overfitting을 줄이기 위해 VL/VLA 혼합 post-training을 도입한다.확장 data는 detection과 pointing 같은 VL task, auxiliary-simulator trajectory, 그리고 형태가 유사한 embodiment에서 얻은 real-world demonstration을 결합한다.
  • 설정 2: VL 및 auxiliary VLA data co-training을 사용한 post-training: 혼합 post-training에는 UnifiedEEF가 필요하다. 이를 제거하면 success가 71.6%에서 35.0%로 낮아지며, UnifiedEEF가 없는 mixed data는 0.0%에서 완전히 실패한다.base architecture와 mixed pretraining을 사용하는 최적 configuration은 75.8%에 도달한다.
  • Camera-frame delta EEF: Camera-frame delta EEF는 RoboTwin-C2R Easy / Hard에서 72.5% / 56.6%를 달성하며, 이는 최선의 대안 action-space design이 기록한 49.0% / 33.0%와 대비된다.또한 UnifiedEEF가 없을 때의 12.5% 대비 55.0%의 compositional transfer를 달성하고, joint control의 14.5% 대비 평균 23.9%의 zero-shot cross-embodiment success를 보인다.
  • Camera-frame delta EEF: Camera-frame delta EEF는 novel ARX task에서 55.0%의 compositional transfer를 가능하게 하며, 이는 UnifiedEEF 없이 달성한 12.5%의 4.4×이다. shared visual-coordinate delta가 skill과 robot kinematics를 분리하기 때문이다.AgileX에서 ARX, UR5, Franka로 zero-shot deployment할 때 UR5 success는 joint mode의 4.1% 대비 EEF mode에서 22.8%에 도달한다.

7 결론

QWEN-ROBOTMANIP은 alignment-and-scale recipe를 robotic manipulation에 적용할 수 있음을 보이며, unified cross-embodiment alignment가 heterogeneous data를 확장하기 위한 전제 조건임을 보여준다. 또한 synthesis와 evaluation의 한계를 짚고, 더 폭넓은 data, 향상된 fidelity, longer-horizon manipulation을 위한 방향을 제시한다.

  • 결론: QWEN-ROBOTMANIP은 heterogeneous manipulation data를 unified formulation 아래 정렬하면 scaling을 통해 genuine generalization이 가능하다는 긍정적 근거를 제시한다.결론은 alignment와 scale을 독립적인 engineering challenge가 아니라 긴밀하게 결합된 전제 조건으로 규정한다.
  • 결론: canonical state-action representation, camera-frame delta pose, in-context policy adaptation 전반에 걸친 unified alignment는 data scaling을 가능하게 하는 반면, naïve representation에서는 scaling behavior가 나타나지 않는다.이 framework는 다양한 embodiment를 지원하면서 추가 data volume을 향상된 capability로 전환한다.
  • 한계: human-to-robot synthesis pipeline은 retargeting distribution gap과 inpainting artifact로 여전히 제한되며, OOD evaluation은 여전히 주로 simulation 기반이다.더 폭넓은 real-world evaluation이 필요하며, 고정된 action chunk length와 inference latency가 현재 system을 제약한다.
  • 향후 연구: 향후 연구에서는 robot morphology와 task domain을 확장하고, hand-robot retargeting과 physically grounded rendering을 개선하며, longer-horizon reasoning과 manipulation을 위한 agentic system을 지원해야 한다.또한 이 보고서는 VLA evaluation을 in-domain benchmark에서 벗어나도록 전환할 것을 제안한다.

8 저자

논문은 핵심 및 추가 기여자를 나열하고, 동등 기여·교신저자·프로젝트 리드 역할을 밝히며, 실험 및 하드웨어 지원에 감사를 표한다.

  • 저자: 핵심 기여자 팀에는 Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang 등이 포함된다.전체 핵심 기여자 목록은 논문에 제시되어 있다.
  • 저자: Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang은 동등 기여자로 표시되어 있으며, Chenfei Wu는 교신저자, Xiong-Hui Chen은 프로젝트 리드다.역할 표시는 ∗ 동등 기여, † 교신저자, ‡ 프로젝트 리드로 정의된다.
  • 저자: 추가 기여자로는 Jinhui Ye, Sicheng Xie, Hale Yin, Xudong Guo, Shuai Bai, Lulu Hu, Minying Zhang, Shurui Li, Wenhu Xiao, Yue Wang, Kun Yan, Xiao Xu, Jiahao Li, Xuancheng Ren이 포함된다.이 기여자들은 핵심 기여자와 별도로 나열된다.
  • 감사의 글: 저자들은 실험, 하드웨어 및 기타 지원을 제공한 National Pilot Base for Embodied Intelligence Applications, AgileX Robotics, Hao Dong 교수, Yao Mu 교수에게 감사를 표한다.National Pilot Base는 실제 로봇 실험 환경과 장비를 제공했으며, AgileX Robotics는 하드웨어 지원을 제공했다.
Loading 2606.17846v2…