Source-linked AI summary
Xiaomi-Robotics-1: Scaling Vision-Language-Action Models with over 100K Hours of Real-World Trajectories
Xiaomi Robotics Team, Jun Guo, Piaopiao Jin, Jason Li, Peiyan Li, Yingyan Li, Futeng Liu, Wanli Peng, Optimus Qin, Yifei Su, Nan Sun, Qiao Sun, Runze Suo, Heyun Wang, Yunhong Wang, Rujie Wu, Caoyu Xia, Lina Zhang, Jack Zhao, Guoliang Chen, Wenlong Chen, Xinze He, Bin Li, Qing Li, Zhuorong Li, Heng Qu, Wenxuan Song, Diyun Xiang, Yifan Xie, Peiran Xu, Hangjun Ye, Wen Ye, Han Zhao, Quanyun Zhou
TL;DR
Robot learning은 제한적이고 중복되며 편중된 trajectory data로 제약된다. Xiaomi-Robotics-1은 large-scale pre-training과 post-training으로 이를 해결하며, RoboCasa365의 57.4%를 포함해 네 가지 simulation benchmark에서 state-of-the-art 성능을 달성한다.
문제
Robot learning은 teleoperated dataset을 확장하기 어렵고 중복되며 제한된 task와 environment에 집중되어 있어 확장 가능하고 다양한 trajectory data가 부족하다.
방법
Xiaomi-Robotics-1은 scene-state transition을 scalable language auto-labeling하는 방식으로 100,000시간이 넘는 trajectory에 대해 two-stage pre-training과 post-training을 수행한다.
결과
Xiaomi-Robotics-1은 네 가지 simulation benchmark에서 state-of-the-art 성능을 달성하며, RoboCasa365에서 57.4% success를 기록해 이전 최고 방법보다 10.8 percentage points 높다.
시사점 및 한계
pre-training data를 늘리면 unseen environment에서 out-of-the-box performance가 향상되므로, 추가적인 scaling은 robot learning의 유망한 방향이다.
시사점 및 한계
RoboDojo 평가는 history observation을 제외하므로, memory를 명시적으로 모델링하는 model보다 memory performance가 낮다.
Abstract
from arXiv · showhide
We present Xiaomi-Robotics-1, a foundational vision-language-action (VLA) model capable of (1) following diverse language instructions to perform a wide range of mobile manipulation tasks in unseen environments out-of-the-box, and (2) efficiently adapting to novel downstream tasks with minimal fine-tuning data. We propose a two-stage training recipe consisting of pre-training and post-training. During pre-training, we imbue the model with broad and generalizable action-generation capabilities by training on over 100k hours of real-world manipulation trajectories collected via UMI devices. Crucially, we develop a scalable auto-labeling pipeline that annotates trajectory clips with natural languages describing scene state transitions, providing rich and precise conditioning for action learning. During post-training, we aim to align these capabilities with robot embodiments and imperative instructions that humans naturally use to prompt robots. Extensive experiments demonstrate strong scaling behavior. Xiaomi-Robotics-1 consistently improves with increased data scales and model sizes during pre-training. This scaling behavior directly transfers to post-training, where a stronger pre-training model yields better out-of-the-box real-robot performance in unseen environments. Furthermore, Xiaomi-Robotics-1 serves as a strong robot foundation policy that can be efficiently fine-tuned on complex, dexterous tasks with high data efficiency. Across multiple simulation benchmarks, Xiaomi-Robotics-1 outperforms state-of-the-art methods. Notably, it establishes a new state-of-the-art with a 57.4% success rate on RoboCasa365, surpassing the previous best of 46.6%. Furthermore, it achieves an average score of 20.07 on RoboDojo, significantly outperforming the prior state-of-the-art (13.07). Code and model checkpoints will be released. Project page: https://robotics.xiaomi.com/xiaomi-robotics-1.html
1 서론
Xiaomi-Robotics-1은 100k시간이 넘는 real-world trajectory로 two-stage pre-training/post-training recipe를 학습한 scalable VLA foundation model이다. 데이터와 모델 scale이 커질수록 성능이 향상되고, 이러한 향상이 unseen-environment robot 성능으로 전이되며, simulation과 data-efficient adaptation에서 강력한 결과를 달성한다.
- 동기: Xiaomi-Robotics-1은 제한적인 teleoperated-data 다양성 문제를 해결하기 위해 heterogeneous real-world, cross-embodiment, vision-language 데이터를 대규모로 결합한다.이 접근법은 teleoperated trajectory가 중복되고 좁은 task 및 environment 분포에 집중되어 있다는 점에서 출발한다.
- 방법: 이 모델은 100k시간이 넘는 UMI manipulation trajectory로 pre-training한 뒤, general action representation을 robot embodiment 및 imperative instruction에 맞추는 post-training을 수행한다.이 recipe는 pre-training에 scalable하고 다양한 데이터를, post-training에 high-quality cross-embodiment 데이터를 사용하며, trajectory clip에는 state-transition language prompt를 부여한다.
- Scaling: Xiaomi-Robotics-1은 효과적으로 scale된다. 더 큰 데이터와 모델은 pre-training validation action error를 줄이며, 더 강한 pre-training model은 post-training 이후 unseen-environment real-robot success를 높인다.이러한 전이는 pre-training의 scaling behavior가 post-training 성능으로 직접 이어짐을 보여준다.
- 결과: RoboCasa365에서 57.6%, RoboDojo에서 20.07을 기록해 각각 46.6%와 13.07을 넘어 새로운 state-of-the-art를 달성했으며, Xiaomi-Robotics-1은 평가된 네 가지 simulation benchmark 모두에서 선두를 차지한다.또한 task당 10시간 미만의 데이터로 네 가지 dexterous task에서 평균 75%의 success rate를 달성했으며, π0.5 [5]는 40%를 기록했다.
- 능력: 이 모델은 unseen environment에서 out-of-the-box로 다양한 task를 수행하고, 최소한의 데이터로 새로운 downstream task에 효율적으로 적응한다.Post-training을 통해 폭넓은 task에서 language-instruction prompting이 가능해지며, 모델은 10분 넘게 지속되는 room-level suitcase-packing task도 자율적으로 완료한다.
3 실험
실험 결과, Xiaomi-Robotics-1은 pre-training 데이터와 모델 크기에 따라 scaling되며, 이러한 성능 향상이 미지 환경에서의 out-of-the-box 성능으로 전이된다. 또한 state-of-the-art benchmark 성능과 제한된 데이터로 난도가 높은 새로운 태스크에 효율적으로 적응하는 능력을 달성한다.
- Pre-Training Scaling: 데이터 규모가 증가할수록 validation action error가 감소하며, 모델 scaling은 action-prediction precision을 일관되게 향상시키지만 데이터 scaling보다 향상 폭은 작다.모델 scaling 결과는 현재 데이터 분포에서 billion-parameter capacity가 이미 충분할 수 있음을 시사한다.
- Post-Training Scaling: 전체 pre-training 데이터를 사용했을 때 75% overall success는 action pre-training이 없는 26%에서 단조롭게 상승하며, 마지막 데이터 규모 증가만으로 미지 환경에서 6 percentage points가 추가된다.Post-training 평가는 미지 환경과 미지 object instance에서 수행되며, pre-training 데이터 scaling이 out-of-the-box real-robot 성능으로 전이됨을 보여준다.
- Post-Training Scaling: 10B 모델의 79% overall success는 5B의 75%와 2B의 61%를 상회하며, shoe tidying에서 가장 큰 향상이 나타난다.이 variant들은 동일한 20k시간의 UMI pre-training 데이터를 사용하므로, 모델 scaling이 post-training 이후 out-of-the-box real-robot 성능도 향상시킴을 보여준다.
- Data-Efficient Adaptation: 태스크당 10시간 미만의 데이터로 달성한 75% average success와 90% average progress는 4개의 held-out novel task에서 π0.5의 40% success와 66% progress를 상회한다.태스크는 양손 협응, 장기 mobile manipulation, 변형 가능한 종이 다루기, multi-object language grounding을 포함하며, 이러한 우위는 large-scale pre-training과 post-training alignment에 기인한다.
- Benchmark Comparisons: RoboCasa365에서 57.4% average success를 달성해 이전 방법들을 10.8 percentage points 차이로 상회하며, Xiaomi-Robotics-1은 4개의 challenging benchmark 모두에서 state-of-the-art 결과를 달성한다.또한 RoboCasa에서 74.5% average success에 도달하며, 가장 challenging한 Composite-Unseen split에서도 강한 성능을 보인다.
4 관련 연구
관련 연구는 scaling law와 robot foundation model을 중심으로 robot learning을 조망하며, 특히 world-action 및 vision-language-action 패러다임에 주목한다. 기존 VLA 연구는 reasoning, action representation, heterogeneous pre-training을 발전시켜 왔으며, 본 연구는 robot foundation model의 scaling behavior에 초점을 둔다.
- Robot Learning을 위한 Scaling: Robot learning의 scaling은 data, compute, model capacity를 늘리면 성능이 예측 가능하게 향상된다는 language 및 multimodal foundation model의 증거를 따른다 [22] [27].최근 large language model [72]과 multimodal foundation model [1] [2] [3] [63]의 발전은 scaling을 robot learning에 적용하는 동기를 제공한다.
- Robot Foundation Model: Robot foundation model은 large-scale dataset을 활용해 다양한 환경에 걸쳐 일반화하고 새로운 downstream task에 효율적으로 적응한다.
- Robot Foundation Model: 최근 VLA 연구는 intermediate reasoning representation [13] [19] [34] [64] [84] [89] [93], learned action tokenizer와 flow matching [4] [48] [58] [82], heterogeneous multi-embodiment pre-training [8] [30] [54] [69] [82]을 통해 robot learning을 향상시킨다.
- Robot Foundation Model: 본 연구는 VLA 패러다임을 따르면서 robot foundation model이 어떻게 scaling되는지라는 상보적 질문을 다룬다.
5 결론
Xiaomi-Robotics-1은 task-specific adaptation 없이 unseen environments에서 다양한 mobile manipulation task를 수행하고, minimal data만으로 까다로운 novel task에 효율적으로 적응하는 foundational VLA model이다. 폭넓은 manipulation capability는 pre-training 동안 100,000시간 이상의 real-world trajectory에서 학습된다.
- Xiaomi-Robotics-1은 unseen environments에서 별도의 adaptation 없이 지시에 따라 폭넓은 mobile manipulation task를 수행한다.
- 이 model은 minimal data만으로 novel하고 challenging한 task에 효율적으로 적응한다.
- 100,000시간 이상의 real-world manipulation trajectory로 pre-training하면 Xiaomi-Robotics-1은 폭넓고 generalizable한 manipulation capability를 갖춘다.
기여
저자는 알파벳순으로 나열되어 있다.
- 논문의 저자는 알파벳순으로 나열되어 있다.