PaperlayerView exact revision on arXiv

AI 摘要 · 由英文经 AI 翻译

GigaBrain-0.7: Scaling Embodied Foundation Models to Emergent Capabilities with a Three-System Architecture

GigaBrain Team, Angen Ye, Axiang Sun, Can Jin, Chenxi Cheng, Chong Shi, Dengke Shang, Dingqian Zhang, Guan Huang, Guangqiang Wang, Guangqing Ding, Guo Li, Hangcong Li, Hengyu Zhong, Hongtao Lu, Jianbo Qin, Jiming Mao, Jing Zhu, Jindi Lv, Jingzhi Cui, Junjie Xie, Junyi Bao, Kai Liu, Lei Yuan, Limin Long, Lv Feng, Mingming Yu, Peng Li, Pengfei Yi, Qi Li, Qianli Zhang, Qingfang Li, Qitang Hu, Rui Zhang, Shaoyan Sun, Shibo Sun, Shiying Duan, Tenghui Chen, Tianze Liu, Weijie Ke, Wenyao Xue, Xiaofeng Wang, Xiaoyu Tian, Xinyu Liu, Xinze Chen, Yang Wang, Yankai Wang, Yejun Zeng, Yifan Li, Yifei Nie, Yilong Li, Yilong Liu, Yongchao Feng, Yumeng Wang, Yun Ye, Zhichao Liu, Ziheng He, Zonghai Yang, Zheng Zhu

arXiv:2608.15875v1cs.RO

TL;DR

具身形态、动作空间和执行条件的异质性，使通用机器人控制的规模化扩展仍面临挑战。GigaBrain-0.7 将三系统架构与单阶段预训练相结合，统一多模态理解与多具身动作生成。更大规模的预训练持续降低验证损失，并提升真实机器人在高难度任务中的行为可靠性；更广泛的评估也显示出具身能力涌现的迹象。

  • 问题

    面对异构具身形态、动作空间和执行条件，如何在扩大数据集和策略规模之外进一步扩展通用机器人控制能力，仍是一大挑战。

    出处：§1 · p. 2

  • 方法

    GigaBrain-0.7 将负责理解、预测和动作的三系统架构与单阶段多具身预训练相结合，联合优化多模态理解与动作生成。

    出处：§7 · p. 44

  • 结果

    更大规模的预训练持续降低验证损失，并提升真实机器人在高难度任务中的行为可靠性；规模扩展研究、消融实验和分布外评估则显示出具身能力涌现的迹象。

    出处：§1 · p. 3

  • 启示与局限

    在多种分布外设置下仍能执行相应行为，表明从异质经验中学到的交互模式可随任务条件变化而复用和重组。

    出处：§6.6.2 · p. 33

    当物体身份、场景配置和任务组合同时变化时，基础模型的迁移能力仍然有限，AgileX PiPER 和 Maker H01 均出现分布外性能下降。

    出处：§6.6.1 · p. 31

Abstract

from arXiv · show

Vision-language-action (VLA) models have become a dominant paradigm for generalist embodied agents, demonstrating strong complex and long-horizon task completion in structured settings. Yet it remains an open question whether current VLA systems can benefit from more effective architectural design, scale to substantially larger and more heterogeneous data regimes, and achieve broader generalization across tasks and embodiments. To this end, we present GigaBrain-0.7, an embodied foundation model with substantially improved generalization across diverse robot embodiments. Specifically, GigaBrain-0.7 unifies understanding, prediction, and action through a three-system architecture, scales pretraining to over 37,000 hours of heterogeneous embodied data, and introduces one-stage alignment training that jointly optimizes vision-language understanding and multi-embodiment action generation. Compared with the preceding GigaBrain-0 series and prior state-of-the-art models including $π_{0.5}$, GigaBrain-0.7 achieves substantial improvements in foundation zero-shot capabilities, language-conditioned instruction following, and post-training task success rates. In particular, on our in-house Maker H01 platform and mainstream robot embodiments, GigaBrain-0.7 demonstrates strong task adaptability and completion ability across both home and industrial scenarios. All training code and pretrained model weights will be released.

1. 引言

GigaBrain-0.7通过三系统架构和一阶段多本体预训练，协同实现理解、预测与动作生成。结果显示，相比前代GigaBrain-0系列，其零样本能力、指令遵循能力和后训练任务成功率均有所提升。

1. 引言

  • 三个专用系统通过语义、视觉和基于价值的接口，协同完成连续动作生成、时序理解与分层规划，以及世界模型预测与评估。系统1采用流匹配 [48] 和本体感知动作专家，适配不同自由度和控制模式。系统2跟踪任务进度并将指令分解为子任务，系统3则提供预测的视觉子目标和状态价值，作为动作生成的条件。出处：§1 · p. 2
  • 一阶段预训练联合优化VLM主干、连续动作专家及多模态理解目标，避免割裂的多阶段优化。Soft Knowledge Insulation在Knowledge Insulation [20] 的基础上，衰减而非阻断传入VLM主干的动作梯度，在保留通用视觉语言能力的同时实现受控适应。出处：§1 · pp. 2–3
  • 超过 37,000 小时、涵盖 16 种机器人形态的具身轨迹，以及约 270 百万条视觉语言样本，为 GigaBrain-0.7 预训练提供支持。轨迹处理包括转换为 LeRobot v3.0 [7] 格式、跨具身状态与动作归一化、LLM 辅助的指令改写与子任务标注，以及多阶段质量控制。出处：§1 · pp. 2–3
  • 相比前代GigaBrain-0系列，GigaBrain-0.7提升了基础零样本能力、语言条件下的指令遵循能力和后训练任务成功率。针对特定任务的后训练评估将其与此前的GigaBrain模型 [27] [28] 及π0.5 [62] 进行比较。出处：§1 · p. 3
  • 扩大预训练规模持续降低验证损失，并提高真实机器人在高难度任务中的行为可靠性；评估结果表明，模型可能涌现出新的具身能力。规模扩展研究考察了机器人数据量、数据来源构成、VLM容量及VLA耦合架构。对能力涌现的解释还参考了系统3的消融实验和分布外评估。出处：§1 · p. 3
  • 评估覆盖多模态理解、桌面操作、移动及家居仿真，以及AgileX PiPER/PiPER-X和Maker H01上的实际执行，涵盖多任务、分布外和长时程任务。受控消融实验分别考察并组合未来状态预测与价值信号；通过人在回路的轨迹采样和纠正反馈，评估经验驱动的改进。训练代码和预训练权重计划公开发布。出处：§1 · p. 3

2. 相关工作

本节区分自回归、串联与并行 VLA 架构，对比分阶段训练与联合训练，并回顾世界模型在机器人学习中的作用。GigaBrain-0.7 采用并行动作生成与联合预训练，同时引入单独预训练的系统，用于未来状态预测与任务进展估计。

2.1. 视觉–语言–动作架构

  • VLA 架构分为自回归 VLM-as-Actor、串联 VLM–动作专家和并行 Mixture-of-Transformers 三类，区别在于动作表示及其与预训练 VLM 的耦合方式。RT-2 [6] 和 OpenVLA [39] 等自回归模型预测离散动作 token，但随着控制频率、时域长度和维度增大，逐步解码的开销也随之增加。FAST [60] 采用频域压缩，Galaxea G0.5 则学习跨具身动作的 token 化。出处：§2.1 · p. 3
  • 串联架构将预训练 VLM 作为上下文编码器，为独立的连续动作解码器提供输入，因此对外输出的特征接口是影响性能的关键。代表模型包括 GR00T N1 [56]、Gemini Robotics [25] 和 Qwen-RobotManip [87]。Qwen-RobotManip [87] 采用流匹配 DiT，其各模块通过交叉注意力读取 VLM 最后一层的视觉与语言表示。出处：§2.1 · p. 4
  • 并行 Mixture-of-Transformers 架构将专用的连续动作专家与视觉语言骨干网络深度耦合，代表模型包括 𝜋0 [5] 和 GigaBrain-0 [27]。GigaBrain-0.7 延续这一路线，同时将理解与规划接口和未来状态预测与评估接口分离。HyVLA-0.5 [89] 和 𝜋0.7 [63] 也引入了视觉历史信息。出处：§2.1 · p. 4

2.2. VLA 训练范式

  • 分阶段训练将表示学习与连续动作优化分开，而面向特定任务的后训练则使预训练能力适配目标具身形态、任务及部署条件。𝜋0.5 [62] 在后训练阶段引入流匹配动作专家。Xiaomi-Robotics-0 [9] 先利用视觉语言与机器人轨迹监督联合训练 VLM，再冻结 VLM，训练动作 DiT。出处：§2.2 · pp. 4–5
  • GigaBrain-0.7 在异构多具身预训练中，联合优化视觉语言监督、分层任务预测、离散动作表示和连续动作生成。这延续了 GigaBrain-0 [27] 和 Wall-OSS-0.5 [86] 等联合训练方法，将多模态目标与动作生成目标相结合。出处：§2.2 · p. 5
  • 强化学习方法通过策略生成的经验、优势条件化、世界模型引导和纠正反馈，拓展静态模仿学习。VLA-RL [52] 和 SimpleVLA-RL [46] 利用环境反馈直接更新预训练 VLA；RECAP 则通过优势条件化结合示范、同策略经验和专家纠正。RAMP [28] 将预测的未来状态和价值与人类在环经验结合；FlowPRO [89] 无需价值评估器或奖励，直接从配对的失败轨迹与纠正轨迹中学习。出处：§2.2 · p. 5

2.3. 世界模型驱动的 VLA

  • GigaBrain-0.7 单独预训练 System 3，用于以机器人为中心的未来状态预测和任务进展估计，再将其输出作为特定任务 VLA 后训练的条件。预测的子目标图像和由价值推导的进展信号提供额外条件。推理时，以正向进展为条件引导连续动作生成，无需显式评分或选择候选动作。出处：§2.3 · p. 6
  • 世界模型通过合成数据、世界与动作统一建模、以预测信息为策略条件、价值估计和迭代策略改进，支持机器人学习。DreamGen [38] 生成合成交互轨迹，Unified World Models [95] 耦合视频扩散与动作扩散，Feat2Go [69] 则推导任务进展目标，用于基于价值的奖励塑形。World-VLA-Loop [50] 交替执行两步：利用策略失败轨迹改进世界模型，再在更新后的学习环境中通过强化学习改进策略。出处：§2.3 · p. 6

3. 数据整理

训练语料结合异构具身轨迹与视觉语言监督，在支持机器人控制的同时保留视觉语义能力。针对不同来源的处理流程统一轨迹和 VLM 标注格式，并以仿真及世界模型生成数据补充实采数据。

3.1. 数据集组成

  • 37,256.98 小时的具身轨迹与 271,976,674 条 VLM 图文及问答样本相互补充，将机器人控制监督与视觉语义、空间及任务理解相结合。轨迹涵盖真实机器人、UMI 示范、第一人称人类示范、仿真及世界模型生成数据。VLM 语料包含 15,234,327 条自采样本，有助于缓解仅以动作训练导致的视觉语言能力退化。出处：§3.1 · pp. 7, 10, §3 · p. 7
  • 20,535.65 小时的真实机器人数据覆盖 16 种机器人，另有 8,251.83 小时的 UMI 数据和 2,862.36 小时的 EGO 数据作为补充。真实机器人语料包含来自异构硬件的 1,810,101 条轨迹和 2,077,837,071 帧。UMI 提供近距离操作视角与手眼协调监督，EGO 则补充更广泛的操作场景及第一人称人类交互先验。出处：§3.1 · pp. 7, 9

3.2. 具身轨迹数据处理流程

  • UMI 和 EGO 处理将人类示范对齐至适用于机器人训练的表征，同时保留近距离操作视角与第一人称交互信息。UMI 处理同步相机、位姿、夹爪状态和时间戳，过滤低质量轨迹，并重定向至 Maker H01，开展逆运动学、仿真及抽样机器人回放验证。EGO 处理过滤不适用的交互视频，规范时间与坐标字段，并补全缺失的手部与物体信息，将观测和语言与未来动作或手部轨迹配对。出处：§3.1 · pp. 7, 9, §3.2 · pp. 11–13

3.3. 仿真与生成数据

  • 5,607.14 小时的仿真与生成数据通过可控物理环境，以及保留真实交互上下文的视觉多样化，拓展长尾覆盖。仿真贡献 1453.92 小时，世界模型生成数据贡献 4,153.22 小时。以提示为条件的生成丰富真实交互场景；可配置的仿真资产则在难以或无法安全实采的配置下提供可重复的经验。出处：§3.1 · p. 9, §3.3 · p. 13

3.2. 具身轨迹数据处理流程

  • 轨迹预处理统一存储格式、机器人表征、相机定义和指令，以支持异构具身形态的联合训练。LeRobot 数据集采用 v3.0 存储格式并附带过滤元数据；统一表征保留关节空间与末端执行器字段，掩码处理缺失分量，并保留相机溯源信息。GLM-5.1 改写指令并辅以人工抽检，多模态时序分割与人工修正则用于生成子任务标注。出处：§3.2 · pp. 10–11
  • 多阶段轨迹清洗处理数值离群点、长时间静止、运动学不一致及训练损失异常的样本。按机器人和动作维度分别进行 q01/q99 过滤以控制离群值；用关节活动范围归一化的状态变化识别静止片段，并遵循 Qwen-RobotManip [87] 进行基于 URDF 的末端执行器对齐。持续异常的损失会触发检查，排查时序错位、动作不连续、指令错误或视频损坏，并过滤确认异常的样本。出处：§3.2 · p. 11

3.4. VLM 数据处理与标注

  • Qwen3.6-27B 将清洗后的机器人、UMI 和 EGO 观测转换为结构化状态，为自采具身 VLM 数据提供监督。遵循 [9]，标注流程从轨迹衍生的标注单元中提取物体、可交互部件、空间关系、视角、任务阶段和动作意图。公开与自采数据统一转换为多模态对话格式，并进行图像与结构校验；生成的标注还需经过一致性过滤、人工抽检和来源追踪。出处：§3.4 · pp. 13–14
  • 具身 VLM 标注通过定位、可行性、进度及下一步动作监督，支持可供性预测、空间理解和高层任务规划。可供性标签标识可用的物体部件与放置区域；空间标签优先使用可获得的几何信息，否则采用视觉推理并结合基于规则的一致性检查。时序标注涵盖任务阶段、子任务、动作前后关系和完成状态，为后续动作、动作后果、进度及目标一致性提供监督。出处：§3.4 · p. 14

4. 模型架构

GigaBrain-0.7 将理解与规划、预测与评估、动作与控制三个系统耦合起来。动作系统整合时序上下文和具身平台专用接口，经验强化则将同一策略贯通于离线与在线学习。

4. 模型架构

  • GigaBrain-0.7 将理解与规划、预测与评估、动作与控制划分为三个相互协作的系统。System 2 使用 PaliGemma2 (3B) [71]；System 1 将 PaliGemma2 (3B) 骨干网络与专用的 Action Expert (0.5B) 结合。System 3 是基于 GigaWorld-1 [75] 的独立世界价值模型 (5B)，为 System 1 提供预测信号。出处：§4 · p. 15

4.1. 世界仿真：理解、预测与评估

  • System 2 提供场景推理和当前子任务，System 3 则以预测的视觉结果和进度评估为条件生成动作。System 2 处理观测与指令，描述相关物体及其空间布局，并将子任务上下文传递给另外两个系统。给定观测、本体感知和子任务上下文，System 3 预测一段与 System 1 子任务时间跨度一致的视频，将末帧作为子目标图像，并把标量进度值转换为二元提示条件，指示预测进度是否在增长。出处：§4.1 · p. 16

4.2. 动作对齐：多具身平台动作生成

  • System 1 融合观测、视觉记忆、任务推理、机器人状态、Robot ID 和预测信号，生成用于闭环控制的动作块。其 Mixture-of-Transformers 架构通过联合注意力耦合视觉语言分支与 Action Expert 分支，同时保留各自独立的前馈参数。视觉语言分支仅以因果注意力关注自身 token，而 Action Expert 通过双向注意力关注两个分支，且不向 VLM 注意力传入动作专用表示。出处：§4.2 · pp. 16–17
  • Temporal-Spatial Blocks 引入短期视觉记忆，同时使 VLA 的视觉 token 数量与单帧处理相当。视觉编码器中的这些模块先以因果方式聚合近期帧，再建模当前观测内的空间交互。历史信息逐步融合到当前帧 token 中，历史帧 token 则在进入 VLA 骨干网络前被丢弃。出处：§4.2 · p. 17
  • System 1 在训练时采用离散的下一 token 动作预测，在部署时通过连续条件流匹配生成可执行动作。离散路径通过视觉语言头自回归生成动作 token，衔接语言理解与运动控制。连续路径使用 Action Expert 从加噪的动作表示中预测轨迹；两条路径通过 MoT 联合注意力共享视觉语言上下文。出处：§4.2 · p. 17
  • Soft Knowledge Insulation 允许视觉语言路径与连续动作路径之间进行受控适配，同时保留通用视觉语言能力。该接口使骨干网络能够学习具身感知的视觉表示，而非将语义表示与动作学习完全隔离 [5]。出处：§4.2 · pp. 17–18
  • 各具身平台专用的状态与动作投影使异构机器人能够共享 Action Expert，同时保留原生控制接口。在本体感知和 Robot ID 进入专用投影模块之前，每个具身平台的有效性掩码会区分缺失的状态维度与值为零的状态。Action Expert 的核心参数共享，输入/输出投影则因具身平台而异，旋转采用连续 6D 表示 [94]。出处：§4.2 · p. 18

4.3. 经验强化

  • 经验强化将同一个 System 1 策略贯通于离线干预学习与在线演员–评论家优化，无需引入独立控制器。人在回路中的干预数据用于离线学习具备错误感知能力的进度判别器，以及具有一定错误恢复能力的策略。在线交互结合子任务成功标签与该判别器，为轻量级演员–评论家循环构建密集奖励，使同一策略贯穿预训练、后训练与部署。出处：§4.3 · p. 18

5. 模型训练

GigaBrain-0.7 的训练分为四个阶段：联合 VLA 预训练、世界模型预训练、面向特定任务的 VLA 后训练，以及经验驱动的强化学习。世界模型在后训练期间保持冻结，后续策略优化则从离线经验逐步转向结合人工纠正的在线学习。

5.3. 世界模型驱动的 VLA 后训练

  • 面向特定任务的后训练利用示范数据优化系统 1 和系统 2，同时由冻结的系统 3 提供预测的子目标图像和进度信号，作为系统 1 的条件输入。流匹配训练使用编码后的子目标图像，以及区分进度提升与停滞或倒退片段的二元进度标记；推理时选择正向进度。子目标图像和价值条件的丢弃概率分别为 0.50 和 0.15，使策略在训练中接触无信号、仅有一种信号或同时有两种信号的情况。出处：§5 · p. 19, §5.3 · p. 21

5.1. VLA 预训练

  • 在异构数据预训练全程，系统 1 和系统 2 联合学习自回归语言、子任务及离散动作预测，以及基于流匹配的连续动作生成。训练数据融合真实机器人、UMI、EGO、仿真、世界模型生成轨迹及视觉语言数据，联合优化语义理解、分层任务预测和连续动作生成。出处：§5.1 · p. 19
  • Soft Knowledge Insulation [20] 衰减传入视觉语言骨干网络的流匹配梯度，同时保留完整的自回归监督和面向控制的表征适应能力。流匹配梯度在 Action Expert 内完整传播，但在进入骨干网络前会乘以一个缩放系数。出处：§5.1 · p. 19
  • 分层指令监督将任务推理与动作生成相结合，同时通过随机丢弃历史观测，训练模型对不同时序上下文的鲁棒性。训练交替采用两种方式：提供任务和子任务指令，或要求系统 2 在系统 1 执行动作前推断子任务；因果掩码防止目标信息泄漏。历史观测丢弃包含仅保留单帧输入的情况，以减少对固定历史长度的依赖。出处：§5.1 · pp. 19–20
  • 多本体优化在语义层面对齐异构状态和动作，共享 Action Expert Transformer 参数，同时保留各本体专用的接口和有效性信息。各本体专用的输入/输出投影适配不同的动作维度和控制约定。有效性掩码区分不可用维度与有效零值，并将无效动作维度排除在流匹配监督和噪声注入之外。出处：§5.1 · p. 20

5.2. 世界模型预训练

  • 系统 3 在 GigaWorld-1 [75] 基础上，先进行以机器人为中心的视频预训练，再进行任务进度价值学习，提供未来观测和进度估计。真实机器人和仿真视频用于适应操控动力学；预测视频的时间跨度与系统 1 的动作块一致，其末帧用作子目标图像。Mixture-of-Transformers World Value Model 结合当前和历史观测，利用轨迹级完成度标注学习进度，此后保持冻结。出处：§5.2 · p. 20

5.4. 经验驱动的强化学习

  • 离线优势加权优化侧重于部署过程中成功且进度更高的片段，为在线学习提供更好的初始化，并减少代价高昂的探索。采用类似 Advantage-Weighted Regression (AWR) [59] 的目标，利用收集到的成功和失败轨迹优化策略，优化期间无需额外交互。奖励来自进度判别器和预定义规则，失败或进度较低的片段获得较低权重。出处：§5.4 · pp. 21–22
  • 在线 actor–critic 学习在失败状态引入人工纠正，并利用部署轨迹反复更新系统 1。系统 1 仍作为部署时的 actor，独立的 critic 负责估计价值，奖励则结合动作块级进度差与终止时的稀疏信号。轨迹采集—纠正—更新循环可随新数据持续进行；完整的人工干预流程和在线 RL 形式化方案将在后续报告中介绍。出处：§5.4 · p. 22

6. 实验 … 6.3. 数据规模扩展

实验选定基于 PaliGemma2 的双流 System 1，并表明扩大预训练数据规模、增加数据多样性可降低验证损失，提升真机性能。

6. 实验

  • 实验考察了架构、数据规模扩展、时序上下文、System 3 条件信息、开箱即用的泛化能力、任务专项后训练，以及经验驱动的强化学习。分别评估 System 3 的未来状态条件信号与价值衍生条件信号，并评估二者的联合效果。出处：§6 · p. 22

6.1. 实验设置

  • 真机评估覆盖 AgileX PiPER/PiPER-X 和 Maker H01，对比 GigaBrain-0.7 与 π0.5 [62]、GigaBrain-0.1、Xiaomi-Robotics-1 [79] 及 Galaxea G0.5 。成功率衡量完整任务的完成情况，每种配置通常测试 10–20 次；语言指令遵循测试要求选对目标，ID/OOD 评估则区分训练中已覆盖的配置与未见过的物体、布局或指令。各策略基线采用相同的任务定义和评估流程，后训练使用目标平台上的任务专项示范。出处：§6.1 · p. 23

6.2. 骨干模型与架构比较

  • 选择 PaliGemma2 [71]，是因为只有它在衬衫折叠任务上取得非零成功率，同时在水果操作任务上仍具竞争力。更大的骨干模型并不总能提升性能，但 Gemma 4 [74] 在结构化任务上表现突出。与 Qwen3.5 [65] 和 Gemma 4 [74] 的比较同时改变了模型规模和图像分辨率，因此并非控制变量的模型规模扩展研究。出处：§6.2 · p. 23, Table 4 · p. 24
  • Dual Stream 在所有评估任务上表现最佳，包括在衬衫折叠任务上取得非零成功率；尽管推理成本更高，仍被选为搭配 PaliGemma2 的默认架构。Dual Stream 在每层交错引入 VLM 与专家模块之间的注意力，而交叉注意力方案使用 VLM 对应层或最终层的状态。最终层耦合的推理延迟最低；多层交叉注意力增加了计算成本，却未提升任务成功率。出处：§6.2 · pp. 23–24, Table 5 · p. 24

6.3. 数据规模扩展

  • 结合机器人、UMI 和 EGO 数据取得了评估中的最佳性能，优于仅用机器人数据预训练，且收益在任务专项后训练后仍然保留。实验以 3,000 小时机器人数据为起点，分别加入等量的 UMI 或 EGO 示范，并评估二者结合的效果。机器人轨迹提供特定具身形态的控制监督，UMI 提供手部附近的操作经验，EGO 则增加第一人称人类交互的多样性。出处：Figure 8 · p. 25, §6.3 · pp. 25–26
  • 增加机器人经验可改善水果操作和无序衣物折叠表现，其中衣物折叠对数据规模的依赖明显更强。作者将操作可靠性的持续提升解读为能力涌现，并认为长时程可变形物体操作技能需要更广泛地覆盖中间状态。出处：Figure 8 · p. 25, §6.3 · p. 25
  • 在固定模型配置下，更大的预训练数据集始终带来更低的验证损失，且不同数据规模之间的差距贯穿整个优化过程。在所评估的数据规模范围内，性能持续改善。出处：§6.3 · p. 24, Figure 8 · p. 25

6.4. 时序上下文分析 · 6.5. System 3 预测与评估分析 · 6.6. 基础模型评估

GigaBrain-0.7 无需针对特定任务进行适配，即可执行语言条件下的操作和更长时程的操作，但分布偏移仍具挑战。时序上下文有助于消除重复出现的状态所带来的歧义，而 System 3 的未来图像与价值引导则提升了任务成功率、得分和执行效率。

6.4. 时序上下文分析

  • 时序视觉上下文通过区分任务执行不同阶段中视觉上相似的状态，帮助策略摆脱重复动作循环。在配对策略的定性比较中，使用上下文的策略能够推进到任务的下一阶段，而单帧策略仍在重复类似动作。出处：§6.4 · pp. 26–27

6.5.1. 预测与评估

  • System 3 联合预测未来观测与状态价值，利用想象结果估计候选轨迹的优势；该优势随失败而降低，随恢复而升高。基于世界模型的密集评估取代了直接依赖人工标注或 VLM 推理的动作质量评估。相比 GigaBrain-0.5M*，预测范围超越了动作块的时间跨度，提高了复杂任务的成功率与鲁棒性。出处：§6.5.1 · p. 27, Figure 10 · p. 27

6.5.2. System 3 消融实验

  • 在 AgileX PiPER-X 上，+SubImage+Value 的礼品包装成功率达到 80%，而 Base 未能完成该任务。+SubImage 和 +Value 的成功率分别为 20% 和 60%；任务得分为 61.1%（Base）、71.4%（+SubImage）、93.3%（+Value）和 96.7%（+SubImage+Value）。成功回合的完成时间为 65 s（+SubImage）、60 s（+Value）和 55 s（+SubImage+Value），表明执行效率与成功率均有提升。出处：Figure 11 · p. 28, §6.5.2 · p. 28
  • 四种配置的衣物折叠成功率均为 100%，掩盖了引入 System 3 条件信息后平均任务得分和完成时间的改善。平均得分为 68.3%（Base）、81.7%（+SubImage）、85.0%（+Value）和 88.3%（+SubImage+Value）。平均完成时间为 107 s（Base）、83 s（+SubImage）、79 s（+Value）和 75 s（+SubImage+Value）。出处：§6.5.2 · p. 28, Figure 11 · p. 28
  • +SubImage+Value 的方块分类成功率为 55%，高于 Base 的 40%，且该组合配置的平均任务得分也最高。+SubImage 的成功率为 50%，+Value 为 45%；平均任务得分从 Base 的 55.0% 提升至组合配置的 87.5%。仅引入价值条件信息时，观测到的完成时间最短，为 80 s。出处：§6.5.2 · p. 28, Figure 11 · p. 28

6.6. 基础模型评估

  • 同一个预训练 GigaBrain-0.7 策略无需针对特定任务进行适配，即可在 AgileX PiPER 和 Maker H01 上遵循多种语言指令。评估涵盖 ID 和 OOD 设置下的语言条件多任务执行与更长时程操作。结果表明，模型在下游适配前就已具备可执行的行为能力，而非仅为后训练提供更强的初始化。出处：Figure 12 · p. 29, §6.6.1 · p. 29, §6.6 · p. 29

6.6.1. 开箱即用的语言指令遵循

  • OOD 执行的定性结果展示了超出训练配置的目标理解、空间定位和组合泛化能力，但两种具身平台均出现性能下降。PiPER 处理未见过的辣椒，搭配此前未与之配对且随机摆放的容器；H01 处理的葡萄、所处场景及任务组合均未出现在 H01 训练中。当物体身份、场景配置和任务组合同时变化时，泛化更具挑战。出处：§6.6.1 · pp. 30–31, Figure 13 · p. 30

6.6.2. 开箱即用的复杂操作

  • 即使面对未见过的衣物和高度无序的初始配置，预训练策略仍能在 AgileX PiPER 和 Maker H01 上持续完成衣物折叠。执行过程需要在连续动作块中反复建立接触，并响应不断变化的布料几何形态，而非重放固定轨迹。当交互模式发生偏移时，OOD 复杂操作仍更困难，但策略在多种设置下仍保有可执行的行为能力。出处：Figure 15 · p. 32, §6.6.2 · p. 33

6.7. 后训练评估

在 AgileX PiPER 和 Maker H01 上，经过任务专项后训练的 GigaBrain-0.7 在语言指令遵循和复杂操作方面均优于上一代 GigaBrain 模型。代表性执行过程表明，模型仍能将细粒度指令落实到动作中，但多项接触密集型任务的表现仍远未饱和。

6.7.1. 多任务语言指令遵循

  • 在 Maker H01 上，后训练后的 GigaBrain-0.7 在语言指令遵循任务中取得 84.2% 的平均成功率，高于 GigaBrain-0.1 的 69.6%。在 AgileX PiPER 上，GigaBrain-0.7 在所报告的各项任务中均优于上一代 GigaBrain 模型，并达到或超过 π0.5。评估包含六项任务，涵盖颜色、目标和方向辨别。出处：§6.7.1 · p. 33, Table 6 · p. 36
  • 后训练后的策略在两种机器人形态上均保留了细粒度指令落地能力，利用颜色、物体身份和相对空间关系指导目标选择与动作执行。代表性执行过程表明，模型的行为随指令而变化，而非复现固定的操作轨迹。出处：§6.7.1 · p. 36

6.7.2. 复杂操作

  • 在两种机器人形态上，GigaBrain-0.7 的复杂操作能力均持续优于上一代 GigaBrain 模型，在已完成的评估中与 π0.5 相当或更强。PiPER 在部分结构化任务上的提升较小，但在持续接触或多阶段交互中的提升更明显。Maker H01 在更广泛的技能上展现出显著更大的优势，包括可变形物体操作、食物相关交互和多阶段清理。出处：§6.7.2 · pp. 36, 39, Table 7 · p. 39
  • 尽管各类操作均有提升，多项接触密集型任务的表现仍远未饱和，因此仍需进一步扩大数据规模，并开展基于经验的后训练。代表性复杂操作执行过程涵盖可变形物体交互、借助工具的操作、家居物品整理和顺序分拣，对接触、时序协调和任务推进的要求各不相同。出处：§6.7.2 · p. 39

6.8. 基准评估 · 6.9. 经验驱动的强化学习

GigaBrain-0.7 在所报告的仿真对比中领先，且在引入 MiMo 数据增强训练前，总体和空间理解平均得分均为最高。经验驱动的强化学习提升了全部四项真机任务的表现，最终在线 RL 策略的成功率均达到 100%。

6.8. 基准评估

  • 基准评估涵盖空间理解、可供性推理、双臂操作、移动与长时程交互，以及基于重建的 Real2Sim2Real 策略评估。RoboColiseum 使重建后的仿真观测更贴近真实环境，为基于物理的仿真提供补充。计划将其集成到 XPolicyLab [17]，以支持统一的训练、推理与部署流程。出处：§6.8.1 · p. 39, §6.8.2 · pp. 40–42

6.8.1. 具身视觉语言评估

  • 在预训练中引入 MiMo 数据之前，GigaBrain-0.7 在 MiMo-Embodied [34] 对比模型中的总体和空间理解平均得分均为最高。总体得分取 13 项基准的平均值，包括八项空间理解基准和五项可供性基准。VSI-Bench 需要视频输入，而受评接口仅接受图像观测，因此未纳入评估。出处：§6.8.1 · pp. 39–40, Table 8 · p. 40
  • 0.5704 是经 MiMo 数据增强的持续预训练后，最终检查点的 MiMo 总体得分；该值作为诊断指标报告，而非留出基准测试结果。MiMo 监督直接纳入视觉语言与动作的联合优化，无需单独的 VLM 适配阶段。发布的检查点采用这一最终训练阶段，其混合训练数据与评估集已不再互斥。出处：§6.8.1 · p. 40

6.8.2. 仿真基准评估

  • GigaBrain-0.7 在 RoboTwin 2.0 [15] 的总体/Hard 表现上领先，在 EBench [24] 的受比较公开可用 VLA 中取得最高 SR/Score，并在 RoboColiseum [1] 的受评开源模型中领跑全部四个维度。RoboTwin 使用单一策略，在 50 项任务上联合后训练，每项任务提供 50 条干净示范；若干模型在 Easy 条件下表现更好。RoboColiseum 评估指令遵循、空间推理、鲁棒性和通用操作能力。出处：§6.8.2 · pp. 40–41, Table 9 · p. 41, Table 10 · p. 41

6.9. 经验驱动的强化学习

  • 经验驱动的强化学习先进行优势加权的离线学习，再结合人工纠正开展同策略演员–评论家更新，持续优化同一 System 1 策略。离线优化无需新增交互，即可从成功、失败和纠正轨迹中学习；在线更新结合进度反馈与终局结果。评估覆盖 PiPER 系列机械臂和 Maker H01 上的长时程任务及高精度要求任务。出处：§6.9 · pp. 42–43
  • 在线 RL 后的平均成功率达到 100%，相比之下，离线 RL 后为 57.5%，SFT 基线为 30.0%；每项受评任务的成功率均达到 100%。在线 RL 将连杆安装、扎带穿入与扎紧的成功率从 40% 提升至 100%，轴承安装从 60% 提升至 100%，礼盒包装从 90% 提升至 100%。在线阶段的最大提升出现在对精度要求高的对齐、插入和穿线任务上。出处：Table 12 · p. 43, §6.9 · p. 43
  • 离线 RL 使轴承安装（20% 至 60%）和扎带穿入与扎紧（0% 至 40%）的成功率均提升 40 个百分点。礼盒包装的成功率从 80% 提升至 90%，连杆安装从 20% 提升至 40%。离线阶段的提升幅度取决于初始策略能力，SFT 失败较多的任务提升最大。出处：§6.9 · p. 43

7. 结论与未来工作

GigaBrain-0.7 将大规模异构具身数据预训练与三系统架构相结合，在多种评测中展现出较强的泛化能力、后训练性能和鲁棒性。未来工作将聚焦于数据规模扩展与对齐、更强的预测建模，以及可扩展的闭环学习。

结论

  • GigaBrain-0.7 在真实机器人、具身视觉语言和仿真评测中，展现出较强的开箱即用泛化能力、后训练性能和鲁棒性。这些评测覆盖多种任务和具身形态。出处：§7 · p. 44
  • 超过37,000小时、覆盖16种机器人形态的具身轨迹，以及大规模视觉语言监督，共同构成了 GigaBrain-0.7 的预训练基础。其三系统架构协同理解、预测与动作。一阶段 VLA 预训练联合优化多模态理解、分层任务预测、离散动作监督，以及跨异构具身形态的连续动作生成。出处：§7 · p. 44
  • 单独预训练的 System 3 预测未来状态并估计任务进度，在特定任务的后训练中提供条件信息，在推理时提供正向进展引导。出处：§7 · p. 44
  • 经验驱动的离线与在线强化学习利用策略执行经验和纠正反馈，进一步改进策略。出处：§7 · p. 44

未来工作

  • 未来工作将聚焦于异构数据规模扩展与跨来源对齐、更强的长时程预测与任务进度估计，以及利用自主经验和人工纠正开展的可扩展闭环学习。出处：§7 · p. 44

A. 仿真基准排行榜快照

为保证完整性和可复现性，附录保留了稿件撰写时各仿真基准的完整排行榜快照，包括正文表格未收录的提交结果。

A.1. RoboTwin 2.0

RoboTwin 2.0 官方排行榜报告了无扰动的 Easy 设置和采用域随机化的 Hard 设置下的性能。GigaBrain-0.7 采用官方 Co-Train 评估协议。

A.1. RoboTwin 2.0

  • GigaBrain-0.7 采用 Table 9 对比所用的官方 Co-Train 协议进行评估。所提供的图注未给出性能数值，也未明确排名。出处：Figure 28 · p. 45
  • 排行榜报告了无扰动的 Easy 设置和采用域随机化的 Hard 设置下的性能。出处：Figure 28 · p. 45
  • Figure 28 展示了 RoboTwin 2.0 官方排行榜的快照，其中包含评估协议。出处：Figure 28 · p. 45

A.2. EBench

完整的 EBench 官方排行榜收录的提交结果不止正文中用于代表性比较的公开可用模型。附录还明确说明了 InternVLA-A1 结果的独立来源。

  • 除正文中用于代表性比较的公开可用模型外，完整的官方排行榜记录还保留了 Qwen-RobotManip。出处：§A.2 · p. 45
  • 完整的 EBench 官方排行榜报告了截至稿件撰写时所有列出提交结果的总体任务成功率和综合任务得分。出处：Figure 29 · p. 46
  • Table 10 中的 InternVLA-A1 结果来自 Qwen-RobotManip [87] 报告的 EBench 评测，而非在线排行榜快照。正文表格中以星号上标标记了该结果。出处：§A.2 · pp. 45–46

A.3. RoboColiseum

RoboColiseum 为指令遵循、空间推理、鲁棒性和通用操作分别设置排行榜。本节提供与 Table 11 中的比较对应的榜单快照。

A.3. RoboColiseum

  • Table 11 中的 RoboColiseum 比较基于四项互补能力的排行榜，Figures 30–33 分别展示各榜单快照。这四项能力为指令遵循、空间推理、鲁棒性和通用操作。出处：§A.3 · p. 46
  • 鲁棒性与通用操作分别设有排行榜，分别评估相应 RoboColiseum 评测协议下的策略鲁棒性和通用操作能力。这些快照同样反映撰稿时的榜单情况。出处：§A.3 · p. 46, Figure 32 · p. 48, Figure 33 · p. 49
  • 指令遵循排行榜评估机器人策略在语言条件下的指令遵循能力，空间推理排行榜则评估空间推理能力。两张快照均反映撰稿时的榜单情况。出处：Figure 30 · p. 47, Figure 31 · p. 48

Related papers

Loading 2608.15875v1…