PaperlayerView exact revision on arXiv

AI 摘要 · 由英文经 AI 翻译

VLA-Touch: Enhancing Vision-Language-Action Models with Dual-Level Tactile Feedback

Jianxin Bi, Kevin Yuchen Ma, Ce Hao, Mike Zheng Shou, Harold Soh

arXiv:2507.17294v2cs.ROcs.LG

TL;DR

VLA 模型缺乏解读触觉信号的机制，限制了其在接触丰富型操作中的表现。VLA-Touch 无需对基础 VLA 进行微调，通过结合用于规划的语义触觉反馈与触觉动作精修，弥补了这一不足，并在真实世界实验中提升了规划和操作效果。

  • 问题

    VLA 模型缺乏处理触觉输入的内在机制，限制了其在接触丰富型任务中利用触觉进行规划和控制的能力。

    出处：§1 · p. 1

  • 方法

    VLA-Touch 将用于高层规划的预训练触觉-语言模型，与基于插值的控制器相结合；后者利用触觉信号精修 VLA 生成的动作，且无需对基础 VLA 进行微调。

    出处：§1 · p. 2, §3.2 · p. 4, §5 · p. 9

  • 结果

    双层触觉反馈使规划效率最高提升 40%，相较于仅使用视觉的 VLA 基线，操作成功率最高提升 35%；相较于单层反馈，任务成功率最高提升 35%。

    出处：§1 · p. 2

  • 要点与局限

    实验表明，双层触觉反馈和视觉-触觉多模态融合可作为接触丰富型操作的有效组成部分。

    出处：§1 · p. 2, §5 · p. 9

    该实现存在夹爪与传感器之间的差异，主要关注物体位置和目标位置的泛化，并以 8 Hz 运行，而未充分利用频率达到 ≥25 Hz 的触觉信号。

    出处：§6 · p. 9

Abstract

from arXiv · show

Tactile feedback is generally recognized to be crucial for effective interaction with the physical world. However, state-of-the-art Vision-Language-Action (VLA) models lack the ability to interpret and use tactile signals, limiting their effectiveness in contact-rich tasks. Incorporating tactile feedback into these systems is challenging due to the absence of large multi-modal datasets. We present VLA-Touch, an approach that enhances generalist robot policies with tactile sensing \emph{without fine-tuning} the base VLA. Our method introduces two key innovations: (1) a pipeline that leverages a pretrained tactile-language model that provides semantic tactile feedback for high-level task planning, and (2) a diffusion-based controller that refines VLA-generated actions with tactile signals for contact-rich manipulation. Through real-world experiments, we demonstrate that our dual-level integration of tactile feedback improves task planning efficiency while enhancing execution precision. Code is open-sourced at \href{https://github.com/jxbi1010/VLA-Touch}{this URL}.

1 引言

VLA-Touch 无需微调基础 VLA，即可在规划和控制两个层面为现有 VLA 流水线加入触觉反馈。真实场景实验表明，结合这两个层面的触觉反馈可提升规划效率、操作成功率和任务成功率。

  • 仅依靠视觉感知难以应对顺应性、纹理和接触事件，而将触觉整合进大规模基础模型仍缺乏充分研究。出处：§1 · p. 1
  • 触觉反馈有助于规划涉及视觉难以辨别的物体属性的任务，并在接触丰富的操作中控制摩擦和接触事件。出处：§1 · p. 1
  • 该模块化框架无需微调基础 VLA 模型，即可将触觉融入现有流水线。出处：§1 · pp. 1–2
  • 该系统结合 VLM 任务规划器、用于以语言反馈物体属性的预训练触觉语言模型，以及用于细化 VLA 动作的触觉增强控制器。出处：§1 · p. 2
  • 与纯视觉 VLA 基线相比，规划效率最高提升 40%，操作成功率最高提升 35%；与单层触觉反馈相比，任务成功率最高提升 35%。出处：§1 · p. 2
  • 该模块化框架便于研究触觉输入的影响；更丰富的反馈和更紧密的模块集成仍有待未来探索。出处：§1 · p. 3

2 相关工作

相关工作涵盖视觉-语言-动作模型、触觉基础模型和触觉传感器。VLA-Touch 基于触觉-语言建模，为 VLA 任务规划加入语义触觉解读。

  • VLA 模型结合视觉感知与语言理解，为多种操作任务生成机器人动作。出处：§2 · p. 3
  • 触觉基础模型从大规模触觉数据集中学习可泛化的表征，并逐渐扩展到语言和多模态推理。出处：§2 · p. 3
  • VLA-Touch 使用预训练的触觉-语言模型，对抓取物体生成语义解读，以支持任务规划。出处：§2 · p. 3
  • 触觉传感器通过基于 taxel 或视觉的传感设计，测量接触力、表面纹理和材料属性。出处：§2 · p. 3

3 方法

该方法将循环式触觉辅助规划与 VLA 动作块的触觉精炼相结合。语言模型根据 Octopi 的反馈更新指令，基于插值器的控制器则结合视觉、本体感觉和触觉输入来精炼动作。

  • 该方法以 RDT 作为基础 VLA，但其集成方案旨在适用于不同的 VLA 架构。出处：§3 · p. 3

触觉辅助任务规划

  • 循环式规划器生成操作指令、执行 VLA 动作块、收集观测，并根据触觉反馈更新规划。出处：§3.1 · p. 4, §3.2 · p. 5
  • GPT-4o 经提示后生成单个物体的原子动作，并利用检索信息或执行结果的反馈进行后续规划。出处：§3.1 · p. 4
  • Octopi 处理六帧 Gelsight 触觉图像，以推断粗糙度、硬度等属性，再将其转化为用于规划的语言反馈。出处：§3.1 · p. 4

利用触觉感知精炼 VLA 策略

  • BRIDGeR 使用随机插值器精炼 VLA 生成的动作；插值器以 VLA 动作分布初始化，而非以高斯噪声初始化。出处：§3.2 · p. 4
  • 控制器根据源动作块、RGB 图像与本体感觉状态，以及聚合后的触觉力信号来精炼动作，随后输出精炼后的动作序列。出处：§3.2 · p. 4
  • 控制器训练时将 VLA 生成的动作与专家序列配对；推理时则依次精炼彼此不重叠的动作窗口片段。出处：§3.2 · p. 4

4 实验

实验通过真实场景任务和消融实验，评估触觉反馈在任务规划、接触密集型操作及双层融合中的作用。结果表明，语言化触觉反馈可提升规划效果，而触觉条件化的插值控制器可改善操作表现，且视觉与触觉输入均有助益。

实验设计

  • 实验在真实场景的接触密集型任务中，对比了触觉辅助规划、触觉增强操作控制器及单层消融设置。规划部分比较 GPT-4o 在无触觉输入、原始触觉图像或 Octopi 生成的语言反馈下的表现；操作部分比较带残差控制器或插值控制器的 RDT 变体。出处：§4 · p. 5, §4.1 · pp. 5–6

任务规划结果

  • 对于基于 VLM 的规划，语言化触觉描述优于原始触觉图像，在力预测和硬度预测任务中的成功率分别达到 90% 和 75%。原始触觉图像在表面粗糙度任务中达到 100%，但在力预测和硬度预测任务中的成功率分别仅为 50% 和 60%。出处：§4.2 · pp. 6–7

操作结果

  • 插值控制器使基础 RDT 在 Cup、Wipe 和 Peel 任务中的成功率分别提高 42%、140% 和 67%。与残差控制器相比，其在 Cup、Wipe 和 Peel 任务中的表现也分别提高 67%、100% 和 42%。出处：§4.3 · pp. 7–8
  • 插值控制器在 Cup 任务中成功抓取 12/20 次，并在 12/20 次试验中完成完整擦拭。与所比较的策略相比，该控制器改善了抓取和压力调节。出处：§4.3 · p. 8
  • 剥离过程中，插值控制器剥下 13 块，仅产生 3 块短碎片；相比之下，残差控制器剥下 12 块，产生 5 块短碎片。该结果表明其接触保持能力和切割一致性有所提升。出处：§4.3 · p. 8

双层反馈

  • 移除规划层触觉反馈后，Cup、Wipe 和 Peel 任务的成功率分别下降 44%、58% 和 14%；移除控制层触觉反馈后，则分别下降 33%、58% 和 43%。消融结果显示，缺少规划反馈会导致物体选择错误；缺少控制反馈则会造成抓取失败或接触控制不准。出处：§4.4 · p. 8
  • 移除触觉反馈后，杯子放置、擦拭和剥离任务的成功率分别下降 50%、42% 和 50%。控制器消融实验还表明，视觉反馈对空间定位和抓取规划仍然重要，而触觉反馈在接触密集阶段至关重要。出处：§4.5 · p. 9

5 结论

VLA-Touch通过双层触觉反馈提升VLA策略，无需使用触觉数据对基础VLA进行微调。该框架将用于规划的语义触觉反馈与面向接触密集型操作的触觉引导动作优化相结合。

  • VLA-Touch为VLA策略加入双层触觉反馈，无需使用触觉数据对VLA模型进行微调。该框架同时面向高层规划和接触密集型操作。出处：§5 · p. 9
  • 预训练的触觉-语言模型为高层任务规划提供语义触觉反馈。出处：§5 · p. 9
  • 基于插值的控制器利用触觉信号优化VLA生成的动作，以完成接触密集型操作。出处：§5 · p. 9
  • 三项真实世界实验验证了双层触觉反馈系统的有效性。出处：§5 · p. 9
  • 消融研究证实，视觉和触觉输入对于接触密集型任务都至关重要。出处：§5 · p. 9

6 局限与未来工作

当前实现仍受夹爪与数据集不匹配、跨任务泛化有限，以及 8 Hz 控制器未能充分利用高频触觉信号等因素制约。未来工作将致力于扩展任务范围、改进抓取，并采用事件触发推理。

局限

  • 夹爪控制方式不同于 Octopi 的预训练设置，导致接触测量偏差，可能影响触觉解释，尤其是对硬度的判断。出处：§6 · p. 9
  • 实验主要检验模型在物体位置和目标位置变化下的泛化能力；跨任务泛化仍有待未来研究，且需要显著增加训练量。出处：§6 · p. 9
  • Interpolant 控制器以 8 hz 运行，未能充分利用 ≥25 Hz 的高频触觉信号来应对动态交互。出处：§6 · p. 9

未来工作

  • 未来工作提出主动抓取，结合视觉与触觉反馈，动态优化抓取姿态并改进触觉推断。出处：§6 · p. 9
  • 未来工作还提出事件触发推理和任务无关的策略优化，以提升时间效率并扩展到更多真实世界任务。出处：§6 · p. 9

任务 1：杯子

杯子任务利用与提起相关的力信息，通过触觉反馈判断杯子是空的还是满的，再根据判断结果放置杯子。

  • 任务要求机器人判断杯子是满的还是空的；如果杯子不空，就将其放到盘子上。出处：Task 1: Cup · p. 15
  • 机器人先轻轻抓住杯子，并请求获取其重量，以区分这两种状态。出处：Task 1: Cup · p. 15
  • 机器人还会利用触觉图像判断杯子状态；传感器模式变化很小，说明杯子可能是空的。出处：Task 1: Cup · p. 15
  • 将0.6571505252217286的触觉剪切力幅值与参考幅值进行比较：空杯约为0.55，满杯约为1.1。出处：Task 1: Cup · p. 15
  • 确定杯子状态后，机器人将杯子放到盘子上，或将其放回原位。出处：Task 1: Cup · p. 15

任务2：擦拭

海绵任务通过比较左右两块海绵的触觉粗糙度信息，选出更光滑的一块。触觉测量和图像形变支持选择左侧海绵。

任务 3：芒果

芒果任务通过连续触觉检查比较软硬程度，并据此指导选择。报告的交互中，有时两颗芒果都被判断为较硬，此时任意一颗都可以采摘。

连续触觉评估

  • 机器人先触碰一颗芒果以评估软硬程度，再根据触觉反馈决定采摘哪一颗。在一次交互中，机器人触碰右侧芒果，随后判断它更软、可能也更成熟，并选择了它。出处：Task 3: Mango · p. 16
  • 判断左侧芒果较硬后，机器人触碰右侧芒果，对其进行相应的软硬程度评估。对话记录了第二次触觉检查前左侧芒果的硬度和粗糙度数值。出处：Task 3: Mango · p. 16

选择结果

  • 当两颗芒果都被判断为较硬时，机器人得出结论：任意一颗都可以采摘。这一决定依据两侧的触觉观察，而非仅凭视觉检查。出处：Task 3: Mango · p. 16

B Octopi 的触觉反馈形式消融实验

芒果剥皮消融实验比较了两种触觉反馈形式，任务中的硬度差异较为细微。结果显示方法 (b) 表现更好，同时也揭示了用自然语言表征触觉的局限。

成功率对比

解读

C 插值控制器

插值控制器结合源策略动作与视觉、本体感知和触觉信息，细化 VLA 生成的动作块。它通过随机插值过程，使控制策略趋近适用于接触丰富操作任务的专家行为。

控制器形式

  • 随机插值在源动作分布与目标动作分布之间建立桥接，而非仅从标准高斯噪声开始去噪。文中指出，利用信息丰富的源策略，可以用更少的扩散步数取得更好的表现。出处：C Interpolant Controller · p. 17

随机插值

  • 插值过程从源动作开始，以目标动作结束，且噪声调度在两个边界处均归零。边界条件为 I(0,...)=a0 和 I(1,...)=a1，同时 γ(0)=γ(1)=0。出处：C Interpolant Controller · p. 17

预期优势

  • 该方法旨在结合 VLA 的鲁棒性与触觉带来的精确性，以完成接触丰富的操作任务。论文明确将此描述为在细化过程中融入触觉感知的优势。出处：C Interpolant Controller · p. 17

控制器形式

  • 控制器以 VLA 动作为起点，将其细化为融入触觉反馈的专家策略动作。VLA 策略提供源行为，专家策略则定义具备触觉感知能力的目标行为。出处：C Interpolant Controller · p. 17

推理流程

  • 推理时，控制器细化截断后的 VLA 动作块，并以最高 8 Hz 的频率执行细化后的动作。VLA 使用 64 步动作块，在后续观测更新前先细化其中的前 48 步。出处：C Interpolant Controller · pp. 17–18
Loading 2507.17294v2…