PaperlayerView exact revision on arXiv

AI 摘要 · 由英文经 AI 翻译

Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration

Junyang Wang, Haiyang Xu, Haitao Jia, Xi Zhang, Ming Yan, Weizhou Shen, Ji Zhang, Fei Huang, Jitao Sang

arXiv:2406.01014v1cs.CLcs.CV

TL;DR

移动设备操作任务对多模态大语言模型（MLLMs）构成挑战，因为单智能体系统需要在冗长、交错的历史记录中同时追踪任务进度和关注内容。Mobile-Agent-v2采用规划、决策和反思智能体，并配备随任务进度更新的记忆单元；其任务完成表现优于Mobile-Agent。

  • 问题

    在移动设备操作中，单智能体MLLM架构难以在冗长、交错的图文历史记录中追踪任务进度和关注内容。

    出处：§1 · p. 2

  • 方法

    Mobile-Agent-v2结合规划、决策和反思智能体，以及用于存储任务相关关注内容并支持纠错的记忆单元。

    出处：§1 · pp. 2–3

  • 结果

    在高级指令任务上，Mobile-Agent-v2的成功率为55%，Mobile-Agent为20%；在英语场景中，其平均成功率提升27%。

    出处：§4.3.1 · p. 7

  • 启示与局限

    与单智能体Mobile-Agent架构相比，多智能体架构提升了导航能力和操作辅助效果。

    出处：§1 · p. 3, §5 · p. 10

    作者未使用Mobile-Eval，因为该基准的难度相对较低，且Mobile-Agent-v2的准确率达到99%；因此，他们重新设计了更具挑战性的任务。

    出处：§4.3.1 · p. 7

Abstract

from arXiv · show

Mobile device operation tasks are increasingly becoming a popular multi-modal AI application scenario. Current Multi-modal Large Language Models (MLLMs), constrained by their training data, lack the capability to function effectively as operation assistants. Instead, MLLM-based agents, which enhance capabilities through tool invocation, are gradually being applied to this scenario. However, the two major navigation challenges in mobile device operation tasks, task progress navigation and focus content navigation, are significantly complicated under the single-agent architecture of existing work. This is due to the overly long token sequences and the interleaved text-image data format, which limit performance. To address these navigation challenges effectively, we propose Mobile-Agent-v2, a multi-agent architecture for mobile device operation assistance. The architecture comprises three agents: planning agent, decision agent, and reflection agent. The planning agent generates task progress, making the navigation of history operations more efficient. To retain focus content, we design a memory unit that updates with task progress. Additionally, to correct erroneous operations, the reflection agent observes the outcomes of each operation and handles any mistakes accordingly. Experimental results indicate that Mobile-Agent-v2 achieves over a 30% improvement in task completion compared to the single-agent architecture of Mobile-Agent. The code is open-sourced at https://github.com/X-PLUG/MobileAgent.

1 引言

移动设备操作任务需要在冗长的交错历史中同时追踪任务进度和重点内容。Mobile-Agent-v2 通过专门的智能体、记忆机制和反思机制应对这些挑战。

  • 移动设备操作任务需要持续进行多步处理，直至用户指令从初始屏幕开始得到完整执行。出处：§1 · p. 2
  • 图像与文本操作记录及屏幕交错形成的冗长历史，使单智能体架构难以追踪任务进度和重点内容。重点内容是指先前屏幕中保留的、与任务相关的信息。出处：§1 · p. 2
  • Mobile-Agent-v2 采用规划、决策和反思智能体，分别支持进度追踪、操作生成和错误处理。出处：§1 · pp. 2–3
  • 记忆单元从历史屏幕中记录与任务相关的重点内容，并随任务进展更新。出处：§1 · p. 2
  • 反思智能体比较操作前后的屏幕变化，并在结果不符合预期时重新执行操作。出处：§1 · p. 2
  • 跨操作系统、语言环境和应用程序的动态评测显示，Mobile-Agent-v2 有显著提升；注入人工操作知识还能带来进一步提升。出处：§1 · p. 3

2 相关工作

相关工作涵盖多智能体协作，以及用于网页和移动端 UI 操作的 LLM 智能体。Mobile-Agent-v2 致力于解决移动设备任务中的长上下文导航挑战。

  • 以往的多智能体框架通过基于角色的协作，或在沙箱环境中部署多个智能体，支持自主执行任务。出处：§2.1 · p. 3
  • 网页智能体研究通过数据集、自我经验学习、视觉理解和网页操作，提升真实网页任务表现。出处：§2.2 · p. 3
  • Mobile-Agent-v2 提出了一种多智能体架构，用于应对移动设备操作任务中的长上下文导航。出处：§2.2 · p. 4

3 Mobile-Agent-v2

Mobile-Agent-v2 通过专用智能体、视觉感知和记忆，在迭代式移动设备操作中跟踪任务进度并关注重点内容。反思阶段会评估操作结果，并据此更新设备状态或操作历史。

视觉感知模块

  • 视觉感知模块将屏幕截图转换为屏幕文本、图标信息和坐标，供后续生成操作使用。该模块使用文本识别、图标识别和图标描述工具。出处：§3.1 · p. 4

规划智能体

  • 规划智能体将历史操作概括为任务进度，使决策智能体能够专注于尚未完成的子任务。其输入包括指令、重点内容、上一步操作和此前的任务进度。出处：§3.3 · p. 5

决策智能体

  • 决策智能体在更新重点内容的同时生成并执行设备操作，并从受限的操作空间中选择动作。可用动作包括打开应用、点击、滑动、输入、返回主页和停止。出处：§3.4 · p. 5

记忆单元

  • 记忆单元存储从屏幕中提取的任务相关重点内容，并由决策智能体更新，以供后续决策参考。这有助于完成需要调用此前观察到的信息的任务，包括跨多个应用收集信息的任务。出处：§3.2 · p. 4, §3.4 · p. 6

反思智能体

  • 反思智能体比较操作前后的屏幕状态，并将操作判定为错误、无效或正确。错误操作会返回上一页面，无效操作不会改变页面，只有正确操作才会更新操作历史和页面状态。出处：§3.5 · p. 6

4 实验

通过动态移动设备任务、组件消融、模型比较和操作序列分析评估 Mobile-Agent-v2。结果显示，该方法提升了任务完成效果，反思和记忆模块均有助益，且更善于处理长操作序列。

评测设置

  • 动态评测使用真实的 Harmony OS 和 Android 设备，并通过 ADB 在非英语和英语场景中模拟操作。研究在每种场景中评测五个系统应用和五个热门应用。出处：§4.2 · p. 7
  • 评测指标包括成功率、完成率、决策准确率和反思准确率。成功率要求满足指令的全部要求；完成率则衡量相对于真实标注执行正确操作的比例。出处：§4.2 · p. 7

任务完成

  • 在具有挑战性的高级指令上，成功率达到 55%，而 Mobile-Agent 为 20%；英语场景的成功率平均提升 27%。与单智能体基线相比，Mobile-Agent-v2 在基础和高级指令任务中，以及不同语言场景下均有所提升。出处：§4.3.1 · p. 7

应用类型

  • 在多应用任务中，相较于 Mobile-Agent，SR 提升 37.5%，CR 提升 44.2%。作者将这些提升归因于多智能体协作和记忆单元，它们有助于检索历史操作和焦点内容。出处：§4.3.1 · p. 8

消融研究

  • 移除规划、反思或记忆模块都会降低性能，其中规划对整体性能的影响最大。反思模块会纠正错误操作，而记忆模块有助于执行多应用任务及定位关键 UI 元素。出处：§4.3.2 · p. 9, Table 4 · p. 9

操作序列分析

  • Mobile-Agent 的错误集中出现在任务后期，而 Mobile-Agent-v2 未呈现明显的位置分布规律。分析将操作位置按相对顺序等分为三段，并将差异与长序列导航联系起来。出处：§4.3.3 · p. 9, Figure 4 · p. 10

5 结论

Mobile-Agent-v2 通过多智能体协作解决单智能体移动设备操作助手面临的导航难题，并报告了相较于 Mobile-Agent 的性能提升。论文还指出，人工操作知识是进一步改进的方向。

  • Mobile-Agent-v2 通过多智能体协作解决单智能体移动设备操作助手面临的导航难题。出处：§5 · p. 10
  • 与单智能体 Mobile-Agent 相比，Mobile-Agent-v2 的性能显著提升。出处：§5 · p. 10
  • 人工操作知识有助于进一步提升性能，为未来研究提供了方向。出处：§5 · p. 10
  • 评测任务涵盖在 Weibo、Bilibili、WhatsApp、X、TikTok 和 Little Red Book 上评论、搜索、关注、回复，以及检索特定内容的帖子。出处：Figure 6 · p. 11, Figure 7 · p. 11, Figure 8 · p. 12

A.1 评测应用与指令

评测采用英文和非英文移动应用，涵盖基础和进阶指令，同时隐去涉及隐私的应用细节。

A.2 智能体提示词

规划、决策和反思阶段的提示词分别分配了不同的输入和职责；初始操作与后续操作使用不同的规划提示词。

Related papers

Loading 2406.01014v1…