AI 摘要 · 由英文经 AI 翻译
A Comprehensive Survey of Action Quality Assessment: Method and Benchmark
Kanglei Zhou, Ruizhi Cai, Liyuan Wang, Hubert P. H. Shum, Xiaohui Liang
TL;DR
异构数据集和评估协议使不同 AQA 方法难以进行系统比较。本综述按模态对方法分类，并在不同数据集和统一设置下对代表性视频类方法进行基准评测。基准结果显示，没有一种方法能在所有数据集上持续领先，且准确率与计算开销之间存在权衡。
问题
AQA 相关综述和研究采用的数据集、协议和分类体系各不相同，限制了系统比较，也掩盖了共同的方法基础。
出处：§1 · p. 2, §6.2 · p. 15方法
本综述提出一种由模态驱动的分类体系，并建立统一基准，整合六个数据集和七项评估指标，对代表性视频类方法进行评测。
出处：§1 · p. 3, §4 · p. 6, §6.2 · p. 15结果
没有一种方法能在所有数据集上持续表现最佳；数据集特性会影响性能，而更高的预测准确率往往伴随更大的计算开销。
出处：§6.2.4 · p. 16要点与局限
本综述梳理了方法演进，并指出可靠性和可解释性是近期研究方向，生成模型与具身智能则是长期机遇。
出处：§1 · p. 3, §8 · p. 18该基准仅涵盖视频类 AQA；由于标准化数据集和可复现流程仍然有限，未纳入骨架类和多模态方法。
出处：§8 · p. 18
Abstract
from arXiv · showhide
Action Quality Assessment (AQA) aims to automatically evaluate how well human actions are performed and has been widely applied in sports analysis, skill assessment, and healthcare. However, AQA studies are often developed under heterogeneous datasets and evaluation settings, making systematic comparison across methods difficult. To address these challenges, we present a comprehensive survey of recent advances in AQA. In particular, we propose a modality-driven hierarchical taxonomy that organizes existing methods into video-based, skeleton-based, and multi-modal approaches, and analyze the methodological evolution of representative models. We further establish a unified benchmark for representative video-based AQA methods by integrating diverse datasets and standardized evaluation protocols, enabling consistent comparison in terms of both accuracy and computational efficiency. Finally, we analyze emerging research trends, identify key challenges in current AQA research, and outline future directions ranging from near-term methodological advances to longer-term opportunities enabled by emerging AI paradigms. The project web page can be found at https://ZhouKanglei.github.io/AQA-Survey.
1. 引言
AQA评估同一动作类别内的表现差异，细微的动作变化至关重要，但现有综述对方法的系统梳理和统一比较仍不充分。本综述通过模态驱动的分类体系、统一基准以及研究方向分析，弥补这些不足。
1. 引言
- AQA评估同一动作类别内的表现差异，因此需要敏锐捕捉细微的动作动态，并采用符合领域特点的评估标准。这使其区别于动作识别；后者旨在识别动作类别。出处：§1 · p. 2
- 现有综述侧重领域或趋势概述，但缺乏统一的方法组织、系统的基准评测以及对未来方向的深入综合分析。早期综述采用领域驱动的分类体系，而趋势导向的综述未能整合不同范式间相互重叠的技术。出处：§1 · p. 2
- 数据集和评估协议各不相同、验证场景狭窄且应用领域多样，这些因素使AQA研究彼此割裂，也掩盖了共同的建模原则。这些差异妨碍了不同方法的结果复现与泛化。出处：§1 · p. 3
- 所提出的分类体系将方法分为基于视频、基于骨架和多模态三类，因为输入类型会影响模型设计。该体系还根据各模态的特定属性进一步区分方法。出处：§1 · p. 3
- 统一基准整合六个数据集和七项评估指标，从准确性和计算开销两方面比较代表性方法。标准化实验设置旨在支持对不同方法进行一致比较。出处：§1 · p. 3
- 本综述指出，近期研究可关注可靠性与可解释性，长远而言，生成模型和具身智能则带来新的机遇。综述还分析了AQA的新兴趋势与挑战。出处：§1 · p. 3
2. 综述方法
本综述采用基于 PRISMA 的流程识别、筛选并纳入 AQA 研究，随后提取共性属性，用于构建分类体系并开展分析。按照预先设定的纳入资格和质量标准，最终纳入 135 篇方法研究论文。
2. 综述方法
- 本综述检索五个学术来源中 2014 年及之后发表的文献，并通过反向引文分析补充数据库检索。检索词包括动作质量评估、技能评估和动作评分。出处：§2 · p. 3
- 研究须聚焦 AQA 预测，并提供相关的学习方法、数据集或评估框架，同时满足方法学清晰度和基准相关性要求。此外，综述排除了非英文文献、教程、仅含摘要的文献、重复文献及非预测类研究。出处：§2 · p. 3
- 去重后，经标题与摘要筛选及全文评估，最终纳入 135 篇 AQA 方法研究论文。对于技术细节不足或缺乏明确实验验证的论文，综述予以排除；作者间的分歧通过讨论解决。出处：§2 · p. 3, Figure 2 · p. 4
- 作者为每项研究提取输入模态、架构、监督方式、数据集和应用领域等信息，以支持分类体系构建和跨方法分析。综述还维护了一个公开网页，汇集精选论文及其元数据，并计划持续更新。出处：§2 · p. 4
3. 常见 AQA 设置基础
AQA 通过统一框架将一种或多种模态转化为预测质量输出，而输出形式和评估指标取决于具体评估场景。本节将连续评分、离散等级评定或排序，以及任务特定评估，与不同的精度、成本和鲁棒性需求联系起来。
3.1. 问题定义
- AQA 通过 backbone、表征学习 neck 和 prediction head 处理各模态特征，并输出分数、等级或排序结果。该框架支持单模态或多模态输入。出处：Figure 3 · p. 4, §3.1 · p. 4
- 单模态 AQA 使用一种输入类型；多模态 AQA 则利用辅助模态进行更全面的分析。出处：§3.1 · p. 4
3.2. 典型场景
- 连续分数可提供精细评估；当无需精确分数时，离散等级或排序则可提供较粗略的评估。出处：§3.2 · p. 4, §3.2.1 · p. 4, §3.2.2 · p. 4
3.2.3. 对建模的启示
- 连续评分需要精确且可靠的标签；等级评定侧重效率和可解释性，而排序可降低标注成本，并强调序关系的一致性。这些场景需要在精度、成本和鲁棒性之间权衡。出处：§3.2.3 · p. 5
3.3.1. 相关性指标
- SRCC 通过比较预测分数与真实分数的秩，衡量二者关系的强度和方向。当相对排序比精确数值分数更重要时，该指标很有用。出处：§3.3.1 · p. 5
3.3.2. 精度指标
- rMSE 通过归一化分数误差并乘以 100，避免不同动作类别的分数尺度差异带来的影响。本节还将 MAE 和 MSE 列为衡量连续分数误差的常用指标。出处：§3.3.2 · p. 5
- Accuracy 衡量等级预测正确的比例或排序对预测正确的比例，并通过指示函数标记预测结果与目标是否匹配。出处：§3.3.2 · p. 5
3.3.3. 任务特定指标
- IoU 评估片段定位，average forgetting 则衡量持续学习 AQA 中的知识保留情况；相关性指标和精度指标分别反映互补方面，但任务特定指标会降低跨任务可比性。基于排序的 AQA 倾向于采用相关性指标，而连续评分或等级评定则需要精度指标。出处：§3.3.3 · p. 5, §3.3.4 · p. 5
4. AQA方法的模态驱动分类体系
该综述根据输入模态组织 AQA 方法，因为模态会影响运动线索、数据表示和建模策略。分类体系将方法分为基于视频、基于骨架和多模态三类，并进一步区分各自的核心挑战与方法进展。
4. AQA方法的模态驱动分类体系
- 输入模态是该综述组织 AQA 方法的主轴，因为它决定网络设计和建模策略，而模态特有的权衡也会影响系统设计。出处：§4 · p. 6
4.1. 模态驱动分类体系：依据与概述
- 该分类体系将方法划分为视频、骨架和多模态三个分支，分别应对冗余视觉序列、含噪或获取成本高的姿态数据，以及模态融合问题。出处：§4.1 · p. 6
- 该综述区分范式层面的进展（提出新的建模形式）与渐进式改进（优化现有流程）。出处：§4.1 · p. 6
4.2. 基于视频的方法
基于视频的 AQA 方法可分为三个阶段：特征提取、视频级表征学习和质量预测。相关设计旨在应对计算开销、细粒度时空线索，以及绝对评估与相对评估之间的选择。
4.2. 基于视频的方法
- 基于视频的 AQA 面临视频冗长且冗余、质量线索细微、特征存在域偏移以及标注有限等问题，因此需要围绕三个处理阶段进行设计。这三个阶段分别是特征提取、视频级表征学习和质量预测。出处：§4.2 · p. 6
4.2.1. 特征提取
- 预训练 2D CNN、3D CNN 和 transformer 在时间建模能力与计算开销方面各有取舍；与此同时，AQA 数据集规模较小且视频较长，使得从头训练或大规模微调颇具挑战。近期方法会调整骨干网络，或在处理流程后续阶段进一步优化表征。出处：§4.2.1 · pp. 6–8
4.2.2. 基于视频的表征学习
- 空间感知表征学习侧重以人为中心和以物体为中心的线索，利用空间先验或优化后的特征减少背景干扰。基于蒸馏的优化方法可迁移空间知识；由线索驱动的方法则会加入语义信号，但依赖辅助线索的质量，也可能增加复杂度。出处：§4.2.2 · pp. 8–9
- 时间感知方法从片段化视频中恢复动作流程和长程依赖，采用数据驱动的序列模型或流程标注。隐式方法较为灵活，但可解释性可能较弱且计算成本较高；显式方法可提供阶段级反馈，但需要标注，并且对未见动作的泛化能力可能较差。出处：§4.2.2 · p. 9, Figure 8 · p. 9
4.2.3. 质量预测
- 质量预测将视频级表征映射为输出，可通过直接评估绝对分数，或对比评估动作之间的关系来实现。直接方法效率较高，但对细微差异不够敏感；对比方法能提升细粒度区分能力并减少标注负担，但计算成本较高。出处：§4.2.3 · pp. 9–10, Figure 10 · p. 10
4.3. 基于骨架的方法
基于骨架的 AQA 模型关注关节轨迹而非视觉外观，本节重点介绍骨骼数据采集与表征所面临的独特挑战。不同采集方式和表征方法在精度、实用性与鲁棒性之间各有取舍。
4.3. 基于骨架的方法
- 基于骨架的 AQA 关注身体运动学并抑制背景变化，但姿态误差、稀疏的运动线索以及环境上下文缺失限制了其应用。鉴于基于骨架的研究相对较少，综述重点讨论这些独特挑战，而不对方法进行穷尽式分类。出处：§4.3 · p. 10
4.3.1. 骨骼采集方法
- RGB 摄像机易于获取但精度较低；深度传感器能准确捕捉 3D 关节，但受成本和环境条件限制；MoCap 精度高，但需要昂贵且受控的设置。选择何种采集方式，取决于如何平衡准确性与实用性。出处：§4.3.1 · pp. 10–11, Table 5 · p. 11
4.3.2. 骨骼表征学习方法
- 骨骼表征学习已从手工设计的描述符转向深度模型，其中 GCNs 在建模关节及其时空连接方面尤为突出。提升鲁棒性的机制包括层次化身体部位建模、互补输入与集成、辅助任务学习、对比推理和自监督。出处：§4.3.2 · p. 11, Figure 11 · p. 11
4.4. 多模态方法
多模态 AQA 将音频、文本、骨架和传感器等互补信息与视觉信息结合。综述中的方法利用这些输入提供节奏和时间线索、语义指导与反馈，或构建更丰富的运动学及上下文表征。
音频辅助方法
- 音频辅助方法引入节奏和时间线索，相关研究从滑冰和舞蹈中的视听建模，逐步发展到多模态融合、语言指导和缺失模态补全。综述指出，这些发展有助于增强节奏感知、时间对齐能力和鲁棒性。出处：§4.4 · p. 12
文本辅助方法
- 文本辅助 AQA 利用语言融入领域语义以丰富视觉表征，或生成可解释的反馈和提示引导的评估。综述中的方法包括文本到视觉的知识迁移、视频-文本匹配、类似专家的反馈，以及质量感知提示。出处：§4.4 · p. 12
视频-骨架方法
- 视频-骨架方法将视觉外观与显式运动学信息融合，尤其适用于外观含糊或需要精细身体控制的动作。例如，姿态引导的 Transformer，以及面向多人或长期体育动作套路的对比式融合方法。出处：§4.4 · p. 12
其他模态辅助方法
- 其他方法将视频与可穿戴设备、生理、注视、光流或关键点信号结合，以丰富评估输入。综述中的示例涉及帆板、花样滑冰、板球和健身场景。出处：§4.4 · p. 12
4.5. 模态选择与权衡
视频、骨架和多模态 AQA 在信息丰富度、鲁棒性、效率和实际应用约束方面各不相同。综述建议根据应用需求选择模态，而非只看性能。
4.5. 模态选择与权衡
- 视频能提供丰富的视觉上下文，但成本较高且容易受背景影响；骨架方法效率高、可解释性强，但依赖姿态质量，且可能缺少上下文；多模态融合能提升鲁棒性，但会增加部署难度。多模态方法需要同步采集、模态对齐，并在推理时确保所有模态均可用。出处：§4.5 · p. 12, Table 6 · p. 13
- 高效运动学分析适合采用骨架方法；重视视觉上下文时可选择视频；只有当鲁棒性收益足以抵消标注和推理复杂度时，才适合采用多模态设计。综述将可灵活适配模态、按需启用辅助信号的框架视为一个新兴方向。出处：§4.5 · p. 13
5. 任务特定应用
本文综述半监督、持续学习和可解释 AQA，并指出标签稀缺、适应能力和有效反馈是实际应用中的挑战。
半监督 AQA
- 半监督 AQA 利用未标注数据和少量标注样本，但伪标签的可靠性仍是尚未解决的挑战。相关方法包括掩码片段恢复和教师–学生伪标签生成。出处：§5 · p. 13
持续学习 AQA
- 持续学习 AQA 研究如何适应新的数据分布，同时避免灾难性遗忘；如何兼顾适应能力、内存效率和长期稳定性仍有待解决。代表性方法针对域偏移、新动作类别或隐私保护下的稳定性展开研究。出处：§5 · p. 13
可解释 AQA
- 可解释 AQA 通过叙述式诊断、教练反馈和视觉辅助来补充评分，但生成有信息量的解释仍颇具挑战。反馈形式从关键点级分析到自由文本不等，视觉辅助包括动作叠加和并排比较。出处：§5 · p. 13
6. 数据集与基准
该综述梳理了 AQA 数据集，并在标准化设置下对基于视频的方法进行基准评测。结果表明，方法表现取决于数据集，且预测准确率与计算成本之间存在权衡。
6.1. 数据集
- 近期数据集加入了多模态输入和结构化标签，包括步骤级、子动作、分割及姿态增强监督。医疗健康数据集还包含 3D 骨骼信号。出处：§6.1 · p. 13
- 较大的数据集如今包含数千至数万个视频，而 LOGO 和 Trampoline-AQA 面向分钟级动作。这类长序列给时序建模和效率带来了挑战。出处：§6.1 · p. 13
- AQA 数据集已从体育和医疗健康拓展到教学、AI 生成动作评估，以及采用专门评价标准的传统活动。例如，TAQR 和 TAQA 用于教学，GAIA 和 Human-AGVQA 用于 AI 生成动作，BDJ 用于传统活动。出处：§6.1 · pp. 13, 15
6.2.1. 实验设置
- 基于视频的基准涵盖六个数据集、七种基线方法和七项指标；由于标准化数据集和可复现实现仍然有限，该基准不纳入基于骨骼和多模态的方法。数据集涵盖短时和长时动作；所选基线方法分别代表直接回归、对比学习方法、Transformer 和图推理。出处：§6.2 · p. 15, §6.2.1 · p. 15
- 基准评测采用公开实现、官方划分，并在不针对各数据集或各方法调整超参数的情况下运行三次。除非另有说明，实验使用单张 RTX 3090 GPU 和 I3D 主干网络；针对具体任务调参可能提升个别方法的表现。出处：§6.2.1 · p. 15
6.2.2. 评估表现
- Transformer 在若干长序列数据集上表现有竞争力，对比学习方法在大规模数据集上表现突出，DAE 在 Fis-V 上表现突出，HGCN 在 AQA-7 上表现突出。USDL/MUSDL 在 Fis-V 等具有挑战性的数据集上表现出更大方差；对比学习方法在较小数据集上的表现波动更大。出处：§6.2.2 · p. 15
6.2.3. 计算性能
- CoRe 和 T2CR 的训练时间分别为 46 和 49 小时；CoFInAl 的推理速度最快，为 0.03s。对比学习方法的单样本推理时间最高可达 1.4s，而 DAE 的 FLOPs 最低，为 557.53G；T2CR 的复杂度高出 30 倍以上。出处：§6.2.3 · pp. 15–16, Figure 12 · p. 15
6.2.4. 实验观察
- 没有任何方法能在所有数据集上始终领先；数据集的时序长度和领域结构会影响结果，而且更高的准确率往往伴随更高的计算成本。基准评测指出，亟需开发兼具效率和鲁棒性、能够适应多样数据集的方法。出处：Table 8 · p. 16, §6.2.4 · p. 16
7. 趋势、挑战与未来方向
本综述梳理了 AQA 向结构感知建模的发展，并指出数据、适应与可信性方面仍存在的挑战。未来方向涵盖更强大的基础模型，以及生成式与具身动作评估。
7.1. 当前趋势
- AQA 正转向细粒度、可解释和多模态方法，同时借助 Transformer 和预训练模型进行长程建模并提升数据效率。细粒度推理将表征与时间片段或子动作对齐；输出层方法则旨在提供诊断性且可操作的反馈。出处：§7.1 · p. 16
7.2. 尚未充分探索的挑战
- 尚待解决的挑战包括冗余视频输入与细微线索之间的矛盾、域偏移、成本高昂的细粒度标注、模态缺失或不可靠，以及敏感领域中的伦理可靠性。如何从粗粒度监督中获得可靠的质量表征，并在输入不完整时平稳退化，仍是未解决的挑战。出处：§7.2 · p. 17
7.3. 未来方向
- 未来方向既包括近期的流程扩展，也包括新兴 AI 范式带来的机遇。这一路线图串联了当前趋势、挑战与潜在方向。出处：§7.3 · p. 17, Figure 13 · p. 17
- 基础模型有望通过可迁移表征缓解标签稀缺问题，但如何使其适应 AQA 的需求仍有待探索。例如，VideoMAE V2 和 VideoMamba 用于时空表征，MotionGPT 用于骨骼建模，Video-LLaMA 用于视频-语言理解。出处：§7.3 · p. 17
- 未来的持续学习应解决对未见域的适应与泛化问题，尤其是自我视角场景，同时减少对标注更新和存储的重放数据的依赖。重放可能引发隐私问题，并限制其在现实场景中的适用性。出处：§7.3 · p. 17
- 稳健的多模态 AQA 应通过灵活架构、不确定性感知融合和平稳退化来应对输入缺失或噪声。当前方法通常假设各模态完整且可靠。出处：§7.3 · pp. 17–18
- 可信的 AQA 研究应提升稳健性和可解释性，重视伦理考量，并探索用于以人为中心评估的情感信号。当前方法仍易受对抗扰动影响，且可解释性不足，难以实际部署。出处：§7.3 · p. 18
- AQA 可用于评估具身学习或机器人领域生成的动作，包括其真实性、正确性和执行质量。本综述提出探索与生成式模型和具身模型的结合，以实现细粒度评估并形成潜在反馈闭环。出处：§7.3 · p. 18
8. 结论
该综述以模态驱动的分类体系梳理 AQA 研究，并提出视频基准，用于评估准确性和计算效率。综述还总结了研究趋势、挑战与未来方向，同时指出数据集覆盖范围和基准适用范围有限。
8. 结论
- 该综述回顾了 AQA 的进展，提出模态驱动的分类体系，并引入视频基准；但受篇幅限制，未能涵盖部分新兴数据集，且基准不包括基于骨架和多模态的方法。该基准侧重于在官方设置下进行公平比较，而非针对具体任务进行大量调优。出处：§8 · p. 18