A Standardized Benchmark for Skeleton-Based Rehabilitation Assessment Using Deep Learning

1 引言

• 康复评估关注同一活动类别内的运动质量及其相对理想动作的偏差；动作识别则不同，它对运动类型进行分类。例如，评估可以判断深蹲是否正确完成，并量化其与理想动作的偏差。出处：§1 · p. 2
• 从视频中提取的骨架序列提供了一种紧凑且可解释的运动表示，可通过智能手机、网络摄像头或深度相机等易于获取的设备采集。本文将这些方案与昂贵、侵入性强且往往不切实际的动作捕捉系统进行了对比。出处：§1 · pp. 2–3
• 该领域缺乏统一基准，数据集覆盖有限、评估方案不一致以及实现未公开等问题，都限制了方法比较与结果复现。以往研究往往依赖 KIMORE 和 UI-PRMD，因此模型在不同人群、不同练习以及真实场景中的表现仍不明确。出处：§1 · p. 3
• 本文将现有康复数据集汇总为 Rehab-Pile，并提出统一框架，以便对深度学习方法进行一致比较。该档案旨在支持对现有方法和未来方法的分析。出处：§1 · pp. 3–4
• 该基准涵盖分类和外在回归任务；作者公开发布了汇总后的数据集及重新实现的代码。分类任务使用 39 个数据集，外在回归任务使用 21 个数据集。出处：§1 · p. 4

2 定义 •

• 单变量时间序列是由 L 个带时间戳的数据点按顺序组成的序列；多变量时间序列则包含 M 个长度相同的单变量序列。分类数据集将每个多变量序列与离散的类别概率标签配对；外在回归数据集则将其与连续标签配对。出处：§2 · p. 4
• 时间序列分类数据集包含 N 个多变量序列，每个序列有 M 个变量、长度为 L，并由 C 个类别上的概率分布标注。时间序列外在回归数据集具有相同的序列结构，但为每个序列关联一个连续标签。出处：§2 · p. 4
• 基于骨骼的人体运动序列包含 L 帧，每帧是由 J 个关节构成的 D 维骨骼，可表示为随时间变化的 J·D 个变量。出处：§2 · p. 4

3 Rehab-Pile 数据集

• Rehab-Pile 从九个公开仓库中整理出 60 个按练习划分的数据集：39 个用于分类，21 个用于外部回归。论文指出，用一个模型评估多项练习并不可行，因此每项练习都被视为单独的数据集。出处：§3 · p. 5

3.1.1 EHE REG

• EHE 仓库贡献了六个回归数据集，数据来自养老院日常练习，标签表示阿尔茨海默病的严重程度。研究使用 Kinect 摄像头采集了 25 人的动作。出处：§3.1.1 · p. 5

3.1.2 KIMORE REG

• KIMORE 贡献了五个回归数据集，使用专家为 71 人完成的练习评定的 0 到 100 连续分数。该仓库包含 40 名健康者和 31 名患有病理状况者。出处：§3.1.2 · p. 5

3.1.3 UI-PRMD REG

• UI-PRMD 贡献了十个回归数据集，数据来自分段后的练习序列，并带有连续标签；但并非所有十名受试者都完成了每项练习。出处：§3.1.3 · pp. 5–6

3.2.1 IRDS CLF BN；3.2.2 KERAAL CLF BN 和 KERAAL CLF MC

• IRDS 贡献了九个二分类数据集；KERAAL 贡献了六个二分类或多分类数据集，训练使用健康受试者，患者测试采用留一受试者法。IRDS 包含 14 名健康参与者和 15 名不健康参与者；部分练习以坐姿、轮椅上或借助支撑完成。出处：§3.2.1 · p. 6, §3.2.2 · p. 7

3.2.3 KIMORE CLF BN

• KIMORE 的五个分类数据集将分数不高于 50 的练习标为错误，将高于 50 的练习标为正确。出处：§3.2.3 · p. 7

3.2.4 KINECAL CLF BN

• KINECAL 保留了 11 项练习中的四项，因为 90 名参与者中只有六名在临床上属于风险人群；每项保留的练习至少需要五名风险参与者。出处：§3.2.4 · p. 7

3.2.5 SPHERE CLF BN；3.2.6 UCDHE CLF BN 和 UCDHE CLF MC；3.2.7 UI-PRMD CLF BN

• SPHERE WUS 被重新设定为二分类异常识别任务；UCDHE 贡献了四个二分类或多分类数据集，UI-PRMD 则增加了十个二分类数据集。UCDHE 中，两项练习的标签表示动作正确或错误类型；在二分类版本中，各类错误合并为一类。UI-PRMD 新增的二分类标签表示动作正确或错误。出处：§3.2.5 · p. 7, §3.2.6 · p. 8, §3.2.7 · p. 8

4 用于康复评估的深度学习

• 所选架构包括最初用于单变量或多变量时间序列分类的模型，以及专为人体动作数据集设计的模型。出处：§4 · p. 8
• 骨干网络涵盖卷积模型、循环模型，以及自注意力和图卷积方法。出处：§4 · p. 8
• 本节介绍各类骨干网络处理时序数据的方式，并给出其数学形式的定义。出处：§4 · p. 8

4.1.1 时序数据上的卷积操作

• 时序卷积检测有助于区分输入类别的模式，而膨胀率控制滤波器对序列的感受范围。本节以一维卷积为例，说明有无膨胀时的卷积操作。出处：§4.1.1 · pp. 8–9

4.1.2 循环神经网络

• RNN 根据当前输入和过去的记忆更新序列表示；LSTM 维护隐藏状态和细胞状态，而 GRU 将遗忘门和输入门合并为更新门。LSTM 和 GRU 都会生成逐帧输出序列。出处：§4.1.2 · pp. 10–11

4.1.3 自注意力

• 自注意力通过学习得到的查询、键和值投影，建立输入序列中不同位置之间的关联；按行计算的 softmax 权重决定帧间注意力。可选的输出投影用于调整最终表示的维度。出处：§4.1.3 · pp. 11–12

4.1.4 图卷积神经网络

• 图卷积利用图的连接关系和学习得到的变换，通过聚合邻近节点的信息来更新节点表示。本节说明时序卷积如何生成供图卷积操作使用的帧级特征。出处：§4.1.4 · p. 12

4.2 深度学习架构

• 该研究将架构分为卷积、循环、自注意力和基于图的四类。架构部分按这四类分别介绍模型。出处：§4.2 · p. 13, Figure 4 · p. 13

4.2.1 全卷积网络（FCN）

• FCN 由三个卷积块和全局平均池化组成，之后接针对具体任务设计的分类或回归输出层。每个卷积块依次执行一维卷积、批归一化和 ReLU；分类任务使用 softmax，回归任务则预测一个连续值。出处：§4.2.1 · p. 13

4.2.2 混合 Inception（H-Inception）

• H-Inception 对时间序列 Inception 进行改造，采用用于检测上升趋势、下降趋势和峰值的固定手工设计滤波器。这些滤波器集成在第一层中，并在训练期间保持不变。出处：§4.2.2 · p. 14

4.2.3 带有提升技术的轻量级 Inception 多变量网络（LITEMV）

• LITEMV 在首个卷积块中结合多路复用深度可分离卷积与固定滤波器，随后在后续卷积块中使用膨胀率逐渐增大的卷积。该架构由三个卷积块构成，并在下游任务层之前使用全局平均池化。出处：§4.2.3 · p. 15

4.2.4 解耦卷积神经网络（DisjointCNN）

• DisjointCNN 使用四个 1+1D 卷积块，先提取时间模式，再学习不同维度间的空间关系。最后一个卷积块之后接局部最大池化和全局平均池化。出处：§4.2.4 · pp. 15–16

4.2.5–4.2.6 循环架构

• ConvLSTM 在 LSTM 层之前应用卷积块；MotionGRU 则使用两个 GRU 层，将原始输入序列汇总为一个向量。ConvLSTM 的卷积块使用宽度为 1 的二维卷积核；MotionGRU 还通过全连接层降低维度。出处：§4.2.5 · p. 16, §4.2.6 · p. 17

4.2.7–4.2.8 Transformer 架构

• VanTran 改造了 Transformer 编码器，采用四个注意力块和正弦绝对位置编码；ConvTran 则将 1+1D 嵌入与时间编码、相对位置编码结合。ConvTran 使用一个不带残差连接的自注意力块，不同于 VanTran 的四块设计。出处：§4.2.7 · p. 18, §4.2.8 · pp. 18–19

4.2.9 时空图卷积网络（STGCN）

• 增强版 STGCN 以 LSTM 层替代全局平均池化，并加入可学习注意力矩阵，对骨架关节进行加权。其图卷积用于捕捉骨架各维度间的相关性；LSTM 层则聚合时间信息。出处：§4.2.9 · pp. 19–20

5.1.1 数据重采样

• 由于样本的帧率和录制技术相同，序列采用 Fourier 重采样至各自数据集的平均长度。这样可使每个数据集中的帧数统一。出处：§5.1.1 · p. 21

5.1.2 创建训练-测试折

• 训练-测试折按受试者划分，适用的测试集仅包含不健康受试者。受试者数量不少于十人的数据集采用五折跨受试者划分；规模较小的数据集采用留一受试者法划分，受试者数量根据相应人群确定。出处：§5.1.2 · p. 21

5.1.3 数据归一化

• 针对每个特征维度独立计算 Min-max 归一化，并对训练数据和测试数据均使用训练集极值。论文指出，这可以避免测试数据影响训练。出处：§5.1.3 · p. 22

5.1.4 多变量时间序列表示

• 只有 STGCN 将输入作为骨架序列；其他模型将关节维度和特征维度展平为形状为 (L, J · D) 的 MTS。保留时间帧轴。出处：§5.1.4 · p. 22

分类

• 分类任务采用 accuracy 和 balanced accuracy；balanced accuracy 对各类别的召回率取平均，以应对类别不平衡。作者指出，这可以避免模型过度预测多数类而导致分数虚高。出处：Classification · pp. 22–24

回归

• 回归性能通过 RMSE 和 MAE 衡量：MAE 对各偏差一视同仁，而 RMSE 对较大的误差和离群值更敏感。作者同时采用这两个指标，以更全面地评估模型性能。出处：Regression · p. 24
• 训练标签归一化至 0.0–1.0，预测值限制在该范围内，回归指标则在反归一化后计算。反归一化时，将预测值乘以 Table 1 中与该数据集对应的最大值。出处：Regression · p. 24

5.2.2 效率评估

• 效率评估报告训练时间、推理时间、可训练参数量和 FLOPs，并与性能指标一并列出。该比较旨在找出既准确又具备计算效率的模型，包括适用于资源受限环境的模型。出处：§5.2.2 · pp. 24–25

5.3.1 训练配置与计算环境

• 所有模型均采用统一的 TensorFlow-Keras 实现和训练配置，在同一台 RTX 4090 机器上训练 1500 轮，批大小为 64。该配置还使用 ReduceLROnPlateau 调度，并选择训练损失最低的检查点进行测试评估。出处：§5.3.1 · p. 25

5.3.2 集成策略

• 每一折中，采用不同随机初始化的五次运行生成测试预测，并在计算评估指标前对预测取平均。分类集成对预测概率分布取平均，回归集成对预测值取平均；最终性能为各折的平均值。出处：§5.3.2 · pp. 25–26
• 集成设置通过对预测取平均，减小随机初始化对预测结果的影响；通过对各折性能取平均，降低特定训练—测试划分带来的偏差。作者将这两点概括为该设置的两个主要目的。出处：§5.3.2 · p. 26

6.1 性能

• Multi-Comparison Matrix 根据模型在各数据集上的平均表现进行排名，并报告两两差异、胜平负次数及显著性检验结果。研究采用双侧 Wilcoxon 符号秩检验，并将低于 0.05 的 p 值视为具有统计显著性。出处：§6.1 · pp. 26–27

6.1.1 回归

• 在回归任务中，LITEMV 在统计上显著优于所有竞争模型，其跨数据集平均 MAE 为 5.3497，RMSE 为 6.4286。ConvTran 排名第二；作者认为，其卷积嵌入有助于保留该任务所需的信息特征。出处：§6.1.1 · pp. 27–28, Figure 16 · p. 28, Figure 17 · p. 29
• 回归任务的模型排名因架构而异：MotionGRU 优于 ConvLSTM，而 STGCN 总体排名第六，并在 KIMORE 和 UIPRMD 上胜过 LITEMV。LITEMV 的深度可分离卷积能够捕捉时间和空间相关性，而 H-Inception 缺少这一能力；作者认为，STGCN 的结构建模适合这两个数据集。出处：§6.1.1 · pp. 28–29

6.1.2 分类

• LITEMV 的分类平均表现领先，但在 39 个数据集上，其优势与 VanTran 相比并无统计显著性。VanTran 的平均准确率低 1.19%，平均平衡准确率低 2.86%。出处：§6.1.2 · pp. 29–30, Figure 18 · p. 30, Figure 19 · p. 30
• MotionGRU 的平衡准确率排名第二，而 LITEMV 的准确率比其平衡准确率高近 5%。作者指出，各模型之间的差距表明模型难以处理类别不平衡；FCN 和 ConvLSTM 表现较差，STGCN 最差，略高于随机猜测水平。出处：§6.1.2 · p. 31

6.2 效率

• ConvTran 训练速度最快，MotionGRU 推理速度最快；几乎所有模型的训练时间波动都很大，而各模型的推理时间差异相近。作者认为，推理速度排名部分与平均序列长度 267 有关，并指出前馈推理不同于训练期间的梯度计算。出处：Figure 20 · p. 32, Figure 21 · p. 32, §6.2 · pp. 32–33
• LITEMV 的 FLOPs 最低，而 VanTran 的计算开销最大；VanTran 的 FLOPs 随序列长度按平方增长。H-Inception 和 VanTran 的参数量受数据集特征影响最小；LITEMV 与 ConvTran 的参数量相近。出处：Figure 22 · p. 33, §6.2 · pp. 33–34, Figure 23 · p. 34

6.3 寻找一统天下的模型

• LITEMV 在性能与效率之间实现了整体最佳权衡，而 VanTran 的平均排名相近，但效率明显较低。MotionGRU 的平均排名最接近 LITEMV，但效率略低。出处：§6.3 · p. 34

• 本研究针对基于骨架的康复评估领域标准化程度有限、评估方案不一致以及公开源代码稀缺等问题开展工作。出处：§7 · p. 35
• 统一框架在 60 个康复评估数据集上评估了 9 种深度学习模型：其中 39 个用于分类，21 个用于外部回归。出处：§7 · p. 35
• LITEMV 尤其是其集成形式，在准确率和效率方面均持续优于其他模型。出处：§7 · p. 35
• 作者将该基准、公开可用的源代码和数据集作为推动未来研究可复现的基础。出处：§7 · p. 35

• 图中展示了六项 EHE、五项 KIMORE 和十项 UI-PRMD 练习的回归标签分布。出处：Figure 25 · p. 44, Figure 26 · p. 45, Figure 27 · p. 46
• 分类标签分布涵盖九项 IRDS、三项 KERAAL、五项 KIMORE、四项 KINECAL 和一项 WUS 练习。出处：Figure 28 · p. 47, Figure 29 · p. 48, Figure 30 · p. 49
• 其他分类标签分布涵盖两项 UCDHE 和十项 UI-PRMD 练习。出处：Figure 33 · p. 52, Figure 34 · p. 53