PaperlayerView exact revision on arXiv

AI 摘要 · 由英文经 AI 翻译

PhysioAI: Clinical Knowledge-Guided Semantic Supervision for Skeleton-Based Physiotherapy Action Recognition

Jie Cao, Euijoon Ahn, Anwar Hassan, Jinman Kim

arXiv:2609.12491v1cs.CV

TL;DR

康复动作识别面临类别差异细微、动作执行变异大及康复数据有限等问题；现有语言引导方法尚未解决如何构建和控制面向康复场景的语义监督。PhysioAI在训练时结合分类目标，利用源自结构化临床知识词典（CKD）的锚点训练骨架表征；推理时仅保留骨架模型。该方法在所评估的各项指标上均取得最高观测值。研究受限于两个规模相对较小的公开数据集，且动作识别不评估动作质量或临床结局。

  • 问题

    康复动作识别既涉及细粒度的运动类别差异，也面临动作执行变异；现有语言引导方法仍未解决面向康复场景的语义构建与控制问题。

    出处：§1 · pp. 1–2

  • 方法

    PhysioAI在训练期间使用固定的、源自CKD的类别锚点，将骨架特征与其标注的运动类别对齐。

    出处：§3.3 · p. 5

  • 结果

    在两个数据集及Hard-67上，PhysioAI在报告的各项指标中均取得最高观测值；在难度较高的场景中，其观测优势最为明显。

    出处：§1 · p. 2, §6 · p. 8

  • 启示与局限

    PhysioAI为将结构化康复知识融入表征学习提供了一种实用方法，同时在推理时仅需骨架输入。

    出处：§6 · p. 8

    评估使用了两个规模相对较小的公开康复数据集；PhysioAI识别的是运动类别，而非动作质量、治疗规范性或临床结局。

    出处：§5 · p. 8

Abstract

from arXiv · show

Skeleton-based action recognition can support automated tracking of physiotherapy exercises, particularly in remote rehabilitation settings where continuous in-person supervision is impractical. However, most existing methods are developed for large-scale daily-action benchmarks rather than rehabilitation scenarios. Public rehabilitation exercise datasets are typically small, with only subtle kinematic differences between exercise classes. For participants with motor impairments, exercise execution may also deviate from standard movement patterns in amplitude, speed, and coordination, increasing intra-class variability and making reliable recognition more difficult for skeleton-based models. We propose PhysioAI, a clinical knowledge-guided semantic supervision framework that injects structured physiotherapy knowledge into skeleton representation learning. PhysioAI combines graph-based spatiotemporal modelling of human movement with training-time semantic anchors derived from a structured Clinical Knowledge Dictionary (CKD). The CKD descriptions are encoded using a frozen Contrastive Language-Image Pre-training (CLIP) model and projected into an anchor space, where they provide class-specific semantic targets for skeleton representation learning. The resulting CKD-derived anchors are used only during skeleton-model training; inference requires only skeleton inputs. Under subject-disjoint evaluation, PhysioAI achieves $99.03\pm1.34\%$ on KiMoRe Overall, $94.64\pm7.36\%$ on the Hard-67 stress test, and $87.44\pm7.69\%$ on UI-PRMD Overall. These results exceed the strongest comparator for each endpoint by $0.27$, $2.87$, and $1.33$ percentage points (pp), respectively. These findings demonstrate that structured clinical knowledge can serve as an effective source of training-time supervision for physiotherapy action recognition.

1. 引言

物理治疗动作识别具有挑战性：动作间运动学差异细微，不同个体的执行方式存在差异，且康复数据集规模较小。PhysioAI 引入临床知识引导的语义监督，并在多个康复数据集和 Hard-67 压力测试上进行评估。

1. 引言

  • 物理治疗动作类别之间的运动学差异细微，类内执行方式差异显著，康复训练数据有限。文中指出，KiMoRe 和 UI-PRMD 相较于通用动作识别基准数据集规模较小。出处：§1 · p. 1
  • Figure 1 展示了健康对照组与运动功能障碍者的动作示例之间，以及正确执行与刻意错误执行之间的差异。图中绘制的是基于骨架数据推导的代理指标，而非临床动作质量评分。出处：Figure 1 · p. 2
  • 现有语言引导的骨架方法面向通用动作识别，尚未解决康复特异性语义构建与监督问题。通用描述可能遗漏区分相似动作的运动学线索，而数据有限也使稳定表征和跨模态映射的学习更为困难。出处：§1 · p. 2
  • 在 KiMoRe、UI-PRMD 和 Hard-67 的各项报告指标中，PhysioAI 均取得了观测到的最高数值。Hard-67 是根据 ST-GCN 基线模型 的训练动态构建的压力测试。出处：§1 · p. 2
  • PhysioAI 将结构化临床知识词典锚点与不确定性加权语义对齐相结合，用于基于骨架的动作识别，并支持仅依赖骨架输入的部署。论文在两个公开康复数据集和 Hard-67 上，依据受试者不交叉的评估方案对该框架进行评估。出处：§1 · p. 2

2. 相关工作

既有理疗研究采用了时序建模和基于图的建模，但许多研究侧重于运动质量评估，而非识别执行方式存在差异的动作。语言引导的骨架方法能够丰富动作表征，而 PhysioAI 则将这类监督聚焦于结构化的理疗定义。

2.1. 理疗动作分析

  • 理疗研究通常侧重于质量评估或评分预测，对运动执行方式存在差异时的动作识别则探索较少。PhysioAI 针对这一空缺，聚焦于此类差异下的理疗动作识别。出处：§2.1 · p. 3

2.2. 基于骨架的动作识别

  • 基于图的骨架模型能够捕捉关节间的空间关系和时序动态，但在数据有限且个体差异明显的情况下，其在康复领域的适用性尚未得到证实。PhysioAI 使用 CTR-GCN，而非另行引入一种图算子。出处：§2.2 · p. 3

2.3. 语言引导的骨架学习

  • 语言引导方法通过对齐文本与骨架特征或利用语言派生的结构先验，而 PhysioAI 则从结构化的理疗动作定义中提取监督信号。例如 GAP 、PURLS 、LPSR 和 LA-GCN 。出处：§2.3 · p. 3

3. 方法

PhysioAI 利用源自临床知识词典的固定语义锚点，在运动分类的同时指导骨架表征学习。语义组件仅在训练期间使用，并通过延迟对齐和不确定性加权进行优化；推理时将其移除，仅输入骨架数据。

3.1. 框架概述

  • PhysioAI 将 CKD 描述编码为固定的类别专属锚点，并训练 CTR-GCN 关节流编码器，通过分类和类别匹配的语义对齐进行学习。对齐从第 6 个 epoch 开始；推理前移除语义组件，仅保留骨架编码器和分类器。出处：§3.1 · p. 3, Figure 2 · p. 4

3.2. 临床知识词典

  • CKD 包含 35 个条目，涵盖五个康复与功能动作领域，并提供结构化的动作描述符和类别区分线索。条目涵盖动作分类体系、身体部位、运动平面、关节动作、支撑方式、左右侧、动作阶段及区分线索。出处：§3.2 · p. 3
  • 生成 CKD 时，利用结构化字段为每个动作生成六条候选判别句，再根据投影后的文本锚点几何关系和格式标准筛选句子。候选句优先描述骨架可观测的线索，如运动部位、平面、关节动作、支撑模式、左右侧及动作阶段。出处：§3.2 · p. 4

3.3. CKD 引导的语义监督

  • 固定的高斯投影将归一化的 512 维 CLIP 嵌入映射至 256 维骨架特征空间，且不含可训练的投影参数。得到的类别专属方向保持固定；投影负责调整维度，而语义对齐则学习其与骨架特征之间的关系。出处：§3.3 · p. 5
  • 对齐损失促使每个骨架特征靠近其标注动作类别对应的固定语义锚点。由于锚点经过 L2 归一化，内积即为特征与锚点之间的余弦相似度。出处：§3.3 · p. 5

3.4. 延迟的不确定性加权优化

  • 两个可学习的全局对数尺度参数用于加权分类目标和对齐目标，并通过附加项避免任一目标被无限制地压低。第 1–5 个 epoch 不进行语义对齐；从第 6 个 epoch 起启用对齐，并通过不确定性加权调节其贡献。出处：§3.4 · p. 5

4. 实验

在受试者互斥评估中，PhysioAI 在 KiMoRe Overall、Hard-67 和 UI-PRMD Overall 上均取得最高观测结果。消融实验表明，结果取决于语义描述的内容、投影方式，以及对齐的权重和启动时机。

4.1. 数据集

  • KiMoRe 包含 78 名参与者，其中 34 名存在运动功能障碍；UI-PRMD 涵盖 10 名健康参与者完成的 10 种动作，包括刻意设置的非最优动作变体。由于任务是识别锻炼动作，而非评估动作质量，正确执行和刻意错误执行在 UI-PRMD 中共用一个标签。出处：§4.1 · p. 5

4.2. 实现细节

  • 各骨干网络均从头训练 80 个 epoch；为便于比较，各方法采用相同的受试者划分、评估指标和检查点选择规则。标准设置采用批量大小 32 和 Nesterov SGD；实现遵循已发布的代码或模型规格。出处：§4.2 · p. 6, §4.4 · p. 6

4.3. Hard-67 压力测试方案

  • Hard-67 使用普通 ST-GCN 的训练动态，从 400 个 KiMoRe 样本中筛选出 67 个置信度低且变异性低的样本；每个样本均在其所属受试者的测试折中评分。报告各折均值和样本标准差；对每个样本，选取留出集 Overall 准确率达到最高值的最早检查点。出处：§4.3 · p. 6

4.5. Hard-67 结果

  • 在 Hard-67 上，PhysioAI 得分为 94.64±7.36%，GAP 为 91.77±5.60%；所有方法在 KiMoRe Overall 上的表现均低于相应水平，而 PhysioAI 的降幅最小。在合并后的评估结果中，PhysioAI 正确分类了 64/67 个样本，而 MS-G3D 和 ProtoGCN 均为 63/67。出处：§4.5 · p. 6, Figure 3 · p. 7

4.4. 评估与比较

  • PhysioAI 在所有报告的评估端点上均领先：KiMoRe Overall 为 99.03±1.34%（较 MS-G3D 高 +0.27 pp），Hard-67 和 UI-PRMD Overall 分别提升 2.87 pp 和 1.33 pp。比较采用受试者互斥的五折评估；Table 1 报告均值±标准差。出处：§4.4 · p. 6, Table 1 · p. 7

4.6. 消融研究

  • 与仅采用 CE 的训练相比，完整 CKD 使 KiMoRe Overall、Hard-67 和 UI-PRMD Overall 分别提升 1.35、9.82 和 1.59 pp。仅包含生物力学信息的描述在 KiMoRe 和 Hard-67 上表现最佳，而完整 CKD 在 UI-PRMD 上表现最佳；其他描述对照虽改善了部分评估端点，但在 UI-PRMD 上均不及完整 CKD。出处：§4.6 · p. 7, Table 2 · p. 8
  • 固定 Gaussian 投影在各数据集上的结果最为均衡；增加可学习投影容量并未带来稳定优势。学习得到的 skeleton-to-CLIP 线性映射在 KiMoRe Overall 和 Hard-67 上与固定映射相当，但在 UI-PRMD 上表现较低。出处：§4.6 · p. 8, Table 3 · p. 8
  • 与仅进行分类训练相比，所有对齐变体都提升了 Hard-67 表现；但只有延迟启动的不确定性加权在两个 Overall 评估端点上均有所提升，同时 Hard-67 均值达到最高水平。消融实验比较了固定加权和不确定性加权，并分别在第 1 个或第 6 个 epoch 启动对齐。出处：§4.6 · p. 8, Table 4 · p. 8

5. 局限性与未来工作

评估受限于两个规模相对较小的公开康复数据集，以及 Hard-67——一个由模型生成、未经临床医生评定的困难案例基准。研究也尚未解决更广泛的架构泛化问题，以及运动识别之外的临床评估问题。

5. 局限性与未来工作

  • 两个规模相对较小的公开康复数据集，无法充分刻画不同患者群体、功能能力或动作执行情境中的差异。Hard-67 根据单个参考模型的训练动态构建，未经临床医生评定，因此既不能作为临床上具有挑战性的动作的普遍定义，也不能证明模型具有广泛的鲁棒性。出处：§5 · p. 8
  • PhysioAI 的优势能否推广到 CTR-GCN 实现之外，仍有待在更广泛的骨架架构中验证。该框架旨在提供训练阶段的语义监督，也可适配兼容的编码器。出处：§5 · p. 8
  • PhysioAI 能识别规定的运动项目，但不评估动作质量、治疗正确性、临床结局，也不评估模型在临床定义的动作难度下的表现。未来工作将研究由临床医生指导的困难案例数据集，以及多模型难度判据。出处：§5 · p. 8

6. 结论

PhysioAI 采用 CKD 引导的语义监督，旨在应对数据有限、类别差异细微且动作执行变化较大的理疗动作识别问题。在三项评估中，作者报告称，该方法在更具挑战性的设置下表现出最明显的优势，同时推理阶段仅需骨架输入。

6. 结论

  • 在 KiMoRe、UI-PRMD 和 Hard-67 上，CKD 引导的语义监督为类别标签提供了补充，在更具挑战性的设置下表现出最明显的优势。消融实验表明，性能提升取决于训练期间语义内容的构建方式及其融入方法，而非仅仅添加文本或辅助对齐损失。出处：§6 · p. 8
  • PhysioAI 面向训练数据有限、类别差异细微且动作执行变化显著的骨架理疗动作识别问题。该方法将结构化康复知识融入表征学习，同时保留仅使用骨架输入进行推理的能力。出处：§6 · p. 8
  • 报告的消融实验表明，CKD 语义监督并不等同于简单添加文本或辅助对齐损失。性能提升取决于训练期间语义内容的构建方式及其融入方法。出处：§6 · p. 8

S1 CKD 构建与句子筛选

补充材料详细说明了如何将固定的临床知识词典构建为一组经过筛选的语义锚点，用于物理治疗动作。句子筛选过程依据 CLIP 投影后的文本几何结构、预先定义的易混淆动作对及动作类别族，而非骨架识别准确率。

S1 CKD 构建与句子筛选

  • CKD 构建部分记录了所报告实验中采用的流程和固定语义资源。目录、提示词、候选句、映射、目标函数和筛选流程均作为固定资源加以说明。出处：S1 CKD Construction and Sentence… · p. 11

S1.1 固定运动目录

  • 固定目录包含五个领域的 35 个动作，每个条目记录其顺序、标识符、显示名称、领域、侧别、来源提示和简要运动学定义。完整的筛选前结构化条目将每个动作与其目录位置、选定的候选句索引及最终选定句子关联起来。出处：S1.1 Frozen exercise catalogue · p. 11

S1.2 两阶段语言生成

  • 两阶段语言生成流程先创建结构化 CKD 条目，再为每个动作生成六个陈述式候选句，优先描述运动部位、平面、关节动作、支撑模式、侧别和动作阶段。文中记录了包含 210 个候选句的候选库，以及保留的锚点句和所选索引。出处：S1.2 Two-stage language generation · pp. 11–12, Table S1.1 · p. 11

S1.3 CLIP 编码与固定投影

  • 冻结的 CLIP 将候选句编码为归一化的 512 维嵌入，随后由固定的种子高斯投影映射为归一化的 256 维锚点，并在骨架模型训练期间保持不变。数据集标签映射分别为 KiMoRe 和 UI-PRMD 选取五个和十个 CKD 嵌入。出处：S1.3 CLIP encoding and fixed projection · p. 12

S1.4 文本几何目标函数

  • 候选句筛选通过最小化文本几何目标函数进行，该目标函数对所有锚点之间的相似度、预先定义的易混淆动作对、最近邻、同一类别族内的动作对，以及相似度高于 0.90 的动作对施加惩罚。评估每个候选句时还会加入句式惩罚；完整的惩罚项定义见 Table S1.2。出处：S1.4 Text-geometry objective · p. 12, Table S1.2 · p. 12

S1.5 易混淆动作对与动作类别族

S1.6 贪心坐标下降筛选

  • 筛选时，先为每个动作从格式惩罚低于 0.5 的候选句中选取惩罚最小者（若没有符合条件的候选句，则在六个候选句中选择），再按固定目录顺序遍历；仅当组合得分严格更低时，才保留备选项。出处：S1.6 Greedy coordinate-descent selection · p. 13

S1.7 深蹲构建示例

  • 深蹲共生成六个候选句，并依据完整 35 个动作锚点库的目标函数保留了候选句 3。筛选依据是完整锚点库，而非孤立地评估单个句子。出处：S1.7 Deep Squat construction example · p. 13

S2 实验方案与可复现性

该方案统一了所有报告实验中的主体互斥评估、骨架数据准备、训练、检查点选择和指标汇总。

S2.1 主体互斥五折评估

  • 采用五折主体互斥评估，每折均将指定主体的所有序列留作测试集，确保同一主体不会同时出现在训练集和测试集中。准备后的数据集包含来自78名主体的400条KiMoRe序列，以及来自10名主体的1,326条UI-PRMD序列。出处：S2.1 Subject-disjoint five-fold… · p. 14, Table S2.1 · p. 14

S2.2 骨架数据准备与通用加载器

  • 将准备好的数据存档线性重采样至300帧；数据加载器将序列重塑为(3, T, 25, 2)，并将KiMoRe中未使用的第二个人物槽位补零，不进行额外的空间归一化。ST-GCN 在需要时自动补零，训练时随机选取时间帧；评估时使用序列开头的模型长度帧，需要时补零。其他常用骨干网络采用有效帧裁剪与缩放：训练时从[0.5, 1.0]均匀采样裁剪比例，且至少保留64帧；评估时使用居中的95%区间。出处：S2.2 Skeleton preparation and common… · p. 14

S2.3 训练确定性与环境

S2.4 检查点选择约定

  • 每轮结束后评估该折留出的主体，并保留达到最高留出集总体准确率的最早检查点。Hard-67中的样本归属、标签和准确率均不影响检查点选择。出处：S2.4 Checkpoint-selection convention · p. 15

S2.5 指标定义与汇总

  • 分别按折计算总体准确率、macro-F1和均衡准确率；类别级指标仅对该折中实际出现的类别求平均。UI-PRMD第5折没有真实标签为9的序列，因此其macro-F1和均衡准确率是对该折中出现的九个类别求平均。出处：S2.5 Metric definitions and aggregation · pp. 15–16
  • 报告的均值和SD汇总五折的结果；合并折外分析则拼接互不重叠的预测，使每条序列仅计入一次。SD反映单个固定训练随机种子下各折间的差异，而非多随机种子训练的不确定性；Hard-67还报告67个样本中的预测正确数。出处：S2.5 Metric definitions and aggregation · p. 16

S3 各方法的实现细节

实现采用统一的受控比较方案，并为不同模型配置相应设置；PhysioAI 增加仅用于训练的 CKD 语义对齐，消融实验则改变描述、投影、加权方式和启动时机。

S3.1 通用比较方案

  • 所有比较方法均使用关节坐标作为输入，并遵循统一方案从头开始训练，不使用预训练的动作识别检查点，除非另有说明。SkateFormer 基于采样得到的时间索引不被视为额外的感知模态。出处：S3.1 Common comparison protocol · p. 16

S3.2 最终方法配置

  • 图模型基线采用不同的时间长度和架构，包括 MS-G3D 的多尺度聚合、AAGCN 的自适应拓扑，以及 BlockGCN 指定的拓扑处理方式。ST-GCN 使用 300 帧输入；除 MS-G3D 使用 50 帧外，MS-G3D、PA-ResGCN、CTR-GCN、AAGCN 和 BlockGCN 均使用 64 帧输入。出处：S3.2 Final method configurations · pp. 16–17
  • SkateFormer 使用小型 64 帧配置并重新排列关节；ProtoGCN 使用 100 帧片段，并对每个序列的十个测试时片段取平均。两者均在受控比较方案下采用各自有记录的模型特定设置。出处：S3.2 Final method configurations · p. 17
  • GAP 采用四部分的 CTR-GCN 文本监督设置训练；PhysioAI 则使用相同的 64 帧 CTR-GCN 主干网络，配以固定的 CKD 锚点和延迟启动的不确定性加权对齐。PhysioAI 在第 1–5 个 epoch 不进行语义对齐，并在推理时移除语义资源、投影和加权参数。出处：S3.2 Final method configurations · p. 17

S3.3 消融配置

  • 语义描述消融实验比较了仅含动作名称、通用可观察特征、生物力学重点描述和完整 CKD 描述，同时固定投影和延迟启动的不确定性加权。完整 CKD 句子是选定的 T3 描述变体。出处：S3.3 Ablation configurations · p. 18
  • 投影与对齐消融实验改变了固定投影或联合优化投影的设置，并比较余弦对齐目标的加权方案和启动时机。延迟启动的不确定性加权在第 1–5 个 epoch 不使用对齐损失及其对数尺度项，从第 6 个 epoch 起启用。出处：S3.3 Ablation configurations · p. 18, Table S3.2 · p. 18, Table S3.3 · p. 18

S4 详细消融与折级结果

本节列出支撑主要比较和消融实验的折级结果表，并说明突出显示的排名仅作描述，不代表显著性检验。

折级结果

报告数值的解读

  • 粗体和下划线标示观测到的各项指标中描述性排名第一和第二的数值，并不表示差异具有统计显著性。机器可读文件保留了完整折级精度及计算 Overall 准确率所用的整数计数。出处：S4 Detailed Ablation and Fold-Level… · p. 18

主要比较

  • 主要比较表分别列出 KiMoRe Overall 和 Hard-67 结果，以及 UI-PRMD Overall、宏平均 F1 和平衡准确率结果。所提供的表注说明了表格范围，但未提供单元格数值。出处：Table S4.1 · p. 19, Table S4.2 · p. 19

消融实验

S5 Hard-67 的构建与评估

Hard-67 是根据 ST-GCN 的训练动态构建的固定子集，并在按受试者留出的折中进行评估，作为难识别样本的压力测试。

S5.1 参考探针与训练动态

  • 在四折、80 个 epoch 的训练过程中，普通 ST-GCN 探针为每个 KiMoRe 样本提供了训练划分上的真实类别概率，每个样本共得到 320 个观测值。构建统计量时，既未使用留出预测，也未使用 PhysioAI 或其他对比方法的输出。出处：S5.1 Reference probe and training… · p. 21

S5.2 固定筛选规则

S5.3 清单与分布

  • 固定清单记录样本 ID、标签、练习名称、留出折、置信度、变异性和观测数量；并按折和练习汇总其分布。Es5 对应 KiMoRe 中的 Squatting 练习；由于各折样本量不等，未加权的折准确率均值与合并后的准确率是不同的汇总指标。出处：S5.3 Manifest and distribution · pp. 21–22, Table S5.2 · p. 22

S5.4 留出评估

  • 每个入选样本都在其所属受试者的测试折中，使用预先选定的 Overall accuracy 检查点进行评估；Hard-67 的成员身份或得分不参与检查点选择。Hard-67 是一个基于 ST-GCN 构建的固定识别压力测试，并不衡量临床动作难度、动作质量、治疗正确性，也不代表对所有患者群体和场景的鲁棒性。出处：S5.4 Held-out evaluation · p. 22

S6 制品索引与代码可用性

制品包包含论文 PDF、顶层 README 和已编目的机器可读资源；README 介绍了文件及汇总流程。完整训练和评估代码计划在论文接收后公开发布。

Loading 2609.12491v1…