Source-linked AI summary
One Residual with Three Reuses: A Wristband Front End for Gesture Sensing
Sam Rifaki
TL;DR
코인셀 wristband sensing은 IMU와 60 GHz FMCW radar를 결합하면서 gesture detection, sensor routing, drift-robust tracking을 조율해야 한다. 이 design study는 세 기능 모두에 하나의 on-chip residual generator를 사용해, recall 90%에서 classifier invocation energy를 47% 낮추고 measurement bias drift 상황에서 pose-tracking error를 4.6× 낮춘다.
문제
코인셀 wristband는 coordinated classifier gating, modality routing, drift compensation이 필요하지만, 별도의 calibration tables와 silicon area 때문에 shared-MCU architecture가 제약된다.
방법
하나의 on-chip residual generator가 conditioned IMU 및 radar stream의 prediction error를 사용해 classification을 gate하고 modality를 선택하며 EKF measurement를 reweight한다.
결과
bias drift 상황에서 recall 90% 기준 classifier invocation energy를 47% 낮추고 pose-tracking RMS error를 4.6× 낮췄으며, 1% false-alarm rate에서 detection probability는 0.72/0.80에 도달했다.
시사점 및 한계
이 design study는 하나의 residual generator가 compact MCU implementation 안에서 wristband의 gating, routing, drift-aware tracking 기능을 지원할 수 있음을 보인다.
시사점 및 한계
Measured silicon power와 on-body capture는 후속 hardware study로 미뤄졌다.
Abstract
from arXiv · showhide
Continuous wrist-worn hand sensing for gesture interfaces and motor symptom monitoring needs an always-on front end that fits inside a coin-cell power budget while pairing a micro-electro-mechanical-systems (MEMS) inertial measurement unit (IMU) with a 60 GHz frequency-modulated continuous-wave (FMCW) radar to stay robust under occlusion and on-body drift. We present a design study of such a wristband front end in which classifier wake-up gating, mmWave versus IMU routing, and innovation-based EKF measurement reweighting share a single on-chip residual generator. The shared generator occupies 14.4 KB of program memory and 278 B of state and runs at 110K multiply-accumulates (MACs) per frame on an Ambiq Apollo4 Blue Plus class edge microcontroller unit (MCU). Across four public sensor data corpora (IPN Hand, SHREC 2021, MiliPoint 60 GHz FMCW radar, EAT-Radar) the front end reaches detection probability $P_D = 0.72/0.80$ at a 1% false-alarm rate, sustains a 47% classifier invocation energy reduction at 90% gesture detection recall, and lowers pose tracking root-mean-square error by $4.6\times$ under measurement bias drift relative to an adaptive Kalman with $R$-inflation baseline. Measured silicon power and on-body capture are deferred to follow-on hardware; the contribution here is a design study.
I. 서론
손목 착용형 손 감지는 MEMS IMU와 60 GHz FMCW radar를 결합해 가림과 착용 상태 변화에도 강건하게 동작하지만, 기능별로 분리된 subsystem은 코인셀 손목밴드의 제약을 초과한다. 본 연구는 하나의 on-chip residual generator를 통해 classifier wake-up, modality selection, EKF measurement reweighting을 통합한다.
- 동기: MEMS IMU–60 GHz FMCW radar 조합은 광학 전용 시스템을 무력화하는 가림, 변화하는 신체 착용 위치, 조명 변화 상황에서도 손 자세를 복원한다,.이러한 시스템은 gesture interface, 재활 추적, 임상 운동 증상 평가를 지원한다.
- 문제: 분리된 wake-up, drift tolerance, modality switching 서브시스템은 독립적인 calibration table과 silicon area를 요구하므로, 하나의 MCU와 residual path를 공유하는 코인셀 손목밴드에 적합하게 적용하기 어렵다.기존 접근법으로는 online change-point testing, Kalman-style innovation residual, interacting multiple-model 또는 hybrid learning-based filter,, information-gain scheduling, 이 있다.
- 기여: 하나의 온칩 residual generator가 classifier wake-up gating, 다음 프레임의 modality selection, EKF measurement reweighting을 결합한다.이는 조건화된 IMU 및 radar 스트림에서 동작하는 소형 recurrent forecaster의 one-step prediction error ξt를 사용한다.
II. 시스템 설계 및 구현
이 wristband는 60 GHz FMCW radar, MEMS IMU, MCU에 상주하는 recurrent forecaster를 하나의 residual 기반 front end로 결합한다. residual은 제약된 MCU 예산 안에서 classification을 gate하고, modality를 라우팅하며, EKF measurement noise를 재추정한다.
- Signal chain: MCU의 단일 recurrent forecaster는 conditioned IMU 및 mmWave stream으로부터 다음 conditioned frame vector를 예측해 downstream control block에서 사용하는 residual을 생성한다.Radar는 on-die range-FFT bin을 30 frames/s로 전달하고, IMU는 I2C를 통해 raw accelerometer 및 gyroscope frame을 100 Hz로 전송한다.
- 하나의 signal을 세 가지로 재사용: 공유 residual은 wake-up gating, modality별 routing, EKF measurement-noise re-estimation의 세 가지 용도로 재사용된다.Wake-up threshold는 fixed-point이며 false-alarm rate 1% 미만이 되도록 calibration한다. EKF는 residual energy의 EWMA를 사용해 각 modality의 R_k를 scale한다.
- 하나의 signal을 세 가지로 재사용: Router는 modality별 residual이 최소인 modality를 선택하며, 이는 classical sensor scheduler에서 사용하는 innovation-covariance ranking –과 일치한다.Linear-Gaussian observation에서는 이 선택이 expected squared residual과 measurement noise covariance의 합을 최소화한다.
- MCU 예산: h=32에서의 quantization은 deployment generator에 대해 14.4 KB의 program memory, 278 B의 state, frame당 110 K MACs를 산출한다.Target은 96 MHz의 Ambiq Apollo4 Blue Plus Cortex-M4F다. 공개 사양에 따르면 nominal voltage에서 active-mode draw는 약 4 µA/MHz이며, 약 0.5 V까지 동작한다 [11].
III. 결과
공유 residual 기반 front end는 wake-up과 drift tracking에서 우수한 성능을 내면서 routing energy를 줄이고 작은 embedded memory budget 안에 들어간다. Tracking block은 두 filtering baseline 대비 RMS error를 낮추며, architecture는 최근 embedded gesture pipeline보다 훨씬 적은 MACs를 사용한다.
- Wake-up gating: 90% recall operating point에서 IPN Hand의 P_D = 0.72 at P_FA = 0.01, SHREC 2021의 P_D = 0.80을 달성한다.이 결과는 innovation-residual baseline 보다 각각 +0.09와 +0.12, online change-point baseline 보다 각각 +0.17과 +0.21 높다.
- Modality routing: 30,000개의 IPN Hand frame에서 total ensemble MACs의 30.6%를 사용해 P_D = 0.722 ± 0.005에서 frame당 energy를 69.4% 낮춘다.이 routing 성능은 supervised oracle gate 대비 ±0.005 이내이며, reduced-complexity gate는 0.003 P_D cost로 routing latency를 2.47× 줄인다.
- Drift-aware tracking: b_s = 5 cm에서 adaptive Kalman noise re-estimation 대비 RMS tracking error를 4.6× 낮추고, hybrid IMM-style filter 대비 2× 낮춘다.이러한 감소는 EKF measurement noise re-estimation block에서 비롯된다.
- Comparison: 최근 측정된 여러 embedded gesture pipeline, 보다 MACs가 대략 4–50× 적으면서, 하나의 Cortex-M4F-class part에서 14.4 KB의 program memory 안에 들어간다.Table I은 wearable mmWave-and-IMU front end 전반의 MCU MAC count와 memory requirement를 비교하며, 본 연구는 하나의 residual로 wake-up, routing, drift tracking을 결합한 design study다.
IV. 실패 모드와 운용 범위
공유 residual architecture에는 세 가지 운용 범위가 있다: 선택 후 adversarial corruption, EWMA tracking보다 빠른 bias drift, heavy-tailed measurement noise다. 이러한 조건은 routing 또는 diagnostic signal을 억제하고 fallback 동작을 강제할 수 있으며, 제안된 해결책은 후속 연구로 남겨 둔다.
- Adversarial corruption: modality selection 이후 주입된 noise는 에너지가 nominal noise floor의 다섯 배를 초과하면 reactive selection을 무력화할 수 있다.공격은 selection 이후 corrupted channel에서만 ξ_t를 증가시킨다.
- Bias drift: EWMA window보다 빠른 bias oscillation은 diagnostic signal을 감소시켜, RMS 성능을 다섯 EWMA window 아래에서 camera-only reference에 가까워지도록 저하시킨다.Tracking은 1/(Nα) 차수의 bias frequency를 따른다. calibration value N과 α는 flash에 저장되며 deployment 중 동적으로 변경할 수 없다.
- Heavy-tailed noise: 자유도가 3에 가까운 Student-t measurement noise는 전역적으로 R_k를 증가시켜 routing signal을 억제하고 camera-only fallback을 강제한다.Huber-clipped innovation norm 이 해결책으로 식별되었지만 후속 연구로 남겨 둔다.
- 범위: 이 연구는 명시된 운용 범위에서 관찰된 동작을 넘어서는 어떠한 extrapolation도 수행하지 않는다.
V. 결론
본 연구는 mmWave와 IMU 센싱을 세 가지 residual-generator 기반 기능과 결합한 coin-cell 구동 wristband front end를 제시하며, 검출 및 에너지 절감 목표를 달성하는 한편 silicon power 측정은 후속 연구로 남겨 둔다.
- V. 결론: PFA = 0.01에서 PD = 0.72/0.80을 달성했으며, 90 % recall에서 프레임당 classifier invocation energy를 47 % 감소시켰다.전체 시스템은 단일 278 B 온칩 residual generator가 생성하는 wake-up gates, modality routers, EKF measurement reweighting을 통합한다.
- V. 결론: 이 design study는 mmWave와 IMU 센싱을 wake-up gating, modality routing, EKF measurement reweighting과 결합한 coin-cell 구동 wristband front end를 제시한다.후속 연구에는 Apollo-class MCU에서 silicon power를 측정하는 작업이 포함된다.