Making brain-machine interfaces robust to future neural variability

David Sussillo; Sergey D. Stavisky; Jonathan C. Kao; Stephen I. Ryu; Krishna V. Shenoy

Source-linked AI summary

Making brain-machine interfaces robust to future neural variability

David Sussillo, Sergey D. Stavisky, Jonathan C. Kao, Stephen I. Ryu, Krishna V. Shenoy

arXiv:1610.05872v12016년 10월 19일q-bio.NCstat.ML

TL;DR

신경 기록 조건이 변하면 brain-machine interface decoder가 실패해 안정적인 사용이 제한될 수 있다. 이 논문은 다양한 과거 및 합성 조건에서 multiplicative recurrent neural network를 학습해 임상적으로 중요한 변화에 대한 강건성을 확보했으며, 최고 성능 저하 없이 같은 날 학습한 Kalman filter를 능가했다.

문제
신경 기록 조건이 변한 뒤 brain-machine interface decoder가 실패할 수 있어, 미래의 변동성에서도 효과를 유지하는 방법이 필요하다.
방법
이 연구는 누적 데이터와 합성 perturbation에서 얻은 다양한 기록 조건으로 학습한 multiplicative recurrent neural network decoder를 개발한다.
결과
MRNN은 두 가지 기록 조건 변화에 강건했고, 같은 날 학습한 state-of-the-art FIT-KF decoder를 능가했으며 최고 성능을 유지했다.
시사점 및 한계
이 결과는 임상적으로 중요한 기록 조건 변화 전반에서 BMI의 강건성을 높이기 위해 누적 학습 이력을 활용하는 전략을 뒷받침한다.
시사점 및 한계
대규모 데이터로 학습한 비선형 decoder는 학습 과제의 구조에 과적합되어 일반화에 실패할 수 있다.

Abstract

from arXiv · show

A major hurdle to clinical translation of brain-machine interfaces (BMIs) is that current decoders, which are trained from a small quantity of recent data, become ineffective when neural recording conditions subsequently change. We tested whether a decoder could be made more robust to future neural variability by training it to handle a variety of recording conditions sampled from months of previously collected data as well as synthetic training data perturbations. We developed a new multiplicative recurrent neural network BMI decoder that successfully learned a large variety of neural-to- kinematic mappings and became more robust with larger training datasets. When tested with a non-human primate preclinical BMI model, this decoder was robust under conditions that disabled a state-of-the-art Kalman filter based decoder. These results validate a new BMI strategy in which accumulated data history is effectively harnessed, and may facilitate reliable daily BMI use by reducing decoder retraining downtime.

결과 · 가장 정보량이 큰 전극의 예기치 않은 소실에 대한 강건성

MRNN은 정보량이 높은 전극이 예기치 않게 소실된 후에도 closed-loop cursor control에서 효과를 유지한 반면, FIT-KF 성능은 급격히 저하됐다. 강건성은 MRNN architecture와 neural-activity perturbation augmentation에 좌우됐으며, 더 큰 dataset은 광범위한 recording-condition generalization을 향상했지만 electrode-dropping robustness 자체는 향상하지 못했다.

MRNN은 대규모 training data를 활용해 decoder performance를 향상할 수 있다: 154일과 250일에 걸쳐 각각 학습한 MRNN은 Monkey R에서 r2 = 0.81 ± 0.04, Monkey L에서 r2 = 0.84 ± 0.03을 달성했다.이 dataset은 22개월과 34개월에 걸쳐 수집됐으며, MRNN은 모든 test day에서 FIT-Sameday와 FIT Long보다 우수했다.
가장 정보성이 높은 전극의 예기치 않은 손실에 대한 견고성: 이 도전에서는 decoder를 재훈련하거나 수정하지 않고 Radial 8 Task 제어 중 선택된 정보성 전극의 발화율을 영으로 설정해 갑작스러운 전극 고장을 모사했다.탈락 전극 수를 체계적으로 달리해 도전의 심각도를 조절했으며, 영으로 설정한 특정 전극 조합은 이전 학습 데이터에 나타나지 않았다.
가장 정보량이 큰 전극의 예기치 않은 소실에 대한 강건성: 익숙하지 않은 zero-firing condition은 나머지 electrode에서 이전에 관찰된 activity pattern과 공통된 특성을 유지했으며, 이는 MRNN이 해당 perturbation으로 일반화할 수 있음을 뒷받침한다.MRNN은 전날 session까지 수집된 대규모 reaching data corpus로 학습됐다.
가장 정보량이 큰 전극의 예기치 않은 소실에 대한 강건성: Monkey R에서 분당 52% more targets, Monkey L에서 92% more targets를 달성한 결과, MRNN은 electrode-dropped condition 전반에서 FIT-KF보다 우수했다.MRNN은 Monkey R에서 최대 3개의 best electrode 또는 Monkey L에서 5개의 electrode를 잃은 후에도 성능이 소폭만 저하됐지만, FIT-KF는 크게 악화됐다.
가장 정보량이 큰 전극의 예기치 않은 소실에 대한 강건성: Training-data perturbation은 다양한 electrode subset에서 firing rate가 reduced firing rates를 보이는 예시를 생성해, MRNN이 firing-rate reduction에 폭넓게 대비하도록 했다.이 perturbation에는 increased firing rates를 보이는 예시도 포함됐다.
가장 정보량이 큰 전극의 예기치 않은 소실에 대한 강건성: Closed-loop 비교를 통해 perturbation augmentation의 중요성이 확인됐으며, offline analysis에서는 MRNN architecture와 augmentation이 모두 electrode-dropping robustness에 필요하다는 결과가 나왔다.이 analysis는 또한 더 큰 training dataset만으로는 강건성이 부여되지 않음을 시사했다. 이전 dataset에는 특정 dropped-electrode condition이 없었기 때문이다.

자연적으로 발생하는 기록 조건 변화에 대한 강건성

자연적으로 발생한 기록 조건 간 공백에서 MRNN은 안정적으로 사용할 수 있는 유일한 decoder였던 반면, FIT-KF decoder는 일관되지 않거나 실패했다. Offline simulation에서도 이러한 우위가 재현되었으며, 더 큰 과거 데이터셋의 역할이 시사되었고 data augmentation의 기여는 부차적이었다.

실험 설계: Stale-training 실험에서는 가장 최근 몇 개월의 데이터를 학습에서 제외하고, testing 전 구간을 training-data gap으로 정의한 뒤 MRNN과 FIT Old 및 FIT Long을 비교했다.MRNN은 각 gap 이전의 여러 달에 걸친 recording을 사용했고, FIT Old는 이용 가능한 가장 최근 하루를 사용한 반면, FIT Long은 MRNN과 동일한 여러 날의 데이터셋을 사용했다.
Offline 검증: 서로 겹치지 않는 career-period 데이터셋을 아우르는 Offline simulation에서도 closed-loop 결과가 재현되었다. 즉, 여러 이전 날짜의 데이터로 학습한 MRNN이 FIT Old와 FIT Long을 모두 능가했다.이 분석에서는 gap으로 분리된 데이터셋을 검증했으며, closed-loop 실험과 동일한 경향을 확인했다.
강건성 구성 요소: MRNN의 강건성은 주로 더 많은 training data를 사용할수록 증가했으며, spike-rate data augmentation은 추가적으로 더 작은 기여를 보였다.요소 분석에서는 gap 이전 날짜 수와 training-data spike-rate perturbation의 적용 여부를 변화시켰다.

MRNN decoder를 사용한 고성능 BMI

MRNN은 수개월간의 과거 데이터로 학습한 후 빠르고 정확한 closed-loop cursor control을 지원했다. 온라인 테스트에서 FIT Kalman decoder보다 우수한 성능을 보였으며, 이상적 조건에서도 성능을 유지하고 무작위 target location으로 일반화했다.

MRNN decoder를 사용한 고성능 BMI: MRNN은 electrode dropping이나 stale training data가 없는 이상적 조건에서 성능을 저하시키지 않으면서 까다로운 recording condition에도 강건했다.두 원숭이 모두 전날까지 수개월간 수집한 데이터를 사용해 MRNN을 학습한 후 cursor를 정확하고 빠르게 제어했다.
MRNN decoder를 사용한 고성능 BMI: 여러 날의 recording condition으로 학습한 MRNN은 session 시작 시 수집한 데이터로 학습한 FIT Kalman filter보다 우수한 성능을 보였다.이 온라인 결과는 Fig. 2c에 제시한 offline 결과를 뒷받침했다.

논의

MRNN은 peak performance를 희생하지 않으면서 임상적으로 중요한 recording-condition 변화 전반에서 견고성을 유지하는 고정 BMI decoder를 제공한다. 이 성과는 크고 다양한 historical dataset으로 강력한 nonlinear decoder를 학습하는 전략을 뒷받침하지만, training time, data requirements, human validation은 여전히 한계로 남는다.

논의: 고정 MRNN은 neural change가 발생하는 동안에도 충분한 control을 유지해 adaptation이 performance를 회복할 수 있도록 함으로써, prosthesis use를 중단하지 않고 adaptive decoding을 보완할 가능성이 있다.이 전략을 adaptive decoding과 단독으로 또는 결합해 비교하는 일은 향후 과제로 남는다.
논의: 실험에서는 수 시간에 걸쳐 발생하는 recording change를 모델링했지만, historical data가 현재 human recording condition에도 여전히 유효한지는 추가 검증이 필요하다.저자들은 array movement, user state, electromagnetic interference로 인해 human variability가 더 클 가능성을 지적한다.
논의: MRNN은 일반적으로 recalibration이 필요한 recording condition에서도 사용 가능했으며, favorable condition에서는 같은 날 학습한 state-of-the-art FIT-KF보다 약간 더 우수한 성능을 보였다.이 결과를 종합하면 ideal-condition performance를 저하시키지 않으면서 견고성을 확보할 수 있음을 알 수 있다.
논의: MRNN은 high-importance electrode의 예기치 않은 소실을 견뎠으며, artificial neural-data perturbation 이후에도 관찰되지 않은 recording-condition change에 비교적 견고하게 대응했다.이러한 결과는 흔한 “errant unit” failure mode를 다루며, 견고성이 이전에 경험한 조건을 넘어 확장될 수 있음을 보여준다.
논의: 이 nonlinear decoder를 training하는 데 multiple hours가 걸렸으며, conventional same-day-trained method보다 performance를 포화시키는 데 더 많은 data가 필요한 것으로 보인다.저자들은 이 접근법이 accumulated recording을 활용하므로 data requirement를 수용할 수 있다고 보며, 더 빠른 incremental 또는 hardware-assisted training도 가능하다고 본다.
논의: 견고성은 large historical training corpus, 의도적인 neural-data perturbation, 그리고 다양한 mapping을 학습할 수 있는 computationally powerful architecture를 결합함으로써 나타났다.축적된 data가 서로 다른 condition에서 neural-to-kinematic mapping의 library를 확장함에 따라 decoder는 더욱 견고해질 수 있다.

METHODS · 동물 모델 및 신경 기록

이 연구에서는 운동 피질 영역에 96전극 Utah array를 이식한 성체 수컷 붉은털원숭이를 사용했다. 신경 디코딩에는 밀리초 단위로 처리 및 타이밍이 가능한 threshold crossings를 사용했다.

동물 모델 및 신경 기록: 원숭이 R에는 미측 배측 전운동 피질과 일차 운동 피질에 array를 배치했고, 원숭이 L에는 PMd–M1 경계에 array 하나를 배치했다.전극 위치는 해부학적 지표를 바탕으로 시각적으로 추정했다.
동물 모델 및 신경 기록: 점대점 reaching 중 PMd와 M1이 정성적으로 유사한 반응 특성을 보였기 때문에, 디코딩에서는 두 영역의 전극을 구분하지 않았다.이는 표준 BMI 디코딩 관행 및 관찰된 운동 피질 반응 특성과 일치했다.
동물 모델 및 신경 기록: Spike count는 각 전극의 spike-band root mean square에 -4.5배를 적용해 설정한 단일 음의 threshold로 얻었다.디코더는 하나 이상의 인접 뉴런에서 발생한 spike를 포함하는 threshold crossings를 사용했다.
동물 모델 및 신경 기록: Threshold crossings는 시간이 많이 걸리는 sorting 없이 sorted unit과 비교 가능한 population-level velocity decoding을 제공하므로 표준 intracortical BMI 신호로 사용했다.선행 연구는 threshold crossings가 시간에 따라 더 안정적일 수 있다는 점도 시사한다30,45,57–59.
동물 모델 및 신경 기록: Supplementary Data 1에는 신경 신호 품질을 특성화하기 위해 electrode tuning과 cross-talk의 여러 측정치에 대한 통계가 제시되어 있다.이 측정치들은 연구 중 이용 가능한 신호를 독자가 파악하도록 했다.

행동 과제

행동 평가는 손 위치 또는 neural activity로 제어하는 virtual-cursor reaching task를 사용했으며, 주로 Radial 8 Task와 random-target task를 포함했다. 세션 전반에서 손 뻗기 행동은 매우 일관적이었고, decoder 비교에는 held-out data와 interleaved online block을 사용했다.

행동 일관성: 세션 간 hand-velocity correlation은 monkey R에서 0.90 ± 0.04, monkey L에서 0.91 ± 04였다.유사도는 반복된 Baseline Block session에서 얻은 x- 및 y-velocity vector를 연결한 뒤 Pearson correlation으로 계산했다.
Random Target Task: Random Target Task에서는 20 cm × 20 cm 영역 내 무작위 위치에 target을 제시하고 success rate와 distance-normalized time to target을 측정했다.매 trial 후 새로운 target이 나타났으며, 연속된 target acceptance area는 서로 겹칠 수 없었다.
Decoder 비교 실험 설계: Offline decoder 비교에는 held-out test data를 사용했고, online 비교에서는 측정 전에 약 20회의 transition trial을 둔 채 각 decoder의 약 200-trial block을 interleaved 방식으로 진행했다.이 설계는 parameter 수가 서로 다른 MRNN과 FIT-KF를 공정하게 비교할 수 있게 했으며, 실험 전반에서 decoder 순서를 통제할 수 있게 했다.

Multiplicative Recurrent Neural Network (MRNN)을 이용한 neural decoding

MRNN decoder는 input-dependent recurrent dynamics를 사용해 electrode spike counts를 cursor position과 velocity로 변환한다. Multiplicative interactions를 통해 hidden state가 현재 neural-data statistics에 맞는 decoder를 선택하고, continuous-time dynamics가 output의 smoothness를 제어한다.

BMI decoding: decoder는 각 electrode에서 관측된 spike counts를 recurrent network state에서 read out되는 cursor position과 velocity output으로 변환한다.network는 kinematic output이 해당 state에서 정확하게 read out되도록 학습된다.
Architecture: MRNN inputs는 recurrent weight matrix를 직접 parameterize해 neural inputs와 hidden state 사이에 multiplicative interactions를 만든다.이는 inputs가 additive time-dependent biases로 작용하는 standard RNNs와 대조된다.
Architecture: 따라서 hidden state는 current dataset의 statistics에 적합한 decoder를 선택할 수 있다.
Training and dynamics: MRNN은 continuous-time dynamics를 사용하며, meaningful interactions와 smooth outputs를 지원하도록 time constant를 수백 밀리초 정도로 설정한다.continuous-time formulation은 35에서 제안된 접근법을 바탕으로 조정되었다.
Architecture: input-dependent recurrent weights를 continuous-valued inputs에 대해 다루기 쉽게 만들기 위해, model은 inputs를 F factors로 linearly combine하고 weight tensor를 factorize한다.factor count F가 interaction complexity를 직접 제어한다.

MRNN 학습

MRNN decoder는 손 위치와 속도를 예측하도록 순차적 reaching-trial 데이터에 대해 offline 학습되었으며, Hessian-Free optimization과 cross-validation model selection을 사용했다. Robustness training에서는 여러 recording day의 데이터와 optimization 중 적용한 synthetic spike perturbation을 통합했다.

MRNN 학습: MRNN은 monkey R에서 N=100개의 hidden unit, monkey L에서 N=50개의 hidden unit을 사용했으며, 두 경우 모두 F=N이었다.Monkey R은 E=192개의 input channel, monkey L은 E=96개를 가졌다.
MRNN 학습: 연속된 다섯 번의 reaching trial이 각 MRNN training trial을 구성했다. 처음 두 trial은 hidden state를 초기화하고, 다음 세 trial은 network를 학습하는 데 사용했다.Training data는 실제 trial을 따라 점진적으로 이동시켰으며, 각 day의 처음 두 trial을 제외한 전체 recording set을 사용했다.
MRNN 학습: 독립적으로 학습된 두 MRNN은 normalized hand position과 hand velocity를 예측했으며, 각각 horizontal 및 vertical dimension에 걸친 2-dimensional signal로 출력했다.Velocity는 central difference를 사용해 position으로부터 수치적으로 계산했다.
MRNN 학습: Robustness training에서는 각 minibatch에 여러 이전 recording day의 trial을 sampling하고, optimization 중 spike를 추가하거나 제거해 electrode spike count를 반복적으로 perturb했다.Perturbation은 global firing-rate modulation과 electrode-specific change를 모델링했지만, closed-loop BMI control 중에는 실제 spike count를 사용했다.

MRNN 네트워크 출력으로 BMI 커서 제어

학습된 MRNN을 실시간 폐루프 BMI 커서 제어용으로 컴파일하고, 속도 기반 출력과 위치 기반 출력을 결합해 커서를 갱신했다. 사용 중에는 파라미터가 고정되어 있었으므로 기록 변화에 대한 강건성은 적응적으로 얻어진 것이 아니라 본질적으로 내재되어 있었다.

MRNN 네트워크 출력으로 BMI 커서 제어: 학습된 MRNN은 컴파일된 임베디드 실시간 시스템에서 실행되어 온라인 폐루프 BMI 커서 제어를 제공했다.각 디코딩 단계에서 쌍을 이룬 MRNN이 구간화된 spike count를 입력받고, 그 출력으로 화면에 표시된 커서 위치를 갱신했다.
MRNN 네트워크 출력으로 BMI 커서 제어: β = 0.99에서는 커서 디코딩이 속도에 의해 주도되었고, 위치의 기여가 약간 더해져 drift를 안정화했다.반면 오프라인 정확도 비교에서는 MRNN과 속도만 사용하는 FIT-KF decoder를 비교하기 위해 β = 1을 사용했다.
MRNN 네트워크 출력으로 BMI 커서 제어: MRNN은 파라미터가 고정되어 온라인에서 새로운 neural-to-kinematic mapping을 학습할 수 없었으므로 폐루프 사용 중 adaptive하지 않았다.실험 세션 후 추가 데이터로 재학습했지만, 사용 중 새롭게 마주친 기록 변화에 따라 업데이트되지는 않았다.
MRNN 네트워크 출력으로 BMI 커서 제어: 따라서 입력 변화에 대한 강건성은 온라인 adaptation으로 생성된 것이 아니라 MRNN architecture와 training regime에 본질적으로 내재되어 있었다.Recurrent connection은 이전 입력이 단기 처리에 영향을 주도록 하지만, 폐루프 작동 중 decoder의 파라미터는 고정되어 있다.

Feedback Intention Trained Kalman Filter (FIT-KF)를 이용한 신경 디코딩

이 연구는 MRNN과 FIT-KF를 비교했다. FIT-KF는 binning한 neural spike count로부터 cursor position과 velocity를 추정하는 Kalman-filter decoder다. FIT-KF는 hand-reach data로 학습되며, intention 기반 kinematic rotation과 visual-feedback 가정을 반영한다 [6,40,65].

Feedback Intention Trained Kalman Filter (FIT-KF)를 이용한 신경 디코딩: FIT-KF는 현재의 binning한 spike count와 이전 kinematic-state estimate로부터 cursor position, velocity, bias를 추정한다.25-ms observation이 linear dynamical-system model에 따라 state를 재귀적으로 업데이트한다.
Feedback Intention Trained Kalman Filter (FIT-KF)를 이용한 신경 디코딩: Decoder의 linear-system parameter는 hand-reach training data를 사용한 supervised learning으로 학습된다 [6,65].
Feedback Intention Trained Kalman Filter (FIT-KF)를 이용한 신경 디코딩: FIT-KF는 monkey가 target을 향해 직접 이동하려 한다고 가정하고 training kinematics를 회전시킨다 [40].
Feedback Intention Trained Kalman Filter (FIT-KF)를 이용한 신경 디코딩: FIT-KF는 decoded cursor position을 완벽하게 시각적으로 알고 있다고 가정하여 position-estimate covariance를 0으로 설정하고, position으로 설명 가능한 neural activity를 뺀다 [40].

전극 제거 순서를 결정하기 위한 mutual information

binned spike counts와 reach direction 간 mutual information이 큰 순서대로 전극을 제거했다. 이 decoder-independent 순위는 entropy 차이를 사용해 각 전극의 통계적 정보성을 정량화했다.

Mutual-information 순위: 각 전극의 binned spike counts와 reach direction 간 mutual information에 따라 전극의 순위를 정한 뒤, mutual information이 높은 순서에서 낮은 순서로 제거했다.이 순위는 각 전극이 reach direction에 대해 얼마나 통계적으로 정보성이 높은지를 측정했으며, 사용한 decoder와 무관했다.
Spike-count 이산화: Spike counts를 {0,1,2,3,4,5+} bin으로 이산화했으며, counts ≥5는 5+로 묶었다. 이는 20 ms bin에서 250 Hz에 해당한다.이산화된 counts는 entropy와 mutual information 계산에 사용한 유한 집합을 구성했다.
Mutual-information 순위: Mutual information은 각 전극의 entropy와 reach direction을 조건으로 한 entropy를 사용해 I(X;Y) = H(Y) − H(Y|X)로 계산했다.이 정식화는 neural activity와 reach direction 간 의존성을 정량화했다.

신경 부분공간의 주각 분석

팔 뻗기 동안의 neural activity subspace를 비교해 recording day 간 유사도를 정량화했다. 각 day의 subspace는 neural coactivation의 leading principal component로 정의했으며, day pair는 minimum principal angle을 사용해 비교했다.

Metric 정의: Day-pair neural similarity는 recording-day neural subspace 사이의 minimum principal angle로 측정했다.이 scalar metric은 day pair 간 reaching 관련 neural activity pattern의 유사도를 포착했다.
Neural subspace: 각 neural subspace는 daily neural coactivation의 top K principal component로 구성했으며, 팔 뻗기 동안 electrode 전반의 covariance motif를 나타냈다.따라서 이 분석은 raw activity를 직접 비교하는 대신 저차원 neural activity structure를 비교했다.
Data preparation: Daily activity matrix는 non-overlapping 20 ms bin을 사용해 약 200개의 Radial 8 Task arm-control trial로 구성했다.이 task는 8 cm target distance를 사용했으며, array implantation 이후 두 monkey 모두 거의 모든 session의 시작 시점에 수행했다.
Computation: 각 day의 covariance matrix에서 electrode별 across-days mean firing rate를 뺀 뒤 eigendecomposition해 principal component를 구했다.그 결과 얻은 eigenvector는 E×K matrix를 이루며, column은 eigenvalue 내림차순으로 정렬했다.
Robustness check: Supplementary Fig. 1에서는 K=10 principal component를 사용했으며, K를 2에서 30까지 변화시켜도 질적으로 유사한 pattern이 나타났다.Day-difference metric은 daily principal-component matrix 사이의 K개 subspace angle 중 최솟값으로 계산했다.

그림(아래에 범례 수록) · 보충 정보 · 보충 동영상 1. MRNN의 폐루프 성능 예시

그림은 electrode loss, 자연스럽게 오래된 neural input, 이상적 조건에서 MRNN decoding을 평가하고, 보충 분석은 recording variability, perturbation training, 추가 폐루프 시연을 검토한다. 종합하면, 이 자료는 training-data breadth와 robustness test가 변화하는 recording condition에서 MRNN BMI performance를 어떻게 뒷받침하는지 보여준다.

그림(아래에 범례 수록): MRNN은 여러 날에 걸쳐 수집한 motor cortex spike recording을 사용해, binning한 spike count로부터 velocity readout과 position readout에 대한 별도의 internal dynamics를 학습했다.원숭이는 multielectrode array로 multiunit spike를 기록하는 동안 target-acquisition task를 수행했다.
그림(아래에 범례 수록): 더 크고 시간순으로 더 이른 training dataset은 MRNN decoding을 향상했으며, 평가 설계에서는 training-data recency와 corpus size를 분리했다.몇 차례의 monkey R overlap day를 제외하면 training data는 test day보다 앞섰다.
그림(아래에 범례 수록): 최대 10개의 informative electrode를 제거한 조건에서 MRNN과 FIT Sameday의 폐루프 성능을 비교했으며, 특정 제거 조건에서 유의한 MRNN 우위를 표시했다.성능은 실험 session당 분당 target 수로 측정했으며, 유의성은 paired t-test에서 p < 0.05를 사용해 판단했다.
그림(아래에 범례 수록): stale-input 실험은 최근 neural data를 수개월간 제외한 뒤 6개 test day에서 MRNN, FIT Long, FIT Old decoder를 평가했다.test day는 monkey R에서 7일, monkey L에서 13일에 걸쳐 있었다.
보충 동영상 1. MRNN의 폐루프 성능 예시: MRNN은 전날까지 125개 recording session에서 수집한 reaching data로 학습한 뒤, ideal-condition cursor control과 continuous Radial 8 performance도 지원했다.보충 비교에서는 동일한 가장 중요한 electrode 3개를 제거한 뒤 alternating-block 폐루프 성능을 제시했다.
보충 정보: 보충 분석에서는 시간순으로 가까운 session일수록 대체로 더 유사한 neural recording을 보였고, 멀리 떨어진 날 사이에서도 간혹 유사한 recording이 나타났다.상위 10개 covariance eigenvector는 monkey R과 L에서 각각 single-trial variance의 평균 51%와 46%를 포착했다.
보충 정보: Spike-rate perturbation augmentation은 informative electrode를 제거했을 때 폐루프 MRNN robustness를 향상했으며, 보충 offline test에서는 architecture, dataset size, augmentation의 기여를 분리했다.이 분석은 예상하지 못한 electrode loss와 자연적으로 발생하는 recording-condition 변화를 모두 다뤘다.