Time-Dependent Deep Image Prior for Dynamic MRI

Jaejun Yoo; Kyong Hwan Jin; Harshit Gupta; Jerome Yerly; Matthias Stuber; Michael Unser

Source-linked AI summary

Time-Dependent Deep Image Prior for Dynamic MRI

Jaejun Yoo, Kyong Hwan Jin, Harshit Gupta, Jerome Yerly, Matthias Stuber, Michael Unser

arXiv:1910.01684v22019년 10월 3일eess.IVcs.CVcs.LG

TL;DR

Dynamic MRI 재구성은 기존 모델과 prior의 한계에도 불구하고 희소 샘플링 데이터에서 움직이는 장기의 동역학을 복원해야 한다. 이 논문은 시간 매개변수화 manifold를 사용하는 비학습 deep-image-prior 네트워크를 최적화해, state-of-the-art compressed-sensing 접근법보다 3.8 dB 높은 성능을 달성하면서 연속적인 시간 제어를 가능하게 한다.

문제
Dynamic MRI는 partially sampled k-space에서 움직이는 장기의 동역학을 재구성해야 하며, 기존 방법은 SNR, coil 설계, prior, 처리 과정, 효율성과 관련된 제약에 직면한다.
방법
이 방법은 명시적인 시간 매개변수화 manifold를 갖는 비학습 convolutional network를 최적화해 k-space 측정값만으로 Dynamic MRI 시퀀스를 직접 재구성한다.
결과
state-of-the-art compressed-sensing 접근법보다 3.8 dB 향상된 성능이 보고되었으며, retrospective 및 fetal cardiac 데이터셋에서 더 우수한 재구성 결과를 보였다.
핵심 시사점 및 한계
이 접근법은 heartbeat marking이나 spoke reordering 없이 sub-frame 또는 continuous temporal control을 통해 고해상도 Dynamic MRI를 재구성한다.
핵심 시사점 및 한계
Forward model의 NuFFT 구현은 주요 runtime 병목으로, 각 iteration의 running time 중 47%를 차지한다.

Abstract

from arXiv · show

We propose a novel unsupervised deep-learning-based algorithm for dynamic magnetic resonance imaging (MRI) reconstruction. Dynamic MRI requires rapid data acquisition for the study of moving organs such as the heart. Existing reconstruction methods suffer from restrictions either in the model design or in the absence of ground-truth data, resulting in low image quality. We introduce a generalized version of the deep-image-prior approach, which optimizes the network weights to fit a sequence of sparsely acquired dynamic MRI measurements. Our method needs neither prior training nor additional data. In particular, for cardiac images, it does not require the marking of heartbeats or the reordering of spokes. The key ingredients of our method are threefold: 1) a fixed low-dimensional manifold that encodes the temporal variations of images; 2) a network that maps the manifold into a more expressive latent space; and 3) a convolutional neural network that generates a dynamic series of MRI images from the latent variables and that favors their consistency with the measurements in k-space. Our method outperforms the state-of-the-art methods quantitatively and qualitatively in both retrospective and real fetal cardiac datasets. To the best of our knowledge, this is the first unsupervised deep-learning-based method that can reconstruct the continuous variation of dynamic MRI sequences with high spatial resolution.

I. 서론 · A. 기여 · B. 관련 연구

이 논문은 사용할 수 없는 ground-truth 데이터에 의존하지 않고 부분적으로 샘플링된 k-space에서 dynamic MRI를 재구성하는 unsupervised deep-learning framework를 제안한다. 제안 방법은 CNN structural prior와 제약된 temporal manifold를 결합하며, sequence reconstruction을 기존 DIP 기반 video-compression 연구와 구분한다.

I. 서론: Dynamic MRI는 부분적인 k-space sampling을 통해 획득을 가속하므로, 누락된 데이터를 보완하면서 spatial 또는 temporal redundancy를 활용하는 재구성 방법이 필요하다 –.서론에서는 parallel MRI와 k-t acceleration methods를 포함한 접근법을 동기 부여한다.
I. 서론: 기존 재구성 방법은 SNR 제약, coil 설계상의 제한, 수작업으로 선택한 prior, 여러 처리 단계 또는 비효율적인 convex-optimization 적용과 관련된 한계에 직면한다.
I. 서론: Supervised deep-learning MRI 재구성 방법 –은 training dataset과 완전히 샘플링된 ground-truth measurement에 크게 의존하지만, 이는 dynamic MRI에서 일반적으로 사용할 수 없다.
A. 기여: 제안하는 unsupervised framework는 CNN implicit structural prior와 temporal dependency를 위한 one-dimensional manifold를 사용해 golden-angle radial k-space spokes를 재구성하도록 generative network를 최적화한다.이 접근법은 deep image prior 에서 영감을 받았다.
A. 기여: Generative model은 MapNet latent variables와 structural prior를 결합해 dynamic image를 재구성하며, 분석 결과 manifold design과 MapNet이 모두 양질의 재구성에 필수적임을 보인다.
A. 기여: 저자들은 이 방법을 high spatial resolution에서 dynamic MRI sequence의 전체 temporal frame을 재구성하는 최초의 unsupervised deep-learning 접근법으로 규정한다.
B. 관련 연구: 기존 unsupervised medical-imaging 응용의 DIP는 dynamic image sequence가 아니라 static MRI와 positron-emission-tomography reconstruction을 다루었다,,.
B. 관련 연구: 가장 유사한 선행 연구는 DIP를 비디오 압축에 적용해 [45], compact frame code를 위해 network weight와 latent variable을 최적화한 반면, 본 논문은 영상 시퀀스를 재구성하고 latent space를 제약한다.latent space 제약이 없으면 code가 임의의 space로 발산할 수 있다.

II. 방법 … 1) 순방향 모델:

제안 방법은 비학습 CNN 기반 재구성 프레임워크와 시간에 따라 샘플링되는 radial k-space acquisition model을 결합하여 deep image prior를 dynamic MRI로 확장한다. 순방향 모델은 golden-angle radial spoke를 따라 수집한 Fourier measurement를 통해 각 시간 영상을 표현한다.

II. 방법: 이 방법은 deep image prior를 dynamic MRI로 확장하며, mapping network를 추가하고 underlying latent manifold를 학습한다.DIP는 비학습 network를 사용하며 사전 학습이나 추가 image data가 필요하지 않다.
A. Deep Image Prior: DIP는 고정된 random latent variable에서 비학습 CNN을 최적화하여 영상을 재구성하고, 자연스러운 출력으로 향하는 architecture의 편향을 활용한다.최적화된 출력은 x∗ = fθ∗(z)이며, CNN prior는 noise가 많고 구조화되지 않은 영상보다 구조화된 영상을 선호한다.
B. Dynamic MRI: dynamic MRI acquisition은 3D object의 고정된 slice에서 시간에 따른 radial Fourier-transform line sequence를 획득한다.각 영상은 x ∈ C^N으로 표현되며, 시간 t에서의 measurement는 radial orientation을 따라 수집된 k-space sample vector다.
1) 순방향 모델:: 각 시간 t에서 MRI measurement process는 linear하며, orientation-dependent system matrix H(ϑ)를 통해 영상을 k-space data와 연결한다.H(ϑ)는 2D Fourier transform과 radial line을 따른 resampling을 결합하며, 각 resulting measurement는 angular spoke다.
1) 순방향 모델:: acquisition은 t_k = t_0 + k∆t라는 일정한 간격의 시간에 K spokes를 수집하며, temporal step size는 ∆t다.spoke orientation은 acquisition 동안 변하므로 image sequence를 재구성하기 위한 measurement를 제공한다.
1) 순방향 모델:: spoke orientation은 golden-angle strategy를 따르며, angular increment는 111.25°로 근사된다.이 strategy는 irrationality condition (ω_0∆t/π) ∉ Q에 기반하며 angular velocity ω_0를 사용한다.

2) Spoke-Sharing:

Spoke-sharing는 국소적 시간 평활성 가정하에 인접한 radial spoke들을 pooling하여 각 dynamic MRI frame을 재구성한다. sharing parameter를 늘리면 measurement coverage는 향상되지만 temporal resolution과 trade-off가 발생하며, 결과 inverse problem은 여전히 ill-posed로 남는다.

Spoke-Sharing: 각 frame에서 단일 radial orientation만으로는 순간적인 2차원 image를 복원하기에 insufficient하므로, 시간적으로 인접한 measurement를 이용한 재구성이 필요하다.더 큰 목표는 유한한 measurement로부터 dynamic sequence x(t_k), 또는 연속적으로 변하는 x(t)를 복원하는 것이다.
Spoke-Sharing: acquisition은 golden-angle sampling과 spoke-sharing을 적용한 nonuniform fast Fourier transform을 사용하여 어떤 radial direction도 두 번 측정되지 않도록 한다.golden-angle 전략은 framework의 dynamic MRI data-acquisition 절차의 일부다.
Spoke-Sharing: Spoke-sharing은 ns개의 인접한 radial spoke를 pooling하여 국소 시간 구간에서 x(t)를 x(t_k)로 근사하며, ns가 temporal resolution을 제어한다.이 방법은 T_k에 걸쳐 변화가 느리다고 가정하며, 재구성된 각 frame에 ns ∈ 2N + 1개의 radial line을 사용한다.
Spoke-Sharing: augmented forward model은 ns개의 spoke를 M = ns M0개의 measurement로 결합하여 coverage를 향상시키지만, M < N이므로 여전히 ill-posed다.여기서 N은 미지 image value의 개수이고, H_k는 시간 t_k에서의 pseudosimultaneous acquisition을 인코딩한다.

C. 제안 프레임워크

제안된 time-dependent DIP는 temporal manifold, 학습된 mapping network, image generation을 결합하고 measurement domain에서 학습되지 않은 network를 최적화하여 dynamic MRI sequence를 재구성한다. 이 framework는 measurement consistency를 강제하는 동시에 재구성 image를 regularize하고 temporal dynamics를 유연하게 표현한다.

제안 프레임워크: 이 framework는 학습되지 않은 neural network를 최적화하여 입력 sequence를 재구성된 dynamic MRI image로 매핑하며, 최적화는 measurement domain에서 수행된다.이를 통해 획득된 measurement와의 일관성을 유지하는 동시에 수정된 DIP가 재구성된 image sequence를 regularize한다.
Manifold 설계: 설계된 manifold Z는 개별 frame의 구조를 보존하면서 temporal variation을 인코딩하고, 입력 간 근접성을 이용해 temporal similarity를 유도한다.temporal하게 정렬된 입력 설계의 예로 직선 manifold가 제시된다.
Mapping Network (MapNet): MapNet은 고정된 manifold를 warp하는 비선형 fully connected layer를 도입하여 유연성을 높이고 reconstruction network가 실제 dynamics를 표현하도록 돕는다.이 학습된 mapping은 수작업으로 설계된 manifold의 한계를 줄이고 neural network의 representation power를 활용한다.
최종 알고리즘: 알고리즘은 manifold 입력을 샘플링하고, 무작위로 샘플링된 batch loss와 gradient descent를 사용해 network parameter를 반복적으로 업데이트한 뒤 전체 image sequence를 재구성한다.제시된 구현에서는 Adam과 niter = 10, 000, batch size B = 1을 사용한다.

III. 실험

실험 절에서는 데이터셋, baseline 방법, 심장 주기 추정, 평가 설정 및 구현 세부사항을 다룬다.

실험에 사용한 데이터셋과 baseline 방법을 설명한다.
심장 주기 추정과 평가 설정을 설명한다.
또한 실험의 구현 세부사항을 제시한다.

A. 데이터셋 … B. 기준선 방법

실험에는 두 배 측정 업샘플링을 적용한 breath-hold MR 데이터셋이 사용되며, retrospective 및 fetal cardiac 획득을 포괄한다. 비교 대상으로 BP, GRASP, Reordering Method (RD), 를 포함한다.

A. 데이터셋: 모든 데이터셋에 두 배 업샘플링을 적용하며, 재구성된 시야의 크기는 측정값의 첫 번째 차원의 절반이다.
1) 후향적 데이터셋:: 후향적 cardiac cine 데이터셋은 32-element cardiac coil, bSSFP, prospective cardiac gating을 사용하여 3T Siemens Tim Trio scanner에서 획득했다.
1) 후향적 데이터셋:: 후향적 획득 데이터는 43.2 ms의 temporal resolution을 갖는 23 frames로 구성되며, 300 × 300 mm2 field of view와 128 × 128 acquisition matrix를 사용한다.
2) 태아 심장 데이터셋:: 태아 심장 데이터셋은 1.5T Siemens scanner에서 18-channel body coil과 32-channel spine coil을 사용하여 golden-angle radial readouts 를 적용한 untriggered continuous 2D bSSFP sequence로 획득했다.
B. 기준선 방법: BP는 zero-filled discrete Fourier transform을 제공하며 가장 기본적인 기준선으로 사용된다.
B. 기준선 방법: GRASP 는 k-t SPARSE-SENSE 를 volumetric golden-angle radial acquisitions로 확장하지만, 본 평가에서는 spoke-sharing strategy를 제외한다.
B. 기준선 방법: Reordering Method (RD), 는 먼저 제한된 품질의 real-time images를 재구성한 뒤 이를 사용해 spokes를 재정렬하는 three-step algorithm이다.

C. 심장 주기 추정 … F. 아키텍처

이 방법은 radial k-space 데이터에서 심장 주기를 추정하고, RSNR로 재구성 결과를 평가하며, 구현을 위해 지정된 최적화 및 네트워크 아키텍처를 사용한다. 중심 k-space의 radial sampling은 생리적 움직임을 추출할 수 있게 하며, mapping 및 generative network는 latent representation과 영상을 생성한다.

C. 심장 주기 추정: 태아 심장 시퀀스를 처리할 때 RD와 제안 알고리즘 모두 심장 주기 추정값이 필요하다.추정 대상은 전체 acquisition duration이며, 일반적으로 k-space에서 얻을 수 있다.
C. 심장 주기 추정: Radial acquisition은 모든 readout에서 k-space의 중심을 sampling하므로, 심장 주기 추정을 위한 생리적 움직임 신호를 얻을 수 있다.기존 radial-data 추정 기법은,, 로 인용된다.
D. 평가 지표: 재구성 품질은 oracle x와 재구성 영상 x∗를 사용해 계산한 regressed SNR (RSNR)로 정량화한다.RSNR이 높을수록 재구성이 우수함을 의미한다.
E. 구현 세부사항: 학습에는 기본 설정의 Adam을 사용하며, 10,000 iterations, batch size B = 1, learning rate 10^-3으로 설정한다.구현에는 Intel i7-7820X CPU, NVIDIA Titan X (Pascal) GPU, PyTorch 1.0.0, Python 3.6을 사용한다.
F. 아키텍처: mapping network gφ는 512 hidden dimensions와 ReLU를 사용하는 두 개의 fully connected layer로 구성되며, L = 64 latent vector를 생성한 뒤 8 × 8로 reshape한다.이렇게 reshape한 representation을 generative network hψ의 입력으로 사용한다.
F. 아키텍처: generative network는 convolution, batch normalization, ReLU, nearest-neighbor interpolation layer를 결합하며, zero-padding으로 output size를 보존한다.마지막 layer에서는 ReLU를 생략하며, 아키텍처는 Table I에 요약되어 있다.

IV. LATENT SPACE 설계 · A. 단일 심장 주기를 위한 직선 매니폴드 · B. 다중 심장 주기를 위한 매니폴드

latent-space 분석은 하나의 심장 주기에 대한 직선 매니폴드와 다중 주기에 대한 segmented-line, circle, helix 매니폴드를 평가한다. 매니폴드 설계와 MapNet이 모두 필요해야 최상의 reconstruction을 얻을 수 있음을 확인하고, Helix+MapNet을 기본 설정으로 정립한다.

IV. LATENT SPACE 설계: 분석은 가장 단순한 single-cycle setup에서 시작해 더 복잡한 multiple-cycle dataset으로 진행되며, 매니폴드 선택을 baseline과 비교한다.multiple-cycle 설정은 일반적으로 여러 심장 주기에 걸쳐 획득되는 측정값을 반영한다.
A. 단일 심장 주기를 위한 직선 매니폴드: 단일 심장 주기에서는 straight-line manifold가 두 개의 sampled latent endpoint 사이를 선형 보간해 시간에 따른 영상 변화를 인코딩한다.중간 latent point는 z0과 zK−1 사이의 선형 보간으로 구한다.
A. 단일 심장 주기를 위한 직선 매니폴드: straight-line 구성은 single-cycle dynamics를 성공적으로 reconstruction하며 다른 baseline method보다 우수한 성능을 보인다.이 결과는 Table II의 single-cycle dataset에 대해 보고된다.
B. 다중 심장 주기를 위한 매니폴드: 다중 주기 후보에는 14 landmarks를 사용하는 segmented line, periodic coordinate와 fixed slack variable을 사용하는 circle, 그리고 시간에 따라 slack coordinate를 스케일링하는 helix가 포함된다.segmented line은 인접한 landmark 사이의 선형 보간을 사용하며, circle과 helix는 unit-circle coordinate를 통해 p cycles를 인코딩한다.
B. 다중 심장 주기를 위한 매니폴드: 다중 심장 주기에서는 straight-line manifold가 static reconstruction을 생성하는 반면, 준주기적 심장 운동을 포착하기 위해 더 구조화된 매니폴드를 도입한다.대부분의 pixel이 static하고 dynamic region이 국소화되어 있어 최적화가 constant-image local minimum에 도달할 수 있기 때문에 static failure가 발생한다.
B. 다중 심장 주기를 위한 매니폴드: 최상의 성능을 위해 신중한 매니폴드 설계와 mapping network가 모두 necessary하므로 Helix+MapNet을 기본 설정으로 채택한다.MapNet은 입력 매니폴드를 dataset에 맞게 조정하고 reconstruction을 추가로 개선한다.

V. 결과

먼저 원하는 동작이 명확히 정의된 retrospective dataset에서 재구성 방법을 평가한 뒤, 이러한 결과가 실제 태아 심장 데이터에도 확장되는지 검토한다.

Retrospective dataset: 원하는 동작이 명확히 정의된 retrospective dataset에서 재구성 방법을 먼저 평가한다.
Fetal cardiac dataset: 그다음 fetal cardiac dataset을 분석하여 retrospective 관찰 결과가 실제 상황에서도 확장되는지 검증한다.

A. 후향적 데이터셋: 다중 심장 주기 · B. 태아 심장 데이터셋 · VI. 논의

후향적 데이터와 실제 태아 심장 데이터 모두에서 Helix + MapNet은 동적 심장 운동을 재구성하고, 경쟁 방법보다 동적 구조와 정적 구조를 더 잘 분해한다. 프레임별 재구성을 통해 위상 혼합을 피하면서 준주기적 주기성과 주기 간 운동 변화를 보존한다.

A. 후향적 데이터셋: 다중 심장 주기: Helix + MapNet은 동적 심장 재구성과 잔차의 후향적 시각 비교에서 BP, GRASP [15], RD [24], [25]보다 우수하다.비교에서는 완전 샘플링된 Cartesian 재구성을 ground truth로 사용하며, RD는 추정된 주기 정보의 이점을 얻는다.
B. 태아 심장 데이터셋: 실제 태아 데이터 평가는 모든 spokes로 재구성한 정적 이미지를 pseudo-gold standard로 사용하며, 움직이지 않는 영역에서만 높은 품질을 보인다.실제 데이터 실험에는 ground-truth image가 없다.
B. 태아 심장 데이터셋: 실제 태아 심장 데이터에서 Helix + MapNet은 동적 영역과 정적 영역 모두에서 GRASP [15]와 RD [24], [25]보다 더 잘 분해된 특징을 생성한다.RD는 동적 위상을 잘 재구성하지만 edge artifact가 나타나고 정적 배경의 세부 구조를 놓친다.
B. 태아 심장 데이터셋: Helix + MapNet은 인접한 spokes로부터 태아 심장 프레임을 재구성하여, 서로 다른 심장 위상의 spokes를 중첩하는 RD [24], [25]의 방식을 피한다.BP는 태아의 박동을 포착하지 못하고, GRASP는 여전히 만족스럽지 않으며, RD의 재정렬은 한 프레임 안에서 서로 다른 주기를 섞을 수 있다.
B. 태아 심장 데이터셋: 재구성된 태아 시퀀스는 주기 간 변화를 유지하면서 준주기적 심장 운동을 가시적으로 보존한다.전체 시퀀스는 Figure 5의 하단 행에 y-t 단면으로 제시된다.
VI. 논의: 이 방법의 두드러진 이점은 심장 주기 전반의 준주기성과 운동 변화를 모두 보여주는 완전한 시퀀스를 재구성하는 것이다.제시된 논의에서는 이러한 시퀀스 수준의 거동을 다른 알고리즘으로는 얻을 수 없다고 설명한다.

A. Latent 및 Image Space의 t-SNE 시각화 · B. 본 접근법의 장점 · VII. 결론

이 접근법은 구조화된 temporal manifold를 적응적으로 변형하여 sub-frame 제어, 낮은 메모리 사용량, 더 단순한 최적화를 갖춘 연속적 dynamic-image reconstruction을 가능하게 한다. 주요 한계는 reconstruction 속도이며, 이는 대체로 CPU 의존적인 NuFFT forward model에서 비롯된다.

A. Latent 및 Image Space의 t-SNE 시각화: MapNet은 고정 manifold의 기하학적 prior를 보존하면서 이를 적응적으로 변형하여 helix의 높이를 줄이고 대응하는 cycle들을 서로 가깝게 배치한다.mapping된 변수는 13-period helical geometry를 유지하면서 서로 다른 cycle 간 유사성을 회복하므로 더 나은 reconstruction을 뒷받침한다.
A. Latent 및 Image Space의 t-SNE 시각화: t-SNE embedding은 고정 latent, mapping된 latent, 그리고 대응하는 image space 전반에서 약 13개의 heart-motion cycle을 보여준다.Temporal index는 400개 frame에 걸쳐 색으로 표시되며, reconstructed-image embedding에서도 cycle이 계속 관찰된다.
B. 본 접근법의 장점: 학습된 함수 fθ∗는 비선형 image-manifold dynamics를 포착하여 지정된 timestamp에서의 reconstruction과 연속적인 input 사이의 보간을 통한 nontrivial intra-frame image 생성을 가능하게 한다.이러한 연속적 탐색은 temporal b와 같은 표준 temporal interpolation 방법으로는 가능하지 않다.
B. 본 접근법의 장점: 이 접근법은 compressed-sensing update 중 전체 reconstruction volume을 저장하는 대신 neural network를 batch 단위로 최적화하여 메모리 요구량을 줄인다.그렇지 않으면 256 × 256 크기의 5,000프레임 시퀀스를 처리하려면 256 × 256 × 5,000개의 데이터를 다뤄야 하므로, 기가바이트를 초과하는 메모리가 필요하다.
B. 본 접근법의 장점: Training은 각 frame을 약 7회 방문하지만, NuFFT forward model 때문에 reconstruction이 느려지며, GPU acceleration이 없는 구현으로 인해 전체 실행 시간의 47%를 차지한다.비교 결과, 이 방법은 1,400개 frame에 대해 10,000회 iteration을 수행하는 반면 GRASP는 24회의 outer iteration에 걸쳐 모든 frame을 확인한다.
B. 본 접근법의 장점: 완전 자동화된 방법은 해석 가능한 hyperparameter 두 개를 사용하는 반면, k-t SENSE는 일반적으로 상당한 grid search를 통해 선택하는 상호 의존적 parameter 세 개를 요구한다.두 parameter는 initial learning rate와 iteration 수다.
VII. 결론: 이 방법은 one-dimensional manifold, mapping network, generative model을 결합하여 sub-frame 또는 연속적 temporal control이 가능한 고공간해상도 dynamic MRI reconstruction을 제공한다.Generative network는 representation power와 manifold를 통해 주입된 structural prior를 모두 활용한다.