Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise

Arpit Bansal; Eitan Borgnia; Hong-Min Chu; Jie S. Li; Hamid Kazemi; Furong Huang; Micah Goldblum; Jonas Geiping; Tom Goldstein

Source-linked AI summary

Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise

Arpit Bansal, Eitan Borgnia, Hong-Min Chu, Jie S. Li, Hamid Kazemi, Furong Huang, Micah Goldblum, Jonas Geiping, Tom Goldstein

arXiv:2208.09392v12022년 8월 19일cs.CVcs.LG

TL;DR

Diffusion model은 일반적으로 Gaussian noise를 중심으로 구축되므로, 생성 동작에 randomness가 필요한지는 명확하지 않다. 이 논문은 noise를 임의의 deterministic image transform으로 대체하고, 그 결과의 framework가 blur, inpainting, downsampling으로 열화된 이미지를 복원할 수 있음을 보인다.

문제
Gaussian noise 또는 어떤 randomness라도 diffusion model이 실제로 작동하는 데 필요한지는 여전히 명확하지 않다.
방법
이 논문은 임의의 image degradation을 위한 restoration network를 학습하고, 이미지를 생성하기 위해 restoration과 degradation update를 번갈아 적용한다.
결과
이 framework는 random noise를 완전히 제거하고, blur, inpainting, downsampling을 포함한 deterministic degradation으로 손상된 이미지를 복원한다.
시사점 및 한계
이 결과는 Gaussian noise paradigm을 넘어 더욱 다양한 diffusion model의 지형을 뒷받침한다.
시사점 및 한계
restoration operator가 완벽한 inverse가 아니면, x0가 update rule의 fixed point가 아니기 때문에 Algorithm 1에서 오류가 발생한다.

Abstract

from arXiv · show

Standard diffusion models involve an image transform -- adding Gaussian noise -- and an image restoration operator that inverts this degradation. We observe that the generative behavior of diffusion models is not strongly dependent on the choice of image degradation, and in fact an entire family of generative models can be constructed by varying this choice. Even when using completely deterministic degradations (e.g., blur, masking, and more), the training and test-time update rules that underlie diffusion models can be easily generalized to create generative models. The success of these fully deterministic models calls into question the community's understanding of diffusion models, which relies on noise in either gradient Langevin dynamics or variational inference, and paves the way for generalized diffusion models that invert arbitrary processes. Our code is available at https://github.com/arpitbansal297/Cold-Diffusion-Models

1 서론

이 절은 diffusion model에 Gaussian noise나 randomness가 필요한지 의문을 제기하고, blurring과 downsampling 같은 임의의 image transformation을 역변환하는 generalized model을 제안한다. noise-free diffusion의 성공이 기존 이론적 설명에 도전하며 새로운 generative-model 설계를 가능하게 한다고 주장한다.

1 서론: Diffusion model은 전통적으로 denoising network를 학습해 Gaussian noise를 제거하고 순수한 Gaussian noise에서 이미지를 생성한다 [Ramesh et al., 2022].이론적 기반 역시 Langevin-dynamics 해석을 통해 Gaussian noise를 강조한다 [Sohl-Dickstein et al., 2015, Song and Ermon, 2019].
1 서론: 이 연구는 denoising model을 Gaussian noise 너머로 일반화하고, blurring과 downsampling을 포함한 임의의 image transformation을 역변환하도록 restoration network를 학습한다.제안하는 framework는 diffusion을 noise-based process로 제한하지 않고 image deformation을 중심으로 구성된 model을 검토한다.
1 서론: 학습이나 테스트 중 Gaussian noise나 randomness가 없는 cold diffusion의 존재는 현재 이론에 도전하며, 서로 다른 특성을 지닌 generative model의 가능성을 연다.이러한 model은 noise를 중심으로 한 이론적 설명의 한계를 재고하게 한다.

2 배경

배경에서는 diffusion models를 더 넓은 generative modeling 및 inverse-problem 연구의 맥락에 위치시키고, Gaussian noise가 필요한지에 대한 이 논문의 핵심 탐구를 제기한다. 기존 해석은 Gaussian noise의 특성에 의존하는 반면, 초기 deterministic 실험은 범위가 제한적이었다.

Generative-model 배경: Generative models는 언어와 이미지를 아우르며 image restoration으로 확장되고, diffusion models는 최근 기존 GAN 기반 image synthesis와 경쟁할 수 있게 되었다.인용된 문헌에는 자연어 및 이미지 생성, image restoration, GANs, diffusion models가 포함된다.
Diffusion-model 배경: Langevin dynamics, variational inference, score matching에 기반한 diffusion-model 해석은 Gaussian noise에 부여된 특성이나 역할에 의존한다.Noise는 저차원 training distribution을 full-measure ambient support로 확장하고 data augmentation을 제공한다고 여겨진다.
Inverse problem: Diffusion models는 deblurring, denoising, super-resolution, compressive sensing에 적용되어 왔으며, 초기의 iterative neural inverse-problem 방법을 발전시켰다.관련 연구에서는 learned noise schedule과 Gaussian-noise 제거 및 deterministic linear inverse problem에서 noisy-density gradient 사이의 연관성도 연구했다.
기여: 이 논문은 diffusion models에서 noise가 필요하지 않다는 점을 명확히 주장하고, 여러 inverse problem에서 noise를 제거하는 방식을 검토한다.초기 연구에는 deterministic image-generation 실험과 일부 inverse problem이 포함되었지만, 이 논문은 noise 제거의 결과를 체계적으로 조사한다.

3 일반화된 Diffusion

일반화된 diffusion은 Gaussian-noise degradation을 임의의 연속 transformation으로 대체하고, 이를 근사적으로 역변환하는 restoration operator를 학습한다. 개선된 sampler는 smooth degradation에서 특히 안정적이며, restoration이 불완전해도 특정 linear operator 계열에 대해 exact reconstruction을 달성한다.

일반화된 degradation: 일반화된 diffusion은 blurring, masking, downsampling과 같은 degradation을 사용하며, severity가 연속적으로 변하고 D(x0, 0) = x0을 만족한다.D가 variance가 t에 비례하는 Gaussian noise를 추가하면 standard diffusion이 복원된다.
Restoration operator: neural restoration operator Rθ는 random image에 대한 ℓ1 reconstruction loss를 최소화하여 D를 근사적으로 역변환하도록 학습된다.restoration network는 θ로 parameterize되며, 실험에서는 ℓ1 norm을 사용한다.
Stability analysis: linear degradation의 경우 Algorithm 2는 어떤 restoration operator에 대해서도 exact iterate xs = D(x0, s)를 생성하는 반면, Algorithm 1은 R이 불완전하면 error를 누적한다.이 robustness는 update 과정의 cancellation에서 비롯되며 D(x, s) ≈ x + s · e인 model에도 성립한다.
Empirical comparison: Algorithm 2는 smooth deblurring에서 성공하지만, Algorithm 1은 artifact를 누적시키고 새로운 image를 생성하지 못한다.Figure 2는 CelebA에서 두 sampler를 비교하며, Algorithm 2를 사용한 고품질 noise-free sampling을 보여준다.

4 다양한 변환을 적용한 일반화 확산

이 절에서는 deblurring, inpainting, super-resolution, desnowification에 걸쳐 blur, masking, downsampling, synthetic snow degradation을 적용한 일반화 확산을 평가한다. Sampling은 더 선명하거나 맥락에 일관된 복원을 생성하며, blur와 유사한 구조가 없는 이색적인 변환에서도 성공한다.

실험 범위: 실험에서는 서로 다른 결정론적 degradation을 사용해 deblurring, inpainting, super-resolution, synthetic snow removal에 개선된 Algorithm 2를 적용한다.이 절은 conditional generation에 초점을 두며, unconditional generation은 Section 5에서 다룬다.
Deblurring: Blur에서는 각 update가 difference-of-Gaussians band-pass filter이므로, sampling이 제거된 주파수 성분을 순차적으로 더한다.Forward process는 Gaussian kernel과의 convolution을 통해 이미지를 점진적으로 blur하는 반면, model은 inversion을 위해 clean image를 예측한다.
Inpainting: Inpainting 복원은 mask되지 않은 image context와 정성적으로 일관된 feature를 회복한다.효과는 Table 2에서 복원 전후의 distributional similarity metric으로 평가한다.
Super-resolution: Super-resolution 복원은 두 배 downsampling을 반복한 뒤 low-resolution input과 정성적으로 일관된 feature를 생성한다.Table 3은 degradation 또는 복원된 image와 test sample 사이의 distributional similarity metric을 비교한다.
Synthetic snow removal: Synthetic snow removal은 blur의 scale-space 및 compositional property가 없는 이색적인 변환에서 일반화 확산을 보여준다 [Hendrycks and Dietterich, 2019].눈이 옅은 CIFAR-10 예시는 거의 완벽하게 복원되는 반면, 눈이 심한 CelebA 예시는 시각적으로 뚜렷한 복원을 보인다.

5 Cold Generation

Cold diffusion은 deterministic sampling을 사용하고 blur에 대한 단순한 terminal distribution을 모델링하며 다른 transformation을 역변환함으로써 Gaussian-noise degradation을 넘어 generation을 확장한다. Blur 기반 generation은 high-fidelity이지만 low-diversity인 이미지를 생성하며, preliminary inpainting, super-resolution, animorphosis 실험은 더 넓은 적용 가능성을 보여준다.

Gaussian noise를 사용한 deterministic generation: Noise 기반 generation은 고정된 noise pattern을 사용하거나 각 reconstruction step에서 noise vector를 deterministic하게 추정하여 Algorithm 2를 적용한다.fixed-noise 방법과 estimated-noise 방법은 Table 5에서 CelebA와 AFHQ에 대해 정량적으로 평가된다.
Deblurring을 사용한 unconditional generation: Blur에서는 완전히 degraded된 이미지가 3-vector로 표현되는 channel-wise means로 수렴하며, Algorithm 2를 적용하기 전에 one-component GMM에서 이를 sampling할 수 있다.Generation pipeline은 300 steps 동안 27x27 Gaussian kernel로 이미지를 점진적으로 blur한 다음, sampling된 3D mean을 128 × 128 이미지로 확장한다.
Deblurring을 사용한 unconditional generation: Blur 기반 cold diffusion은 channel-wise mean sampling이 perfect pixel correlation을 만들기 때문에 high-fidelity but low-diversity 이미지를 생성하며, symmetry breaking은 FID scores를 더욱 향상시킨다.Blur schedule은 300 steps 동안 Gaussian kernels를 사용하며, Table 5는 blur transformation을 사용한 hot diffusion과 cold diffusion을 비교한다.
Other transformations: Cold generation은 예측 가능한 final distributions를 갖는 degradation routines를 선택함으로써 inpainting, super-resolution, and animorphosis로 확장된다.보고된 CelebA FID scores는 inpainting에서 90.14, super-resolution에서 92.91, animorphosis에서 48.51이다.
Other transformations: Animorphosis는 random AFHQ animal image를 CelebA face에 점진적으로 추가하는 interpolation을 역변환하며, 원칙적으로 any two initial data distributions를 연결할 수 있다.Generation은 random animal image를 sampling하고 Algorithm 2를 사용해 transformation을 역변환한다.

6 결론

이 연구는 diffusion model에서 Gaussian noise를 제거하고, blur, inpainting, downsampling 같은 결정론적 과정으로 열화된 이미지를 복원하기 위해 이를 임의의 transform으로 대체한다.

6 결론: Diffusion model은 framework와 sampling procedure 모두에서 Gaussian noise를 완전히 제거하고 임의의 transform으로 대체할 수 있다.이는 Gaussian noise 기반의 forward 및 reverse process를 넘어 diffusion model을 일반화한다.
6 결론: 일반화된 framework는 blur, inpainting, downsampling을 포함한 결정론적 열화의 영향을 받은 이미지를 복원한다.
6 결론: 이 접근법은 무작위 Gaussian noise를 넘어서는 process에 기반한 더욱 다양한 diffusion model의 지형을 제시한다.

A 부록 · A.1 디블러링

부록에서는 디블러링 실험 설정을 설명하고 MNIST, CIFAR-10, CelebA에 대한 정성적 복원과 반복적 샘플링 예시를 제시한다. 또한 정성적 성능을 보여주기 위해 추가 무작위 이미지 샘플도 보고한다.

A 부록: 디블러링 모델은 Adam [Kingma and Ba, 2014]을 사용해 2 × 10−5의 learning rate로 700,000 gradient steps 동안 학습했다.학습에는 batch size 32를 사용했으며 2 steps마다 gradient accumulation을 수행했다.
A 부록: 최종 디블러링 모델은 decay 0.995를 사용하는 exponential moving average이며, 매 10 gradient steps 후 업데이트했다.
A.1 디블러링: MNIST에서는 discrete Gaussian kernel을 사용해 디블러링 과정을 blur 40 times로 재귀적으로 적용한다.
A.1 디블러링: Figures 19 and 20은 각 dataset에서 가져온 10개 예시 이미지에 대해 디블러링 모델의 iterative sampling process를 보여준다.
A.1 디블러링: Figure 9는 정성적 디블러링 결과를 보여주기 위해 MNIST, CIFAR-10, CelebA 각각에 대해 nine additional images를 제공한다.
A.1 디블러링: Figure 21은 디블러링 모델에 대한 추가 정성적 근거로 400 random images를 제시한다.
A.1 디블러링: Figure 9는 MNIST, CIFAR-10, CelebA에서 degraded inputs, direct reconstructions, Algorithm 2 sampled reconstructions, original images를 비교한다.

A.2 인페인팅

인페인팅 모델은 부동소수점 정보 누출을 방지하기 위해 무작위화한 Gaussian mask와 이산화한 masked input을 사용하는 고정 학습 설정을 적용한다. MNIST, CIFAR-10, CelebA 전반의 예시는 반복적 샘플링과 추가 출력을 보여준다.

A.2 인페인팅: 인페인팅 모델은 Adam [Kingma and Ba, 2014]으로 60,000 gradient steps 동안 학습했으며, learning rate는 2×10−5, batch size는 64, gradient accumulation은 두 단계, EMA decay는 0.995로 설정했다.EMA model은 10 gradient steps마다 업데이트했다.
A.2 인페인팅: 부동소수점 Gaussian-mask 계산에서 발생할 수 있는 정보 누출을 방지하기 위해 추론 전에 masked image를 유효 숫자 8자리로 반올림했다.
A.2 인페인팅: 그림은 MNIST, CIFAR-10, CelebA에서 데이터셋별 이미지 하나에 대한 반복적 샘플링과 추가 인페인팅 예시 9개를 보여준다.

A.3 Super-Resolution

Super-resolution 모델은 700,000회 iteration의 Adam 설정과 데이터셋별 resolution schedule로 학습된다. Sampling에서는 resolution이 점진적으로 증가하며, MNIST, CIFAR-10, CelebA에 대한 예시가 제시된다.

A.3 Super-Resolution: 최종 모델은 700,000회의 Adam 학습 iteration 이후 decay 0.995의 exponential moving average를 사용하며, 10 gradient step마다 업데이트된다.학습에는 learning rate 2 × 10−5, batch size 32가 사용되며, 2 step마다 gradient accumulation을 수행한다.
A.3 Super-Resolution: Schedule은 MNIST와 CIFAR10에 3 time-steps, CelebA에 6을 사용하며, 이미지를 각각 4 × 4 또는 2 × 2로 축소한다.CIFAR10은 regularization을 위해 random cropping과 horizontal flipping도 사용한다.
A.3 Super-Resolution: Figures 12 and 13은 MNIST, CIFAR-10, CelebA 각각에 대해 점진적인 해상도 증가와 9개의 추가 super-resolution 예시를 보여준다.Figure 12는 sampling 과정을 보여주고, Figure 13은 추가 dataset 예시를 제공한다.

A.4 Colorization … A.7 blur transformation을 사용한 Generation: Further Details

보충 섹션에서는 cold diffusion을 colorization과 snowification으로 확장하고, noise 기반 sampling을 DDIM과 연결하며, Algorithm 2가 blur 기반 unconditional generation을 크게 개선함을 보인다. 또한 시각적으로 성공적인 recolorization, snowification 제어, symmetry를 보존하는 generation을 입증한다.

A.4 Colorization: Colorization은 예약된 three-channel 1 × 1 filter를 사용해 RGB 이미지를 반복적으로 탈채색하여 최종 이미지가 완전히 grayscale이 되게 한다.Degradation은 D(x, t) = z(αt) ∗x이며, xT = z(1) ∗x0는 gray image를 생성한다. Schedule은 초기에 더 적은 color information을 제거하고 후기에 더 많은 정보를 제거한다.
A.4 Colorization: Recolorization은 의미적으로 올바른 영역별 color separation과 다양한 object color를 생성하며, direct reconstruction과 시각적으로 약간만 다르다.Figure 14는 CIFAR-10과 CelebA에서 degraded grayscale input, direct reconstruction, sampled reconstruction, original image를 비교한다.
A.5 Image Snow: Snowification은 Gaussian seed matrix, spline zooming, randomly oriented motion blur로 clipping된 snow pattern을 구성한 뒤 이미지에 더한다.이 과정은 h(x0, SA, c0, c1)로 추상화되며, c0는 snow severity를 제어하고 c1은 T step에 걸쳐 겉보기 windiness를 제어한다.
A.6 noise를 사용한 Generation : Further Details: Algorithm 2의 sampling update는 DDIM [Song et al., 2021a]에서 설명한 deterministic sampling method와 수학적으로 동등하다.Derivation은 xt와 복원된 clean image x̂0에서 noise를 추정한 뒤, 연속한 step에서 degradation을 다시 쓴다.
A.7 blur transformation을 사용한 Generation: Further Details: Figure 16은 within-channel symmetry를 완벽하게 보존하면서 Method 2로 생성한 유망한 128×128 CelebA 및 AFHQ sample을 보여준다.이 결과는 각 channel 내부의 symmetry를 깨뜨리지 않는 generation에 관한 것이다.
A.7 blur transformation을 사용한 Generation: Further Details: Algorithm 2를 사용한 FID는 CelebA에서 49.45, AFHQ에서 54.68이며, broken-symmetry generation에서 direct reconstruction은 각각 257.69와 214.24다.이 문단은 Algorithm 2가 현저히 우수하다고 밝히며, Figure 17은 두 접근법을 정성적으로 비교한다.
A.7 blur transformation을 사용한 Generation: Further Details: broken-symmetry 사례에서는 direct reconstruction의 성능이 크게 떨어지므로 고품질 unconditional generation에 Algorithm 2가 필요하다.Figure 18은 128 × 128 CelebA에서 Algorithm 1과 Algorithm 2를 추가로 비교하며, Algorithm 1은 새 이미지를 전혀 생성하지 못한다.