Source-linked AI summary
Modulated Periodic Activations for Generalizable Local Functional Representations
Ishit Mehta, Michaël Gharbi, Connelly Barnes, Eli Shechtman, Ravi Ramamoorthi, Manmohan Chandraker
TL;DR
기존 neural functional representation은 신호마다 별도 모델을 요구하는 경우가 많고, 인스턴스 간 일반화는 reconstruction quality를 낮출 수 있다. 이 논문은 modulated periodic activation과 local latent-coded function을 사용해 이미지, 비디오, shape를 높은 fidelity로 표현하면서 인스턴스 간 일반화를 달성한다.
문제
기존 접근법은 신호마다 별도의 MLP를 학습하는 경우가 많지만, 여러 인스턴스에 대한 일반화는 여전히 상당한 quality degradation을 초래한다.
방법
dual-MLP architecture는 modulation network를 사용해 synthesis network의 periodic activation amplitude, phase, frequency를 제어하며, 타일로 분할된 local region에 latent code를 할당한다.
결과
제안한 representation은 여러 이미지, 비디오, shape 인스턴스에 걸쳐 일반화하면서 높은 fidelity의 functional reconstruction을 달성한다.
시사점 및 한계
Local tiling과 modulated sine activation은 이미지, 비디오, shape 전반의 크고 복잡한 신호를 위한 general functional representation을 제공한다.
시사점 및 한계
synthesis network가 sine activation을 사용할 때 latent code를 input coordinate와 concatenate하면 일관되게 실패한다.
Abstract
from arXiv · showhide
Multi-Layer Perceptrons (MLPs) make powerful functional representations for sampling and reconstruction problems involving low-dimensional signals like images,shapes and light fields. Recent works have significantly improved their ability to represent high-frequency content by using periodic activations or positional encodings. This often came at the expense of generalization: modern methods are typically optimized for a single signal. We present a new representation that generalizes to multiple instances and achieves state-of-the-art fidelity. We use a dual-MLP architecture to encode the signals. A synthesis network creates a functional mapping from a low-dimensional input (e.g. pixel-position) to the output domain (e.g. RGB color). A modulation network maps a latent code corresponding to the target signal to parameters that modulate the periodic activations of the synthesis network. We also propose a local-functional representation which enables generalization. The signal's domain is partitioned into a regular grid,with each tile represented by a latent code. At test time, the signal is encoded with high-fidelity by inferring (or directly optimizing) the latent code-book. Our approach produces generalizable functional representations of images, videos and shapes, and achieves higher reconstruction quality than prior works that are optimized for a single signal.
1. 서론
이 논문은 높은 fidelity의 periodic synthesis와 latent-code modulation을 결합해 여러 signal에 걸쳐 일반화하는 dual-MLP neural-functional representation을 제안한다. 또한 local tiled representation을 통해 더 단순하고 반복적인 구조를 모델링함으로써 high-resolution encoding을 실용적으로 만든다.
- 문제와 기여: 이 방법은 하나의 모델로 여러 discrete signal을 단일 feed-forward pass에서 인코딩하여, 기존 multi-instance generalization 방법에서 발생하는 품질 저하를 해결한다.각 signal은 functional mapping을 조건화하는 저차원 latent code로 표현된다.
- Network architecture: modulation network는 latent code를 입력으로 받아, 좌표를 signal 값으로 매핑하는 sine-activated synthesis network를 위한 layer-wise parameter를 생성한다.Periodic activation은 high-frequency reconstruction을 가능하게 하며, modulation은 generalization을 위한 핵심 conditioning mechanism을 제공한다.
- 기여 요약: 기존 방법과 비교해 이 접근법은 generalization capability가 향상된, 정성적·정량적으로 우수한 functional representation을 생성한다.제시된 범위에는 image, shape, video의 high-fidelity representation이 포함된다.
- Local representation: local representation은 입력 domain을 tile로 분할하고, 각 tile에 latent code를 할당한 뒤, local function을 결합해 target signal을 재구성한다.Local structure는 전체 object보다 단순하고 variation이 적으므로, generalizable functional approximation을 더 실용적으로 만든다.
- 동기: SIREN reconstruction accuracy는 high-resolution image에서 급격히 저하되는 반면, 제안 방법은 gradient computation 없이 feed-forward pass를 통해 여러 high-resolution image를 인코딩한다.이 비교는 Figure 2에 제시되며 local하고 generalizable한 설계의 동기를 제공한다.
2. 관련 연구
기존 연구는 연속적인 시각 신호 표현에 MLP와 periodic activation을 사용해 왔으며, instance-conditioned 모델과 local 모델은 일반화 및 확장 가능한 처리의 한계를 다뤄 왔다. 본 연구는 locality와 modulation을 결합해 신호 복잡도가 증가할 때 일반화 성능을 향상한다.
- 시각 신호의 연속 표현: MLP는 이미지 [33], 비디오 [37], shape [31, 7], 3D 장면 [22] [4] [25]을 연속적으로 질의 가능한 함수로 인코딩하며, 이를 통해 view synthesis와 interpolation [22] [25] [26]을 지원한다.이러한 모델은 신호 입력 domain의 임의 위치에서 질의할 수 있는 연속 표현을 제공한다.
- Periodic Activation: Periodic activation은 표현 능력을 향상하지만 multilayer network에서 학습하기 어려워지고, 바람직하지 않은 local minima로 수렴할 수 있다.소규모 데이터셋에서는 첫 번째 layer에 sine activation을 사용하고 이후 layer에서 monotonic function을 사용하면 인상적인 결과를 얻는다.
- Periodic Activation: 해상도 또는 비디오 길이가 증가하면 기존 network의 품질이 저하된다. 본 연구는 locality와 일반화를 위한 효과적인 modulation mechanism을 통해 이 한계를 해결한다.비교 대상은 점진적으로 더 높은 해상도의 이미지와 더 긴 비디오다.
- Instance-conditioned Implicit Function: 현재의 implicit representation은 일반적으로 각 test signal에 대해 최적화를 요구하며, 이에 따라 forward-pass generalization을 위한 latent-variable conditioning mechanism이 필요하다.이 부분은 개별적으로 최적화되는 implicit model과 대규모 데이터셋으로 학습되어 test-time에는 forward pass만 필요한 기존 model을 대비한다.
- Local Model의 응용: Local representation은 KD-tree, regular grid, voxelized model을 통한 복잡계 처리와 효율적인 rendering을 지원하며, light-field compression과 radiance transfer를 비롯한 응용에도 활용된다 [5] [10] [38] [15].인용된 응용 분야는 fluid simulation, photon mapping, ray tracing, surface light field, pre-computed radiance transfer, 3D representation을 포괄한다.
3. 방법
이 방법은 modulation network가 synthesis-network template을 조건부로 조절하도록 처리한 latent code를 사용해 다수의 signal을 표현한다. local tile code를 통해 scalability와 fidelity를 높이며, 이 code는 encoder로 추론하거나 model parameter와 함께 joint optimization할 수 있다.
- 3.1: dual-MLP architecture는 각 signal의 latent code를 modulation network로 매핑하고, 이 network가 functional mapping을 표현하는 synthesis network를 조건부로 조절한다.이 접근법은 대규모 함수 집합을 동시에 encode하며, 각 함수는 하나의 latent code로 요약된다.
- 3.2: Sine-MLP는 더 넓은 frequency spectrum을 복원하는 반면, ReLU-MLP는 high-frequency component를 복원하지 못한다.비교에는 Perlin [32] texture patch로 구성된 6 × 6 grid를 사용하며, horizontal 및 vertical frequency는 top-left에서 bottom-right로 갈수록 증가한다.
- 3.3: Local tile latent code는 single-MLP approach보다 더 높은 fidelity로 higher-resolution signal의 functional representation을 가능하게 한다.input domain을 local tile로 분해하고, 각 tile을 하나의 latent code로 표현한다.
- 3.4: latent code는 convolutional encoder를 사용해 discrete input에서 추정하거나, [5]와 같이 model parameter와 joint optimization할 수 있다.이 대안들은 inference 또는 optimization 시 local representation을 얻는 두 가지 방법을 제공한다.
3.1. 변조된 주기적 활성화
이 표현은 synthesis MLP와 modulation MLP로 구성된 연속 조건부 매핑이다. synthesis network는 주기적 활성화를 사용해 좌표를 신호 값으로 매핑하고, latent-code modulation은 여러 층에 걸쳐 해당 활성화를 제어한다.
- 3.1. 변조된 주기적 활성화: 모델은 샘플링된 좌표에서 신호 값으로의 연속 조건부 매핑 fθ(x; z)을 학습하며, 각 target signal을 latent code z로 인코딩한다.이미지의 경우 좌표 차원은 n = 2이고, RGB 출력 차원은 m = 3이며, latent space의 차원은 d = 256이다.
- 3.1. 변조된 주기적 활성화: 이중 MLP 아키텍처는 좌표 기반 synthesis network와 target signal의 latent code를 처리하는 ReLU modulation network를 결합한다.모델 파라미터는 샘플링된 좌표–신호 값 쌍에 대한 도메인별 reconstruction loss를 사용해 최적화된다.
- 3.1.1. Synthesis Network: synthesis network는 K개의 hidden layer를 구성하며, 각 층에서 spatial coordinate에 sine activation을 재귀적으로 적용해 discrete signal의 domain에서 output space로 이어지는 연속 매핑을 생성한다.sine activation은 high-frequency signal을 모델링하는 데 유리하므로 사용된다 [37].
- 3.1.2. Modulation Network: modulation network는 모든 층에서 skip connection을 통해 latent code를 입력받고, synthesis network를 위한 층별 modulation parameter αi를 예측한다.이 파라미터는 synthesis network의 sine activation 진폭을 변조한다.
- 3.1.2. Modulation Network: modulation parameter는 중첩된 sine 계산 전반에 나타나므로, latent code는 이후 층 sinusoid의 주파수와 위상 이동도 간접적으로 제어한다.논문은 Figure 4에서 이 메커니즘의 표현력을 시각적으로 보여준다.
3.2. Modulation의 표현력
latent code를 input coordinate와 결합하면 sine activation에서는 일관되게 실패한다. latent code가 유도하는 것이 첫 번째 layer의 phase shift에 그치기 때문이다. 반면 제안하는 modulator는 모든 layer에서 amplitude, frequency, phase를 제어해 더 높은 표현력을 제공한다.
- 3.2. Modulation의 표현력: [x, z]를 input으로 결합하면 sine activation에서는 일관되게 실패한다. 이는 ReLU 기반 signed-distance-field synthesis network [31]에서는 효과적이지만 그렇지 않다.이 대안은 coordinate와 latent code에 해당하는 weight submatrix를 분리해 첫 번째 layer를 다시 작성한다.
- 3.2. Modulation의 표현력: modulator는 concatenation 기반 conditioning과 달리 모든 synthesis layer에서 amplitude, frequency, phase를 제어한다. concatenation 기반 conditioning에서는 latent code가 첫 번째 layer의 phase shift로 제한된다.Figure 4는 latent vector 전반에서 내부 feature map 제어가 어떻게 달라지는지 시각화한다.
- 3.2. Modulation의 표현력: Figure 4는 concatenation이 두 번째 layer의 signal phase만 변경하는 반면, 제안하는 modulator는 내부 feature map을 훨씬 더 폭넓게 제어함을 보여준다.비교에는 무작위로 초기화된 synthesis network와 서로 다른 네 개의 latent vector가 사용된다.
3.3. 로컬 함수 표현
이 방법은 각 신호의 영역을 규칙적인 타일 격자로 분해하고, 각 타일을 latent code와 이에 대응하는 로컬 연속 neural function으로 표현한다. 겹치는 타일은 거리 기반 n-linear weighting으로 혼합해 경계 불연속을 제거한다.
- 3.3. 로컬 함수 표현: 각 타일에는 latent code z_i가 할당되며, 이를 통해 codebook {z_i}와 전체 신호를 표현하는 이에 대응하는 로컬 neural function이 생성된다.
- 3.3. 로컬 함수 표현: 타일 경계에서 시각적 불연속을 제거하기 위해 겹치는 타일을 사용한다.
- 3.3. 로컬 함수 표현: 평가 시 타일 중심까지의 거리를 기반으로 한 n-linear weighting을 사용해 타일의 기여도를 혼합한다. Figure 5는 bilinear 경우를 보여준다.
3.4. 학습 절차
모델은 auto-encoder와 auto-decoder 학습 모드를 지원한다. 이산 신호에서 연속 표현을 학습할 때는 auto-encoding이 기본값이며, auto-decoding은 네트워크 파라미터와 latent code를 함께 최적화한다.
- 3.4. 학습 절차: 이 방법은 두 가지 학습 모드를 제공한다. auto-encoding은 discrete encoder로 latent code를 추정하는 반면, auto-decoding은 [31]과 같이 latent code를 무작위로 초기화하고 네트워크 파라미터와 함께 최적화한다.
- 3.4. 학습 절차: 별도로 명시하지 않는 한, 실험에서는 auxiliary encoder network를 통해 이산 입력 신호로부터 연속 표현을 구성하는 auto-encoding을 사용한다.이 구성은 spatial super-resolution, video frame interpolation, sparse lightfield 또는 compression sample로부터의 reconstruction을 포함한 응용을 지원한다.
- 3.4. 학습 절차: Shape reconstruction에서는 [31]을 따라 optional encoder 없이 네트워크 파라미터 θ와 training-signal latent code를 함께 최적화하는 auto-decoding을 사용한다.관측되지 않은 신호에 대해서는 새로운 latent code z를 샘플링하고 training objective로 최적화한다.
4. 실험
실험에서는 이미지, 비디오, 3D shape 전반에 걸쳐 모델의 전역 및 국소 functional representation을 평가한다. 결과는 이러한 도메인에서 강한 일반화, 연속성, 고주파 shape 인코딩, 고해상도 재구성 성능을 보여준다.
- 실험 범위: 실험은 이미지, 비디오, 3D shape에 대한 전역 표현과 함께, 신호를 latent code가 포함된 grid tile로 분할하는 국소 표현을 다룬다.전역 실험에서는 하나의 latent code로 각 신호를 인코딩하고, 국소 실험에서는 추정된 latent code로 타일화된 신호를 재구성한다.
- 전역 이미지 실험: CelebA와 CIFAR-10에서 모델은 auto-encoder로 학습되며, native 1× 해상도와 연속성 평가를 위한 더 세밀한 2× sampling에서 PSNR로 평가된다.이미지는 학습을 위해 32 × 32로 resample되며, convolutional encoder가 latent code를 추정한다. CelebA와 CIFAR-10은 서로 분리된 train/test split을 사용한다.
- 전역 이미지 실험: FFN의 연속성은 scaling parameter σ에 결정적으로 의존하는 반면, SIREN+와 HyperNet-SIREN은 다양한 CIFAR-10 이미지에서 안정적으로 일반화하지 못한다.권장되는 σ = 10에서는 2× PSNR이 하락하며, SIREN+는 CIFAR-10에서 수렴하지 않는다. HyperNet-SIREN도 유사하게 문제가 있는 거동을 보인다.
- 3D shape 실험: ShapeNet cars에서 모델은 conditional ReLU-MLPs보다 signed distance field를 더 정확하게 인코딩하여, 더 세밀한 고주파 기하학적 세부사항을 복원한다.auto-decoder 실험에서는 shape당 500K개의 점을 sampling하고, 3514개의 car shape에 대해 양방향 Chamfer distance를 비교한다.
- 국소 functional representation: 국소 모델은 타일화된 latent code를 사용해 고해상도 이미지와 비디오를 재구성하며, 겹치는 32 × 32 이미지 tile과 32 × 32 × 7 비디오 tile을 사용한다.Div2K 이미지와 고해상도 비디오는 pretrained local model로 인코딩된다. 비디오 모델은 Vimeo-90k에서 학습되고, 수집된 1920 × 1080 비디오에서 테스트된다.
5. 결론
제안된 방법은 신호 영역을 타일로 분할해 MLP로 신호를 표현하며, 이미지, 비디오, shape를 고품질로 재구성할 수 있게 한다. ReLU activation은 고주파를 포착하지 못하고 concatenation은 표현력을 저해하므로, 더 넓은 주파수 범위를 포괄하는 sine activation과 latent-code conditioning을 사용한다.
- 이 방법은 신호 영역을 타일로 분할해 각 지역의 신호를 단순화하고, 이미지, 비디오, shape를 MLP로 고품질 재구성할 수 있게 한다.
- Sine activation은 ReLU activation보다 더 넓은 주파수 스펙트럼을 포괄하며, ReLU activation은 고주파 신호 성분을 재구성하지 못한다.
- Local model에는 latent-code conditioning이 필요하지만, latent code를 입력과 concatenation하면 표현력을 저해한다.