Source-linked AI summary
Dataset Distillation with Neural Characteristic Function: A Minmax Perspective
Shaobo Wang, Yicun Yang, Zhiyuan Liu, Chenghao Sun, Xuming Hu, Conghui He, Linfeng Zhang
TL;DR
MSE와 같은 기존 distribution matching metric은 semantic information을 반영하지 않아 distributional differences를 충분히 포착하지 못할 수 있다. Neural Characteristic Function Matching은 distribution matching을 minmax optimization으로 재정식화하여 characteristic-function discrepancy를 최대화하는 동시에 synthetic data에 대해서는 이를 최소화한다. NCFM은 CIFAR-10/100에서 state-of-the-art baseline을 능가하며, 10 IPC에서 ImageSquawk에 대해 MTT [6] 대비 20.5% 향상을 달성한다.
문제
MSE와 같은 기존 distribution matching metric은 semantic information을 반영하지 않아 distributional differences를 충분히 포착하지 못할 수 있다.
방법
Neural Characteristic Function Matching은 distribution matching을 minmax optimization으로 재정식화하여 characteristic-function discrepancy를 최대화하는 동시에 synthetic data에 대해서는 이를 최소화한다.
결과
NCFM은 CIFAR-10/100에서 state-of-the-art baseline을 능가하며, 10 IPC에서 ImageSquawk에 대해 MTT [6] 대비 20.5% 향상을 달성한다.
시사점 및 한계
결과는 다양한 image resolution과 compression setting에서 NCFM이 효율적이고 확장 가능한 dataset distillation 접근법임을 뒷받침한다.
Abstract
from arXiv · showhide
Dataset distillation has emerged as a powerful approach for reducing data requirements in deep learning. Among various methods, distribution matching-based approaches stand out for their balance of computational efficiency and strong performance. However, existing distance metrics used in distribution matching often fail to accurately capture distributional differences, leading to unreliable measures of discrepancy. In this paper, we reformulate dataset distillation as a minmax optimization problem and introduce Neural Characteristic Function Discrepancy (NCFD), a comprehensive and theoretically grounded metric for measuring distributional differences. NCFD leverages the Characteristic Function (CF) to encapsulate full distributional information, employing a neural network to optimize the sampling strategy for the CF's frequency arguments, thereby maximizing the discrepancy to enhance distance estimation. Simultaneously, we minimize the difference between real and synthetic data under this optimized NCFD measure. Our approach, termed Neural Characteristic Function Matching (\mymethod{}), inherently aligns the phase and amplitude of neural features in the complex plane for both real and synthetic data, achieving a balance between realism and diversity in synthetic samples. Experiments demonstrate that our method achieves significant performance gains over state-of-the-art methods on both low- and high-resolution datasets. Notably, we achieve a 20.5\% accuracy boost on ImageSquawk. Our method also reduces GPU memory usage by over 300$\times$ and achieves 20$\times$ faster processing speeds compared to state-of-the-art methods. To the best of our knowledge, this is the first work to achieve lossless compression of CIFAR-100 on a single NVIDIA 2080 Ti GPU using only 2.3 GB of memory.
1. 서론
Dataset distillation은 실제 dataset을 더 작은 synthetic set으로 압축해 제한된 data와 storage 제약을 해결하며, distribution-matching 방법은 효율성과 높은 성능을 제공하지만 부적절한 discrepancy metric에 의존한다. 본 논문은 Neural Characteristic Function Discrepancy를 적응적으로 학습해 neural feature의 amplitude와 phase를 정렬하고, synthetic data의 realism과 diversity 사이의 균형을 맞추는 minmax framework인 NCFM을 제안한다.
- 동기: Dataset distillation은 대규모 실제 dataset을 더 작은 synthetic dataset으로 압축해 data 요구량을 줄이고 storage 제약을 해결한다.서론은 dataset이 저장하기에 지나치게 커질 때 제한된 data로 효과적으로 학습하는 것이 특히 중요하다고 설명한다.
- 배경: Distribution matching은 중첩 최적화를 피할 수 있으며, CIFAR-10에서 클래스당 50장의 이미지를 사용할 때 gradient matching보다 더 높은 테스트 정확도를 계산 시간 십분의 일로 달성하므로 매력적이다.이러한 방법은 성능과 계산 효율 사이의 실용적인 균형을 제공한다.
- 문제: MSE 기반 matching은 Euclidean space에서 point-wise feature를 비교해 high-dimensional manifold의 semantic structure를 놓치며, MMD는 전체 distributional alignment를 포착하지 못할 수 있다.이러한 한계는 합성 image quality를 저하시킬 수 있으며, 더 포괄적인 discrepancy measure의 필요성을 제기한다.
- 방법: NCFM은 distribution matching을 adversarial minmax optimization으로 재정식화한다. sampling network는 real–synthetic discrepancy를 최대화하고 synthetic data는 이를 최소화한다.이는 MSE나 MMD와 같은 경직된 fixed metric에 의존하지 않고 discrepancy metric을 적응적으로 학습한다.
- 방법: NCFM은 complex plane에서 neural feature의 amplitude와 phase를 정렬해 synthetic data의 realism과 diversity 사이의 균형을 맞춘다.auxiliary network는 feature를 embedding하며, lightweight sampling network는 scale mixture of normals를 사용해 Characteristic Function sampling을 동적으로 조정한다.
2. 관련 연구
기존 dataset distillation 연구에는 distribution matching 및 feature matching 방법이 포함되며, DM 은 중첩된 model optimization 없이 성능과 계산 효율성을 균형 있게 달성한다. CFD는 generative modeling [1] [27]에 사용되어 왔지만, 기존 연구에서는 이를 dataset distillation에 적용하지 않았다.
3. 사전 지식: Distribution Matching
Distribution Matching은 bi-level, gradient-matching, trajectory-matching 방법의 대안으로 실제 데이터와 합성 데이터 분포 간의 불일치를 최소화한다. 기존 feature- 및 moment 기반 측정법은 MSE의 의미론적 맹점과 empirical MMD 추정의 엄밀성 부족을 비롯한 한계를 보인다.
- Distribution Matching: Distribution Matching 은 전통적인 bi-level 최적화를 실제 데이터와 합성 데이터 간 불일치 최소화로 대체하며, feature point matching과 moment matching을 사용한다.이는 gradient matching [24] [54] [56] 및 trajectory matching [6] [9] [12] [16]에 대응하는 방법으로 제시된다.
- Feature Point Matching: MSE는 추출된 feature를 Euclidean space에서 직접 비교하지만, 분포 차이를 측정할 때 중요한 의미론적 정보를 간과한다.이 정식화에서는 실제 분포 D와 합성 분포 ˜D에서 추출한 샘플에 feature extractor f를 적용한다.
- Moment Matching: MMD는 feature-space RKHS에서 고차 moment를 정렬하지만, 그 효과는 kernel function K [53, 55, 57]를 신중하게 선택하는 데 좌우된다.이 kernel은 feature extractor f 및 함수 클래스 F와 연관된다.
- Moment Matching: Empirical moment matching은 LMMD = ∥E_x∼D[f(x)] − E_˜x∼˜D[f(˜x)]∥2를 사용하지만, 불일치에 대한 MMD의 이론적으로 요구되는 maximal upper bound가 부족하다.대부분의 DM 기반 방법 [10] [57]은 이 근사를 통해 feature space에서 moment를 직접 정렬한다.
4. 적대적 분포 매칭
이 절에서는 distribution matching을 minmax optimization으로 재정식화하고, frequency sampling을 adversarial하게 학습하는 characteristic-function 기반 metric인 NCFD를 도입한다. NCFM은 feature space에서 phase와 amplitude 정보를 균형 있게 반영하면서 synthetic data에 대해 이 metric을 최소화한다.
- Characteristic Function Discrepancy: characteristic function은 분포를 유일하게 결정하고 nonnegativity, symmetry, triangle inequality를 만족하므로 CFD는 타당한 distance metric이다.empirical characteristic function은 population characteristic function으로 약수렴하므로, 분포를 대리하는 지표로 사용할 수 있다.
- Characteristic Function Discrepancy: CFD는 분포의 scale을 포착하는 amplitude differences와 realism에 중요한 data centres를 부호화하는 phase differences로 분해된다.NCFM은 NCFD objective에서 amplitude와 phase 정보를 균형 있게 반영하기 위해 α를 도입한다.
- Neural Characteristic Function Discrepancy: parameterized network ψ는 frequency-argument distribution을 학습하여 feature space에서 CFD를 확장하는 동시에 discrepancy를 효율적으로 추정할 수 있게 한다.sampling distribution은 zero-mean Gaussian의 scale mixture를 사용하며, 더 많은 frequency arguments를 sampling하면 empirical-CF 근사와 synthetic-data 품질이 향상된다.
- Neural Characteristic Function Matching: NCFM은 neural sampling network ψ에 대해서는 NCFD를 maximizes하고 synthetic distribution에 대해서는 이를 minimizing하여, distribution matching을 위한 강건한 discrepancy metric을 산출한다.feature extractor는 입력을 latent space로 매핑하며, minmax objective는 discrepancy와 synthetic data distribution을 공동으로 학습한다.
- Implementation: feature extractor는 β-blending을 통해 pretrained model과 randomly initialized model을 결합하여 distillation 동안 적절한 다양성과 판별력을 유지한다.각 distillation step에서 β는 지정된 model subset의 checkpoint를 혼합하도록 (0, 1) 내에서 선택된다.
5. 실험
NCFM은 10 IPC의 ImageSquawk에서 20.5% 향상을 포함해 표준 및 고해상도 벤치마크 전반에서 최신 dataset distillation baseline을 능가한다. Ablation 결과, minmax sampling network, amplitude-phase alignment, frequency sampling strategy가 synthetic data의 품질과 정확도를 실질적으로 향상시키는 것으로 나타난다.
- CIFAR-10/100 및 Tiny ImageNet: NCFM은 CIFAR-10/100과 Tiny ImageNet에서 평가한 모든 최신 baseline을 능가하며, 1 IPC에서 CIFAR-10과 CIFAR-100의 DM 대비 각각 23.5%와 23.0% 향상된다.평가에는 MTT [6]를 포함해 gradient-, kernel-, distribution-, trajectory-matching 방법이 포함된다.
- 고해상도 Dataset: 10 IPC에서 MTT [6] 대비 20.5% improvement를 보인 결과는 고해상도 ImageNet subset에서 NCFM의 강력한 성능을 입증한다.또한 CIFAR-100에서 약 1.9 GB의 GPU memory만 사용하므로, 높은 IPC 조건에서의 확장성을 보여준다.
- Cross-Architecture Generalization: NCFM은 AlexNet, VGG-11 [42], ResNet-18 [17] 전반에서 일반화되며, ConvNet을 사용한 condensation을 넘어 평가 범위를 확장한다.Cross-architecture 평가는 3-layer network로 condensation한 synthetic data를 사용해 CIFAR-10에서 수행된다.
- Sampling Network Ablation: Sampling network ψ를 추가하면 50 IPC의 CIFAR-10에서 3.2%, 1 IPC의 Tiny ImageNet에서 2.6%, 10 IPC에서 10.1% 성능이 향상된다.추가적인 data curation 없이 ImageMeow에서 2.8%, ImageSquawk에서 2.0%의 향상도 얻는다.
- NCFD Ablation: Amplitude와 phase alignment를 균형 있게 조정하면 성능이 향상되며, sampled frequency argument의 수를 늘리면 10 IPC에서 CIFAR-10 정확도가 62%에서 approximately 67%로 상승한다.Frequency-count 향상은 sampled argument를 16에서 1024로 늘릴 때 발생하며, 그 이후에는 향상이 감소한다.
6. 논의
논의에서는 CFD를 분포 정렬을 위한 고정 커널 MMD를 일반화한 적응적으로 학습되는 characteristic-kernel formulation으로 설명한다. 또한 샘플링된 frequency arguments에 대해 선형 시간으로 확장되는 CFD의 계산적 이점을 제시하며, 이를 통해 MMD보다 빠르고 확장성이 높다고 설명한다.
- MMD metric에서 잘 작동하는 커널로서의 CF: NCFM은 frequency distribution F_T(t)를 적응적으로 학습하여, MMD의 고정 커널을 넘어 최적의 분포 정렬을 위한 유연한 characteristic-kernel 선택을 가능하게 한다.Characteristic-function framework 내 Gaussian distribution의 혼합은 잘 정의된 characteristic kernel을 생성한다.
- MMD metric에서 잘 작동하는 커널로서의 CF: 특정 moment만 정렬하는 경우 MMD는 CFD의 특수한 경우가 되며, 이는 IPC가 증가할 때 NCFM의 메모리 오버헤드가 작은 이유를 설명한다.이 대응 관계는 MMD가 그 구조가 CFD와 일치하는 characteristic kernel을 사용할 때 성립한다.
- MMD 대비 CFD의 계산적 이점: CFD는 샘플링된 frequency arguments의 수에 대해 선형 시간으로 동작하는 반면, approximate MMD 계산은 샘플 수에 대해 quadratic time을 요구한다.이러한 효율성 덕분에 CFD는 특히 대규모 데이터셋에서 MMD보다 훨씬 빠르고 확장성이 높다.
7. 결론
이 연구는 dataset distillation을 위한 distribution matching을 minmax 문제로 재정식화하고, characteristic function에 기반한 이론적 metric인 NCFD를 도입한다. NCFD는 synthetic data에서 realism과 diversity의 균형을 맞추도록 phase와 amplitude 정보를 동적으로 정렬한다.
- 7. 결론: 이 방법은 dataset distillation의 distribution matching을 minmax optimization problem으로 재정식화하고 Neural Characteristic Function Discrepancy (NCFD)를 도입한다.NCFD는 real data와 synthetic data 간 separability를 최대화하도록 설계되며, 이론적 근거를 갖는다.
- 7. 결론: NCFD는 Characteristic Function을 활용해 complex plane에서 phase와 amplitude 정보를 동적으로 정렬한다.이 정렬은 real data와 synthetic data 간 distributional differences를 측정하는 데 기여한다.
- 7. 결론: 이 접근법은 characteristic-function-based discrepancy measure를 통해 synthetic data에서 realism과 diversity의 균형을 맞춘다.