PaperlayerView exact revision on arXiv

Source-linked AI summary

RAB: Provable Robustness Against Backdoor Attacks

Maurice Weber, Xiaojun Xu, Bojan Karlaš, Ce Zhang, Bo Li

arXiv:2003.08904v8cs.LGstat.ML

TL;DR

machine-learning 모델이 poisoning에 취약함에도 backdoor 공격에 대한 provable robustness는 여전히 거의 탐구되지 않았다. 이 논문은 randomized smoothing 기반 certification과 RAB를 개발해 robustness bound를 확립하고, 여러 모델과 데이터셋에서 certified robustness를 벤치마킹한다.

  • 문제

    trigger가 삽입된 테스트 입력 쪽으로 모델을 편향시키는 공격에도 불구하고, backdoor 공격에 대한 provable robustness는 여전히 거의 탐구되지 않았다.

  • 방법

    이 논문은 테스트 인스턴스와 training dataset을 사용해 classifier를 certify하도록 randomized smoothing을 일반화한 뒤, backdoor에 강건한 smoothing을 위한 RAB를 도입한다.

  • 결과

    이 framework는 다양한 데이터셋과 공격에서 DNN, support-vector-machine, K-NN 모델을 대상으로 certified backdoor robustness를 평가한 최초의 benchmark를 제공한다.

  • 시사점 및 한계

    이론적 framework와 benchmark는 여러 모델과 데이터셋에 걸쳐 backdoor 공격에 대한 certified robustness를 연구할 기반을 확립한다.

  • 시사점 및 한계

    certification을 위해 많은 모델을 training하고 평가해야 하므로 RAB는 상당한 runtime overhead를 유발하지만, 이 과정은 병렬화할 수 있다.

Abstract

from arXiv · show

Recent studies have shown that deep neural networks (DNNs) are vulnerable to adversarial attacks, including evasion and backdoor (poisoning) attacks. On the defense side, there have been intensive efforts on improving both empirical and provable robustness against evasion attacks; however, the provable robustness against backdoor attacks still remains largely unexplored. In this paper, we focus on certifying the machine learning model robustness against general threat models, especially backdoor attacks. We first provide a unified framework via randomized smoothing techniques and show how it can be instantiated to certify the robustness against both evasion and backdoor attacks. We then propose the first robust training process, RAB, to smooth the trained model and certify its robustness against backdoor attacks. We prove the robustness bound for machine learning models trained with RAB and prove that our robustness bound is tight. In addition, we theoretically show that it is possible to train the robust smoothed models efficiently for simple models such as K-nearest neighbor classifiers, and we propose an exact smooth-training algorithm that eliminates the need to sample from a noise distribution for such models. Empirically, we conduct comprehensive experiments for different machine learning (ML) models such as DNNs, support vector machines, and K-NN models on MNIST, CIFAR-10, and ImageNette datasets and provide the first benchmark for certified robustness against backdoor attacks. In addition, we evaluate K-NN models on a spambase tabular dataset to demonstrate the advantages of the proposed exact algorithm. Both the theoretic analysis and the comprehensive evaluation on diverse ML models and datasets shed light on further robust learning strategies against general training time attacks.

1. 서론

이 논문은 기존 방어 기법이 주로 경험적 검증에 머물렀던 상황에서, backdoor 공격에 대한 robustness를 인증하는 난제로 남아 있던 문제를 다룬다. RAB를 제안해 tight한 robustness bound, 효율적인 K-NN smoothing, 폭넓은 certified robustness 벤치마크를 제공하는 통합 randomized smoothing framework를 구축한다.

  • 문제와 기여: RAB는 backdoor 공격에 대한 machine-learning model의 provable robustness를 제공하는 최초의 certification process다.Backdoor 공격은 일부 training instance에 패턴을 추가해, 해당 패턴이 포함된 test image에 대한 예측을 편향시킨다.
  • 방법 설계: RAB는 hash function을 활용한 data augmentation과 random-noise sampling 없이 수행되는 exact K-NN smoothing algorithm을 포함한 training-process 설계를 통해 certification radius와 효율성을 높인다.서론에서는 certification radius와 certification efficiency를 핵심적인 실용적 과제로 제시한다.
  • 이론적 framework: 이 논문은 evasion 공격과 backdoor 공격 모두에 대한 robustness를 인증하는 unified framework를 개발하고, 그 결과로 얻어지는 robustness bound가 tight함을 증명한다.이 framework는 randomized smoothing을 더 광범위한 함수군과 smoothing distribution으로 일반화한다.
  • 이론적 framework: 이 연구는 서로 다른 smoothing-noise distribution에서 backdoor 공격에 대한 일반적인 machine-learning model의 최초의 certifiable robustness bound를 제시한다.이는 기존 연구가 주로 evasion 공격에 대한 certified robustness를 다룬 반면 backdoor 방어는 경험적 수준에 머물렀던 공백을 해소한다.
  • 평가: 이 논문은 MNIST, CIFAR-10, ImageNette, spambase에서 DNN, support vector machine, K-NN model의 certified robustness를 벤치마크하며, 대표적인 backdoor 공격 세 가지와 ablation을 포함한다.실험은 이러한 model과 dataset 전반에 걸친 certified robustness bound의 최초 종합 자료를 제공한다.

2. 배경

백도어 공격은 트리거된 테스트 입력의 예측을 바꾸는 패턴을 주입하면서 정상 데이터 성능은 유지하므로, 광범위한 poisoning 위협에 대한 인증의 필요성을 제기한다. Evasion robustness에 주로 적용되어 온 Randomized Smoothing을 여기서는 classifier를 smoothing하고 evasion 및 backdoor robustness를 모두 인증하는 방식으로 일반화한다.

  • 백도어 공격: 백도어 공격은 adversarial label과 연관된 패턴을 주입해 트리거된 테스트 샘플을 오분류시키면서, benign data에서 clean model과 유사한 성능을 유지한다 [8], [16].
  • 백도어 공격: 공격은 target 설계에 따라 single-target과 all-to-all로 분류되며, 후자는 모든 트리거를 하나의 label로 매핑하는 대신 classifier 출력을 순열화한다.
  • 백도어 공격: 백도어 패턴에는 미세한 region-based modification과 전체 샘플 blending이 포함되며, region trigger는 one or four pixels만큼 작을 수 있다 [16],,.
  • Randomized Smoothing: Randomized Smoothing은 테스트 샘플에 Gaussian noise를 추가하고 top-1 및 top-2 class에 대한 confidence bound를 사용해 perturbation radius 내에서 일관된 예측을 인증한다.
  • 통합 인증 프레임워크: 제안하는 unified framework는 smoothing의 적용 대상을 테스트 샘플에서 classifier로 확장해, arbitrary하거나 uncontrollable한 random backdoor pattern을 포함한 evasion 및 poisoning attack에 대한 인증을 목표로 한다.

3. 위협 모델과 방법 개요

이 절에서는 backdoor attack을 test input에 trigger가 포함될 때 target response를 유발하는 training-set poisoning으로 정의하고, 제한된 training backdoor가 있어도 prediction을 보존하는 것으로 certification을 정식화한다. RAB는 training set의 randomized smoothing, model aggregation, test-time correction을 통해 이를 달성하며, distribution shift로 인한 정확도 손실을 완화한다.

  • 위협 모델: backdoor attack은 trigger-patterned example로 training data를 오염시켜, clean test input에 해당 패턴을 추가하면 target-class prediction이 나오도록 만든다.공격자는 r개의 training instance를 해당 패턴과 target label을 포함하는 backdoored version으로 대체할 수 있다.
  • 위협 모델: 방어의 목표는 training data에 삽입된 패턴으로부터 prediction independence를 확보하는 것이므로, trigger가 포함되었을 가능성이 있는 test input은 clean data로 학습했든 backdoored data로 학습했든 동일한 output을 받는다.이 framework는 defender가 training process를 완전히 통제한다고 가정한다.
  • Robustness Guarantee: RAB는 total backdoor magnitude가 bound R보다 작을 때 backdoored classifier가 benign data로 학습한 classifier와 일치하도록 요구함으로써 robustness를 인증한다.이 보장은 h(x + Ωx, DBD(Ωx))와 h(x + Ωx, DBD(∅))를 비교한다.
  • RAB Pipeline: RAB는 training instance에 sampled noise를 추가하고, 그 결과로 얻은 각 smoothed dataset에 대해 model을 학습한 뒤, 이들의 output을 aggregates their outputs 하여 최종 smoothed prediction을 만든다.evasion certification과 달리 test instance만 smoothing하는 것으로는 충분하지 않으며, training process도 smoothing해야 한다.
  • 추가 과제: noisy training data는 distribution shift를 통해 clean accuracy를 낮출 수 있으므로, RAB는 test instance에 deterministic hash-based value를 추가해 해당 shift를 줄이고 accuracy를 improve accuracy 한다.이 correction은 RAB training 및 certification process의 일부로 도입된다.

4. 인증된 Robustness를 위한 통합 프레임워크

이 절에서는 evasion, poisoning, 그리고 test-training 결합 공격에 대한 robustness를 인증하는 통합 randomized-smoothing 프레임워크를 전개한다. likelihood-ratio 조건은 classifier에 무관하고, noise 선택을 통해 다양한 norm 보장을 지원하며, 이론적으로 tight하다.

  • Smoothed classifier: smoothing 구성은 test 및 training instance에 독립적인 noise를 추가하며, training noise를 0으로 두면 evasion-only randomized smoothing을 복원한다.smoothed classifier는 PX와 PD의 선택에 의존한다.
  • Robustness condition: 이 프레임워크는 test instance, training set 또는 양자에 대한 공격을 모델링하고, likelihood-ratio test에서 얻은 최적 type-II error를 사용해 prediction 불변성을 인증한다.perturbed distribution Z + (Ωx, Δ)는 일반적인 evasion 및 backdoor 공격을 나타낸다.
  • Robustness condition: 서로 다른 smoothing distribution은 서로 다른 norm 기반 보장을 제공하며, Gaussian noise에서는 L2 bound를, uniform noise에서는 다른 Lp bound를 포함한다.robustness condition은 smoothed version의 class probability를 제외하면 underlying classifier에 대한 어떠한 가정도 요구하지 않는다.
  • Robustness condition: smoothed classifier의 confidence가 높아질수록, 고정된 backdoor perturbation에 대한 certified robust region은 확장된다.단순화된 경우 pA + pB = 1에서 robustness에는 β*(1 − pA; P0, P1) > 1/2가 필요하며, pA가 증가하면 최적 type-II error도 증가한다.
  • Tightness: robustness condition은 tight하다. 이 조건이 위배될 때마다, smoothed version이 명시된 class probability와 일치하지만 perturbation에서 실패하는 base classifier를 구성할 수 있다.반대로 class-probability 정보만 알려진 경우에는 어떠한 perturbation도 이 조건을 위배하지 않는다.

5. 백도어에 대한 입증 가능한 강건성

이 절에서는 randomized smoothing을 적용해 학습 데이터에 주입된 제한된 백도어 패턴하에서도 예측이 변하지 않음을 인증한다. Gaussian 및 uniform smoothing은 오염된 학습 샘플이 적을수록 증가하는 강건성 bound를 제공하지만, 보장은 모든 poisoning attack이 아니라 특정 패턴을 이용한 targeted error를 대상으로 한다.

  • Gaussian Smoothing: Gaussian smoothing은 학습 feature에 iid 정규 noise를 추가하고, smoothed prediction의 class probability pA와 pB가 제시된 조건을 만족하며 백도어 패턴이 condition (10)을 충족할 때 강건성을 인증한다.smoothed classifier는 학습 feature noise distribution에 대해 prediction을 평균내어 구성한다.
  • Gaussian Smoothing: 이 framework는 주입된 패턴이 도출된 bound를 만족하면, smoothed classifier가 backdoor pattern이 삽입되지 않은 데이터로 학습한 classifier와 동일한 prediction을 backdoored test input에 대해 출력함을 인증한다.이 certificate는 r개의 감염된 샘플이 포함된 dataset으로 학습한 base classifier를, trigger 없이 학습한 대응 classifier와 비교한다.
  • Gaussian Smoothing: 하나의 공유 패턴이 최대 r개의 학습 instance를 poisoning하는 경우, certified robustness radius는 1/√r에 비례해 증가하므로 attacker capability에 대한 정보가 더 정확할수록 더 큰 certificate를 허용한다.attacker가 감염된 instance 전체에 하나의 패턴을 사용한다고 가정하면 bound가 단순화된다.
  • Uniform Smoothing: Uniform smoothing도 유사한 certificate를 제공한다. iid uniform 학습 feature noise를 사용하고 백도어 패턴이 대응 bound를 만족하면, backdoored training과 clean training의 smoothed prediction이 일치한다.Gaussian의 경우와 마찬가지로 더 적은 학습 샘플을 poisoning할수록 인증 가능한 backdoor-pattern magnitude가 커진다.
  • Discussion: 보장은 특정 backdoor pattern으로 특정 error를 겨냥하는 attacker에 초점을 맞추며, label flipping과 같은 다른 poisoning attack에 대한 보호까지 확립하지는 않는다.논문은 smoothing distribution에 따라 performance가 상당히 달라질 수 있음을 지적하고, 이들의 비교 연구는 future work로 남긴다.

6. 특정 ML 모델을 통한 일반 프레임워크의 구체화

이 절에서는 DNN 및 K-nearest-neighbor classifier에 RAB를 적용하고, DNN의 certified training 및 inference 절차와 smoothed K-NN model의 정확하고 효율적인 evaluation 방법을 제시한다.

  • DNN-RAB training: DNN-RAB는 독립적으로 Gaussian perturbation을 가한 poisoned dataset에서 N개의 classifier를 학습하고, 각 model과 함께 deterministic model-specific Gaussian test perturbation을 저장한다.저장된 perturbation은 학습된 model의 hash를 기반으로 하는 seed를 사용해 생성되며 inference 과정에서 더해진다.
  • Certified DNN inference: Certified DNN inference는 majority vote와 binomial confidence bound를 사용해 robust radius R = σ 2√r를 계산하고, R ≥ ∥δ∥2일 때만 최상위 class를 반환하며 그렇지 않으면 abstain한다.이 절차는 상위 두 vote count를 비교하고, error tolerance α에 대한 pA와 pB를 계산한 뒤 certified bound를 적용한다.
  • Certified DNN inference: Test example에 deterministic noise를 추가하면 training–test noise mismatch가 존재하더라도 prediction performance가 크게 향상되며, hashing은 repeatable noise generation을 보장한다.Noiseless test example에 bound를 직접 적용하면 accuracy가 크게 감소하고, hash-based generation은 각 evaluation에서 noise를 다시 sampling할 필요를 없앤다.
  • Smoothed K-NN: Quantized Euclidean similarity를 사용하는 Gaussian-smoothed K-NN에서는 Monte Carlo sampling 없이 smoothed classifier를 polynomial time에 정확하게 evaluated exactly in polynomial time할 수 있으며, complexity는 O(K2+C·n2·L·C)이다.K = 1일 때 효율적인 algorithm은 training sample 수 n에 대해 linear time을 달성한다.

7. 실험 결과

이미지 및 표 형식 데이터에 대한 DNN과 KNN 실험 전반에서 RAB는 대표적인 backdoor 공격에 대해 benign accuracy를 거의 희생하지 않으면서 유의미한 certified robustness를 제공하고, 강한 empirical robustness도 유지한다. 효과는 deterministic test-time augmentation과 exact KNN certification algorithm을 포함한 task-specific 설계 선택에 좌우된다.

  • 범위와 한계: 실험은 주로 대표적인 poisoning 패턴을 대상으로 하며, 공격별 패턴 세부사항이 아니라 perturbation magnitude와 poisoned training instance 수에 따라 robustness를 인증한다.평가는 dataset-poisoning 공격에 초점을 맞추며 다른 공격 유형은 다루지 않는다.
  • DNN 인증: RAB는 기존 certified baseline이 없는 상황에서 MNIST, CIFAR-10, ImageNette의 backdoor 공격에 대해 benign accuracy를 거의 희생하지 않고 유의미한 certified robust accuracy를 달성한다.평가는 one-pixel, four-pixel, blending 기반 poisoning 패턴을 포함하며, deterministic test-time augmentation이 없으면 direct randomized smoothing은 강한 certified robustness를 제공하지 못한다.
  • Empirical Robustness: RAB는 backdoored MNIST와 CIFAR-10 인스턴스에서 약 40%의 empirical robust accuracy를, ImageNette에서는 30% 이상의 empirical robust accuracy를 달성하면서도 state-of-the-art empirical defense와 비슷한 수준을 유지한다.이러한 empirical 결과는 RAB-certified accuracy의 upper bound로 작용하며, certification과 empirical robustness 사이의 격차를 상당히 작게 유지한다.
  • Test-Time Augmentation: Deterministic hash-function test-time augmentation은 certified accuracy를 크게 향상시키며, 특히 작은 certification radius에서, 그리고 특히 ImageNette에서 효과가 두드러진다.radius가 증가할수록 certified accuracy는 감소하고 갑자기 0에 도달할 수 있다. 더 강한 noise는 작은 radius에서의 certification을 저해할 수 있지만 더 큰 radius에서는 도움이 된다.

8. 관련 연구

관련 연구는 고전 모델과 neural model을 대상으로 한 optimization-based poisoning 공격과, label-flipping 공격에 대한 robustness를 인증하는 randomized-smoothing 방어를 다룬다. 이 논문은 training input에 대한 perturbation에 초점을 맞추며, training label을 무작위화하는 방어와 구별된다.

  • Backdoor 공격: SVMs와 logistic regression을 대상으로 optimization-based poisoning 공격이 개발되었으며,, 관련 neural-network 공격은 shallow MLPs에만 적용된다.
  • Poisoning 공격에 대한 인증 방어: Randomized smoothing은 classifier의 전체 training procedure를 무작위화하여 label-flipping 공격에 대한 robustness를 인증하는 데 사용되었다.
  • Poisoning 공격에 대한 인증 방어: 이 연구 흐름은 training label을 perturb하는 반면, 이 논문은 training input에 대한 perturbation을 연구하므로 논문의 초점과는 직교한다.

9. 한계

RAB는 인증을 위해 많은 모델을 학습하고 평가해야 하므로 상당한 계산 오버헤드가 발생한다. 또한 인증에는 공격 파라미터에 대한 지식과 학습 과정에 대한 통제권이 필요하므로, 학습 과정을 방해하는 공격에 대한 적용 가능성이 제한된다.

  • 9. 한계: 인증에는 MNIST/CIFAR-10의 경우 1000개 모델, ImageNette의 경우 200개 모델을 학습하고 평가해야 하므로, 무시할 수 없지만 병렬화 가능한 실행 시간 오버헤드가 발생한다.다항 시간 K-NN 알고리즘은 계산 비용을 줄이는 초기 방법을 제공하지만, 추가적인 완화는 향후 과제로 남아 있다.
  • 9. 한계: RAB 인증에는 trigger magnitude와 poisoned instances에 대한 bound 및 방어자의 training process 통제권이 필요하다.인증이 없으면 training process 통제권만 필요하다. 따라서 RAB는 과 같이 training을 방해하는 공격을 방어할 수 없다.

10. 논의 및 결론 · 부록 A. 증명

이 논문은 RAB pipeline과 deterministic test-time augmentation을 통해 backdoor poisoning을 포함한 다양한 공격에 대한 robustness를 인증하는 통합 smoothing framework를 제시한다. 부록 A에서는 주요 결과의 증명을 제공하고 type-I 및 type-II error probability의 표기법을 정의한다.

  • 10. 논의 및 결론: RAB는 backdoor poisoning attacks에 대한 모델 robustness를 인증하기 위한 최초의 robust smoothing pipeline으로 제안된다.이 framework는 통합된 certification 접근법으로 다양한 backdoor attacks를 다룬다.
  • 10. 논의 및 결론: 다양한 backdoor attacks에 대한 prediction robustness를 인증하기 위해 deterministic test-time augmentation mechanism이 도입된다.
  • 10. 논의 및 결론: 인증된 backdoor robustness 평가는 deep neural networks와 K-nearest-neighbor models를 포괄한다.
  • 10. 논의 및 결론: 논의에서는 이 연구를 서로 다른 공격에 대한 모델 robustness를 인증하는 통합 smoothing framework로 규정한다.
  • 부록 A. 증명: 부록 A에서는 논문 본문에 제시된 결과의 증명을 제공한다.
  • 부록 A. 증명: 부록에서는 명시된 분포하에서 α(ϕ)를 type-I error probability로, β(ϕ)를 type-II error probability로 정의한다.

A.1. 정리 1의 증명

정리 1의 증명은 미리 정한 오류 확률을 갖는 likelihood-ratio test를 구성하고 Neyman–Pearson 최적성을 적용해 입력과 데이터셋의 공동 섭동 이후 smoothed class probability를 경계화한다. 그 결과 얻은 y_A의 하한이 모든 경쟁 상한을 초과하면 y_A가 certified prediction으로 유지된다.

  • 예비 지식 및 보조 정리: Lemma A.1은 유효한 randomized test를 선택하는 데 필요한 likelihood-ratio threshold quantile의 성질을 확립하고, Lemma A.2는 증명에 사용되는 오류율 최적성의 함의를 제시한다.Likelihood-ratio test는 Λ(x)=f_1(x)/f_0(x)를 사용해 정의되며, 목표 significance level을 달성하도록 threshold와 randomization을 선택한다.
  • 정리 1의 증명: 정리 1은 significance 1−p_A를 갖는 likelihood-ratio test ϕ_A를 구성하고, assumption (9)와 Lemma A.2를 사용해 q(y_A|x+Ω_x,D+∆)를 β(ϕ_A)로 lower-bound한다.α(ϕ_A)=1−p_A가 되도록 likelihood-ratio threshold와 randomization parameter를 선택해 test를 얻는다.
  • 정리 1의 증명: 모든 경쟁 label y≠y_A에 대해 증명은 significance p_B를 갖는 ϕ_B를 구성하고 Lemma A.2를 적용해 q(y|x+Ω_x,D+∆)를 1−β(ϕ_B)로 upper-bound한다.Assumption (9)은 Lemma A.2의 두 번째 부분을 적용하는 데 필요한 경쟁 label probability bound를 제공한다.
  • 정리 1의 증명: β(ϕ_A)+β(ϕ_B)>1이면 y_A의 하한이 모든 경쟁 상한을 초과하므로 certification proof가 완성된다.결론은 q(y_A|x+Ω_x,D+∆)>max_{y≠y_A}q(y|x+Ω_x,D+∆)이다.

A.2. Theorem 2 증명 … Appendix B. Smoothed K-NN Classifiers

Appendix에서는 Theorem 2의 tightness를 증명하고, likelihood-ratio test를 통해 Gaussian 및 uniform-noise corollary를 도출하며, 이후 smoothing analysis를 위한 quantized-similarity K-NN classifier를 formalize한다.

  • A.2. Theorem 2 증명: Theorem 2의 robustness condition은 tight하다. 구성한 base classifier는 지정된 class probability와 일치하지만, condition을 위반하는 모든 perturbation에서 실패한다.이 구성은 지정된 type-I error를 사용하는 likelihood-ratio test를 적용하며, 위반 perturbation 이후 prediction이 변하는 smoothed classifier를 생성한다.
  • A.2. Theorem 2 증명: 구성한 multiclass distribution p*는 유효하며, 음이 아닌 probability의 합이 one이다. binary classification에서는 두 likelihood-ratio test가 일치한다.증명에서는 p*(y|x, D)를 maximizing하는 label로 h*(x, D)를 정의한 다음, target smoothed probability와의 consistency를 검증한다.
  • A.3. Corollary 1 증명: Corollary 1은 shifted smoothed classifier에 Theorem 1을 적용하고, type-II error가 robustness condition을 결정하는 Gaussian likelihood-ratio test를 구성함으로써 따른다.Test는 type-I error 1−pA와 pB에 맞게 calibration되며, 결과 condition은 β(ϕA) + β(ϕB) > 1로 characterize된다.
  • A.4. Corollary 2 증명: Uniform feature noise의 경우, 증명은 shifted support S와 S′의 overlap으로부터 likelihood-ratio test를 구성하며 p0에 의해 결정되는 threshold case를 얻는다.pA ≤ p0 또는 1−pB ≤ p0이면 해당 type-II error가 zero이므로 β(ϕA) + β(ϕB) > 1은 성립할 수 없다. 따라서 pA > p0 및 1−pB > p0가 necessary하다.
  • A.4. Corollary 2 증명: 이 necessary condition을 만족하는 uniform case에서는 두 likelihood-ratio threshold가 모두 one과 같고, test는 significance 1−pA와 pB에 맞게 calibration된다.이 구성은 Theorem 1에 사용된 likelihood-ratio testing argument를 이어간다.
  • Appendix B. Smoothed K-NN Classifiers: Appendix에서는 decreasing similarity level β1 > β2 > … > βL을 갖는 ordered bucket B1,…,BL을 사용해 quantized Euclidean similarity를 정의한다.Similarity는 대응하는 similarity level을 weight로 하는 bucket indicator의 합으로 표현된다.
  • Appendix B. Smoothed K-NN Classifiers: Tie가 발생하면 index가 더 낮은 instance를 더 similar한 것으로 rank한다. K nearest neighbor가 class별 vote tally γk를 결정하며, K-NN은 tally가 가장 큰 label을 prediction한다.Neighbor set IK(x, D)는 binary similarity relation을 통해 정의되며 K개의 nearest instance를 포함한다.

B.1. Theorem 3 증명 … C.3. Kernel-KNN

부록에서는 smoothed classifier의 효율적 계산법을 도출하고 all-to-all, larger-perturbation, kernel-KNN backdoor 설정에서 RAB를 평가한다. RAB는 이러한 설정 전반에서 경험적으로 효과적이지만, perturbation이 해당 radius를 초과하면 certification이 실패하며 kernel-KNN은 DNN보다 성능이 낮다.

  • B.1. Theorem 3 증명: Theorem 3은 tally-vector event를 top-K similarity와 class별 count로 정의되는 boundary event로 분할하여 smoothed classifier를 계산한다.한 instance의 similarity가 주어지면 서로 다른 class의 count는 pairwise independent이므로 recursive probability 계산이 가능하다.
  • B.1. Theorem 3 증명: 재귀에 사용되는 α 값을 사전 계산하고 저장한 뒤, 계산 복잡도는 O(KC+2·n2·L·C)이다.재귀는 O(n · K)회의 호출과 O(n · L)의 preliminary computation을 통해 필요한 probability를 계산한다.
  • C.1. All-to-all Attacks: all-to-all threat는 prediction을 class i에서 class ((i+1)%C)로 변경하므로, model은 trigger만이 아니라 image와 trigger를 모두 인식해야 한다.따라서 NC처럼 trigger-only behavior를 가정하는 defense는 성능이 낮을 것으로 예상된다.
  • C.1. All-to-all Attacks: RAB는 all-to-all attack에서도 유사한 empirical and certified robustness를 달성하며, standard attack과 비교할 때 MNIST와 ImageNette에서는 소폭 향상되고 CIFAR-10에서는 소폭 하락한다.비교는 Table C.3의 MNIST, CIFAR-10, ImageNette에 대한 DNN 결과로 보고된다.
  • C.2. Larger Perturbation: larger perturbation에서는 certified robust accuracy가 0이지만, RAB는 여전히 baseline과 비슷한 비자명한 empirical robustness를 제공한다.perturbation은 4 × 4 trigger, 20% poison rate, 그리고 MNIST에서 ||δ_i|| = 4.0, CIFAR-10과 ImageNette에서 4.3의 scale을 사용한다.
  • C.3. Kernel-KNN: Kernel-KNN은 DNN보다 certification performance가 낮으며, Gaussian-kernel output을 해석적으로 얻을 수 없기 때문에 exact certification algorithm을 적용할 수 없다.해당 kernel은 supervised CNN의 penultimate-layer representation을 사용하므로, certification은 DNN procedure로 평가한다.

C.4. 표 형식 데이터의 SVM 기반 모델 … C.8. RAB 모델에 대한 적대적 공격

표 형식 데이터의 SVM과 DNN 평가 전반에서 RAB는 경험적·인증된 강건성을 제공하고, 테스트 시점 augmentation의 이점을 얻으며, 낮은 abstention과 반복 실행에서의 안정적 성능을 유지하고, 적대적 공격에 대한 대응도 검토된다.

  • C.4. 표 형식 데이터의 SVM 기반 모델: 표 형식 데이터 평가는 서로 다른 샘플 수와 입력 차원을 갖는 Spambase, Adult, Mushroom 이진 분류 데이터셋을 아우른다.Spambase는 4,601개 샘플과 57차원이고, Adult는 48,842개 샘플과 14차원이며, Mushroom은 8,145개 샘플과 22차원이다.
  • C.4. 표 형식 데이터의 SVM 기반 모델: RAB는 표 형식 데이터의 이진 SVM 과제에서 우수한 경험적·인증된 강건성을 달성하는 반면, DNN 특화 baseline은 성능이 낮거나 적용할 수 없다.실험에는 Spambase, Adult, Mushroom 데이터셋이 포함되며, NC와 Mixup은 해당 설정에 적용할 수 없으므로 제외된다.
  • C.5. 테스트 시점 augmentation 적용 및 미적용: 테스트 시점 augmentation은 DNN에서 RAB의 강건성을 경험적으로나 인증 측면에서 모두 향상시킨다.비교는 테스트 시점 augmentation의 적용 여부에 따라 보고된다.
  • C.6. Abstain Rate: RAB의 certification은 일반적으로 abstain rate가 비교적 낮아, abstention이 pipeline에서 심각한 문제가 될 가능성이 낮다.denial-of-service 우려에 대해서는 과 유사한 접근에 따라 abstain하는 대신 defense radius를 인증할 것을 저자들은 제안한다.
  • C.7. Multiple Runs: 5회의 반복 실행에서 표준편차가 비교적 작게 나타나 RAB가 안정적임을 보여준다.강건성의 평균과 표준편차는 Table C.9에 보고된다.
  • C.8. RAB 모델에 대한 적대적 공격: 저자들은 모든 학습된 모델에서 gradient를 집계한 PGD를 사용해 RAB에 대한 적대적 공격을 시험한다.ImageNette 공격 시각화에서는 적대적 패턴이 가장 명확하게 드러나도록 ε = 60을 선택했으며, 선행 연구 [46]는 backdoor가 삽입된 모델을 smoothing하면 뚜렷한 패턴이 남을 수 있다고 보고했다.
Loading 2003.08904v8…