PaperlayerView exact revision on arXiv

Source-linked AI summary

Graph Information Bottleneck

Tailin Wu, Hongyu Ren, Pan Li, Jure Leskovec

arXiv:2010.12811v1cs.LGstat.ML

TL;DR

Graph neural network는 graph structure와 node feature를 융합하지만 noise와 adversarial attack에 여전히 취약하다. Graph Information Bottleneck은 두 정보원을 모두 regularize해 최소 충분 표현을 학습하며, GIB-Cat과 GIB-Bern 모델은 adversarial classification accuracy를 각각 최대 31.3%와 34.0% 향상한다.

  • 문제

    Graph neural network는 informative node feature와 graph structure를 통합하는 동시에 noise와 adversarial attack에 대한 취약성을 해결해야 한다.

  • 방법

    Graph Information Bottleneck은 prediction에 유용한 information을 최대화하면서 node feature와 graph structure에서 오는 information을 제약하며, variational bound와 두 가지 sampling 기반 model을 사용한다.

  • 결과

    GIB-Cat과 GIB-Bern은 adversarial perturbation에서 classification accuracy를 각각 최대 31.3%와 34.0% 향상한다.

  • 시사점 및 한계

    제안한 GIB model은 standard baseline보다 robustness를 일관되게 향상하고, 다른 state-of-the-art defense model보다 우수한 성능을 보인다.

  • 시사점 및 한계

    계산 가능한 GIB formulation은 graph-structured data에 대한 local-dependence assumption에 의존한다.

Abstract

from arXiv · show

Representation learning of graph-structured data is challenging because both graph structure and node features carry important information. Graph Neural Networks (GNNs) provide an expressive way to fuse information from network structure and node features. However, GNNs are prone to adversarial attacks. Here we introduce Graph Information Bottleneck (GIB), an information-theoretic principle that optimally balances expressiveness and robustness of the learned representation of graph-structured data. Inheriting from the general Information Bottleneck (IB), GIB aims to learn the minimal sufficient representation for a given task by maximizing the mutual information between the representation and the target, and simultaneously constraining the mutual information between the representation and the input data. Different from the general IB, GIB regularizes the structural as well as the feature information. We design two sampling algorithms for structural regularization and instantiate the GIB principle with two new models: GIB-Cat and GIB-Bern, and demonstrate the benefits by evaluating the resilience to adversarial attacks. We show that our proposed models are more robust than state-of-the-art graph defense models. GIB-based models empirically achieve up to 31% improvement with adversarial perturbation of the graph structure as well as node features.

1 서론

서론에서는 더 강건한 최소 충분 그래프 표현을 학습하기 위한 Information Bottleneck의 변형으로 Graph Information Bottleneck (GIB)을 제시한다. 변분 bound, 구조 샘플링, 두 가지 GNN 모델을 통해 그래프 특유의 비-i.i.d. 및 이산 구조 문제를 다룬다.

  • 동기와 원리: GNN은 node feature와 graph structure를 효과적으로 융합하지만, 이웃 노이즈와 edge 기반 message passing 때문에 무관한 정보와 adversarial attack에 취약하다.feature와 structural information이 모두 중요하고 이웃 feature가 예측을 저해할 수 있기 때문에 graph representation learning은 어렵다.
  • 방법: GIB는 local dependence 가정과 variational bound를 사용해 feature 및 structural information을 regularize하면서 target 예측에 유용한 information을 최대화함으로써 그래프 특유의 IB 문제를 해결한다.이 bound에는 information constraint를 위한 variational upper bound와 target prediction을 위한 variational lower bound가 포함된다.
  • 동기와 원리: GIB는 graph structure와 node feature에서 task에 충분한 information은 유지하고 무관한 information은 제거하도록 Information Bottleneck을 graph representation learning에 맞게 조정한다.이 최소 충분 목적은 overfitting을 줄이고 adversarial attack에 대한 robustness를 향상시키기 위한 것이다.
  • 방법: GIB를 Graph Attention Networks 에 적용해 attention weight로 이산 graph structure를 샘플링하고 categorical 및 Bernoulli sampling algorithm을 도입한다.이 메커니즘은 이산 graph structure의 최적화와 모델링이 어려운 문제를 완화한다.
  • 결과: 그 결과 얻은 GIB-Cat과 GIB-Bern model은 standard baseline model보다 robustness를 일관되게 향상시킨다.이 model들은 GAT 기반 graph representation learning에서 제안한 GIB 원리를 구현한다.

2 예비 지식 및 표기법

이 절에서는 attributed graph, 노드 수준 예측 표현, 확률 분포와 latent variable에 사용되는 표기법을 정의한다. 또한 GIB 탐색 공간의 기반이 되는 local-dependence 가정을 소개한다.

  • Graph Representation Learning: Attributed graph는 G = (V, E, X)로 표현되며, adjacency matrix는 A, node attribute는 X다. 입력은 D = (A, X)다.그래프에는 n개의 노드가 있으며, d(u, v)는 A에서의 최단 경로 거리를 나타낸다.
  • Graph Representation Learning: 이 연구는 노드 수준 과제를 대상으로 하며, 노드 label Y를 예측하는 데 사용할 수 있는 표현 Z_X를 D에서 추출한다.노드 v에 대해 해당 표현과 label은 각각 Z_X,v와 Y_v로 표기한다.
  • Graph Representation Learning: GIB는 각 단계에서 local dependence를 적용해 graph structure와 node feature에서 정보를 추출하는 Markov-chain 탐색 공간을 사용한다.표현 간 상관관계는 graph neighborhood를 따라 계층적으로 형성된다. 예를 들어 2 hops 이내의 dependence는 연속적인 layer를 거쳐 전파될 수 있다.
  • Notation: 표기법은 induced model distribution P(H)와 variational distribution Q(H), Q_i(H)를 구분하며, categorical, Bernoulli, Gaussian variable을 정의한다.Categorical probability의 합은 1이고, Bernoulli component는 0과 1 사이에 있으며, Gaussian parameter는 covariance matrix Σ를 갖는 vector일 수 있다.

3 Graph Information Bottleneck

GIB 원리는 target을 예측하는 정보를 유지하면서 graph-structured data를 압축하는 node representation을 찾는다. local-dependence 가정은 representation을 제한하고 locally refined graph structure를 통해 정보 흐름을 제어함으로써 이 목적을 다루기 쉽게 만든다.

  • 3 Graph Information Bottleneck: GIB는 node representation과 graph data 사이의 정보를 최소화하는 동시에 representation과 target 사이의 정보를 최대화한다.이는 일반적인 information bottleneck 원리를 계승하여 압축과 예측 사이의 균형을 맞춘다.
  • 3 Graph Information Bottleneck: graph data point들이 서로 상관되어 있기 때문에, 표준 variational-bound derivation에서는 일반적인 GIB 원리를 최적화하기 어렵다.일반적인 i.i.d. 가정은 graph-structured data에 직접 들어맞지 않는다.
  • 3 Graph Information Bottleneck: local-dependence 가정은 optimal representation의 공간을 제한하며, 고정된 hop 범위 내 이웃의 data만 사용해 GIB를 더 다루기 쉽게 만든다.node에 대한 local neighborhood가 주어지면 graph의 다른 위치에 있는 data는 해당 node와 independent한 것으로 취급한다.
  • 3 Graph Information Bottleneck: 각 iteration에서 node representation은 이웃을 반영하고, graph structure는 정보 흐름을 제어하도록 locally 조정되며, prediction은 최종 representation을 사용한다.이 formulation은 intermediate representation과 structure에 대한 locally dependent distribution을 최적화한다.

X ) 및 I(D; Z(L)

GIB는 상관된 그래프 데이터를 고려하면서 구조 정보 항과 특징 정보 항에 대한 변분 bound를 도출한 뒤, categorical 및 Bernoulli neighbor sampling을 사용하는 GIB-Cat과 GIB-Bern으로 원리를 구현한다. 이 모델들은 그래프 구조에 느슨하게 의존하므로 구조 및 특징 perturbation에 강건하며, 이 framework는 다른 GNN architecture로도 확장할 수 있다.

  • Variational bounds: 변분 formulation은 I(Y ; Z(L)X)에 대한 lower bound와 I(D; Z(L)X)에 대한 upper bound를 제공하며, 그래프 데이터 point들이 상관되어 있으므로 bound를 신중하게 도출한다.upper-bound 구성에는 D와 Z(L)X 사이의 조건부 독립을 보장하는 index set SX와 SA가 필요하다.
  • GIB-Cat과 GIB-Bern: GIB-Cat과 GIB-Bern은 categorical 또는 Bernoulli neighbor sampling을 사용해 node representation을 업데이트하기 전에 graph structure를 정제하면서 GAT에 GIB 원리를 적용한다.두 모델 모두 attention 기반 neighbor distribution에서 structural information을 sampling한 뒤 layer별로 node representation을 정제한다.
  • Properties: GIB-Cat과 GIB-Bern은 adjacency matrix가 potential neighbor만 결정하고 message passing은 sampled structural representation을 사용하므로 graph structure에 느슨하게 의존한다.이 설계는 structural attack에 대한 robustness를 높이는 동시에 information-bottleneck model과 관련된 feature perturbation에 대한 robustness를 유지하기 위한 것이다.
  • Objective for training: Training에서는 non-informative categorical 또는 Bernoulli distribution으로 structural information을 추정하고, learnable Gaussian-mixture variational distribution으로 feature information을 추정한다.categorical 버전은 uniform distribution을 사용하는 반면, Bernoulli 버전은 추가적인 자유도인 hyperparameter α를 도입한다.
  • Other Formalizations of the GIB Principle: GIB 원리는 MPNN의 edge message를 포함한 다른 architecture와 node-pair representation에도 적용할 수 있지만, 이는 future investigation으로 남겨 둔다.이 framework는 GAT 기반 구현을 넘어 architecture-general한 것으로 제시된다.

4 관련 연구

기존 연구는 message passing, attention, contrastive 또는 mutual-information 목적함수와 IB 기반 방법을 통해 GNN 표현을 학습하지만, 본 연구는 graph data에서 예측과 함께 feature 및 structural compression을 구체적으로 모델링한다.

  • GNN 표현 학습: GNN은 이웃 정보를 집계해 node representation을 학습하지만, malicious feature 또는 structural perturbations를 통한 공격에 취약할 수 있다 [31] [32] [16].Attention mechanism은 node와 이웃 사이의 상관관계를 적응적으로 학습하며, 이후의 defense 방법은 이렇게 발생한 취약성을 대상으로 한다.
  • Contrastive 및 Mutual-Information 방법: Contrastive GNN methods는 positive sample 간 유사도를 높이고 negative sample 간 유사도를 낮춰 representation을 정규화한다 [28].이러한 목적함수는 node representation과 neighbor patch, sub-structure와 hidden feature, 또는 graph와 sub-structure 사이의 mutual-information maximization으로 정식화할 수 있다 [37–39].
  • Contrastive 및 Mutual-Information 방법: 기존 contrastive 및 mutual-information 접근법과 달리, 이 모델은 prediction을 향상시키면서 node feature와 graph structure를 compression한다.논문은 이 목적이 이전 연구들과 orthogonal하다고 설명한다 [37–39].
  • Information Bottleneck 방법: IB 기반 연구는 information bottleneck 원리를 deep network 및 다른 영역에 적용하는 반면, 본 연구는 graph feature, structure, 그리고 이들의 fusion을 정보이론적으로 모델링한다 [21] [40].여러 GNN 연구 역시 비지도 학습을 위해 information maximization을 활용한다 [37] [39].

5 실험

실험에서는 GIB-Cat과 GIB-Bern이 구조 및 특징 공격에 대한 GNN의 강건성을 향상하는지 평가하고, 이를 표준 baseline 및 방어 지향 baseline과 비교한다. 인용 벤치마크와 다양한 공격 설정에서 GIB는 전반적으로 강건성을 향상하며, ablation을 통해 구조 및 특징 정보 bottleneck의 개별 역할을 분석한다.

  • 실험 설정: 평가에는 Cora, Pubmed, Citeseer에서 evasive 및 poisoning 설정으로 수행한 Nettack targeted attack과 표준 transductive node classification, 5개의 무작위 초기화가 사용된다.GCN, GAT, GCNJaccard, RGCN 과 비교한다.
  • Adversarial attack에 대한 강건성: GIB-Cat과 GIB-Bern은 Cora에서 각각 평균 8.9%와 8.4%, Pubmed에서 각각 14.4%와 14.6%만큼 GAT보다 targeted attack 정확도를 향상시킨다.Table 1은 direct attack에서 5개의 무작위 초기화에 걸쳐 40개의 targeted node에 대한 평균 정확도를 보고한다.
  • Ablation study: Cora에 대한 ablation은 structural-only AIB-Cat/AIB-Bern과 feature-only XIB 변형을 별도로 평가하여 각 GIB 구성 요소가 강건성에 기여하는 정도를 분석한다.AIB 모델은 structure를 sampling하고, XIB는 node representation을 sampling한다.
  • adversarial attack에 대한 강건성: GCNJaccard 및 RGCN과 비교하면 GIB-Cat과 GIB-Bern은 Cora와 Pubmed에서 더 높은 평균 향상을 달성하지만, Citeseer poisoning attack에서는 두 모델 모두 GCNJaccard보다 worse than GCNJaccard 성능을 보인다.Citeseer의 한계는 많은 low-degree node가 지정된 perturbation 수보다 적은 neighbor를 갖기 때문으로 설명된다.
  • feature perturbation에 대한 강건성: GIB-Cat과 GIB-Bern은 Gaussian feature noise가 증가할 때 feature information bottleneck이 없는 model보다 일관되게 우수한 성능을 보이며, 특히 λ = 1.5에서 두드러진다.Structure-only AIB model은 full GIB model보다 약간 낮거나 동등한 성능을 보여, feature perturbation이 지배적인 경우의 이점을 시사한다.

6 결론 및 논의

이 논문은 graph-structured data의 최소 충분 표현을 학습하기 위한 Graph Information Bottleneck (GIB)을 도입하고, GIB로 학습한 GAT의 adversarial robustness를 평가해 그 효과를 입증한다.

  • 6 결론 및 논의: GIB은 graph-structured data에서 최소 충분 정보를 학습하며, GIB로 학습한 GAT의 adversarial attack에 대한 robustness를 평가해 그 효과를 입증한다.또한 이 framework는 향후 연구에서 더 나은 GIB instantiation을 탐구할 여지를 남긴다.

광범위한 영향 · 부록 · A Information Bottleneck 예비 지식

이 논문은 여러 분야에서 graph learning의 활용을 강조하며, 확인된 단점이나 실패 consequences, 바람직하지 않은 bias 우려는 없다고 보고한다. Information Bottleneck 예비 지식은 input complexity를 제한하면서 target information을 보존하는 representation을 정의한다.

  • 광범위한 영향: Graph는 관계와 데이터 내용을 함께 표현함으로써 social science, biology, geographical mapping, finance, recommender systems에 유용하다.GNN은 expressive representation에서 structural information과 feature information을 뒤얽는다.
  • 광범위한 영향: 저자들은 연구로 인해 불이익을 받는 groups와 system failure의 consequences를 식별하지 못했다고 밝힌다.두 가지 broader-impact 질문 모두 명시적으로 not applicable로 표시된다.
  • 광범위한 영향: 제안된 GIB principle과 GIB-GAT는 node features와 structural information을 활용하며, 저자들은 이를 일반적으로 undesirable biases로 간주하지 않는다.평가 datasets 역시 일반적으로 undesirable biases를 포함하지 않는 것으로 여겨지는 널리 사용되는 benchmarks로 설명된다.
  • A Information Bottleneck 예비 지식: Information Bottleneck은 Markov chain Z−D−Y 하에서 input data D를 target Y에 대한 encoding Z로 모델링한다.이 encoding은 stochastic하며 P(Z|D)로 지정된다.
  • A Information Bottleneck 예비 지식: IB objective는 −I(Y; Z) + βI(D; Z)를 최소화하여 target information과 representation complexity 사이의 균형을 맞춘다.β를 증가시키면 I(Y; Z)와 I(X; Z) 사이의 Pareto frontier를 훑는다.
  • A Information Bottleneck 예비 지식: IB는 shared information I(D; Y)를 유지하면서 H(D|Y)의 irrelevant information을 제거하는 representation을 추구한다.최적 representation은 I(D; Y)만 포함하는 minimal sufficient representation이다 [49].

B Proposition 3.1 증명 … E GIB-Cat 및 GIB-Bern의 순열 불변성

부록에서는 variational bound, data-processing 논증, 순서화된 mutual-information 분해를 사용해 핵심 정보이론 명제를 증명하고, contrastive loss 대안을 도출하며, GIB-Cat과 GIB-Bern의 permutation invariance를 확립한다. 불변성 증명은 model과 neighbor-sampling 단계를 거치는 induction을 사용한다.

  • B Proposition 3.1 증명: Proposition 3.1은 관련 mutual-information 식에 Nguyen–Wainwright–Jordan bound 를 적용해 증명한다.증명에서는 Lemma B.1 을 명시적으로 사용하고 graph representation 변수를 bound에 대입한다.
  • C Proposition 3.2 증명: Proposition 3.2는 첫 번째 부등식을 data-processing inequality 와 Markov property에서 도출한 뒤, representation 변수의 순서화와 분해를 통해 두 번째 부등식을 bound한다.증명에서는 변수의 순서를 정의하고 mutual information을 항들로 분해한 다음, mutual-information의 성질과 AIB(l) 및 XIB(l)의 정의를 사용해 해당 항들을 bound한다.
  • D Variational Bound Eq. (2)에서 도출한 Contrastive Loss: variational bound는 contrastive loss [28]로도 특성화할 수 있으며, 이는 경험적으로 model robustness를 향상할 수 있다.이 구성은 Q1을 유지하고, 무작위로 sampling한 graph의 representation을 사용해 Q2를 추정하며, 해당 항이 경험적으로 1에 가깝기 때문에 마지막 항과 상수는 버린다.
  • D Variational Bound Eq. (2)에서 도출한 Contrastive Loss: contrastive 구성에서 perturbed adjacency A′는 A와 same number of edges를 갖도록 균등하게 sampling한다.sampling된 structure는 Q2 추정에 사용하는 last-layer node representation을 얻을 때 A를 대체한다.
  • E GIB-Cat 및 GIB-Bern의 순열 불변성: GIB-Cat과 GIB-Bern은 permutation invariant하다. 즉, Π(D)=(ΠX,ΠAΠ^T)로 input node를 permute하면 output node representation도 이에 대응해 permute된다.이 명제는 임의의 permutation matrix Π에 대해 정식화되며, permuted graph-structured data와 원래 graph-structured data에서 생성된 representation의 관계를 나타낸다.
  • E GIB-Cat 및 GIB-Bern의 순열 불변성: permutation-invariance 결과는 layers에 대한 induction과 model 및 neighbor-sampling 단계의 순차적 검증으로 증명한다.증명은 Algorithm 1을 따르며, representation 간 대응을 결론내리기 전에 categorical 및 Bernoulli NeighborSample procedure를 사용한다.

F 데이터셋 요약 … G.3 RGCN 및 GCNJaccard 구현 세부사항

실험에는 표준 train-validation-test 분할을 사용하는 Cora, Pubmed, Citeseer가 포함되며, 일관된 학습·선정·재현성 프로토콜에 따라 모델을 평가한다. GIB-Cat과 GIB-Bern은 GAT 기반 아키텍처를 따르고, 비교 baseline은 검증된 구현과 조정된 hyperparameter를 사용한다.

  • F 데이터셋 요약: 실험에서는 Table 4에 요약된 표준 train-validation-test 분할과 함께 Cora, Pubmed, and Citeseer 를 사용한다.Table 4에는 데이터셋 통계와 실험 분할이 제시되어 있다.
  • GIB-Cat, GIB-Bern 및 기타 비교 모델의 구현 세부사항: 모든 모델은 validation accuracy로 선정하고 2000 epochs 동안 학습하며, 다섯 개 random seed에 대한 결과를 평균하고 표준편차를 보고한다.실행은 PyTorch 와 PyTorch Geometric 을 사용해 NVIDIA GeForce RTX 2080 GPU 및 Intel Xeon Gold 6148 CPU에서 seeds 0, 1, 2, 3, and 4로 수행한다.
  • G.1 GIB-Cat 및 GIB-Bern 구현 세부사항: GIB-Cat과 GIB-Bern은 eight attention heads, LeakyReLU activation, 0.6 feature dropout 및 데이터셋별 learning rate를 사용하는 GAT default architecture를 따른다.learning rate는 Cora와 Citeseer에서 0.01, Pubmed에서 5×10−3이며, 목적 함수에는 Eq. (1)의 GIB variational term을 대입한다.
  • G.1 GIB-Cat 및 GIB-Bern 구현 세부사항: GIB-Bern의 variational marginal Q(ZX)는 P(ZX)를 유연하게 근사하기 위해 100-component learnable diagonal-Gaussian mixture를 사용한다.구현에서는 SA = [L] 및 SX = {L −1}로 설정하여 Proposition 3.2를 만족시킨다.
  • G.2 GCN 및 GAT 구현 세부사항: GCN과 GAT은 default implementation을 사용하고, GIB-Cat과 GIB-Bern은 공정한 비교를 위해 동일한 architecture 선택을 유지한다.GAT attention weight에 대한 dropout은 원래 구현에서 그대로 유지한다.
  • G.3 RGCN 및 GCNJaccard 구현 세부사항: RGCN과 GCNJaccard는 DeepRobust implementation을 사용하며, adversarial experiment를 위해 latent dimension, learning rate 및 weight decay를 조정한다.GCNJaccard는 connection threshold도 추가로 조정하고, RGCN은 β1 및 γ를 조정한다. 최적 설정은 Tables 9–11에 보고되어 있다.

G.4 적대적 공격 실험에 대한 추가 세부사항 … I Deep Graph Infomax (DGI)에 대한 추가 실험

추가 실험에서는 통제된 Nettack 및 feature-noise 평가를 상세히 다루고, GIB 모델의 비교 가능한 학습 비용을 보고하며, targeted attack에서 Cora에 대해 GIB-Cat과 GIB-Bern이 DGI보다 우수함을 보인다.

  • G.4 적대적 공격 실험에 대한 추가 세부사항: Nettack은 데이터셋마다 40개의 테스트 노드를 평가한다. 분류 margin이 가장 높은 노드 10개, 올바른 예측 margin이 가장 낮은 노드 10개, 무작위로 선택한 노드 20개로 구성된다.각 target node마다 서로 다른 모델을 독립적으로 학습하고, evasion setting과 poisoning setting에서 모두 평가한다.
  • I Deep Graph Infomax (DGI)에 대한 추가 실험: Table 12는 40개 target과 5개의 무작위 실험 초기화에 대한 결과를 평균내어 Cora의 targeted-node classification accuracy를 측정한다.굵은 글꼴은 성능이 가장 높은 두 모델을 나타낸다.
  • G.4 적대적 공격 실험에 대한 추가 세부사항: 각 seed마다 모든 모델을 동일한 40개 target node에서 평가하여, 무작위 target sampling으로 인한 차이를 제거한다.모델은 평가 전에 학습한 뒤 고정한다.
  • G.5 Feature Attack 실험에 대한 추가 세부사항: Feature attack은 각 setting마다 25개 instance의 결과를 평균낸다. 각 seed에 대해 5개의 model seed와 5개의 무작위 node-feature attack을 사용한다.각 feature dimension에 추가되는 noise는 λ · r · ϵ이며, r은 node당 mean maximum feature value이고 ϵ ∼N(0, 1)이다.
  • H GIB-Cat과 GIB-Bern의 Training time: GIB-Cat과 GIB-Bern은 비슷한 parameter count와 computational complexity를 사용하므로 GAT과 동일한 수준의 training time을 갖는다.두 개의 layer를 사용할 때 2000 epoch 동안 GIB-Cat은 98s, GIB-Bern은 84s가 걸리며, 동일한 GPU에서 GAT은 51s가 걸린다.
  • I Deep Graph Infomax (DGI)에 대한 추가 실험: GIB-Cat과 GIB-Bern은 direct Nettack attack에서 Cora에 대해 DGI보다 큰 차이로 우수한 성능을 보인다.Table 12는 40개 targeted node와 5개의 무작위 초기화에 대한 평균 accuracy를 보고하며, 굵은 글꼴은 상위 두 모델을 나타낸다.

J Section 5.1의 적대적 공격에 대한 상세 분석

Citeseer에서 모델 성능이 더 낮은 이유는 degree가 낮은 target node 때문인 것으로 분석되며, 이들은 edge 추가에 의한 structural attack에 특히 취약하다. Nettack perturbation의 대부분은 structural perturbation이고, 일반적으로 class가 다른 node를 연결하는 edge를 추가하며, 이러한 양상은 GCNJaccard의 edge filtering 가정과 일치한다.

  • 적대적 perturbation 통계: Citeseer는 Cora나 Pubmed보다 degree가 1, 2, 3, 4 미만인 target node가 더 많으며, 이는 해당 데이터셋에서 다섯 모델의 성능이 더 낮은 이유를 설명하는 데 도움이 된다.
  • 적대적 perturbation 통계: Nettack attack의 최소 99.1%는 structural attack이고, structural attack의 최소 83.4%는 edge를 추가하며, 이 비율은 Citeseer에서 가장 높다.
  • 적대적 perturbation 통계: 추가된 edge의 최소 98.5%는 서로 다른 class의 node를 연결한다.
  • 해석: Citeseer의 degree가 낮은 target node는 edge 추가 attack에 특히 취약하며, 이는 poisoning 과정에서 feature similarity가 낮은 edge를 삭제해야 한다는 GCNJaccard의 가정과 일치한다.이 대목은 Nettack poisoning에서 Citeseer의 GCNJaccard 성능이 더 우수한 이유가 아마도 여기에 있음을 서술하지만, 제공된 텍스트는 해당 주장을 완성하기 전에 잘려 있다.
Loading 2010.12811v1…