Attention Guided Graph Convolutional Networks for Relation Extraction

Zhijiang Guo; Yan Zhang; Wei Lu

Source-linked AI summary

Attention Guided Graph Convolutional Networks for Relation Extraction

Zhijiang Guo, Yan Zhang, Wei Lu

arXiv:1906.07510v82019년 6월 18일cs.CLcs.LG

TL;DR

Dependency tree 기반 관계 추출에서는 규칙 기반 pruning으로 유용한 정보를 잃지 않으면서 관련 구조를 보존해야 한다. AGGCNs는 전체 dependency tree에 soft attention을 학습해 이를 해결하며, 문장 간 ternary 및 binary 추출에서 기존 state-of-the-art 모델보다 각각 8%와 6% 높은 정확도를 보인다.

문제
규칙 기반 pruning은 전체 dependency tree에서 중요한 정보를 제거할 수 있으므로, 관계 추출을 위해 관련 구조를 학습적으로 선택해야 한다.
방법
AGGCNs는 전체 dependency tree에 대해 attention-guided fully connected graph 표현과 dense connection을 사용해 end-to-end soft pruning을 수행한다.
결과
문장 간 multi-class ternary 및 binary 관계 추출에서 state-of-the-art 모델보다 각각 8%와 6%의 정확도 향상을 보이며, TACRED 성능도 일관되게 더 우수하다.
시사점 및 한계
AGGCNs는 관계 추출 과제 전반에서 state-of-the-art 결과를 달성하며, 전체 dependency tree에서 유용한 정보를 직접 추출하도록 학습한다.
시사점 및 한계
n-ary 관계 추출 평가는 고정된 수의 entity를 가정하며, 한 데이터셋에서는 entity 3개, 다른 데이터셋에서는 2개를 사용한다.

Abstract

from arXiv · show

Dependency trees convey rich structural information that is proven useful for extracting relations among entities in text. However, how to effectively make use of relevant information while ignoring irrelevant information from the dependency trees remains a challenging research question. Existing approaches employing rule based hard-pruning strategies for selecting relevant partial dependency structures may not always yield optimal results. In this work, we propose Attention Guided Graph Convolutional Networks (AGGCNs), a novel model which directly takes full dependency trees as inputs. Our model can be understood as a soft-pruning approach that automatically learns how to selectively attend to the relevant sub-structures useful for the relation extraction task. Extensive results on various tasks including cross-sentence n-ary relation extraction and large-scale sentence-level relation extraction show that our model is able to better leverage the structural information of the full dependency trees, giving significantly better results than previous approaches.

1 서론

이 논문은 전체 dependency tree에 대해 dense connection을 사용하면서 end-to-end soft pruning을 학습하는 AGGCNs를 소개한다. 문장 간 및 문장 수준 relation extraction에서 AGGCNs는 최신 state-of-the-art 시스템을 포함한 기존 모델을 능가한다.

배경: Dependency 기반 모델은 dependency tree를 통합하고, sequence 기반 모델이 가릴 수 있는 비국소 통사 관계를 포착한다 (Peng et al., 2017; Zhang et al., 2018).기존 접근법은 dependency 정보를 추출하기 위해 pruning 전략도 사용한다.
동기: Rule 기반 pruning은 중요한 정보를 제거할 수 있으므로, 전체 dependency tree에서 어떤 부분을 유지하고 폐기할지 학습하는 모델이 필요하다.서론은 문장 간 n-ary 사례를 통해 이 문제를 설명한다. 이 사례에서는 pruning을 적용하면 핵심 토큰인 “partial response”가 제외된다.
방법: Tree-LSTM과 같은 tree-structured 모델과 달리, AGGCNs는 dependency tree에 대해 병렬로 효율적으로 적용될 수 있다 (Tai et al., 2015).Dense connection은 얕은 graph convolutional network에서 먼 이웃 정보를 포착하기 어려운 문제를 해결한다.
결과: AGGCNs는 multi-class ternary 문장 간 relation extraction 정확도에서 8%, binary 문장 간 relation extraction 정확도에서 6%만큼 최신 state-of-the-art 모델을 능가하며, TACRED에서도 일관되게 다른 모델보다 우수하다.이 결과는 문장 간 및 대규모 문장 수준 extraction task 전반에서의 효과를 입증한다.
방법: AGGCNs는 soft-pruning 전략을 end to end로 학습하고 이를 dense connection과 결합하여, 추가적인 computational overhead 없이 더 나은 graph representation을 얻는다.이 모델은 정보를 선택하고 폐기하는 방법을 학습하는 새로운 graph convolutional 접근법으로 제시된다.

2 Attention Guided GCNs

AGGCN은 전체 dependency tree를 여러 attention-guided fully connected graph로 변환한 뒤, densely connected layer를 통해 그 표현을 통합하여 relation classification을 수행한다. 이러한 soft-attention 설계는 rule-based pruning으로 잠재적으로 유용한 tree 정보를 버리는 문제를 피한다.

Attention guided layer: AGGCN은 attention-guided adjacency matrix를 사용해 원래 dependency tree를 여러 fully connected edge-weighted graph로 변환한다.원래 adjacency matrix는 node representation을 초기화하고, multi-head attention은 최대 N개의 attention-guided adjacency matrix를 구성한다. attention-guided layer는 두 번째 block에서 시작한다.
Dense and combination layers: 각 AGGCN block은 attention-guided layer, densely connected layer, linear combination layer를 결합하여 local 및 non-local structural information을 포착한다.Dense connection은 각 layer를 앞선 모든 layer와 연결하여 더 깊은 model을 가능하게 한다. 별도의 densely connected layer가 N개의 attention-guided graph를 처리한 뒤 그 출력을 통합한다.
Attention guided layer: 관련 정보를 제거할 수 있는 hard-pruning 전략과 달리, AGGCN은 전체 dependency tree에 대해 soft attention을 학습한다.Rule-based pruning은 선택된 subtree 밖의 edge에 0 가중치를 할당하는 반면, AGGCN은 fully connected 구조를 유지하며 edge weight를 학습한다.
Attention guided layer: Multi-head self-attention은 서로 다른 representation subspace에 공동으로 주의를 기울여 임의의 node pair 사이의 edge weight를 계산한다.Query와 key는 앞선 AGGCN layer의 collective representation을 사용하며, 각 attention head는 하나의 attention-guided adjacency matrix를 생성한다.
Relation classification: Relation classification을 위해 AGGCN은 max pooling한 non-entity token representation과 entity representation을 concatenate한 뒤 FFNN과 logistic regression classifier에 입력한다.Sentence representation은 max pooling 전에 entity token을 mask하며, entity representation은 hidden token representation에서 별도로 얻는다.

3 실험

AGGCN은 표준 benchmark 설정과 metric을 사용해 문장 간 n-ary 및 문장 수준 relation extraction에서 평가된다. 이들 과제 전반에서 full dependency tree에 대한 attention-guided filtering과 dense information propagation을 통해 dependency 기반 baseline보다 향상된 성능을 보인다.

문장 간 n-ary relation extraction: AGGCN은 ternary-relation에서 87.1 (Single)과 87.0 (Cross)의 accuracy를 달성해 GS GLSTM보다 각각 6.8점과 3.8점 높은 성능을 보인다.이 결과는 binary-class n-ary extraction 설정에서 보고된 모든 baseline을 능가한다.
문장 간 n-ary relation extraction: 더 어려운 multi-class n-ary classification에서도 AGGCN은 ternary relation에서 GS GLSTM보다 8.0점, binary relation에서 5.7점 높은 성능을 유지한다.multi-class 과제는 모든 instance를 평가하므로 모든 model에서 성능이 크게 저하된다.
문장 수준 관계 추출: C-AGGCN은 SemEval에서 85.7 F1을 기록해 84.8을 기록한 C-GCN을 능가한다. 이는 해당 데이터셋의 인스턴스 수가 TACRED의 십분의 일에 불과한 상황에서도 달성한 결과다.TACRED에서는 AGGCN이 GCN보다 1.1 F1 포인트 높은 성능을 보이며, 문맥적 양방향 LSTM 표현을 추가한 것이 C-AGGCN 변형을 고안하게 된 동기다.
Ablation 및 tree-structure 분석: attention-guided layer 또는 densely connected layer를 추가하면 GCN 성능이 향상되며, attention-guided layer의 기여가 더 크다.Dense connection은 large graph 전반의 propagation을 촉진하고, attention은 관련 정보를 추출하면서 noise를 filtering한다.
Ablation 및 tree-structure 분석: C-AGGCN은 K=1에서 C-GCN보다 1.5 F1점 높은 성능을 보이며, full-tree version은 평가된 모든 pruned-tree version을 능가한다.이는 full dependency tree를 유지하면서 densely connected layer와 attention-guided layer를 결합하는 방식을 뒷받침한다.
Training-resource 분석: training data의 80%만 사용해도 C-AGGCN은 66.5 F1을 달성해 full dataset으로 학습한 C-GCN을 능가한다.C-AGGCN은 동일한 training-data 규모에서 일관되게 C-GCN을 능가하며, training data가 증가할수록 격차가 커진다.

4 관련 연구

AGGCNs는 전처리 단계에서 edge를 제거하는 대신 end-to-end로 edge weight를 학습함으로써 dependency 기반 relation extraction과 graph convolutional network를 확장한다. GATs와 달리 AGGCNs는 모든 node 간 relatedness를 모델링하고 장거리 semantic을 포착하기 위해 fully connected graph를 구성한다.

Relation Extraction: Relation extraction 연구는 tree 기반 및 dependency path 기반 kernel을 포함한 statistical method부터 최신 sequence 기반 neural model까지 아우른다.초기 method는 statistical classifier에서 entity clique와 syntactic feature도 사용했다.
Relation Extraction: AGGCNs는 dependency graph의 각 edge에 대해 서로 다른 weight를 end-to-end로 학습하며, 전처리 단계에서 edge를 제거하는 접근법과 다르다.Dependency 기반 선행 연구로는 tree LSTM을 위해 graph를 두 개의 DAG로 분할하거나 graph recurrent network로 전체 graph를 encoding하는 방법이 있으며, AGGCNs는 전체 structure를 유지하면서 edge relevance를 학습한다.
Graph Convolutional Networks: AGGCNs는 각 node의 first-order neighborhood에 filter를 적용하는 GCNs 와 밀접한 관련이 있다.Graph neural network 연구는 임의의 structured graph를 다루는 model에서 출발해, 이러한 GCNs 이전에 더 계산 효율적인 local spectral convolution으로 발전했다.
Graph Convolutional Networks: Network topology를 유지하면서 neighboring node에만 attention을 적용하는 GATs와 달리, AGGCNs는 모든 node 간 relatedness를 측정하고 장거리 semantic을 위해 fully connected graph를 구성한다.GATs는 masked self-attentional layer를 사용해 neighborhood state를 요약하지만, AGGCNs는 motivation과 network structure 모두에서 다르다.

5 결론

AGGCNs는 전체 dependency tree에 직접 작용하고 유용한 정보를 end-to-end로 추출하여 다양한 relation extraction task에서 state-of-the-art 성능을 달성한다.

AGGCNs는 다양한 relation extraction task에서 state-of-the-art 성능을 달성한다.
기존 접근법과 달리 AGGCNs는 전체 tree에 직접 작용하며 유용한 정보를 end-to-end로 추출하는 방법을 학습한다.

보충 자료 · 사례 연구

사례 연구는 전체 dependency tree 위에 attention-guided layer를 적용해 AGGCN이 sensitivity relation을 정확히 예측함을 보여준다. Attention 시각화는 path-centric pruning 대안과 달리 관련 entity와 예측 토큰이 다른 토큰으로부터 attention을 받는다는 것을 나타낸다.

보충 자료: 비교에서는 Zhang et al. (2018)을 따라 dependency tree에 path-centric pruning을 적용하며, pruning된 tree를 K=0과 K=1에 대해 제시한다.Figure 6은 cross-sentence n-ary relation-extraction 사례에 대한 두 pruning 설정을 제시한다.
사례 연구: AGGCN은 종양, EGFR L858E mutation, gefitinib이 관련된 사례에서 올바른 sensitivity relation을 예측한다.이 사례는 약물 gefitinib에 대한 부분 반응을 다룬다.
사례 연구: 모델은 전체 dependency tree에서 관련 정보를 end to end로 추출하는 attention-guided layer를 포함한다.이 메커니즘은 pruning된 dependency structure에만 의존하지 않고 예측할 수 있게 한다.
사례 연구: 두 attention head의 시각화는 관련 토큰이 다른 토큰으로부터 attention을 받을 수 있음을 보여준다.시각화된 attention은 attention-guided layer에서 나온다.
사례 연구: 사례 연구 예시에서는 entity token이 attention을 받으며, 이는 모델이 참여 entity와 연결된 정보에 집중함을 나타낸다.해당 문단은 entity token을 다른 토큰이 주목하는 관련 토큰으로 식별한다.
사례 연구: 부분 반응을 나타내는 토큰도 올바른 relation을 예측하는 데 관련된 것으로 식별된다.“showed a partial response”라는 구가 예측 정보의 예시로 제시된다.

B 추가 분석

추가 분석에서는 문장 간 n-ary relation extraction에서 문장 길이와 최대 이웃 수에 따라 AGGCN과 Graph State LSTM을 비교한다. AGGCN은 일관되게 GS GLSTM보다 우수하며, 짧은 문장에서도 안정적이고 더 적은 이웃으로도 좋은 성능을 보인다. 이는 attention이 정보 전파를 촉진하는 fully connected graph를 생성하기 때문일 가능성이 있다.

B 추가 분석: AGGCN은 문장 길이와 최대 이웃 수에 걸쳐 일관되게 GS GLSTM보다 우수하다.비교는 문장 간 n-ary relation extraction에서 두 설정 모두에 대한 test-set 성능을 사용한다.
B 추가 분석: AGGCN은 짧은 문장에서도 안정적인 반면, GS GLSTM의 성능은 하락하며, 이는 문맥 정보를 더 강하게 활용함을 나타낸다.
B 추가 분석: AGGCN은 더 적은 최대 이웃으로도 좋은 성능을 보이는데, 이는 attention-guided layer가 graph를 정보 전파를 촉진하는 fully connected graph로 변환하기 때문일 가능성이 있다.이웃이 더 많은 graph는 정보 교환을 촉진할 수 있는데, highly connected node가 “supernode”로 기능하기 때문이다 (Song et al., 2018b).