Source-linked AI summary
LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets
Ang Li, Jingwei Sun, Binghui Wang, Lin Duan, Sicheng Li, Yiran Chen, Hai Li
TL;DR
Non-IID 데이터는 client 전반에서 일반화 성능이 좋은 shared federated model을 학습하기 어렵게 하며, communication efficiency도 여전히 핵심 과제다. LotteryFL은 client별 personalized sparse subnetwork을 학습하고 해당 network만 통신해, Non-IID 데이터셋에서 personalization과 communication cost를 크게 개선한다.
문제
Statistical heterogeneity로 인해 client 전반에서 일반화 성능이 좋은 shared federated model을 학습하기 어려워지며, 이는 federated learning의 personalized 접근법을 필요로 한다.
방법
LotteryFL은 client별 sparse Lottery Ticket Network를 학습하고, 해당 parameter만 client와 server 간에 통신한다.
결과
LotteryFL은 평가한 Non-IID 데이터셋 전반에서 personalization과 communication cost 측면에서 FedAvg와 LG-FedAvg를 크게 능가한다. CIFAR-10에서는 89.70% accuracy를 달성하며, 이는 LG-FedAvg보다 14.18%, FedAvg보다 43.5% 높다.
핵심 요점 및 한계
LotteryFL은 Non-IID 환경을 위한 personalized and communication-efficient federated learning framework를 제공하며, 목적에 맞게 구축한 데이터셋과 Client-Wise Non-IID Index가 이를 뒷받침한다.
핵심 요점 및 한계
각 client가 원하는 성능의 local model을 학습하기에 충분한 데이터를 보유하지 못한다고 가정한다.
Abstract
from arXiv · showhide
Federated learning is a popular distributed machine learning paradigm with enhanced privacy. Its primary goal is learning a global model that offers good performance for the participants as many as possible. The technology is rapidly advancing with many unsolved challenges, among which statistical heterogeneity (i.e., non-IID) and communication efficiency are two critical ones that hinder the development of federated learning. In this work, we propose LotteryFL -- a personalized and communication-efficient federated learning framework via exploiting the Lottery Ticket hypothesis. In LotteryFL, each client learns a lottery ticket network (i.e., a subnetwork of the base model) by applying the Lottery Ticket hypothesis, and only these lottery networks will be communicated between the server and clients. Rather than learning a shared global model in classic federated learning, each client learns a personalized model via LotteryFL; the communication cost can be significantly reduced due to the compact size of lottery networks. To support the training and evaluation of our framework, we construct non-IID datasets based on MNIST, CIFAR-10 and EMNIST by taking feature distribution skew, label distribution skew and quantity skew into consideration. Experiments on these non-IID datasets demonstrate that LotteryFL significantly outperforms existing solutions in terms of personalization and communication cost.
1 서론
LotteryFL은 non-IID 데이터에서 클라이언트별 희소 lottery-ticket subnetwork을 찾아내는 개인화·통신 효율적 federated learning framework다. 또한 benchmark dataset과 Client-Wise Non-IID Index를 도입하며, 실험을 통해 personalization과 communication cost에서 FedAvg 및 LG-FedAvg [13]보다 향상된 성능을 보인다.
- 동기: LotteryFL은 statistical heterogeneity 문제를 다루며, 이 문제로 인해 공유 global model이 non-IID 클라이언트 전반에서 우수한 일반화 성능을 내기 어렵다.Federated learning은 local data를 비공개로 유지하면서 클라이언트가 central server를 통해 model parameter를 통신하도록 한다.
- 본 연구: LotteryFL은 각 클라이언트를 위한 희소 lottery-ticket network를 찾아내어 personalized model을 구현하는 동시에 non-IID 환경에서 communication을 줄인다.이 framework는 Lottery Ticket hypothesis를 활용해 더 큰 base model 내부의 subnetwork을 식별하고, 클라이언트별 network만 통신한다.
- Dataset: 저자들은 실제적인 federated learning 환경에 대한 연구를 지원하기 위해 MNIST, CIFAR-10, EMNIST 에서 non-IID dataset을 구축한다.또한 클라이언트 간 distribution 차이를 정량적으로 평가하기 위해 Client-Wise Non-IID Index를 정의한다.
- 실험: 실험 결과, LotteryFL은 personalization과 communication cost 모두에서 FedAvg 및 LG-FedAvg [13]보다 significantly outperforms.비교는 설계한 non-IID dataset에서 수행된다.
2 관련 연구
기존 federated learning 연구는 non-IID personalization과 communication efficiency를 별개로 다뤘으며, LG-FedAvg [13]는 두 문제를 동시에 해결한 최초의 방법으로 확인되었지만 비현실적인 설정을 사용한다. 본 논문은 보다 현실적인 federated learning 조건에서 두 과제를 모두 다룬다.
- 배경: Federated learning 은 거의 모든 참여자에게 우수한 성능을 보이는 global model을 추구하지만, 통계적 이질성과 통신 효율성은 여전히 중요한 과제로 남아 있다 [18] [3].
- 개인화: 기존 personalization 방법은 meta-learning [4] [6], multi-task learning, 또는 transfer learning [9] [10]을 사용해 global model을 non-IID client에 맞게 조정한다.
- 통신 효율성: 통신 효율성 연구 [11]는 FedAvg와 sparsification, quantization, sketching 또는 기타 compression 기법을 결합해 전송 데이터(data)를 줄인다.
- 관련 연구의 한계: LG-FedAvg [13]는 personalization과 통신 효율성을 동시에 다룬 최초의 방법으로 식별되었지만, 그 문제 설정은 현실적인 federated learning을 나타내지 못한다.
3 LotteryFL 설계
LotteryFL은 Lottery Ticket 가설과 FedAvg를 결합하여 각 client가 데이터 의존적 lottery ticket network(LTN)를 학습하고, 자신의 LTN parameter만 통신하며, 궁극적으로 personalized model을 획득하도록 한다. Client는 subnetwork를 반복적으로 pruning하고 재학습하며, server는 해당 LTN parameter만 aggregation한다.
- 3 LotteryFL 설계: 각 client는 local data로 base model을 pruning하여 LTN을 식별하고, 전체 base model 대신 LTN parameter만 통신한다 [14].Client의 local mask는 Lottery Ticket 가설을 통해 선택된 subnetwork를 나타낸다.
- Training algorithm: Server는 FedAvg를 통해 client LTN만 aggregation하고 해당 parameter를 update하며, complete model은 aggregation하지 않는다.이는 standard FedAvg와의 핵심적인 차이이며, 통신되는 model component를 학습된 subnetwork로 줄인다.
- Training algorithm: 각 communication round에서 server는 참여 client를 무작위로 sampling하고, client는 local training data를 사용해 local masked model을 학습한다.Client data는 training, validation, test set으로 분할되며, local optimization은 E epoch 동안 mini-batch training을 사용한다.
- Training algorithm: rtarget에 도달하기 전에 validation accuracy가 accthreshold를 초과하면, client는 rp의 비율로 작은 weight를 pruning하여 다음 round의 mask를 학습한다.생성된 mask에는 데이터 의존적 feature가 반영되며, 이후 LTN weight는 initial model θ0에서 대응하는 값으로 re-initialize된다.
- Training algorithm: 사전에 정의된 communication round가 끝나면 각 client는 personalized model θk를 유지한다.Pruning, local training, LTN aggregation 과정은 지정된 round 수에 도달할 때까지 반복된다.
4 Non-IID 데이터셋
이 절에서는 feature, label, quantity skew를 모델링해 MNIST, CIFAR-10, EMNIST에서 실제적인 non-IID 데이터셋을 구성하고, 클라이언트 간 이질성을 정량화하기 위해 Client-Wise Non-IID Index (CNI)를 도입한다.
- 데이터셋 구성: 데이터셋은 세 가지 주요 non-IID 효과인 feature distribution skew, label distribution skew, quantity skew를 모델링한다.Feature skew는 동일한 label에 대해 클라이언트마다 서로 다른 feature를 제공하고, label skew는 클라이언트별 label별 데이터 양을 변화시키며, quantity skew는 한 클라이언트 내 label 수를 불균형하게 만든다.
- 데이터셋 구성: 두 가지 MNIST 및 CIFAR-10 구성은 클라이언트의 로컬 데이터가 부족하도록 한다. n-class balanced는 feature skew를 나타내고, n-class unbalanced는 feature skew와 quantity skew를 결합한다.두 구성 모두에서 class 선택은 클라이언트마다 달라질 수 있으며, test data는 각 클라이언트의 training distribution을 따른다.
- 데이터셋 구성: EMNIST는 By_Author writer attribute를 기준으로 손글씨 letter와 digit를 그룹화하고 각 클라이언트에 특정 writer의 image를 할당해 non-IID 데이터셋으로 변환된다.MNIST와 공유하는 image 구조 덕분에 원래 image format을 유지하면서도 더 어려운 classification task를 나타낸다.
- Client-Wise Non-IID Index: CNI는 기존 Non-IID Index (NI) [20]와 달리 데이터셋별로 학습된 feature extractor와 classifier 없이 클라이언트 간 non-IID 심각도를 정량화한다.정규화된 feature-space 통계와 ℓ2-norm을 사용해 한 클라이언트의 평균 class representation과 다른 클라이언트의 대응 representation 사이 거리를 측정한다.
- Client-Wise Non-IID Index: 이 절에서는 Table 1의 서로 다른 설정에서 구성된 non-IID 데이터셋의 CNI 값을 보고한다.제공된 본문은 표의 범위만 식별하며 각 셀의 값은 제시하지 않는다.
5 평가
LotteryFL은 클라이언트 개인화와 통신 비용을 평가하기 위해 구성한 non-IID MNIST, CIFAR-10, EMNIST 데이터셋에서 평가된다. 테스트한 클라이언트 참여 및 데이터 규모 설정 전반에서 가장 낮은 통신 비용으로 최상의 개인화를 달성하며, pruning은 개인화된 파라미터의 비율을 높인다.
- 평가 설정: 평가에서는 개인화를 위해 클라이언트 테스트 정확도의 평균을, 통신 비용을 위해 클라이언트와 서버 간에 전송된 데이터 볼륨을 사용한다.실험에서는 2-class balanced 및 2-class unbalanced 설정을 사용해 MNIST와 CIFAR-10에서 non-IID 데이터셋을 구성하고, 보고된 클라이언트 참여 실험에는 EMNIST를 포함한다.
- 라운드당 참여 클라이언트 수의 영향: LotteryFL은 라운드당 참여 클라이언트 수가 달라지는 MNIST, CIFAR-10, EMNIST 전반에서 최상의 개인화와 가장 낮은 통신 비용을 달성한다.비교 결과는 2-class balanced 설정에서 Table 2에 보고된다.
- 균형률의 영향: LotteryFL은 서로 다른 균형률에서 개인화와 통신 효율을 함께 크게 향상한다.실험에서는 각 클라이언트의 한 클래스에 대해 최대 20개의 샘플을 사용하고, 결과를 Table 4에 보고한다.
- 개인화된 파라미터 분석: target pruning rate를 높이면 공통으로 공유되는 파라미터를 제거하면서 로컬 데이터의 특징을 유지하므로 각 레이어에서 개인화된 파라미터의 비율이 높아진다.개인화된 파라미터는 10% 미만의 클라이언트와 공유되는 파라미터로 정의하며, 그 분포는 Figure 2에 시각화한다.
6 결론
LotteryFL은 Lottery Ticket hypothesis에서 영감을 받은 non-IID 환경을 위한 personalized·communication-efficient federated learning framework로 제시된다. 또한 non-IID federated learning을 위한 dataset을 제공하고, client 간 distribution heterogeneity를 정량화하는 CNI를 도입한다.
- LotteryFL은 Lottery Ticket hypothesis에서 영감을 받은 non-IID 환경을 위한 personalized·communication-efficient federated learning framework로 설계된다.
- 저자들은 더 challenging한 환경에서 robust federated learning 연구를 촉진하기 위해 non-IID 환경의 federated learning을 지원하는 dataset을 구축하고 공개한다.
- CNI는 client 간 non-IID data distribution의 정도를 정량적으로 평가하기 위한 최초의 metric으로 도입된다.
광범위한 영향
Federated learning은 환자 데이터를 현지에 유지함으로써 병원과 같은 기관 간 개인정보 보호가 중요한 협업을 지원할 수 있지만, 선행 연구는 비공개 학습 데이터가 여전히 복구될 수 있음을 보여준다 [24].
- 광범위한 영향: 개인정보 보호 규정이나 윤리적 제약으로 환자 데이터를 현지에 유지해야 하는 경우, 병원과 기타 기관은 federated learning 클라이언트로 참여할 수 있다.병원은 지능형 헬스케어를 위해 상당한 양의 환자 데이터를 보유하므로 사례로 제시된다.
- 광범위한 영향: Federated learning은 참여 기관이 각 기관이 현지에 보유한 데이터를 공유하지 않고도 협력 학습을 수행할 수 있게 한다.이 대목은 FL을 개인정보 보호 제약이 있는 응용 분야의 유망한 해법으로 규정한다.
- 광범위한 영향: 그러나 선행 연구는 federated learning 환경에서 비공개 학습 데이터를 실제로 복구할 수 있음을 보여준다 [24].이 한계는 민감한 기관 데이터를 FL에 적용할 때의 개인정보 보호 이점을 제한한다.