PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

Adaptive Personalized Federated Learning

Yuyang Deng, Mohammad Mahdi Kamani, Mehrdad Mahdavi

arXiv:2003.13461v3cs.LGcs.DCstat.ML

TL;DR

글로벌 모델 성능에 초점을 둔 연합학습은 특히 클라이언트 데이터가 이질적일 때 로컬 개인화를 제한할 수 있다. APFL은 로컬 모델과 글로벌 모델을 혼합하고 클라이언트별 혼합 가중치를 조정한다. 논문은 일반화 및 수렴 분석을 제시하고, 제안 방식의 타당성을 뒷받침하는 실험 결과를 보고한다.

  • 문제

    클라이언트별 데이터 분포가 이질적이면 단일 글로벌 모델이 개별 클라이언트 데이터에 잘 일반화되지 않아 로컬 개인화가 제한될 수 있다.

    출처: §1 · p. 2, §3.1 · p. 4

  • 방법

    APFL은 로컬 모델과 클라이언트별 모델을 적응적으로 혼합해 글로벌 모델을 공동 학습한다.

    출처: §4 · p. 7, §8 · p. 20

  • 결과

    논문은 이론적 발견을 뒷받침하는 실험 결과를 보고하며, 로컬 ERM 모델의 위험도가 개인화 모델보다 엄밀히 더 클 수 있다고 밝힌다.

    출처: §7 · p. 18, §8 · p. 20

  • 시사점 및 한계

    분석에 따르면 데이터 분포의 다양성과 기기별 표본 수가 개인화 모델의 일반화에 영향을 주는 핵심 요인이다.

    출처: §8 · p. 20

    비볼록 설정의 수렴 분석은 K = n을 가정하며, 이 가정을 완화하는 문제는 여전히 미해결 과제로 남아 있다.

    출처: §5.2 · p. 12

Abstract

from arXiv · show

Investigation of the degree of personalization in federated learning algorithms has shown that only maximizing the performance of the global model will confine the capacity of the local models to personalize. In this paper, we advocate an adaptive personalized federated learning (APFL) algorithm, where each client will train their local models while contributing to the global model. We derive the generalization bound of mixture of local and global models, and find the optimal mixing parameter. We also propose a communication-efficient optimization method to collaboratively learn the personalized models and analyze its convergence in both smooth strongly convex and nonconvex settings. The extensive experiments demonstrate the effectiveness of our personalization schema, as well as the correctness of established generalization theories.

1 서론

클라이언트 데이터의 이질성이 커지면 연합 글로벌 모델은 개별 클라이언트에 잘 일반화되지 않을 수 있다. APFL은 클라이언트별 혼합 가중치로 로컬 모델과 글로벌 모델을 결합하고, 이 접근법에 대한 이론과 실험을 제시한다.

1 서론

  • 클라이언트 데이터의 다양성이 커질수록 FedAvg와 SCAFFOLD 글로벌 모델은 로컬 데이터에 잘 일반화되지 않지만, 제안된 개인화 모델은 영향을 덜 받는다.Figure 1은 로지스틱 회귀를 사용해 MNIST에서 일반화 손실과 학습 손실을 비교한다.출처: §1 · p. 1, Figure 1 · p. 2
  • APFL은 최적의 로컬 모델과 글로벌 모델을 클라이언트별 적응형 가중치로 혼합하고, 혼합 모델의 일반화와 통신 효율적인 최적화를 분석한다.분석은 일반화와 혼합 매개변수, 분포 차이, 로컬 및 글로벌 학습 데이터 간의 관계를 다룬다.출처: §1 · p. 2
  • 논문은 개인화 접근법과 일반화 이론을 뒷받침하는 실험을 보고하며, 글로벌 및 로컬화된 연합 학습 모델과 비교한다.서론에서는 실험을 통해 해당 모델들보다 접근법의 우수성을 입증한다고 밝힌다.출처: §1 · p. 2

2 관련 연구

기존 연합 개인화 연구는 미세조정, 다중 작업 학습, 문맥화, 정규화, 모델 보간을 다룬다. 이 논문은 보간 방법의 맥락에서 접근법을 제시하고, 데이터 분포에 맞춰 각 클라이언트의 개인화 정도를 조정하는 데 주목한다.

로컬 미세조정

  • 로컬 미세조정은 클라이언트 데이터를 사용해 전달받은 글로벌 모델을 적응시키지만, 인용된 논의는 최적화 오차를 줄이는 것과 개인화 모델의 일반화를 달성하는 것을 구분한다.그 밖에 MAML 방식의 업데이트와 개인화 계층만 변경하는 변형도 소개된다.출처: §2 · p. 3

다중 작업 학습, 문맥화, 정규화

  • 다른 개인화 접근법으로는 다중 작업 학습과 클라이언트 군집화, 문맥 의존 모델, 로컬 모델과 글로벌 모델 간 차이를 정규화하는 방법이 있다.인용된 정규화 연구에는 모델 예측값에 적용하는 방법도 포함된다.출처: §2 · pp. 3–4

모델 보간을 통한 개인화

  • Mansour et al. (2020)은 일반화 보장을 갖춘 모델 보간을 제안하지만, 이 논문은 그들의 경계가 모델 혼합의 이점을 보여주지 못한다고 설명한다.이 논문은 자신의 분석에서 경계가 혼합 계수, 데이터 다양성, 최적의 로컬 및 글로벌 모델에 따라 달라진다고 밝힌다.출처: §2 · p. 4
  • 이 논문은 개인화 정도가 클라이언트 데이터 분포에 따라 달라진다고 보고, 각 클라이언트에 맞춰 그 정도를 적응적으로 조정하는 방법을 제안한다.비-IID 데이터에서는 개인화가 공유 지식과 로컬 지식의 균형을 맞추는 데 도움이 될 수 있지만, IID 데이터에서는 이점이 없다고 설명한다.출처: §2 · p. 4

3 개인화 연합 학습

이 절에서는 클라이언트 전체에 걸쳐 학습한 글로벌 모델과 클라이언트별 학습을 결합해 개인화 연합 학습을 정식화한다. 데이터 이질성과 표본 수를 반영하는 일반화 경계와 최적 혼합 규칙을 제시한다.

3 개인화 연합 학습

  • 글로벌 모델은 클라이언트 데이터 분포들의 평균에 대해 경험적 위험을 최소화하지만, 각 클라이언트는 고유한 분포와 로컬 위험을 가진다.평균 분포는 클라이언트 분포들의 평균으로 정의된다.출처: §3 · p. 4

3.1 개인화 모델

  • 클라이언트 분포들이 이질적이면 글로벌 모델이 각 클라이언트에서 잘 일반화되지 않을 수 있으며, 개인화 모델은 적응적 가중치로 글로벌 모델과 로컬 모델을 혼합한다.이 혼합은 분포 이질성으로 인한 악영향을 제한하면서 공유 정보를 활용하는 것을 목표로 한다.출처: §3.1 · pp. 4–5
  • 혼합된 개인화 모델이 해당 클라이언트의 경험적 위험을 최소화할 필요는 없으며, 그 클라이언트의 데이터에서 잔여 학습 위험이 남을 수 있다.글로벌 모델을 부분적으로 반영하면서 로컬 모델을 최적화한다.출처: §3.1 · p. 5

3.2 일반화 보장

  • 일반화 경계는 글로벌 및 로컬 표본 수와 클라이언트 분포 및 평균 분포 간의 발산에 따라 달라진다.발산이 크면 글로벌 모델이 로컬 일반화에 악영향을 줄 수 있고, 로컬 표본이 적으면 로컬 모델의 일반화 성능이 낮을 수 있다고 설명한다.출처: §3.2 · pp. 5–6
  • 최적 혼합 매개변수는 [0, 1]에 있으며, 분포 간 발산이 클수록 로컬 모델에 더 큰 비중을 두고, 로컬 표본이 부족할수록 글로벌 모델의 기여를 더 선호한다.로컬 표본이 많아지면 최적 선택이 로컬 모델 쪽으로 이동한다고 설명한다.출처: §3.2 · p. 6
  • 인용된 Mansour et al. (2020)의 경계와 달리, 본 논문의 경계는 α_i에 의존하며 분석에서 모델 혼합의 효과를 드러낸다.논문은 이러한 의존성이 개인화 방식의 장점을 보여준다고 설명한다.출처: §3.2 · p. 6

4 최적화 방법

최적화 방법은 공유 모델과 클라이언트별 모델을 함께 학습한다. Local Descent APFL은 클라이언트 측 업데이트와 서버 집계를 번갈아 수행하며, 최적화 과정에서 클라이언트가 혼합 가중치를 조정한다.

4 최적화 방법

  • 이 방법은 글로벌 모델과 개인화 모델을 함께 학습하며, 각 클라이언트는 분포 정렬 정도에 따라 혼합 계수로 로컬 학습과 공유 모델의 비중을 조절한다.이 절에서는 두 목적을 동시에 최적화하기 위한 로컬 하강 접근법을 제안한다.출처: §4 · pp. 6–7

4.1 Local Descent APFL

  • Local Descent APFL에서는 선택된 클라이언트가 글로벌 모델, 로컬 모델, 혼합 모델을 유지하고, τ회의 로컬 업데이트를 수행한 뒤 서버 평균화를 위해 글로벌 모델 버전을 전송한다.다음 라운드에서 서버는 집계된 모델을 다른 선택 클라이언트 집합에 브로드캐스트한다.출처: §4.1 · p. 7

4.2 적응형 α 업데이트

  • 이론적 최적값 계산에 필요한 분포 거리를 보통 알 수 없으므로, 클라이언트는 로컬 목적 함수에 대한 경사 하강법으로 α_i를 경험적으로 조정한다.업데이트는 모델 차이와 개인화 모델에서의 기울기 사이의 관계를 바탕으로 한다. 개인화 모델과 글로벌 모델이 가까우면 α의 변화는 작다.출처: §4.2 · pp. 7–8

5 수렴 분석

고정된 α에 대해, 이 절에서는 gradient diversity를 사용하고 강한 볼록 손실의 경우에는 local–global 최적성 격차도 함께 사용해 이질성을 특성화하면서, 매끄러운 강한 볼록 손실과 비볼록 손실에서 Local Descent APFL을 분석한다. 잔차 오차와 통신에 관한 조건을 포함해 전역 모델과 개인화 모델의 수렴 보장을 제시한다.

5.1 강한 볼록 손실

  • τ = T/K일 때 강한 볼록 수렴률은 O(1/KT)를 회복하며, 주기적 평균화를 적용하는 local SGD의 수렴률과 일치한다.얻어진 전역 모델의 수렴률은 FedAvg의 수렴률과 일치한다.출처: §5.1 · p. 10
  • 매끄러운 강한 볼록성 가정하에서 Theorem 3은 α_i의 하한과 지정된 감소 학습률을 조건으로 모든 클라이언트의 개인화 모델 수렴을 확립한다.정리에서는 반복값에 적용할 평균화 방식도 지정한다.출처: §5.1 · p. 10
  • 강한 볼록 문제의 잔차 오차는 gradient diversity와 local–global 최적성 격차에 따라 달라지며, 두 값은 1 − α_i를 곱해 반영된다.이 양들은 로컬 함수 간 이질성과 로컬 최적해와 전역 최적해 사이의 격차를 특성화한다.출처: §5 · p. 9, §5.1 · p. 11
  • Theorem 4는 α_i의 하한 조건을 없애지만, 잔차 오차에는 더 정밀한 ζ_i 및 Δ_i 값 대신 G를 사용한다.유계 기울기 가정에서는 유계 영역의 매개변수가 필요하며, 이를 projection으로 구현한다.출처: §5.1 · p. 11

5.2 비볼록 손실

  • 비볼록 손실에서는 τ = n^-1/4 T^1/4일 때 n^3/4T^3/4 통신 라운드를 얻지만, 수렴률 향상은 일부 항에만 적용되며 K = n을 가정한다.K = n 가정을 완화하고 더 폭넓은 속도 향상을 얻는 일은 여전히 미해결 문제다.출처: §5.2 · p. 12

6 실험

실험을 통해 APFL의 훈련 데이터 최적화와 로컬 검증 데이터 일반화 성능을 평가하고, 개인화 모델이 클라이언트의 검증 성능을 높이는지 살펴본다.

6.1 실험 설정

  • 다양한 클라이언트 이질성을 반영한 MNIST, CIFAR10, EMNIST, 합성 데이터셋에서 logistic regression, CNN, MLP 모델을 사용한다.MNIST와 CIFAR10에는 수동으로 분할한 non-IID 데이터가 포함되며, EMNIST는 자연적 이질성을 나타낸다.출처: §6 · p. 13, §6.1 · pp. 13–14

6.2 실험 결과

  • 온라인 클라이언트에 걸쳐 지역화 모델과 개인화 모델의 성능을 평균하여 훈련 데이터 최적화와 로컬 검증 데이터 일반화 성능을 보고한다.EMNIST의 1,000개를 제외한 실험에서는 클라이언트 100개를 사용하며, 별도 표기가 없는 한 지역화 모델은 τ = 10회의 로컬 SGD 단계를 수행한다.출처: §6.2 · p. 14

강볼록 손실

  • non-IID MNIST에서는 α = 0.25일 때 일반화 성능이 가장 좋다. 데이터가 IID에 가까워질수록 개인화 효과는 줄어들고, 전역 FedAvg 또는 SCAFFOLD의 일반화 성능이 더 좋아진다.α가 커지면 훈련 손실은 낮아지는 반면, 전역 모델의 로컬 훈련 손실은 더 높다.출처: Strongly convex loss · pp. 14–15, Figure 2 · p. 15
  • 샘플링 비율 0.3, 0.5, 0.7 모두에서 APFL은 지역화 FedAvg보다 훈련과 일반화 성능이 우수하며, α가 클수록 샘플링의 부정적 영향을 줄일 수 있다.샘플링 비율이 낮으면 FedAvg의 훈련 및 일반화 성능이 저하된다.출처: Strongly convex loss · p. 15, Figure 3 · p. 16

adaptive α 업데이트

  • 다양성 수준이 서로 다른 합성 데이터셋에서 adaptive α를 사용한 APFL의 일반화 성능은 거의 동일하지만, FedAvg에서는 큰 성능 차이가 나타난다.동일한 데이터셋에서 APFL은 훈련 성능도 FedAvg보다 우수하다.출처: Adaptive α update · pp. 15–16, Figure 4 · p. 16

비볼록 손실

  • CNN을 사용한 CIFAR10에서 통신 라운드 100회 후, APFL의 개인화 모델은 최적화와 일반화에서 지역화 및 전역 FedAvg, SCAFFOLD 모델보다 우수했다. adaptive α는 훈련 손실이 가장 낮았고, α = 0.25는 일반화 성능이 가장 좋았다.출처: Table 1 · p. 17, Nonconvex loss · p. 17
  • 자연적 이질성이 있는 EMNIST에서 adaptive α를 사용한 APFL은 지역화 FedAvg와 같은 훈련 손실을 보이고, 더 높은 검증 성능을 달성한다.실험에는 MLP와 클라이언트 1,000개를 사용한다.출처: Nonconvex loss · p. 17, Figure 5 · p. 17
  • 라운드 100회: MNIST MLP 비교에서 APFL 모델은 훈련 손실과 일반화 정확도 면에서 FedAvg, perFedAvg, pFedMe보다 우수하다.APFL 모델 중 α = 0.75는 훈련 손실이 가장 낮고, adaptive α는 검증 정확도가 가장 높다.출처: Table 2 · p. 18, Nonconvex loss · p. 18

7 논의 및 확장

논의에서는 개인화를 로컬 모델과 글로벌 모델 간 분포 및 최적화 차이와 연결한다. 또한 혼합이 도움이 되는 조건, 새로 참여한 클라이언트에 대한 적응, 더 까다로운 비의존적 확장을 살펴본다.

학습 보장과 수렴의 연관성

  • 일반화 분석은 경험적 손실의 수렴 속도에서 분포 발산과 gradient 다양성을 연결하며, 로컬 및 글로벌 최적해 간 발산도 함께 다룬다.경계식에는 가설 클래스와 데이터 분포에 관련된 항이 포함된다.출처: §7 · p. 18

APFL이 “적응형”인 이유

  • APFL의 적응형 혼합은 로컬 분포의 변화를 반영한다. 변화가 크면 글로벌 모델이 로컬 일반화에 기여하는 정도가 줄어들므로 α를 늘려야 한다.α의 갱신은 로컬 gradient와 로컬 모델 및 글로벌 모델 간 편차의 상관관계에 따라 달라지며, 실험에서는 고정된 α보다 나은 성능을 보인다.출처: §7 · p. 18

로컬 ERM 모델과의 비교

  • 개인화 모델은 로컬 ERM보다 위험도가 낮을 수 있으며, 논의에서는 혼합이 로컬 모델에 이점을 줄 조건을 제시한다.인용된 논의에 따르면 이점을 얻으려면 로컬 표본 수가 충분히 많고, 발산과 글로벌 모델의 일반화 오차가 작아야 한다.출처: §7 · pp. 18–19

새 참여 노드의 개인화

  • 97개 클라이언트와 함께 100회의 통신 라운드가 지난 뒤 참여한 세 클라이언트의 경우, APFL 개인화는 학습 손실과 검증 정확도에서 FedAvg 미세 조정보다 우수하며, 다양성을 높여도 마찬가지다.비교는 합성 데이터에서 다섯 에포크 동안 업데이트하는 방식으로 이루어졌다. 그림 설명에서는 다양성이 커질수록 개인화가 더 어려워진다고 보고한다.출처: §7 · pp. 19–20, Figure 6 · p. 20

비의존적 글로벌 모델

  • 비의존적 APFL은 향후 연구 과제로 남겨 둔다. 글로벌 경험적 위험을 다른 도메인에서 평가하고, 그에 따른 minimax 문제로 수렴 분석이 복잡해지기 때문이다.이 설정에서는 hαi에 대해 도출한 위험 상계가 성립하지 않는다.출처: §7 · p. 20

8 결론 및 향후 연구

이 논문은 APFL을 로컬 모델과 글로벌 모델의 혼합으로 제시하고, 일반화 분석과 통신량을 줄인 최적화 방법, 실험을 통해 이 접근법을 뒷받침한다.

8 결론 및 향후 연구

  • APFL은 로컬 모델과 글로벌 모델의 혼합으로 각 개인화 모델을 학습한다.일반화 보장을 제시하며, 핵심 요인에는 클라이언트 분포의 다양성과 기기별 표본 수가 포함된다.출처: §8 · p. 20
  • 제안한 통신량을 줄인 최적화 방법을 매끄러운 강볼록 및 비볼록 함수에 대해 분석한다.출처: §8 · p. 20
  • 연합 학습 환경에서 수행한 실험은 이론적 결과를 실증적으로 뒷받침한다.출처: §8 · p. 20

A 일반화 경계 증명

혼합 모델의 클라이언트 분포상 위험을 분해하고 초과 위험을 제어해 상계한다. 혼합 과정의 drift 상계 방식에 공백이 있음을 지적한 뒤, 클라이언트 표본추출을 포함한 수렴 분석으로 넘어간다.

A 일반화 경계 증명

  • 혼합 모델 위험 증명은 볼록성을 이용해 로컬 위험을 성분별로 분해한 다음, 균일 VC-dimension 오차 경계와 유계 손실 가정으로 각 성분을 상계한다.분류에는 제곱 hinge loss, 회귀에는 MSE를 고려한다. 데이터와 가설 매개변수가 유계이면 손실도 유계일 수 있다.출처: A Proof of Generalization Bound · pp. 24–26
  • 증명은 가설 용량을 통해 혼합 모델과 로컬 경험적 위험 최소화 해 간의 drift를 특성화하지만, 더 엄밀한 drift 경계는 향후 과제로 남긴다.λH(S)는 H에 속하는 가설 쌍 사이에서 S에 대한 경험적 손실 차이를 정량화한다.출처: A Proof of Generalization Bound · p. 24

B 수렴 증명

  • 수렴 증명은 먼저 전체 클라이언트 참여를 다룬 뒤, K개 클라이언트의 균일 무작위 표본추출로 일반화하며 K에 따라 달라지는 분산을 도입한다.출처: B Proof of Convergence · p. 26

B.1 샘플링 없는 증명

부록에서는 클라이언트 샘플링 없이 수행하는 local descent APFL의 수렴 결과를 보인다. 이를 위해 gradient 간격과 local/global 모델 편차를 상계하는 보조정리를 사용한다. 이어 샘플링 크기에 따라 분산이 달라지는 경우로 증명 절차를 확장한다.

B.1 샘플링 없는 증명

  • 샘플링 없이 Assumptions 1–3과 명시된 혼합 가중치, 학습률, 평균화 설정을 바탕으로 local 및 global 모델의 수렴 정리를 제시한다.해당 부분은 정리의 조건을 제시하지만 완전한 수렴식은 제시하지 않는다.출처: §B.1 · p. 26

B.1.1 유용한 보조정리의 증명

  • 유용한 보조정리는 각 반복에서 local 및 global gradient 사이의 간격과 global 모델의 각 local 버전과 global 모델 사이의 편차를 상계한다.출처: §B.1.1 · p. 27

B.1.2 Theorem 8의 증명

B.1.3 Theorem 7의 증명

  • local 모델 수렴 증명에서는 여러 항을 상계하고, 편차 및 gradient 간격 보조정리를 적용한 뒤, 얻어진 부등식을 망원합으로 정리한다.출처: §B.1.3 · pp. 31–33

B.2 샘플링을 포함한 증명

  • 샘플링된 클라이언트에 대한 증명은 샘플링이 없는 증명과 같은 절차를 따르지만, 샘플링 크기 K에 따라 달라지는 분산을 추가한다.출처: §B.2 · p. 35

B.2.1 유용한 보조정리의 증명

부록에서는 그래디언트 불일치와 로컬 모델 편차의 상계를 증명한 뒤, 이를 수렴 증명에 활용한다. 부분 참여의 경우 지시변수로 클라이언트 업데이트를 모델링하고, 하이퍼파라미터 조정을 통해 추가 분산을 고려한다.

B.2.1 유용한 보조정리의 증명

  • Lemma 5는 Algorithm 1의 각 반복에서 로컬 및 글로벌 그래디언트 간 차이를 제한한다.제공된 대목에는 상계가 언급되어 있지만 그 식은 포함되어 있지 않다.출처: §B.2.1 · p. 36
  • Lemma 6은 각 반복에서 글로벌 모델의 각 로컬 버전과 글로벌 모델 간 편차를 제한한다.상계는 샘플링을 적용한 Algorithm 1에 대해 서술되어 있지만, 제공된 대목에는 그 식이 포함되어 있지 않다.출처: §B.2.1 · p. 36

B.2.2 정리 2의 증명

  • 각 클라이언트의 목적 함수가 Assumption 3-2를 만족한다고 가정한 뒤, 학습률 ηt = 16 µ(t+a)와 κ = L/µ를 사용해 Algorithm 1을 적용한다.출처: §B.2.1 · p. 37

B.2.3 정리 3의 증명

  • Theorem 3에서는 부분 참여 방식으로 무작위 균등 추출된 n개 디바이스 중 K개를 업데이트하며, 각 클라이언트의 선택 여부를 지시변수로 모델링한다.증명에서는 확률적 그래디언트가 불편 추정량임을 설명하지만, 추가 분산이 발생하며 이를 하이퍼파라미터 조정으로 다룬다고 언급한다.출처: §B.2.3 · p. 38

C αi 가정 없는 수렴 증명

이 부록 절에서는 Theorem 4의 증명을 소개한 뒤, 유용한 보조정리부터 시작해 비볼록 함수의 수렴 결과를 살펴본다.

C αi 가정 없는 수렴 증명

D 비볼록 손실 수렴 증명

D.1 기술 보조정리의 증명

기술 보조정리는 정리 5와 6의 증명을 뒷받침한다. 비볼록 수렴 증명은 이 보조정리들을 매끄러움 및 동기화 조건에서 도출한 경계와 결합한다.

D.1 기술 보조정리의 증명

  • 기술 보조정리는 업데이트 규칙과 매끄러움으로부터 경계를 도출하며, 일부 논증에서는 동기화 단계에 걸쳐 합산한다.증명에서는 기댓값과 망원합도 사용한다. 제공된 부분에는 보조정리의 전체 진술이 빠져 있다.출처: §D.1 · pp. 44, 46, 47, 48

D.2 정리 5의 증명

  • 인용된 증명에서는 보조정리 9에 따라 논증을 진행한 뒤, 보조정리 10을 대입하면 증명이 마무리된다고 한다.출처: §D.2 · p. 49

Related papers

Loading 2003.13461v3…