Think Locally, Act Globally: Federated Learning with Local and Global Representations

• LG-FEDAVG在每台设备上联合学习紧凑的本地表示，并在各设备间学习全局模型。出处：§1 · pp. 1–2
• 分析表明，结合本地模型与全局模型可以降低数据中的方差以及设备分布间的方差。出处：§1 · p. 2

效率

• 更小的本地表示可以减少全局模型的参数量和通信更新量，同时在 MNIST、CIFAR 和 VQA 上保持性能。出处：§1 · p. 2

异构性

• 本地表示通过专用编码器处理新设备上的数据，从而更好地适应异构模态和数据分布。出处：§1 · p. 2

公平性

• 本地模型能够学习公平表示，隐去种族、年龄和性别等受保护属性。出处：§1 · p. 2

• 联邦学习旨在应对私有且异质的数据来源以及多个学习目标下的大规模训练。出处：§2 · p. 3
• LG-FEDAVG 在同一框架中结合了异质设备处理、降低通信复杂度和公平表征学习。出处：§2 · p. 3
• 既有研究通过稀疏化、高效梯度和更新压缩来提升通信效率；这些技术被认为与 LG-FEDAVG 互补。出处：§2 · p. 3

训练流程

• 训练期间，各设备更新本地模型和全局参数的本地副本，并将更新后的全局参数返回服务器聚合。出处：§3 · p. 4, §3.2 · p. 5

本地表示学习

• 每台设备学习低维表示，以捕捉预测特征，同时避免过拟合设备特有的数据分布。出处：§3.1 · p. 4
• 本地学习可以采用监督、无监督或自监督方式，也可以通过对抗训练学习公平表示。出处：§3.1 · p. 4

全局模型

• 全局模型基于各设备的表示进行预测，因此其规模可以显著小于直接处理原始输入的模型。出处：§3 · p. 3, §3.1 · p. 4

通信

• 仅全局模型训练涉及通信；若本地表示效果良好，全局模型便可保持较小规模。出处：§3.2 · p. 5

新设备测试

• 对于未见过的设备，可在一次性交换本地权重后，通过对本地模型的 logits 求平均来进行集成预测。出处：§3.3 · p. 5

假设

• 分析对共享全局特征和设备特有特征进行建模，其中设备间方差用 ρ^2 表示，目标噪声用 σ^2 表示。出处：§4 · pp. 5–6

基线分析

• 局部模型仅使用设备本地样本来控制数据方差，但不受设备间方差影响。出处：§4 · p. 7
• 全局模型以 d/(MN) 的速率降低数据方差，但当设备差异较大时会产生 O(ρ^2) 的设备间方差项。出处：§4 · p. 7

LG-FEDAVG 分析

• LG-FEDAVG 通过 α 在局部模型和全局模型之间插值，权衡二者各自的泛化误差。出处：§4 · p. 6, Analysis of LG-FEDAVG · p. 7
• 当 ρ^2 和 σ^2 均为正时，最优插值的泛化误差低于纯局部模型和纯全局模型。出处：Analysis of LG-FEDAVG · p. 7
• 设备间方差越大，越有利于局部模型；数据方差越大，越有利于全局模型。出处：Analysis of LG-FEDAVG · p. 7

与深度网络的联系

• 理论推导基于线性模型，而实验使用深度网络，并将 α 解释为局部层与全局层之间的划分比例。出处：Analysis of LG-FEDAVG · p. 7

验证理论分析

• 合成实验表明，在不同方差设置下，对本地模型和全局模型进行 α 插值，效果接近或优于任一极端方案。设备间方差较高时，本地模型更占优势；设备间方差较低时，全局模型更占优势。出处：§5.1 · p. 8
• 在高度非独立同分布的 CIFAR-10 划分上，LG-FEDAVG 的表现始终优于仅使用本地模型的方案和 FEDAVG；设备间方差越大，优势越明显。每台设备获得的样本至多来自 s∈{2, 3, 4, 5, 10} 个类别；s=2 表示设备间方差最高。出处：§5.1 · p. 8

模型性能与通信效率

• 在 CIFAR-10 新设备测试中，LG-FEDAVG 使用约占总参数量 50% 的参数，即可达到与 FEDAVG 相近的性能；参数量相同时，性能更好。在本地测试中，LG-FEDAVG 显著优于 FEDAVG，因为本地模型能更好地捕捉设备特定的数据分布。出处：Table 1 · p. 8, §5.2 · p. 9
• 在 VQA 上，LG-FEDAVG 达到 40% 的准确率，且通信成本低于 FEDAVG。评估采用本地 LSTM 和 ResNet-18 编码器，以及全局早期融合模型。出处：§5.2 · p. 9

在线设置中的异质数据

• 在旋转 MNIST 上，LG-FEDAVG 缓解了灾难性遗忘，无需微调即可在在线旋转 MNIST 上达到 93% 的性能，在常规 MNIST 上达到 97%。无需微调时，FEDAVG 在旋转 MNIST 上达到 92%，但在常规 MNIST 上仅为 32%。出处：§5.4 · p. 10, Table 3 · p. 10

学习公平表示

• LG-FEDAVG+Adv 使对手难以预测受保护属性：对手 AUC 约为 50%，而全局准确率仅下降约 4%。在拟合后，使用本地表示训练的分类器也会对受保护属性给出近似随机的预测。出处：§5.5 · p. 11

结论

• LG-FEDAVG 将本地表示学习与全局模型的联邦训练相结合。理论分析指出，本地模型与全局模型的集成能够同时降低数据方差和设备间方差。出处：§6 · p. 11
• 在真实世界数据集上，LG-FEDAVG 在保持良好性能的同时降低通信成本、学习个性化模型、处理异质数据，并混淆受保护属性。出处：§6 · p. 11

应用

• 经参与者许可，联邦学习可用于移动健康领域，包括监测移动数据以评估心理健康状况并进行早期干预。本文以及时预测急性自杀风险为例，说明其在心理健康领域的一项应用。出处：Broader Impacts · p. 12

风险与局限

• 联邦学习仍面临多种风险，包括知情同意问题、模型更新泄漏、外部攻击、数据不平衡以及社会偏见加剧。本文指出，仍需进一步量化安全、隐私、性能、偏见与公平性之间的权衡。出处：Broader Impacts · pp. 12–13

理论

• 理论分析将泛化误差分解为方差项和偏差项，其中方差来自本地和全局参数估计。该分析还区分了联邦学习中的数据方差与设备方差。出处：A Theoretical Analysis · p. 17
• 所提出的本地-全局集成模型在本地模型与全局模型之间进行插值，以同时降低数据方差和设备方差。模型的解释取决于本地与全局参数估计之间的平衡。出处：A Theoretical Analysis · pp. 17–19

本地模型

• 本地模型在每台设备上单独训练，仅使用本地数据。在插值分析中，将 α=1 设为本地基线。出处：§A.1 · p. 19
• 本地模型以 d/N 的速率控制数据方差，且不受设备方差影响。各设备的本地数据可能数量有限，数据质量和数量也各不相同。出处：§A.1 · p. 19

全局模型

• 全局模型利用所有设备的数据更新一个联合模型。在全局基线中，将 α=0。出处：§A.1 · p. 19
• 全局模型以 d/(MN) 的速率控制数据方差，但会额外产生 O(ρ^2) 的设备方差项。利用所有设备的数据可以改善数据方差的收敛速率，但单一全局模型可能无法适应差异很大的设备。出处：§A.1 · p. 19

A.2 LG-FEDAVG 分析

• LG-FEDAVG 定义了本地模型与全局模型之间的 α 插值，以权衡两者不同的泛化误差。插值参数 α 介于本地模型和全局模型这两个极端之间。出处：§A.2 · p. 19
• 插值模型的泛化误差由设备差异、本地与全局方差以及协方差项共同构成。方差项随本地模型和全局模型各自的贡献而变化。出处：§A.2 · pp. 19–20
• 当 σ^2 和 ρ^2 均非零时，最优模型的泛化误差低于本地或全局基线模型。这一比较由推论 1 给出。出处：§A.2 · p. 20
• 设备方差越大，越有利于采用本地模型；数据方差越大，越有利于采用全局模型。最优 α 随 ρ^2 增大而增大，随 σ^2 增大而减小。出处：§A.2 · p. 20

B.1 本地模型的公平训练

• 训练公平的本地表示，使其条件分布不受受保护属性影响。论文采用对抗训练，使表示在本地设备分布下独立于受保护属性。出处：§B.1 · pp. 20–21
• 对抗模型根据本地表示预测受保护属性，同时训练本地模型以对抗这一目标。本地模型、全局模型和对抗模型通过极小极大过程进行更新。出处：§B.1 · p. 21
• 在联邦学习场景中，将本地模型与全局模型分离，可以得到公平的中间表示。论文指出，这一扩展已从理论和实证两方面进行分析。出处：§B.1 · p. 21

表示学习方案

• LG-FEDAVG 还支持无监督、自监督和监督式的本地表示学习方案。辅助本地模型可以重构输入、预测辅助特征，或共享监督分类分支。出处：§B.1 · p. 21

优化框架

• 通过双重极小极大优化，联合训练本地模型、全局模型和对抗模型，以实现预测目标和对抗目标。对抗模型通过双重目标控制预测与受保护属性混淆之间的权衡。出处：§B.2 · pp. 21, 23
• 通过交替更新本地模型、全局模型和对抗模型的参数来求解极小极大问题，直至收敛。损失通过推断网络计算期望对数似然，并使用梯度下降进行优化。出处：§B.2 · p. 22

理论结果

• 在本地数据分布下，对抗训练使最优本地分类器对受保护属性保持不变。当极小极大下界达到有效状态时，受保护属性与本地表征相互独立，因此可得出这一结论。出处：§B.2 · pp. 22–23

推断路径

• Figure 3 展示了针对两个目标，如何在本地模型、全局模型副本和对抗模型中进行推断。全局模型的推断路径也使用本地表征和受保护属性，因此有必要对全局模型进行对抗训练。出处：§B.2 · p. 21, Figure 3 · p. 23

理论结果

• 在最优解处，本地表征既能最小化预测损失，也能最大化受保护属性的条件熵。将条件熵最大化至边缘熵意味着表征与受保护属性相互独立。出处：§B.2 · p. 23

合成数据

• 在数据方差固定为 σ=1.5 时，设备方差从 ρ=0.5 降至 ρ=0.02，实验覆盖了有利于本地模型或全局模型的不同情形。四种设置从本地模型接近最优到全局模型接近最优不等。出处：§C.1 · p. 24
• 当某个模型达到最优时，α 插值的本地与全局模型表现接近较优的一端；在中间情形下，表现可优于两端模型。Figure 4 展示了四种方差设置下的这一规律。出处：§C.1 · p. 24

图像基准

• LG-FEDAVG 在 MNIST 和 CIFAR 上保持性能，同时减少通信参数量。在不同设备划分下，该方法在本地测试集上的表现始终更好，在新测试集上的表现相近，通信参数量约为原来的 50%。出处：§C.2.1 · p. 25, §C.2.2 · p. 25

VQA

• LG-FEDAVG 的 VQA 准确率达到 41.30%，高于 FEDAVG 的 40.22%，且仅使用 9.53% 的参数。收敛曲线显示，LG-FEDAVG 在 20 轮后超过 FEDAVG，并持续提升。出处：Figure 5 · p. 26, §C.2.3 · p. 26

基线

• 用户数量或模型规模增大时，多任务学习基线会变得不可行，因为它需要存储一个包含本地参数的 p×M 矩阵。在 CIFAR-10 设置中，作者将 M 从 100 降至 10，以放宽这一限制。出处：§C.2.4 · p. 26

数据集

• MAPS 包含来自 14 名参与者的 572 个样本，并将其离散为五种情绪类别，用于评估联邦学习。该基准使用真实世界的移动数据，涉及隐私问题且设备间差异很大。出处：§C.3 · pp. 26–27

模型与评估

• 性能取 10 组随机 80/10/10 训练、验证和测试划分的平均值。每次迭代中，先根据验证集性能选择最佳模型，再报告测试准确率。出处：§C.3 · p. 27
• 该研究使用 Bi-LSTM 编码器和 MLP 分类器，评估基于移动文本的个性化情绪预测。Bi-LSTM 有 128 个隐藏单元，MLP 有两个大小为 512 的隐藏层。出处：§C.3 · p. 27

结果

• 在移动情绪任务中，本地模型与全局模型之间的 α 划分优于仅本地和仅全局两种极端方案。评估的划分为 α∈{0.2, 0.4, 0.6, 0.8}。出处：§C.3 · p. 27

未来扩展

• 现有的稀疏化、高效梯度、压缩、蒸馏和哈希方法可进一步减少 LG-FEDAVG 的通信开销。这些技术被描述为与本地—全局架构互补。出处：D Discussion and Future Work · p. 28
• 本地模型与全局模型的最佳划分方式，取决于测试数据来自已知设备还是未知设备。已知设备上的测试更适合采用准确度更高的本地模型；未知设备上的测试则需要准确度更高的全局模型。出处：D Discussion and Future Work · p. 28
• 未来工作可探索动态学习本地模型与全局模型各自包含多少层。针对不同的数据分布，不同设备可以使用动态学习得到的本地模型。出处：D Discussion and Future Work · p. 28

实证讨论

• MNIST 结果显示，与 FEDAVG 相比，LG-FEDAVG 的本地测试性能更高、新测试性能相近，而通信参数量约为其 50%。比较涵盖每台设备包含 2 到 10 个类别的非独立同分布划分。出处：Table 6 · p. 30