Adaptive heterogeneous federated learning
Wenke Huang, Mang Ye, Bo Du · Journal of Image and Graphics · 2024
目的模型异构联邦学习由于允许参与者在不损害隐私的情况下独立设计其独特模型而受到越来越多的关注。现有的方法通常依赖于公共共享的相关数据或全局模型进行通信，极大地限制了适用性。且每个参与者的私有数据通常以不同的分布收集，导致数据异构问题。为了同时处理模型异构和数据异构，本文提出了一种新颖的自适应异构联邦学习方法。方法给定一个随机生成的输入信号（例如，随机噪声），自适应异构联邦学习直接通过对齐输出逻辑层分布来实现异构模型之间的通信，实现协作知识共享。主要优势是在不依赖额外相关数据收集或共享模型设计的情况下解决了模型异构问题。为了进一步解决数据异构问题，本文提出了在模型和样本层面上进行自适应权重更新。因此，自适应异构联邦学习（adaptive heteogeneous federated learning，AHF）允许参与者通过模型输出在无关数据上的差异和强调“有意义”的样本来学习丰富多样的知识。结果通过在不同的联邦学习任务上使用随机噪声输入进行通信，进行了广泛的实验，显示出比竞争方法更高的域内精确度和更好的跨域泛化性能。结论本文方法提供了一个简单而有效的基准，为异构联邦学习的未来发展奠定基础。