Efficient communication in federated learning
Aissa Hadj Mohamed · 2024
ResumoAprendizado Federado (FL) é um paradigma de aprendizado de máquina distribuído no qual vários clientes treinam colaborativamente um modelo global compartilhado sem compartilhar seus dados locais.As atualizações do modelo compartilhado ocorrem no servidor central uma vez que ele recebe os gradientes locais dos dispositivos dos clientes em cada rodada de treinamento.A comunicação entre o cliente e o servidor central cria desafios significativos.Primeiro, o compartilhamento frequente de gradientes locais pode levar a gargalos de comunicação.Os dados locais coletados em dispositivos clientes são frequentemente heterogêneos.Eles não são distribuídos independentemente e identicamente.Nesse caso, numerosas soluções propostas na literatura falham em treinar um modelo até a convergência.A confiabilidade do ambiente de rede pode tornar as comunicações impossíveis e impedir que alguns clientes participem de todas as rodadas de comunicação.Diversas soluções existentes abordam apenas um aspecto dos diversos desafios de comunicação.Por exemplo, algumas reduzem o número de trocas entre clientes e o servidor central, enquanto outras comprimem os gradientes enviados pelos clientes.Entendemos que uma solução de treinamento nesse contexto deve abordar simultaneamente todas as questões de comunicação para ser mais eficaz.Esta dissertação propõe três soluções para enfrentar esses desafios de FL: (1) Seleção Compactada de Clientes (CCS), que reduz as rodadas de comunicação selecionando estrategicamente um subconjunto de clientes e comprime o tamanho dos gradientes locais transmitidos dos clientes para o servidor central, (2) o Clustered Client Selection Framework (CCSF), que refina o processo de seleção de clientes agrupando clientes em clusters homogêneos, (3) e o framework Federated Clustered Client Selection and Knowledge Distillation (FedCCSKD), que combina seleção de clientes com destilação de conhecimento para abordar a heterogeneidade de dados e aprimorar o processo de aprendizado do modelo compartilhado durante o treinamento FL.Combinando essas abordagens, nossa investigação contribui para minimizar os custos totais de comunicação do treinamento de um modelo global compartilhado até a convergência.