Learning optimizers for communication-efficient distributed learning
Thèse ou mémoire / Thesis or Dissertation
Date de publication
Autrices et auteurs
Identifiant ORCID de l’auteur
Contributrices et contributeurs
Direction de recherche
Publié dans
Date de la Conférence
Lieu de la Conférence
Éditeur
Cycle d'études
Maîtrise / Master's
Programme
Affiliation
Mots-clés
- Optimisation apprise
- Apprentissage distribué efficace en termes de communication
- Apprentissage fédéré
- Méta-apprentissage
- Learned optimization
- Communication-efficient distributed learning
- Federated learning
- Meta-learning
Organisme subventionnaire
Résumé
Résumé
Ce mémoire propose d'utiliser des optimiseurs appris, soit une approche tirée du méta-apprentissage, pour améliorer l'optimisation distribuée. Nous présentons deux architectures d'optimiseurs appris et nous montrons qu'elles sont plus performantes que les référentiels de l'état de l'art tout en généralisant aux ensembles de données et aux architectures inconnues. Nous établissons ainsi l'optimisation apprise comme une direction prometteuse pour l'apprentissage distribué efficace en termes de communication. Nous explorons également l'application des optimiseurs appris à l'apprentissage fédéré, une technique visant à la vie privée où les données restent sur les appareils individuels. Nos résultats démontrent que les optimiseurs appris obtiennent de bonnes performances dans des contextes d'apprentissage fédéré, entre autres avec une distribution hétérogène des données entre les clients. Enfin, ce mémoire étudie la combinaison des optimiseurs appris avec la parcimonification des gradients, une technique qui réduit la communication en ne transmettant qu'un sous-ensemble de gradients. Nos résultats montrent que les optimiseurs appris peuvent effectivement tirer parti de la parcimonie pour améliorer l'efficacité de la communication. Dans l'ensemble, ce mémoire démontre l'efficacité des optimiseurs appris pour l'apprentissage distribué efficace en termes de communication. Nous ouvrons également la voie à une exploration plus poussée de la combinaison des optimiseurs appris avec d'autres techniques visant l'efficacité en termes de communication.
This thesis proposes the use of learned optimizers, a meta-learning approach, to improve distributed optimization. We present two learned optimizer architectures and show that they outperform state-of-the-art baselines while generalizing to unknown datasets and architectures. We thus establish learned optimization as a promising direction for communication-efficient distributed learning. We also explore the application of learned optimizers to federated learning, a privacy-oriented setting where data remains on individual devices. Our results show that learned optimizers perform well in federated learning contexts, including for setups with heterogeneous data distribution among clients. Finally, this thesis investigates the combination of learned optimizers with gradient sparsification, a technique that reduces communication by transmitting only a subset of gradients. Our results show that learned optimizers can indeed take advantage of sparsification to improve communication efficiency. Overall, this thesis demonstrates the effectiveness of learned optimizers for communication-efficient distributed learning. We also pave the way for further exploration of learned optimizers combined with other techniques targeting communication efficiency.
This thesis proposes the use of learned optimizers, a meta-learning approach, to improve distributed optimization. We present two learned optimizer architectures and show that they outperform state-of-the-art baselines while generalizing to unknown datasets and architectures. We thus establish learned optimization as a promising direction for communication-efficient distributed learning. We also explore the application of learned optimizers to federated learning, a privacy-oriented setting where data remains on individual devices. Our results show that learned optimizers perform well in federated learning contexts, including for setups with heterogeneous data distribution among clients. Finally, this thesis investigates the combination of learned optimizers with gradient sparsification, a technique that reduces communication by transmitting only a subset of gradients. Our results show that learned optimizers can indeed take advantage of sparsification to improve communication efficiency. Overall, this thesis demonstrates the effectiveness of learned optimizers for communication-efficient distributed learning. We also pave the way for further exploration of learned optimizers combined with other techniques targeting communication efficiency.
Table des matières
Notes
Notes
Autre version linguistique
Ensemble de données lié
Licence
Approbation
Évaluation
Complété par
Référencé par
Ce document diffusé sur Papyrus est la propriété exclusive des titulaires des droits d'auteur et est protégé par la Loi sur le droit d'auteur (L.R.C. (1985), ch. C-42). Sauf si le document est diffusé sous une licence Creative Commons, il ne peut être utilisé que dans le cadre d'une utilisation équitable et non commerciale comme le prévoit la Loi (i.e. à des fins d'étude privée ou de recherche, de critique ou de compte-rendu). Pour toute autre utilisation, une autorisation écrite des titulaires des droits d'auteur sera nécessaire.