Learning optimizers for communication-efficient distributed learning

Abstract

Ce mémoire propose d'utiliser des optimiseurs appris, soit une approche tirée du méta-apprentissage, pour améliorer l'optimisation distribuée. Nous présentons deux architectures d'optimiseurs appris et nous montrons qu'elles sont plus performantes que les référentiels de l'état de l'art tout en généralisant aux ensembles de données et aux architectures inconnues. Nous établissons ainsi l'optimisation apprise comme une direction prometteuse pour l'apprentissage distribué efficace en termes de communication. Nous explorons également l'application des optimiseurs appris à l'apprentissage fédéré, une technique visant à la vie privée où les données restent sur les appareils individuels. Nos résultats démontrent que les optimiseurs appris obtiennent de bonnes performances dans des contextes d'apprentissage fédéré, entre autres avec une distribution hétérogène des données entre les clients. Enfin, ce mémoire étudie la combinaison des optimiseurs appris avec la parcimonification des gradients, une technique qui réduit la communication en ne transmettant qu'un sous-ensemble de gradients. Nos résultats montrent que les optimiseurs appris peuvent effectivement tirer parti de la parcimonie pour améliorer l'efficacité de la communication. Dans l'ensemble, ce mémoire démontre l'efficacité des optimiseurs appris pour l'apprentissage distribué efficace en termes de communication. Nous ouvrons également la voie à une exploration plus poussée de la combinaison des optimiseurs appris avec d'autres techniques visant l'efficacité en termes de communication.

This thesis proposes the use of learned optimizers, a meta-learning approach, to improve distributed optimization. We present two learned optimizer architectures and show that they outperform state-of-the-art baselines while generalizing to unknown datasets and architectures. We thus establish learned optimization as a promising direction for communication-efficient distributed learning. We also explore the application of learned optimizers to federated learning, a privacy-oriented setting where data remains on individual devices. Our results show that learned optimizers perform well in federated learning contexts, including for setups with heterogeneous data distribution among clients. Finally, this thesis investigates the combination of learned optimizers with gradient sparsification, a technique that reduces communication by transmitting only a subset of gradients. Our results show that learned optimizers can indeed take advantage of sparsification to improve communication efficiency. Overall, this thesis demonstrates the effectiveness of learned optimizers for communication-efficient distributed learning. We also pave the way for further exploration of learned optimizers combined with other techniques targeting communication efficiency.