Learning generative models from a control perspective

Abstract

The main topic of this thesis is to bridge two important domains in machine learning: probabilistic generative models and control methods. Generative models are used for modeling distributions of various kinds of data and are of great importance in creative generation applications. Generative models can also be used for versatile probabilistic inference tasks, such as posterior solving or normalizing factor estimation, which are important in many scientific applications. The focus of this thesis is to study how control insights can guide us to design better generative modeling algorithms, for example, achieving a better trade-off between exploration and exploitation. We present a series of our works on this aspect. In the first work, we propose energy-based GFlowNet to jointly train a GFlowNet as well as an energy-based model for modeling discrete data. For continuous distributions, we investigate how to train a hierarchical variational model as a GFlowNet in a diffusion-like way. Lastly, we extend our approach to graph combinatorial optimization problems to sample high-quality solutions. Together, these contributions advance sample quality and steerability of generative models through new training objectives and inference techniques. Last but not least, we outline ongoing and future work from both the algorithmic perspective and the applicative angles in the last chapter. Le sujet principal de cette thèse est de relier deux domaines importants de l’apprentissage automatique : les modèles génératifs probabilistes et les méthodes de contrôle. Les modèles génératifs sont utilisés pour modéliser les distributions de divers types de données et sont d’une grande importance dans les applications de génération créative. Les modèles génératifs peuvent également être utilisés pour des tâches d’inférence probabiliste polyvalentes, telles que la résolution a posteriori ou l’estimation de facteurs de normalisation, qui sont importantes dans de nombreuses applications scientifiques. L’objectif de cette thèse est d’étudier comment les connaissances en matière de contrôle peuvent nous aider à concevoir de meilleurs algorithmes de modélisation générative, par exemple en réalisant un meilleur compromis entre l’exploration et l’exploitation. Nous présentons une série de travaux sur cet aspect. Dans le premier travail, nous proposons un GFlowNet basé sur l’énergie pour former conjointement un GFlowNet ainsi qu’un modèle basé sur l’énergie pour modéliser des données discrètes. Pour les distributions continues, nous étudions comment former un modèle variationnel hiérarchique en tant que GFlowNet d’une manière similaire à la diffusion. Enfin, nous étendons notre approche aux problèmes d’optimisation combinatoire de graphes afin d’échantillonner des solutions de haute qualité. Ensemble, ces contributions font progresser la qualité de l’échantillon et la pilotabilité des modèles génératifs grâce à de nouveaux objectifs d’apprentissage et de nouvelles techniques d’inférence. Enfin, dans le dernier chapitre, nous décrivons les travaux en cours et à venir, tant du point de vue algorithmique que du point de vue applicatif.