Data-driven large neighbourhood search for combinatorial optimization problems

Abstract

Les problèmes d'Optimisation Combinatoire (OC) sont omniprésents dans les domaines où une allocation de ressources discrètes est requise. Ces problèmes ont des implications tangibles, car des solutions de haute qualité peuvent considérablement améliorer l'efficacité opérationnelle, réduire les coûts et augmenter la rentabilité des organisations. Typiquement formulés comme des Programmes Mixtes en Nombres Entiers (PMNE), ces problèmes présentent un défi computationnel même pour les solveurs les plus avancés (état de l'art). Cette thèse étudie le développement d'heuristiques efficaces, en particulier pour les instances de grande taille où les méthodes traditionnelles peinent à trouver des solutions de haute qualité dans des délais raisonnables. L'Apprentissage Automatique (AA) représente une voie prometteuse pour améliorer les heuristiques à usage général en apprenant des stratégies à partir des données. Cette thèse contient trois articles qui examinent l'intégration des techniques d'AA dans le cadre de la Recherche à Grand Voisinage (RGV) en mettant l'accent sur l'efficacité computationnelle. Le premier article démontre comment les données collectées tôt dans l'arbre de recherche peuvent aider à prédire des solutions de haute qualité pour les PMNE avec des ensembles ordonnés spéciaux de type 1. Ce type de contrainte est typiquement utilisé pour modéliser des affectations dans les problèmes d'OC. Le deuxième article se concentre sur le problème de conception de réseau multi-produits avec coûts fixes et capacité limitée et sur l'intégration de méthodes d'apprentissage dans l'heuristique qui représente l'état de l'art. Le troisième article combine les connaissances acquises des deux premiers pour développer une RGV améliorée par AA pour des PMNE génériques. En proposant des approches efficientes et accessibles, cette thèse pose les bases pour l'intégration pratique de l'AA en OC. Les méthodes présentées visent à équilibrer l'efficacité computationnelle avec la qualité des solutions, et elles offrent des perspectives pragmatiques sur la façon dont les techniques basées sur les données peuvent améliorer les stratégies d'optimisation traditionnelles. Ce travail contribue à l'effort continu pour résoudre plus efficacement des problèmes d'optimisation complexes et concrets, ce qui peut conduire à des améliorations significatives dans diverses industries et applications. Combinatorial Optimization (CO) problems are ubiquitous in domains where discrete resource allocation is required. These problems have significant real-world implications, as high-quality solutions can substantially enhance operational efficiency, reduce costs, and improve profitability for organizations. Typically formulated as Mixed-Integer Programs (MIPs), these problems remain computationally challenging even for state-of-the-art (SOA) solvers. This thesis studies the development of effective heuristics, particularly for large-scale instances where traditional methods struggle to find high-quality solutions within reasonable time constraints. Machine Learning (ML) presents a promising avenue for enhancing general-purpose heuristics by learning strategies from data. This thesis contains three articles that investigate the integration of ML techniques within the Large Neighbourhood Search (LNS) framework with a focus on computational efficiency. The first article demonstrates how data collected early in the search tree can help predict high-quality solutions for MIPs with special ordered sets of type 1. This type of constraint is typically used to model assignments in CO problems. The second article focuses on the multicommodity capacitated fixed-charge network design problem and the integration of learning methods within the SOA heuristic. The third paper combines the insights learned from the first two papers to develop a ML-enhanced LNS for generic MIPs. By proposing cost-effective and accessible approaches, this thesis lays a foundation for the practical integration of ML in CO. The methods presented aim to balance computational efficiency with solution quality and they offer pragmatic perspectives on how data-driven techniques can augment traditional optimization strategies. This work contributes to the ongoing effort to solve complex, real-world optimization problems more efficiently, which can lead to significant improvements in various industries and applications.