Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle - Thèses et mémoires

URI permanent de cette collectionhttps://hdl.handle.net/1866/3001

Cette collection présente les thèses et mémoires des étudiant.e.s du Département d'informatique et de recherche opérationnelle de l'Université de Montréal.

1990 - : Couverture exhaustive (quelques titres manquants)
avant 1990 : Période non couverte ou couverture partielle

Pour plus d'information sur le dépôt des thèses et mémoires consulter le site Thèses et mémoires des bibliothèques

Site web du Département d'informatique et de recherche opérationnelle

Parcourir

Voici les éléments 1 - 20 sur 1511

Accès libre
Étude des autocovariances et des autocorrélations échantillonnales de modèles saisonniers
Latour, Alain; Roy, Roch (1986-02)
L'ouvrage de Box et Jenkins (1976) a eu un Impact considérable dans l'application et le développement de techniques de séries chronologiques. L'approche temporelle qu'ils suggèrent pour l'étude d'une série est un processus Itératif comportant trois étapes. La première consiste à Identifier un modèle permettant de décrire la série et la seconde consiste à estimer les paramètres du modèle Identifié. À la troisième étape, on vérifie si les propriétés du modèle ajusté sont en accord avec les propriétés connues des observations. Si le modèle semble adéquat, on peut l'utiliser à des fins de prévision. Sinon, on doit reprendre le processus à la première étape. C'est à l'étape Identification que le statisticien analyse les autocovariances et les autocorrélations échantillonnales. Dans le cas des séries stationnaires, les propriétés de ces statistiques sont relativement bien connues. On peut les retrouver dans Anderson (1971), Fuller (1976) et Priestley (1983). Notons cependant que la majorité de ces résultats sont asymptotiques. Relativement aux séries non stationnaires, peu de résultats étaient connus au début de la seconde moitié des années soixante-dix. Notre travail se situe dans le cadre de l'étude des propriétés des statistiques usuelles calculées à partir de données non stationnaires. Les résultats relatifs aux autocovariances et aux autocorrélations échantillonnales sont présentés en deux volets. Dans l'un d'eux, nous considérons les statistiques calculées avec des données centrées, tandis que dans l'autre, les données ne sont pas centrées. Notre démarche se fait en cinq étapes correspondant aux différents chapitres de cette thèse.
Accès libre
Learning generative models from a control perspective
Zhang, Dinghuai; Bengio, Yoshua; Courville, Aaron (2025-05)
The main topic of this thesis is to bridge two important domains in machine learning: probabilistic generative models and control methods. Generative models are used for modeling distributions of various kinds of data and are of great importance in creative generation applications. Generative models can also be used for versatile probabilistic inference tasks, such as posterior solving or normalizing factor estimation, which are important in many scientific applications. The focus of this thesis is to study how control insights can guide us to design better generative modeling algorithms, for example, achieving a better trade-off between exploration and exploitation. We present a series of our works on this aspect. In the first work, we propose energy-based GFlowNet to jointly train a GFlowNet as well as an energy-based model for modeling discrete data. For continuous distributions, we investigate how to train a hierarchical variational model as a GFlowNet in a diffusion-like way. Lastly, we extend our approach to graph combinatorial optimization problems to sample high-quality solutions. Together, these contributions advance sample quality and steerability of generative models through new training objectives and inference techniques. Last but not least, we outline ongoing and future work from both the algorithmic perspective and the applicative angles in the last chapter.
Accès libre
Design and implementation of an AI-Driven educating bot for personalized science education in middle school students
Mishra, Sparsha; Rish, Irina (2025-05)
Ce projet de thèse a été développé dans le but de créer un chatbot IA qui pourrait servir de tuteur pour l'enseignement des sciences aux collégiens. Mon travail a visé à créer une approche personnalisée pour transmettre l'éducation aux étudiants, en mettant l'accent sur la conception centrée sur l'utilisateur. Je crois fermement et je réalise que le taux d'assimilation des connaissances diffère chez chaque individu. Par conséquent, grâce à ce projet, j'ai créé un chatbot capable de transmettre des connaissances standardisées à un rythme personnalisé et de faciliter la compréhension d'un élève. Ce projet a été conçu à l'aide du framework de chatbot open source RASA. Ce framework a été choisi en raison de sa capacité à aider à créer des chatbots hautement personnalisables et précis, qui peuvent ensuite être intégrés dans des sites Web et des plateformes de réseaux sociaux pour répondre efficacement à un vaste public. Le chatbot utilise la PNL pour interagir avec un élève en comprenant l'entrée, puis en fournissant une réponse contextuellement correcte. L'entrée est ensuite tokenisée et analysée pour comprendre les besoins de l'utilisateur. Selon les besoins de l'utilisateur, les fonctions d'action personnalisées sont déclenchées pour traiter la demande et renvoyer les données requises à l'utilisateur. Le bot conserve une conscience contextuelle et simule une conversation de type humain pour maintenir l'utilisateur efficacement engagé dans l'interaction. J'ai ainsi atteint l'objectif mentionné ci-dessus. À l'avenir, l'évolutivité future de ce bot pour les étudiants d'autres classes et de diverses autres matières est très prometteuse, ce qui en fait un outil potentiellement transformateur dans le domaine de l'éducation.
Accès libre
Building awareness and safeguarding privacy : the development of DEDALUS and ICARUS for image privacy classification
Rocha De Alba, Hugo; Aïmeur, Esma (2025-03)
La montée du partage d'images en ligne soulève d'importants enjeux de confidentialité, les utilisateurs pouvant involontairement exposer des informations personnelles sensibles. Cette thèse présente deux systèmes basés sur l'Intelligence Artificielle, DEDALUS et ICARUS, visant à renforcer la sensibilisation et la sécurité des utilisateurs. DEDALUS est un classificateur de confidentialité d'images doté de capacités avancées d'explicabilité. Il est basé sur deux modules. Les résultats expérimentaux montrent que son module de classification (classificateur par vote) a atteint un score F1 pondéré de 86% dans la classification de la confidentialité des images, évalué par rapport aux recherches précédentes à l'aide d'une version étendue du jeu de données PrivacyAlert. Son module d'explicabilité fournit une évaluation des risques basée sur un Modèle de Langage de Grande Taille, intégrant LIME pour expliquer les décisions des modèles de vision. ICARUS détecte les divulgations d’informations privées en identifiant les informations personnellement identifiables (PII) dans les images grâce à un modèle de vision par ordinateur. Il intègre également la classification de DEDALUS via API et attribue des avertissements de risques. Deux applications de démonstration utilisant les API de ces systèmes sont proposées : DEDALUS Workbench, pour l’analyse des modèles et la création de jeux de données, et ICARUS Watcher, pour simuler des interactions en environnements non sécurisés. Ces deux systèmes contribuent aux domaines de la vision par ordinateur, de l’éthique de l’Intelligence Artificielle et de la confidentialité numérique, en proposant une approche innovante pour atténuer les risques liés au partage d’images sensibles.
Accès libre
Understanding our 3D world via generative modeling
Liu, Zhen; Paull, Liam; Bengio, Yoshua (2024-09)
We humans live in a 3D world, and thus a model that understands humans and works with humans is deemed capable of understanding the world in 3D. While there are aspects of 3D understanding that one may measure, it is the capability of replicating the underlying physical laws and generating a realistic 3D world that unambiguously indicate that a model truly understand our 3D world. In this dissertation, we present attempts in leveraging generative modeling of two fundamental components in the 3D world: geometry and rendering. For geometry, we demonstrate that with appropriate representation designs, one may enable generative models to efficiently learn and effectively model distributions of 3D meshes, the most common representation of 3D shapes in modern graphics pipelines. In particular, we present MeshDiffusion, the first diffusion model for 3D watertight meshes, and G-Shell, a representation that enables us to build the first diffusion model for 3D non watertight meshes. For rendering, we consider the role of causality in forward rendering process and demonstrate that with proper causality-inspired design, we may achieve better performance in inverse rendering. Together, this dissertation contributes to the understanding of the potentials of representation and inductive bias design in generative modeling of our 3D world.
Accès libre
Towards systematic generalization through meta-learning modular architectures and improving generative flow networks
Madan, Kanika; Bengio, Yoshua (2024-08)
Cette thèse explore tout d’abord les capacités de généralisation des systèmes d’apprentissage profond actuels lorsque des changements épars et systématiques sont apportés à la distribution sous-jacente. La factorisation d’une distribution en mécanismes indépendants permet de démêler les différentes parties de la connaissance de sorte que si des changements sont apportés à une partie de la distribution, seul un (petit) sous-ensemble de mécanismes devra être modifié. Dans le même temps, certaines parties du monde peuvent évoluer plus lentement que d’autres parties qui changent rapidement, comme l’évolution lente par rapport à l’actualisation plus rapide des connaissances tout au long de la vie d’un organisme. Sur cette base, la première partie de la thèse explore la factorisation des connaissances en mécanismes indépendants et leur apprentissage à différentes échelles de temps pour permettre un apprentissage efficace, une adaptation plus rapide aux changements et une meilleure généralisation. La seconde moitié de la thèse étend et améliore les objectifs d’entraînement et les capacités d’exploration des modèles génératifs récemment introduits appelés Generative Flow Networks, ou GFlowNets, qui peuvent apprendre et échantillonner à partir d’une distribution cible spécifiée par une fonction de récompense non normalisée. Un GFlowNet génère un objet structurée, de manière constructive et séquentielle, un pas de temps à la fois. Contrairement aux méthodes de chaînes de Markov Monte-Carlo, les GFlowNets sont basés sur l’apprentissage d’un modèle paramétrique pour apprendre et échantillonner à partir d’une distribution d’énergie cible, et ont donc la capacité de bénéficier de l’apprentissage de la structure de la récompense cible ou de la distribution d’énergie. Dans cette thèse, un objectif d’entraînement généralisé est proposé pour les GFlowNets, l’objectif SubTrajectory Balance ou SubTB(λ). Cet objectif généralise les objectifs d’entraînement précédents pour les GFlowNets et offre de meilleures propriétés d’apprentissage et de généralisation. Afin d’améliorer encore le compromis exploration-exploitation dans les GFlowNets, une architecture de réseau double, appelée Sibling Augmented Generated Flow Networks (SA-GFN), est proposée pour dissocier la politique d’exploration de la politique de comportement des GFlowNets afin d’obtenir une exploration stable et de meilleure qualité.
Accès libre
Classical and quantum decoding algorithms with ZX-Calculus
Whaite, Samuel; Dupuis, Frédéric (2025-04)
Le thème unificateur des contenus sera l’examen des codes correcteurs d’erreurs à travers le prisme du calcul ZX. Plus précisément, nous aborderons les codes de stabilisateur ainsi que les codes polaires classique et quantique. L’objectif d’utiliser le prisme du ZX-calculus est de bénéficier d’un niveau d’abstraction plus élevé. Le premier avantage de cette approche est de voir si nous pouvons offrir une interprétation plus naturelle des preuves existantes, ce qui faciliterait leur enseignement et leur apprentissage. L’autre avantage est que la simplification conceptuelle apportée par l’abstraction permettrait de mieux comprendre les effets et les implications de la mécanique quantique, favorisant ainsi des avancées plus significatives dans le développement des algorithmes quantiques de tous types. En utilisant le ZX-calculus, nous commencerons par examiner les codes stabilisateurs qui sont les plus utilisés parmi les codes correcteurs d’erreurs quantiques. Ensuite, nous entrerons également dans les détails des codes polaires classiques et quantiques et montrerons comment nous pouvons reformuler la méthode de décodage classique en une méthode qui prend en compte les contraintes de l’information quantique, telles que l’impossibilité de connaître l’état d’un qubit à moins de le mesurer et donc de le perturber. Cette nouvelle méthode est applicable dans les cas quantiques ainsi que classiques pour certains types de canaux d’erreur. Tout cela conduit à la formulation d’une nouvelle méthode de décodage visant à fonctionner pour tous les types de canaux d’erreur en catégorisant tous les scénarios d’erreur possibles nécessitant des actions pour corriger les données, puis en utilisant un ensemble de mesures pour réduire les possibilités à un point qui nous donne une certitude presque totale.
Accès libre
Identifying latent structures in data
Lachapelle, Sébastien; Lacoste-Julien, Simon (2024-04)
Le triomphe de l’apprentissage profond dans divers domaines tels que la classification d’images, la reconnaissance vocale, la génération de langage naturel et la génération d’images a été rendu possible par l’augmentation de la taille des ensembles de données, l’augmentation de la capacité de calcul, une communauté open source dynamique et des innovations architecturales qui, ensemble, ont permis d’entrainer des réseaux neuronaux de plus en plus expressifs. Bien que cette nouvelle approche ait abouti à des percées impressionnantes, elle a été accompagnée d’un manque d’interprétabilité des modèles et de garanties théoriques. Cette thèse tente de construire des modèles suffisamment restreints pour être interprétables et/ou analysables théoriquement tout en restant suffisamment expressifs pour être utiles dans des modalités difficiles telles que les images. La plupart des contributions se concentrent sur l’identifiabilité, la propriété qu’un modèle statistique possède lorsque ses paramètres sont déterminés par la distribution qu’ils représentent, à une classe d’équivalence près. Bien que l’identifiabilité soit centrale en inférence causale, en apprentissage de graphe causal et en analyse de composantes indépendante, cette propriété n’est pas aussi bien comprise dans le contexte de l’apprentissage profond. Cette thèse soutient que l’étude de l’identifiabilité en apprentissage automatique est utile pour mieux comprendre les modèles existants ainsi que pour en construire de nouveaux qui soient interprétables et pourvus de garanties de généralisation. Ce qui en découle sont de nouvelles garanties d’identifiabilité pour des modèles expressifs, pour l’apprentissage de graphe causal et de représentations. Les première et deuxième contributions (Chapitres 3 et 4) proposent de nouveaux algorithmes basés sur les gradients pour apprendre un graphe causal à partir de données observationnelles et interventionnelles, respectivement. Ces contributions ont étendu des approches contraintes continues des relations linéaires aux relations non linéaires et ont souligné l’avantage computationnel de ces approches lorsque l’ensemble de données est très grand. Les troisième, quatrième et cinquième contributions (Chapitres 5, 6 et 7) fournissent de nouvelles garanties d’identifiabilité pour le désentrelacement (disentanglement) dans l’apprentissage de représentations. Le Chapitre 5 montre que, dans un modèle spécifique à variables latentes, les facteurs latents réels peuvent être identifiés à une permutation et une bijection par élément près lorsque des variables auxiliaires observées et/ou des facteurs latents passés les affectent de manière parcimonieuse (sparse). Ces résultats ne font pas d’hypothèses paramétriques et caractérisent la structure du désentrelacement en fonction du graphe causal latent sous-jacent. Le Chapitre 6 introduit un problème d’optimisation bi-niveau pour l’apprentissage multi-tâches parcimonieux et prouve que, avec des tâches suffisamment parcimonieuses et diverses, la représentation apprise doit être désentrelacée. De plus, il fournit un argument formel montrant comment le désentrelacement est bénéfique dans un contexte d’apprentissage avec peu d’exemples (few-shot learning). Le Chapitre 7 étudie une classe simple de décodeurs que nous appelons "décodeurs additifs" pour lesquels nous pouvons prouver à la fois des garanties de désentrelacement et d’extrapolation. Les décodeurs additifs sont intéressants à étudier car ils ressemblent aux architectures utilisées dans l’apprentissage de représentations centrées sur les objets (object-centric representation learning) et constituent une étape vers la compréhension de la créativité et de l’extrapolation dans les modèles génératifs modernes. Le Chapitre 8 discute de trois interprétations de l’identifiabilité et unifie les contributions de cette thèse à l’aide d’un cadre simple en trois étapes mettant en évidence le rôle de l’identifiabilité pour obtenir des garanties de généralisations. Spécifiquement, quatres types de problème sont couverts: l’apprentissage de graphes causals, les décodeurs additifs pour l’extrapolation, l’apprentissage multi-tâches parcimonieux et l’apprentissage semi-supervisé par regroupement (clustering). Les relations entre ces problèmes sont rendues transparentes grâce au cadre de la théorie de la décision statistique.
Accès libre
Generative flow networks : theory and applications to structure learning
Deleu, Tristan; Bengio, Yoshua (2024-08)
Découvrir la structure d'un modèle causal seulement à partir de donnée souffre de problèmes d'identifiabilité. En général, plusieurs modèles équivalents peuvent tout aussi bien expliquer la donnée observée, même s'ils impliquent des conclusions causales complètement différentes. Ainsi, choisir un de ces éléments de manière arbitraire pourrait donner lieu à des décisions dangereuses si le modèle n'est pas aligné avec la manière dont le monde fonctionne réellement. Il est donc impératif de maintenir une notion d'incertitude épistémique sur les différents candidats pour limiter les risques posés par ces modèles non alignés, surtout lorsqu'il y a peu de donnée. En prenant une perspective bayésienne, cette incertitude peut être représentée par une distribution postérieure sur les modèles, conditionnée sur les observations. Mais comme c'est le cas pour beaucoup de problèmes en inférence bayésienne, la postérieure est typiquement impossible à calculer à cause du grand nombre de structures possibles, représentées par des graphes dirigés acycliques (DAGs). Des approximations sont donc nécessaires. Même s'il y a eu d'énormes avancées en modélisation générative ces dernières années, menées par la puissante combinaison de l'inférence variationelle et de l'apprentissage profond, la plupart de ces modèles sont particulièrement adaptés à des espaces continus. Par conséquent, cela les rend inapplicables pour des problèmes avec des objets discrets comme des graphes dirigés, avec des contraintes complexes d'acyclicité. Dans la première partie de cette thèse, nous introduisons les réseaux à flots génératifs (GFlowNets), une nouvelle classe de modèles probabilistes specialement créés pour representer des distributions sur des objets discrets et compositionnels comme des graphes. Les GFlowNets traitent la génération d'un échantillon comme un problème de décisions séquentielles, en le construisant morceau par morceau. Ces modèles décrivent des distributions définies à une constante de normalisation près en imposant la conservation de certains flots à travers un réseau. Nous mettrons l'accent sur les liens qui existent avec divers domaines de l'apprentissage statistique, comme l'inférence variationelle et l'apprentissage par renforcement, et nous discuterons d'extensions à des espaces généraux. Ensuite dans la deuxième partie de cette thèse, nous montrerons comment les GFlowNets sont capables d'approcher la distribution postérieure sur les structures de DAG des réseaux bayésiens, en fonction d'observations. Mais au delà de la structure seule, nous montrerons que les paramètres des distributions conditionelles peuvent également être intégrés dans l'approximations de la postérieure représentée par le GFlowNet, ce qui nous permet une plus grande flexibilité dans la manière dont les réseaux bayésiens sont définis.
Accès libre
Modélisation de l'activité cérébrale mesurée par imagerie par résonance magnétique fonctionnelle dans une tâche de jeu vidéo par des modèles d'apprentissage profond
Paugam, François; Bellec, Pierre-Louis; Lajoie, Guillaume (2024-12)
Les réseaux de neurones artificiels peuvent modéliser l’activité cérébrale par un processus appelé encodage cérébral. Des stimuli bruts, tels que des ondes sonores ou des pixels d’images, sont initialement traités par un réseau de neurones artificiels qui est généralement pré-entraîné à eﬀectuer une tâche complexe (par exemple annoter des images). Pour ce faire, le réseau génère des vecteurs d’activations qui représentent les caractéristiques abstraites des données d’entrées dans un espace de haute dimensions. Ces vecteurs d'activation sont ensuite utilisés pour prédire les signaux d’imagerie cérébrale – tels que l’imagerie par résonance magnétique fonctionnelle – évoqués chez les humains par les mêmes stimuli présentés au réseau de neurones. Alors que la plupart des études précédentes se sont appuyées sur des paradigmes de perception passive, l’utilisation de jeux vidéo pour les tâches d’encodage cérébral reste largement inexplorée. De tels environnements actifs et engageants peuvent se révéler informatifs sur les interactions complexes entre perceptions et actions dans le cerveau. Cette thèse vise à caractériser les ingrédients computationnels clefs pour produire des modèles d’encodage cérébral précis pour des tâches de jeu vidéo. Nous avons d'abord démontré l'impact important à la fois de la taille du jeu de données d'entraînement et de la taille du modèle sur la qualité de l'encodage cérébral, en nous concentrant sur les transformateurs vidéo autorégressifs entraînés à partir de zéro sur des jeux vidéo humains. Nous avons ensuite comparé des modèles entraînés avec diﬀérents objectifs : une tâche standard d'annotation d’image, une tâche non supervisée d’autorégression du flux visuel, un objectif d'apprentissage par renforcement (en maximisant la récompense collectée dans le jeu) et un objectif d'apprentissage par imitation. Bien que les expériences initiales aient suggéré un avantage pour les modèles de classification visuelle pré-entraînés, ces diﬀérents objectifs d'entraînement ont convergé vers des performances similaires lorsqu'on a contrôlé les entraînements pour homogénéiser les tailles des jeu de données et les tailles des modèles. Nous avons également testé comment ces modèles généralisaient à des niveaux de jeu qui étaient exclus du jeu de données d'entraînement (généralisation hors-distribution), ce qui a abouti à une précision globale beaucoup plus faible et à une meilleure discrimination entre les modèles – avec l’apprentissage par renforcement démontrant la meilleure performance de généralisation. Enfin, nous avons également constaté que les modèles d'encodage cérébral pourraient incorporer l'activité intrinsèque du cerveau (non évoquée par des stimuli externes) en utilisant des modèles de régression autorégressifs. Cependant, cette étude sur les modèles autorégressifs de l’activité cérébrale intrinsèque a été réalisée sur des données de visionnage passif de vidéos, et doit encore être étendue aux données de jeu vidéo. Dans l'ensemble, cette thèse aide à clarifier l'impact pratique de la taille des données d'entraînement, de l'architecture et de la taille du modèle, ainsi que de l’objectif d'entraînement sur la qualité des modèles d'encodage cérébral d’IRMf, montrant que tous ces choix peuvent avoir un impact marqué. Nos résultats démontrent également le rôle critique de la généralisation hors distribution pour arbitrer entre diﬀérents modèles, une considération qui a été largement ignorée dans la littérature sur l'encodage cérébral jusqu'à présent.
Embargo
Multi-contrast image-to-image translation for axon and myelin segmentation
Katoch, Nishka; Wolf, Guy; Cohen-Adad, Julien (2025-04)
The analysis of segmented histological images plays a crucial role in the study of neurodegen- erative disorders such as Alzheimer’s disease and multiple scleorsis. Segmented histological data enables the precise identification and quantification of pathological features, facilitat- ing a deeper understanding of disease mechanisms and progression. These images, typically acquired through electron microscopy (EM), exhibit diverse modalities that reflect various properties of neurological tissue. A common challenge in developing segmentation models is the scarcity of data across these modalities. To address this, we propose an image translation method utilizing diffusion models. Our approach involves a framework where the source im- age is converted into a latent encoding, which is then decoded back into the source modality using guided diffusion models. Each model is trained independently on a specific modality, employing segmented images as labels integrated within the latent encodings. We evaluate the efficiency of our method by comparing its translations with those generated by genera- tive adversarial models and diffusion models. This approach aims to minimize the number of translation models required and ensures data privacy by operating on latent encodings.
Accès libre
Building intuitive reinforcement learning algorithms
D'Oro, Pierluca; Gendron-Bellemare, Marc; Bacon, Pierre-Luc (2024-10)
La promesse de l’apprentissage par renforcement (RL) est de former des agents capables d’interagir avec potentiellement n’importe quel environnement. Pour tenir cette promesse, les algorithmes de RL doivent être intuitifs. Cette thèse présente des approches visant à rendre le RL à la fois efficace et intuitif pour les concepteurs d’agents. Comme travaux préparatoires, je présente d’abord plusieurs avancées dans la compréhension fondamentale des algorithmes modernes de RL. Premièrement, en dévoilant le biais de primauté, une tendance des agents RL profonds à ne pas apprendre à partir de flux d’expériences, en raison de la dynamique de l’entraînement des réseaux neuronaux, et en proposant un remède basé sur des réinitialisations périodiques. Ensuite, en étudiant les caractéristiques des paysages de retour générés par les algorithmes RL profonds et la performance des politiques qu’ils entraînent, à mesure que leurs paramètres évoluent. De plus, je présente une approche idéalisée de l’exploration appelée méta-programmation dynamique, validée dans le contexte de la programmation dynamique asynchrone. Je présente ensuite deux cadres RL intuitifs, dont le développement s’est appuyé sur les enseignements tirés des travaux préparatoires. Le premier, basé sur le ratio de relecture échelonné, est une approche remarquablement simple mais extrêmement efficace, permettant d’augmenter l’efficacité de l’échantillonnage des algorithmes de RL en équilibrant naturellement les ressources computationnelles et de données, grâce à l’utilisation de réinitialisations périodiques. Le second, nommé Motif, combine les grands modèles de langage (LLM) et le RL pour simplifier la motivation intrinsèque et la conception des récompenses, offrant une stratégie générale pour ancrer les LLM et distiller leur connaissance du sens commun dans des capacités de prise de décision séquentielle.
Accès libre
An investigation of weight perturbation for mitigating Spurious Correlations
Nobahari, Rozhin; Lacoste-Julien, Simon (2024-11)
Les corrélations spurielles—des motifs non causaux présents dans les données—posent un défi significatif pour la généralisation et l'équité des systèmes d'apprentissage profond. Ces caractéristiques, bien qu'elles ne soient pas les caractéristiques principales d'intérêt, conduisent souvent à des prédictions biaisées. Ce biais défavorise particulièrement les groupes minoritaires ou des sous-ensembles des données où ces caractéristiques ne sont pas alignées avec les caractéristiques principales (exemples conflictuels). Atténuer ce problème est crucial pour assurer un déploiement robuste des modèles d'apprentissage automatique dans des environnements réels. Dans ce travail, nous confirmons d'abord la dépendance des modèles d'apprentissage profond aux corrélations spurielles. En outre, nous étudions l'effet de la perturbation des paramètres du modèle sur les exemples conflictuels. Grâce à des expériences sur deux ensembles de données de référence, nous démontrons l'impact prononcé des perturbations de poids sur les exemples conflictuels. Enfin, nous utilisons cette perspicacité pour concevoir une procédure d'entraînement qui guide le modèle vers l'apprentissage de caractéristiques plus robustes. Nous introduisons une nouvelle approche d'atténuation qui combine l'inférence basée sur la perturbation suivie d'un processus d'affinage. Notre méthode améliore notablement la précision du pire groupe avec une charge de calcul minimale, ce qui en fait une solution pratique pour améliorer la robustesse du modèle, en particulier dans les cas où l'attribut spécieux n'est pas disponible pendant l'entraînement ou la validation. Ces résultats soulignent le potentiel des perturbations de poids comme outil pour améliorer l'équité et la robustesse des modèles.
Accès libre
Data-driven large neighbourhood search for combinatorial optimization problems
Robinson La Rocca, Charly; Frejinger, Emma (2025-01)
Les problèmes d'Optimisation Combinatoire (OC) sont omniprésents dans les domaines où une allocation de ressources discrètes est requise. Ces problèmes ont des implications tangibles, car des solutions de haute qualité peuvent considérablement améliorer l'efficacité opérationnelle, réduire les coûts et augmenter la rentabilité des organisations. Typiquement formulés comme des Programmes Mixtes en Nombres Entiers (PMNE), ces problèmes présentent un défi computationnel même pour les solveurs les plus avancés (état de l'art). Cette thèse étudie le développement d'heuristiques efficaces, en particulier pour les instances de grande taille où les méthodes traditionnelles peinent à trouver des solutions de haute qualité dans des délais raisonnables. L'Apprentissage Automatique (AA) représente une voie prometteuse pour améliorer les heuristiques à usage général en apprenant des stratégies à partir des données. Cette thèse contient trois articles qui examinent l'intégration des techniques d'AA dans le cadre de la Recherche à Grand Voisinage (RGV) en mettant l'accent sur l'efficacité computationnelle. Le premier article démontre comment les données collectées tôt dans l'arbre de recherche peuvent aider à prédire des solutions de haute qualité pour les PMNE avec des ensembles ordonnés spéciaux de type 1. Ce type de contrainte est typiquement utilisé pour modéliser des affectations dans les problèmes d'OC. Le deuxième article se concentre sur le problème de conception de réseau multi-produits avec coûts fixes et capacité limitée et sur l'intégration de méthodes d'apprentissage dans l'heuristique qui représente l'état de l'art. Le troisième article combine les connaissances acquises des deux premiers pour développer une RGV améliorée par AA pour des PMNE génériques. En proposant des approches efficientes et accessibles, cette thèse pose les bases pour l'intégration pratique de l'AA en OC. Les méthodes présentées visent à équilibrer l'efficacité computationnelle avec la qualité des solutions, et elles offrent des perspectives pragmatiques sur la façon dont les techniques basées sur les données peuvent améliorer les stratégies d'optimisation traditionnelles. Ce travail contribue à l'effort continu pour résoudre plus efficacement des problèmes d'optimisation complexes et concrets, ce qui peut conduire à des améliorations significatives dans diverses industries et applications.
Accès libre
La reconnaissance faciale par l’IA et par les humains : une étude comparative combinant réseaux de neurones artificiels et l'imagerie cérébrale
Abdelhedi, Hamza; Jerbi, Karim; Bakhtiari, Shahab (2025-03)
Au cours de la dernière décennie, la recherche à l’interface entre les neurosciences et l’intelligence artificielle (IA) a connu un essor remarquable, permettant de mieux avancer notre compréhension à la fois la cognition artificielle et la cognition naturelle. De plus en plus de travaux montrent que les réseaux neuronaux biologiques et artificiels, lorsqu’ils sont entraînés sur des tâches similaires, peuvent adopter des fonctions étonnamment proches. Dans le but de comprendre les mécanismes du cerveau, les réseaux neuronaux artificiels (RNAs), inspirés par son organisation et ses propriétés, sont proposés comme outils performants pour modéliser différents systèmes cérébraux. En particulier, les réseaux neuronaux convolutifs (RNCs) entraînés à la reconnaissance d’objets se sont révélés capables de reproduire la hiérarchie de traitement du système visuel humain et d’en approcher les représentations internes. Pour la perception des visages, les travaux en neurosciences suggèrent un système cérébral spécialisé, dont le traitement des visages familiers et non familiers demeure l’objet de débats : certaines recherches concluent à l’usage de mécanismes communs, d’autres mettent en avant des processus distincts. De multiples études ont comparé le comportement de modèles de vision artificielle à celui d’humains, notamment via l’IRMf, afin de déterminer la mesure dans laquelle ces modèles imitent la perception faciale humaine. Dans ce mémoire, nous introduisons d’abord les connaissances actuelles sur le système visuel et la reconnaissance des visages, puis nous présentons les grands principes de l’intelligence artificielle et quelques tentatives de modélisation de la perception faciale à l’aide de RNCs. Le cœur de ce travail propose une comparaison de sept architectures de RNCs avec des données de magnétoencéphalographie (MEG), afin d’explorer les signatures neuronales de la reconnaissance faciale et de la familiarité dans la dimension temporelle. Les réseaux ont été optimisés pour différentes tâches (reconnaissance de visages, d’objets, ou les deux), ce qui nous a permis d’étudier comment leurs représentations rendent compte, à divers degrés, du processus de perception des visages dans le cerveau. Nos résultats indiquent que FaceNet présente un alignement particulièrement fort avec les régions occipitales et fusiformes, toutes deux cruciales pour la perception faciale, même si certaines architectures profondes (par exemple ResNet) s’approchent aussi de ces dynamiques neuronales. Nous observons qu’au niveau occipital, la composante M170 liée à la familiarité se manifeste plus tôt pour les visages familiers (vers 160ms) et plus tardivement pour les visages non familiers (autour de 180ms), suggérant que l’inconnu requiert un encodage plus long. Nous observons également une forte similarité CNN–MEG dans les bandes de fréquences thêta et gamma, avec des pics plus précoces (M170–M200) pour les visages familiers et un décalage vers M400 pour les visages non familiers. La comparaison de plusieurs objectifs d'entraînement confirme que la tâche d'entraînement peut influer sur l'alignement temporel avec les données cérébrales. Enfin, la discussion aborde les limites potentielles des CNNs en tant que modèles du cerveau, tout en mettant en lumière leur intérêt pour la compréhension des mécanismes neuronaux sous-jacents à la reconnaissance faciale. Les connaissances tirées de cette étude pourraient guider la conception de modèles de perception des visages plus performants, tant en IA qu’en neurosciences computationnelles.
Accès libre
Technical methods for governing AI agents
Chan, Alan; Le Roux, Nicolas; Krueger, David (2025-04)
Une grande partie de la recherche en intelligence artificielle (IA) vise à construire des agents---des systèmes qui seraient capables d'atteindre des objectifs de manière autonome, sans instructions explicites pour comment agir. La possibilité de construire des agents d'usage général, en particulier ceux basés sur les ``modèles de fondation'', a suscité des inquiétudes croissantes quant à leurs risques. Ces risques pourraient inclure le mauvais usage, le dysfonctionnement, et des effets économiques ou politiques diffus, mais ils sont encore incertains. Il faut obtenir plus d'informations sur ces risques. Il faut également préparer à l'avance des interventions potentielles, car certaines d'entres elles pourraient prendre beaucoup de temps (par exemple, l'adoption de normes prend généralement des années). Cette thèse fait avancer ces deux tâches. Dans le premier article, nous caractérisons plus précisément les agents et décrivons des risques potentiels de tels systèmes. Dans le deuxième article, nous évaluons trois mesures techniques pour améliorer la visibilité sur l'utilisation des agents. Dans le dernier article, nous nous concentrons sur les identifiants, une mesure issue du deuxième article : nous proposons une spécification pour les identifiants et explorons une mise en œuvre potentielle. Nous espérons que nos méthodes aideront à gérer de manière responsable le développement et le déploiement des agents d'IA.
Accès libre
An exploration of approximation chains
Marwah, Ashutosh Satyajit; Dupont-Dupuis, Frédéric (2024-11)
La théorie de l'information à coup unique vise à étudier les tâches de communication et de traitement de l'information pour des états et des processus généraux avec une structure minimale. Une telle généralité est cruciale pour analyser les tâches de communication avec des ressources limitées et la sécurité des protocoles cryptographiques. Dans le régime asymptotique pour les tâches d'information avec une structure i.i.d. (indépendante et identiquement distribuée), les taux sont typiquement caractérisés par l'entropie de von Neumann et ses dérivées. Dans le régime à coup unique, une multitude d'entropies différentes sont nécessaires à cette fin. L'une des plus importantes est la min-entropie lisse, qui caractérise les taux des protocoles cryptographiques. Contrairement à l'entropie de von Neumann, le comportement de la min-entropie lisse est souvent contre-intuitif. Les outils de décomposition de la min-entropie lisse sont également assez restrictifs, rendant difficile l'analyse des structures qui émergent naturellement en théorie de l'information. Une telle structure, que nous appelons une chaîne d'approximation, constitue le thème central de cette thèse. Pour un état $\rho_{A_1^n B}$, nous appelons une séquence d'états $(\sigma_{A_1^k B}^{(k)}){k=1}^n$ une chaîne d'approximation de $\rho$ si pour chaque $k$, $\rho{A_1^k B} \approx_\epsilon \sigma_{A_1^k B}^{(k)}$. Ces structures émergent fréquemment lors de l'incorporation d'approximations dans les identités entropiques, l'étude des imperfections et le développement de preuves de sécurité. Alors que l'entropie de von Neumann de $\rho$ peut être facilement exprimée en termes d'entropies des états de sa chaîne d'approximation, il n'est généralement pas possible de le faire avec la min-entropie lisse. Dans cette thèse, nous développons des techniques pour établir des bornes entropiques avec des chaînes d'approximation et les appliquons à des scénarios cryptographiques. Notre travail commence par considérer l'un des cas les plus simples d'une telle chaîne, où les registres de $\rho$ sont presque indépendants les uns des autres, et culmine avec l'établissement d'une règle de chaînage universelle pour la min-entropie lisse, qui permet de borner celle-ci en termes des entropies des états d'une chaîne d'approximation. De plus, nous prouvons deux versions approximatives du théorème d'accumulation d'entropie (EAT), qui est un outil important pour borner la min-entropie lisse d'un état produit par un processus séquentiel. La première utilise des approximations des canaux utilisés dans le processus EAT, tandis que la seconde, appelée EAT approximatif non-structuré, relâche significativement la structure séquentielle requise sur l'état. Nous mettons en valeur ces outils en les utilisant pour résoudre deux problèmes cryptographiques importants. Tout d'abord, nous prouvons la sécurité de la distribution quantique de clés (QKD) avec des corrélations à la source, qui sont des corrélations indésirables entre les rounds du protocole survenant en raison des imperfections de la source. Ces corrélations ont été un défi persistant pour la QKD. Nous fournissons une méthode simple et générale pour réduire la sécurité d'un protocole QKD avec ces corrélations à un protocole sans ces dernières. Notre deuxième application majeure est la preuve de la sécurité de la distribution quantique de clés device-independent (DIQKD) parallèle. En adaptant les techniques de répétition parallèle des jeux non-locaux, nous construisons une chaîne d'approximation structurée pour la sortie du protocole. L'application du EAT approximatif non-structuré à cette chaîne fournit alors une preuve de sécurité pour le protocole.
Accès libre
Towards human-AI co-creation for Hindustani music : modeling and interaction
Shikarpur, Nithya; Huang, Anna (2024-08)
La musique hindoustani est une tradition musicale orale improvisée du nord de l'Inde. L'interaction musicale joue un rôle crucial dans cette forme, se produisant entre l'élève et l'enseignant dans la pédagogie, et entre les artistes interprètes sur scène dans la performance. Dans ce travail, nous visons à étudier la portée et la faisabilité de l'interaction homme-IA guidée par cette forme de musique. À cette fin, nous réalisons deux études : premièrement, le développement d'un modèle génératif pour les contours vocaux hindoustani, et deuxièmement, une étude des attentes, des réactions et des préférences de trois musiciens hindoustani en exercice via une étude préliminaire des utilisateurs. À cette fin, (1) notre modèle proposé, GaMaDHaNi, est une hiérarchie modulaire à deux niveaux, composée d'un modèle génératif sur les contours de hauteur et d'un modèle de contour de hauteur vers synthèse audio. Nous adoptons une représentation intermédiaire de contour de hauteur finement quantifiée pour capturer les mouvements de hauteur fins et continus dans les données. Grâce à un test d'écoute et à une analyse qualitative, nous comparons notre approche aux modèles audio non hiérarchiques et aux modèles hiérarchiques qui utilisent une représentation intermédiaire auto-supervisée. (2) Nous menons ensuite une étude auprès des utilisateurs pour explorer le potentiel d'interaction entre les musiciens et le modèle. Nous notons que leurs défis sont le manque de restrictions dans les résultats du modèle et une incohérence de ces résultats. Nous situons ces défis dans le contexte de la musique hindoustani et cherchons à suggérer des orientations futures pour la conception du modèle afin de combler ces lacunes.
Accès libre
A study of the role of entanglement in quantum kernel models
Chikhar, Omar; Rabusseau, Guillaume; Kourtis, Stefanos (2025-03)
Cette thèse explore le domaine émergent des méthodes de noyaux quantiques, une classe prometteuse d'algorithmes d'apprentissage automatique quantique qui utilise des circuits quantiques comme fonction de noyau. Les noyaux quantiques intègrent implicitement les données dans un espace de Hilbert de haute dimension, appelé Quantum Feature Map. Les noyaux quantiques ont montré un avantage par rapport à leurs équivalents classiques dans l'identification des phases quantiques dans les systèmes à plusieurs corps , ont été utilisés pour prédire les énergies d'état fondamental de petites molécules, et pour la détection d'anomalies dans les ensembles de données financières. Nous concentrons notre recherche sur le rôle de l'intrication dans l'apprentissage et la performance des modèles de noyaux quantiques. En générant des ensembles de données synthétiques avec des niveaux d'intrication contrôlés, nous investiguons systématiquement la relation entre l'intrication et les capacités de classification des noyaux quantiques. Nos résultats révèlent que certaines configurations d'intrication améliorent significativement la capacité du noyau à capturer les motifs de données étiquetés par un noyau quantique. Nous avons expérimenté diverses routines d'optimisation pour entraîner les noyaux quantiques, en considérant l'intrication comme un hyperparamètre, similaire à la variance dans les modèles classiques. Nos résultats montrent des schémas typiques de surapprentissage lorsque le niveau d'intrication dans le classificateur augmente, et nous relions ce phénomène au concept de average entanglement entropy.
Accès libre
Learning equivalence hash functions
Duchesneau, Mathieu; Tapp, Alain (2025-03)
Imaginez héberger une plateforme où les utilisateurs partagent du contenu original, tel que des images, de la musique ou des vidéos. Pour garantir l’intégrité, vous avez besoin d’un algorithme capable de détecter la réinsertion de contenu existant. Cependant, étant donné l’échelle massive des ajouts quotidiens, comparer directement chaque nouvelle publication avec des milliards d’éléments existants est impossible en pratique. Pour les réinsertions exactes, les tables de hachage sont la solution la plus efficace, permettant une détection des doublons en temps constant. Cependant, si la plateforme doit également repérer des réinsertions avec des modifications légères, cette solution ne fonctionne pas. Même une modification minime, comme l’altération d’un seul pixel, entraînera une valeur de hachage différente, associant ainsi le contenu original et modifié à des adresses distinctes dans la table, ce qui empêchera la plateforme de détecter le contenu altéré. De plus, un utilisateur malveillant pourrait effectuer des transformations plus complexes, telles que l’ajustement de la teinte, de la luminosité et de la saturation, ou introduire de légères distorsions ou rotations à l’image. Les approches actuelles pour traiter ce type de problème proviennent de la littérature sur les algorithmes de plus proches voisins approximatifs, où les techniques les plus prometteuses sont basées sur des arbres et des graphes. Cependant, bien qu’efficaces, ces techniques ne peuvent égaler l’efficience d’une simple consultation de table de hachage. Au cœur de ce travail, cette thèse introduit et explore les fonctions d'équihachage, une variante des fonctions de hachage conçue pour associer des instances «équivalentes» à la même empreinte (une chaîne binaire de longueur fixe). Dans notre exemple, une fonction d'équihachage appropriée attribuerait la même empreinte à la fois au contenu original et au contenu modifié, permettant une détection efficace des variations tout en conservant la simplicité et la rapidité de la table de hachage. Les fonctions d'équihachage étendent l'applicabilité de nombreux algorithmes basés sur le hachage. Dans notre exemple, elles élargissent le champ d’application de la recherche dans la table de hachage. Au-delà de cela, elles peuvent également étendre l'applicabilité des algorithmes basés sur les ensembles. Par exemple, étant donné une fonction d'équihachage qui associe tous les portraits d'une même personne à la même empreinte et une collection de portraits, on pourrait déterminer en temps constant si une personne figure dans la collection ou bien compter le nombre d'individus distincts dans celle-ci en temps linéaire. La plupart des exemples les plus intéressants nécessitent l'apprentissage profond pour entraîner la fonction d'équihachage appropriée. Idéalement, ces fonctions produiraient des empreintes identiques pour des instances équivalentes et des empreintes distinctes pour des instances non équivalentes. Cependant, les fonctions d'équihachage apprises ne sont pas idéales, et une partie importante de cette thèse traite des défis liés à leur entaînement, leur évaluation et l'amélioration de leurs performances. Deux métriques clés sont le taux de collision pertinente (Relevant-Collision Rate (RCR)), qui mesure la probabilité que des instances équivalentes partagent la même empreinte, et le taux de collision non pertinente (Irrelevant-Collision Rate (ICR)), qui mesure la probabilité que des instances non équivalentes partagent la même empreinte. Lorsqu'il s'agit de bases de données massives, l’ICR doit être exceptionnellement bas. Sinon, de nombreuses instances non équivalentes partageront la même empreinte, créant toutes sortes de problèmes. Atteindre un ICR faible présente deux défis: estimer avec précision un taux de collision aussi bas et entraîner efficacement des modèles capables de respecter ce critère strict. Pour répondre au premier défi, nous proposons l’intervalle de confiance de Chebyshev, qui tire parti du paradoxe des anniversaires pour estimer efficacement l’ICR. Pour le second défi, nous introduisons l'hypothèse de «challenge-starvation». Cette hypothèse identifie une limitation potentielle dans toutes les approches d'apprentissage contrastif existantes qui pourrait nuire à leur capacité d'obtenir un ICR bas. Pour contourner ce problème, nous présentons la fonction de perte de Shannon-Hamming, une stratégie d'entraînement novatrice qui se concentre exclusivement sur les signaux positifs. Notre fonction de perte améliore l'ICR d'un ordre de grandeur par rapport à ses prédécesseurs contrastifs. De plus, une fonction d'équihachage apprise devrait idéalement présenter un RCR élevé. Cependant, étant donné que la descente de gradient est incompatible avec la nature discrète de l'empreinte et que nous devons équilibrer le RCR avec un ICR exceptionnellement bas, les modèles attribueront parfois des empreintes distinctes à des instances équivalentes. Pour pallier cela, nous proposons l'algorithme de sondage multiple priorisé (prioritized multi-probing) qui exploite l'incertitude du modèle pour générer plusieurs empreintes pour chaque instance. Cette technique peut être utilisée pour améliorer le taux de détection des réinsertions de contenues modifiés dans notre exemple précédent. Nos expériences avec une base de données d'un milliard d'images démontrent la viabilité et le potentiel de notre projet de recherche.

Parcourir

Dépôts récents