Prédiction et génération de données structurées à l'aide de réseaux de neurones et de décisions discrètes
Thèse ou mémoire / Thesis or Dissertation
Date de publication
Autrices et auteurs
Identifiant ORCID de l’auteur
Contributrices et contributeurs
Direction de recherche
Publié dans
Date de la Conférence
Lieu de la Conférence
Éditeur
Cycle d'études
Maîtrise / Master's
Programme
Affiliation
Mots-clés
- Intelligence artificielle
- Apprentissage automatique
- Recurrent neural networks
- Convolutional neural networks
- Generative Adversarial networks
- Discrete decisions
- Apprentissage profond
- Réseaux de neurones récurrents
- Réseaux de neurones à convolution
- Réseaux antagonistes génératifs
- Décisions discrètes
- Artificial intelligence
- Machine learning
- Deep learning
Organisme subventionnaire
Résumé
Résumé
L’apprentissage profond, une sous-discipline de l’apprentissage automatique, est de plus en
plus utilisé dans une multitude de domaines, dont le traitement du langage naturel. Toutefois,
plusieurs problèmes restent ouverts, notamment la prédiction de longues séquences et la
génération de langues naturelles. Dans le mémoire qui suit, nous présentons deux modèles
travaillant sur ces problèmes.
Dans le chapitre 1, nous incorporons un système de planification à l’intérieur des modèles
séquence-à-séquence. Pour ce faire, le modèle détermine à l’avance l’alignement entre la
séquence d’entrée et de sortie. Nous montrons que ce mécanisme améliore l’alignement à
l’intérieur des modèles, converge plus rapidement et nécessite moins de paramètres. Nous
montrons également des gains de performance en traduction automatique, en génération de
questions ainsi que la découverte de circuits eulériens dans des graphes.
Dans le chapitre 2, nous appliquons des réseaux antagonistes génératifs aux langues
naturelles, une tâche compliquée par la nature discrète du domaine. Le modèle est entraîné de
manière purement non supervisée et n’utilise aucune estimation de gradients. Nous montrons
des résultats en modélisation de la langue, en génération de grammaires non contextuelles
et génération conditionnelle de phrases.
Deep learning, a subdiscipline of machine learning, is used throughout multiple domains, including natural language processing. However, in the field multiple problems remain open, notably the prediction of long sequences and the generation of natural languages. In the following thesis, we present two models that work toward solving both of these problems. In chapter 1, we add a planning mechanism to sequence-to-sequence models. The mech- anism consists of establishing ahead of time the alignment between the input and output sequence. We show that this improves the alignment, help the model to converge faster, and necessitate fewer parameters. We also show performance gain in neural machine translation, questions generation, and the algorithmic task of finding Eulerian circuits in graphs. In chapter 2, we tackle the language generation task using generative adversarial net- works. A non-trivial problem considering the discrete nature of the output space. The model is trained using only an adversarial loss and without any gradient estimation. We show results on language modeling, context-free grammar generation, and conditional sen- tence generation.
Deep learning, a subdiscipline of machine learning, is used throughout multiple domains, including natural language processing. However, in the field multiple problems remain open, notably the prediction of long sequences and the generation of natural languages. In the following thesis, we present two models that work toward solving both of these problems. In chapter 1, we add a planning mechanism to sequence-to-sequence models. The mech- anism consists of establishing ahead of time the alignment between the input and output sequence. We show that this improves the alignment, help the model to converge faster, and necessitate fewer parameters. We also show performance gain in neural machine translation, questions generation, and the algorithmic task of finding Eulerian circuits in graphs. In chapter 2, we tackle the language generation task using generative adversarial net- works. A non-trivial problem considering the discrete nature of the output space. The model is trained using only an adversarial loss and without any gradient estimation. We show results on language modeling, context-free grammar generation, and conditional sen- tence generation.
Table des matières
Notes
Notes
Autre version linguistique
Ensemble de données lié
Licence
Approbation
Évaluation
Complété par
Référencé par
Ce document diffusé sur Papyrus est la propriété exclusive des titulaires des droits d'auteur et est protégé par la Loi sur le droit d'auteur (L.R.C. (1985), ch. C-42). Sauf si le document est diffusé sous une licence Creative Commons, il ne peut être utilisé que dans le cadre d'une utilisation équitable et non commerciale comme le prévoit la Loi (i.e. à des fins d'étude privée ou de recherche, de critique ou de compte-rendu). Pour toute autre utilisation, une autorisation écrite des titulaires des droits d'auteur sera nécessaire.