Latent variable language models
Thèse ou mémoire / Thesis or Dissertation
Date de publication
Autrices et auteurs
Identifiant ORCID de l’auteur
Contributrices et contributeurs
Direction de recherche
Publié dans
Date de la Conférence
Lieu de la Conférence
Éditeur
Cycle d'études
Maîtrise / Master's
Programme
Affiliation
Mots-clés
- language models
- probabilistic models
- Traitement du langage naturel
- Modèles de langage
- deep learning
- neural networks
- latent variables
- Réseaux de neurones
- Apprentissage automatique
- Apprentissage profond
- Modèles génératifs
- Compréhension du langage naturel
Organisme subventionnaire
Résumé
Résumé
There has been a renewed interest in generative modeling/unsupervised learning
for language for downstream natural language understanding tasks. In this thesis,
we explore the augmentation of standard language models with latent variables. In
the first chapter, we provide a brief introduction of language models, the classical
n-gram treatment and the more common Neural Language Models in use today. We
also briefly introduce variational autoencoders and the recent work improving upon
them.
In Chapter 2, we review work that explores the space where latent variable
models and language models intersect. We then empirically analyse the effectiveness
of a couple of these methods. In particular, we re-implement the models from
Bowman et al. (2015) and Yang et al. (2017), and benchmark them against the
Penn Treebank dataset with some experiments of our own.
In Chapter 3, we discuss an ICML submission: Generating Contradictions,
Entailments and Neutral Sentences. In this work, we encode source sentences to
a latent distribution space and attempt to manipulate it from there to generate
sentences corresponding to the given logical entailment. While our efforts are
unsuccessful, we believe that enabling controllable latent variable distributions is
an interesting direction to pursue.
In Chapter 4, we conclude with a review of the content covered in the thesis, and
a higher-level discussion of what possible avenues of future work could resemble.
Dernièrement, il y a eu un renouvellement d'intérêts dans l'application de modèles génératifs en compréhension de la langue. Dans ce mémoire, nous explorons l'ajout de variables latentes dans les modèles de langues traditionnels. Dans le chapitre 1, nous introduisons brièvement les modèles de langues, notamment les modèles n-gram et les modèles de langue neuronaux, couramment utilisés de nos jours. Nous présentons également les auto-encodeurs variationnels ainsi que différents moyens d'améliorer leur performance. Dans le chapitre 2, nous passons en revue les travaux ou des modèles à variables latentes sont appliqués en modélisation de la langue. Nous analysons également l'efficacité de plusieurs de ces méthodes. En particulier, nous analysons les modèles de cite bowman2015generating et cite yang2017improved, et les évaluons entre autres sur Penn Treebank. Dans le chapitre 3, nous présentons un article encore non publié: Generating Contradictions, Entailments and Neutral Sentences. Dans ce travail, nous encodons des phrases sources dans une distribution latente. Nous manipulons par la suite cet espace afin de générer des phrases correspondant à certaines implications logiques. Malgré nos efforts infructueux, nous croyons que l'utilisation de variables latentes contrôlables est une direction intéressante à suivre. Dans le chapitre 4, nous concluons avec un bref survol du mémoire et discutons des travaux futurs possibles.
Dernièrement, il y a eu un renouvellement d'intérêts dans l'application de modèles génératifs en compréhension de la langue. Dans ce mémoire, nous explorons l'ajout de variables latentes dans les modèles de langues traditionnels. Dans le chapitre 1, nous introduisons brièvement les modèles de langues, notamment les modèles n-gram et les modèles de langue neuronaux, couramment utilisés de nos jours. Nous présentons également les auto-encodeurs variationnels ainsi que différents moyens d'améliorer leur performance. Dans le chapitre 2, nous passons en revue les travaux ou des modèles à variables latentes sont appliqués en modélisation de la langue. Nous analysons également l'efficacité de plusieurs de ces méthodes. En particulier, nous analysons les modèles de cite bowman2015generating et cite yang2017improved, et les évaluons entre autres sur Penn Treebank. Dans le chapitre 3, nous présentons un article encore non publié: Generating Contradictions, Entailments and Neutral Sentences. Dans ce travail, nous encodons des phrases sources dans une distribution latente. Nous manipulons par la suite cet espace afin de générer des phrases correspondant à certaines implications logiques. Malgré nos efforts infructueux, nous croyons que l'utilisation de variables latentes contrôlables est une direction intéressante à suivre. Dans le chapitre 4, nous concluons avec un bref survol du mémoire et discutons des travaux futurs possibles.
Table des matières
Notes
Notes
Autre version linguistique
Ensemble de données lié
Licence
Approbation
Évaluation
Complété par
Référencé par
Ce document diffusé sur Papyrus est la propriété exclusive des titulaires des droits d'auteur et est protégé par la Loi sur le droit d'auteur (L.R.C. (1985), ch. C-42). Sauf si le document est diffusé sous une licence Creative Commons, il ne peut être utilisé que dans le cadre d'une utilisation équitable et non commerciale comme le prévoit la Loi (i.e. à des fins d'étude privée ou de recherche, de critique ou de compte-rendu). Pour toute autre utilisation, une autorisation écrite des titulaires des droits d'auteur sera nécessaire.