Enhancing agent learning through world dynamics modeling
Thèse ou mémoire / Thesis or Dissertation
Date de publication
Autrices et auteurs
Identifiant ORCID de l’auteur
Contributrices et contributeurs
Direction de recherche
Publié dans
Date de la Conférence
Lieu de la Conférence
Éditeur
Cycle d'études
Maîtrise / Master's
Programme
Affiliation
Mots-clés
- Agents basés sur LLM
- Ancrage linguistique et planification
- Apprentissage incarné
- LLM-based agents
- Language grounding and planning
- Embodied learning
Organisme subventionnaire
Résumé
Résumé
Le développement rapide de l’intelligence artificielle (IA), allant des modèles comme BERT
aux modèles de fondation à grande échelle, illustre la croissance exponentielle de la taille et
des capacités des modèles, stimulée par les avancées en puissance de calcul et la disponibilité
des données. Les modèles de fondation, qui tirent parti de l’apprentissage auto-supervisé
sur d’énormes ensembles de données non étiquetées, ont montré une polyvalence remarquable dans une large gamme de tâches, du traitement du langage à la représentation des
connaissances. Cependant, leur dépendance à des données de grande envergure, principalement issues d’Internet, introduit un « écart de connaissances »—un décalage entre les
connaissances généralisées acquises pendant l’entraînement et les connaissances spécialisées
nécessaires pour des domaines spécifiques. Cet écart est principalement causé par des informations insuffisantes, trompeuses ou superficielles disponibles lors de l’entraînement, ce
qui peut mener à des sorties peu fiables, surtout dans des contextes de données rares ou de
mauvaise qualité.
Pour relever ce défi, nous introduisons le cadre Discover, Verify, and Evolve (DiVE).
DiVE est conçu pour améliorer la compréhension des modèles de fondation en les dotant de
connaissances profondes et adaptées aux tâches en aval.
Le cadre fonctionne en trois étapes :
∙ Découvrir l’information : Extraire des informations pertinentes et utiles pour pallier le manque de données qui limite la compréhension des modèles dans des domaines
spécialisés.
∙ Vérifier l’information : Valider les informations recueillies afin de filtrer les inexactitudes et les biais, garantissant ainsi que seules des connaissances fiables sont
retenues.
∙ Faire évoluer l’information : Affiner et développer les informations vérifiées pour
obtenir des connaissances plus approfondies, améliorant ainsi la capacité du modèle
à traiter des requêtes complexes et à performer avec précision dans des tâches spécialisées.
En s’attaquant aux causes profondes de l’écart de connaissances, DiVE aide les modèles
de fondation à passer d’une compréhension générale à une expertise spécialisée, comblant
le fossé entre formation et application. Cette approche améliore la précision des modèles à
travers les domaines et renforce leurs capacités de prise de décision. Dans cette thèse, nous
démontrons l’efficacité de DiVE à travers des évaluations empiriques, soulignant son potentiel
à améliorer l’adaptabilité et la robustesse des modèles de fondation dans des scénarios réels.
The rapid evolution of artificial intelligence (AI) from models like BERT to large-scale foundation models illustrates the exponential growth in model sizes and capabilities, driven by advances in computational power and data availability. Foundation models, which leverage self-supervised learning on vast, unlabelled datasets, have shown remarkable versatility across a wide range of tasks, from language processing to knowledge representation. However, their reliance on large-scale, predominantly internet-sourced data introduces a “knowledge ga”—a mismatch between the generalized knowledge acquired during training and the specialized knowledge required for specific domains. This gap is primarily caused by insufficient, misleading, or superficial information available during training, which can lead to unreliable outputs, especially in low-data or poor-data settings. To address this challenge, we introduce the Discover, Verify, and Evolve (DiVE) framework. DiVE is designed to enhance the understanding of foundation models by equipping them with deep, tailored knowledge about downstream tasks. The framework operates in three stages: ∙ Discover the Information: Extract relevant and useful information to address the lack of data that limits the model’s understanding of specialized domains. ∙ Verify the Information: Validate the gathered information to filter out inaccuracies and biases, ensuring only reliable knowledge is retained. ∙ Evolve the Information: Refine and expand on verified information to gain deeper insights, improving the model’s ability to handle complex queries and perform accurately in specialized tasks. By addressing the root causes of the knowledge gap, DiVE helps foundation models transition from general understanding to specialized expertise, bridging the gap between training and application. This approach enhances model accuracy across domains and improves decision-making capabilities. In this thesis, we demonstrate the efficacy of DiVE through empirical evaluations, highlighting its potential to enhance the adaptability and robustness of foundation models in real-world scenarios.
The rapid evolution of artificial intelligence (AI) from models like BERT to large-scale foundation models illustrates the exponential growth in model sizes and capabilities, driven by advances in computational power and data availability. Foundation models, which leverage self-supervised learning on vast, unlabelled datasets, have shown remarkable versatility across a wide range of tasks, from language processing to knowledge representation. However, their reliance on large-scale, predominantly internet-sourced data introduces a “knowledge ga”—a mismatch between the generalized knowledge acquired during training and the specialized knowledge required for specific domains. This gap is primarily caused by insufficient, misleading, or superficial information available during training, which can lead to unreliable outputs, especially in low-data or poor-data settings. To address this challenge, we introduce the Discover, Verify, and Evolve (DiVE) framework. DiVE is designed to enhance the understanding of foundation models by equipping them with deep, tailored knowledge about downstream tasks. The framework operates in three stages: ∙ Discover the Information: Extract relevant and useful information to address the lack of data that limits the model’s understanding of specialized domains. ∙ Verify the Information: Validate the gathered information to filter out inaccuracies and biases, ensuring only reliable knowledge is retained. ∙ Evolve the Information: Refine and expand on verified information to gain deeper insights, improving the model’s ability to handle complex queries and perform accurately in specialized tasks. By addressing the root causes of the knowledge gap, DiVE helps foundation models transition from general understanding to specialized expertise, bridging the gap between training and application. This approach enhances model accuracy across domains and improves decision-making capabilities. In this thesis, we demonstrate the efficacy of DiVE through empirical evaluations, highlighting its potential to enhance the adaptability and robustness of foundation models in real-world scenarios.
Table des matières
Notes
Notes
Autre version linguistique
Ensemble de données lié
Licence
Approbation
Évaluation
Complété par
Référencé par
Ce document diffusé sur Papyrus est la propriété exclusive des titulaires des droits d'auteur et est protégé par la Loi sur le droit d'auteur (L.R.C. (1985), ch. C-42). Sauf si le document est diffusé sous une licence Creative Commons, il ne peut être utilisé que dans le cadre d'une utilisation équitable et non commerciale comme le prévoit la Loi (i.e. à des fins d'étude privée ou de recherche, de critique ou de compte-rendu). Pour toute autre utilisation, une autorisation écrite des titulaires des droits d'auteur sera nécessaire.