Metacognitive architecture for perceptual and social systems : a neuro-inspired metacognition approach

Abstract

Cette thèse de maîtrise se concentre sur une approche pour implémenter la métacognition comme la transformation de représentations de premier ordre (réseau de 2e ordre), et l'étude de différents composants (à la fois le réseau de 2e ordre et le modèle en cascade) dans une diversité d'environnements allant de scénarios perceptuels simples à des environnements agentiques complexes avec de multiples obstacles et agents d'arrière-plan, et l'apprentissage continu dans des environnements à agent unique. Abrégée sous le nom de MAPS (Architecture Métacognitive pour l'Apprentissage Perceptuel et Social), cette approche proposée intègre à la fois un réseau de second ordre (métacognitif) et une montée graduelle et fluide d'activation (modèle en cascade) dans les systèmes d'IA (SIA) pour améliorer à la fois l'apprentissage social et continu. Nous évaluons MAPS à travers quatre conditions : apprentissage perceptuel (Connais-toi toi-même), SARL (MinAtar), SARL avec apprentissage continu (SARL+CL, MinAtar), et MARL (MeltingPot 2.0). Pour évaluer l'apprentissage social, nous comparons un réseau de confiance de 2e ordre dans des tâches perceptuelles vs. sociales, analysant son impact sur la prise de décision et les dynamiques d'interaction. Pour l'apprentissage continu, un réseau enseignant de 2e ordre stabilise l'intégration de nouvelles connaissances, prévenant la perte de connaissances passées. Les résultats montrent que les mécanismes métacognitifs améliorent significativement l'adaptabilité dans les SIA. Dans les tâches perceptuelles, le modèle en cascade améliore l'apprentissage structuré et le flux d'information. Dans SARL, combiner un réseau de 2e ordre avec un modèle en cascade permet l'adaptation de comportements complexes. Dans SARL+CL, cela minimise l'oubli catastrophique plus efficacement que DQN. Dans MARL, MAPS montre du potentiel dans des environnements à haute variabilité, bien que des tests supplémentaires soient nécessaires. Ces résultats suggèrent la métacognition comme un outil puissant pour améliorer l'efficacité d'apprentissage et la compétence sociale de l'IA.

This master's thesis focuses on an approach to implement metacognition as the transformation of first order representations (2nd order network), and the study of different components (both 2nd order network and cascade model) in a diversity of environments from simple perceptual scenarios to complex agentic environments with multiple obstacles and background agents, and continual learning in single agent environments. Abbreviated as MAPS (Metacognitive Architecture for Perceptual and Social Learning), this proposed approach integrates both a second order (metacognitive) network and a smooth graded build-up of activation (cascade model) into AI systems (AIS) to improve both social and continual learning. We evaluate MAPS across four conditions: perceptual learning (Know Thyself), SARL (MinAtar), SARL with continual learning (SARL+CL, MinAtar), and MARL (MeltingPot 2.0). To assess social learning, we compare a 2nd-order confidence network in perceptual vs. social tasks, analyzing its impact on decision-making and interaction dynamics. For continual learning, a 2nd-order teacher network stabilizes new knowledge integration, preventing past knowledge loss. Results show that metacognitive mechanisms significantly enhance adaptability in AIS. In perceptual tasks, the cascade model improves structured learning and information flow. In SARL, combining a 2nd-order network with a cascade model enables complex behavior adaptation. In SARL+CL, it minimizes catastrophic forgetting more effectively than DQN. In MARL, MAPS shows promise in high-variability environments, though further testing is needed. These findings suggest metacognition as a powerful tool for enhancing AI's learning efficiency and social competence.