The equivalence of contrastive learning and graph convolution in collaborative filtering
Thèse ou mémoire / Thesis or Dissertation
Date de publication
Autrices et auteurs
Identifiant ORCID de l’auteur
Contributrices et contributeurs
Direction de recherche
Publié dans
Date de la Conférence
Lieu de la Conférence
Éditeur
Cycle d'études
Maîtrise / Master's
Programme
Affiliation
Mots-clés
- Recommender Systems
- Collaborative Filtering
- Systèmes de recommandation
- Filtrage collaboratif
- Graphique
- Graph
Organisme subventionnaire
Résumé
Résumé
Ces dernières années, les systèmes de recommandation ont gagné en importance dans le paysage informationnel en plein essor. Au cœur de ces systèmes se trouve l’algorithme de filtrage collaboratif (FC). Le graph convolutionnelle et l'apprentissage contrastif sont récemment utilisées comme des techniques importantes dans le cadre de FC.
Bien que de nombreux modèles existants en FC intègrent ces méthodes dans leur conception, il semble y avoir une analyse approfondie limitée concernant les principes fondamentaux sous-jacents. Ce mémoire vise à apporter une analyse sur ces techniques afin de mieux comprendre les effets de ces deux techniques pour le FC. Nous allons
relier le graph convolutionel, un élément essentiel des modèles basés sur des graphes, avec l'apprentissage contrastif à travers un cadre théorique. En examinant la dynamique d'apprentissage et l'équilibre de la fonction de perte contrastive, nous proposons une nouvelle perspective pour comprendre l'apprentissage contrastif via les principes de la théorie des graphes, à savoir le filtre passe-bas, soulignant sa capacité à capturer une connectivité d'ordre élevé. En nous appuyant sur cette analyse, nous montrons en outre que les couches de convolution de graphes souvent utilisées dans les modèles basés sur des graphes ne sont pas essentielles pour la modélisation de connectivité d'ordre élevé et au contraire, pourraient contribuer à augmenter le risque de lissage excessif. À partir de nos résultats, nous introduisons le filtrage collaboratif contrastif simple (SCCF), un algorithme simple et efficace basé sur la factorisation matricielle et une fonction de perte contrastive modifiée. L'efficacité de l'algorithme est démontrée par des expériences approfondies sur quatre ensembles de données publiques.
La contribution principale de ce mémoire réside en l'établissement pour la première fois d'une connexion entre les modèles basés sur des graphes et l'apprentissage contrastif pour le FC. Ceci offre une explication pourquoi l'ajout des couches de convolution dans les modèles de graph n'était pas performant dû aux effets de surlissage. Il offre une nouvelle compréhension du FC, qui permettra de construire de nouveaux modèles de FC plus performants dans le futur.
In recent years, recommender systems have gained increased significance amidst the burgeoning information landscape. At the heart of these systems lies the Collaborative Filtering (CF) algorithm. Graph convolution and contrastive learning have recently emerged as prominent techniques within the CF framework, reflecting the evolving dynamics in this field. While many existing models in CF incorporate these methods in their design, there seems to be a limited depth of analysis regarding the foundational principles behind them. This thesis aims to provide a deeper analysis about the techniques to better understand their effects in CF. We will bridge graph convolution, a pivotal element of graph-based models, with contrastive learning through a theoretical framework. By examining the learning dynamics and equilibrium of the contrastive loss function, we offer a fresh lens to understand contrastive learning via graph theory principles, namely low-pass filter, emphasizing its capability to capture high-order connectivity. Building on this analysis, we further show that the graph convolution layers often used in graph-based models is not essential for high-order connectivity modelling and in contrary, might contribute to increase the risk of oversmoothing. Stemming from our findings, we introduce a Simple Contrastive Collaborative Filtering (SCCF), a simple and effective algorithm based on Matrix Factorization and a modified contrastive loss function. The efficacy of the algorithm is demonstrated through extensive experiments across four public datasets. The main contribution of this thesis lies in the connection established for the first time between graph-based models and contrastive learning for CF. It offers an explanation on why adding more convolution layers in graph models has not been effective due to the oversmoothing effect. The thesis provides a new understanding of CF, which can be used to build new effective models for CF in the future.
In recent years, recommender systems have gained increased significance amidst the burgeoning information landscape. At the heart of these systems lies the Collaborative Filtering (CF) algorithm. Graph convolution and contrastive learning have recently emerged as prominent techniques within the CF framework, reflecting the evolving dynamics in this field. While many existing models in CF incorporate these methods in their design, there seems to be a limited depth of analysis regarding the foundational principles behind them. This thesis aims to provide a deeper analysis about the techniques to better understand their effects in CF. We will bridge graph convolution, a pivotal element of graph-based models, with contrastive learning through a theoretical framework. By examining the learning dynamics and equilibrium of the contrastive loss function, we offer a fresh lens to understand contrastive learning via graph theory principles, namely low-pass filter, emphasizing its capability to capture high-order connectivity. Building on this analysis, we further show that the graph convolution layers often used in graph-based models is not essential for high-order connectivity modelling and in contrary, might contribute to increase the risk of oversmoothing. Stemming from our findings, we introduce a Simple Contrastive Collaborative Filtering (SCCF), a simple and effective algorithm based on Matrix Factorization and a modified contrastive loss function. The efficacy of the algorithm is demonstrated through extensive experiments across four public datasets. The main contribution of this thesis lies in the connection established for the first time between graph-based models and contrastive learning for CF. It offers an explanation on why adding more convolution layers in graph models has not been effective due to the oversmoothing effect. The thesis provides a new understanding of CF, which can be used to build new effective models for CF in the future.
Table des matières
Notes
Notes
Autre version linguistique
Ensemble de données lié
Licence
Approbation
Évaluation
Complété par
Référencé par
Ce document diffusé sur Papyrus est la propriété exclusive des titulaires des droits d'auteur et est protégé par la Loi sur le droit d'auteur (L.R.C. (1985), ch. C-42). Sauf si le document est diffusé sous une licence Creative Commons, il ne peut être utilisé que dans le cadre d'une utilisation équitable et non commerciale comme le prévoit la Loi (i.e. à des fins d'étude privée ou de recherche, de critique ou de compte-rendu). Pour toute autre utilisation, une autorisation écrite des titulaires des droits d'auteur sera nécessaire.