Dichotomy(?) of fairness and efficiency
Thèse ou mémoire / Thesis or Dissertation
Date de publication
Autrices et auteurs
Identifiant ORCID de l’auteur
Contributrices et contributeurs
Direction de recherche
Publié dans
Date de la Conférence
Lieu de la Conférence
Éditeur
Cycle d'études
Maîtrise / Master's
Programme
Affiliation
Mots-clés
- Fairness
- Bias Mitigation
- Constraint Optimization
- PEFT
- Sparsity
- Responsible AI
- Équité
- atténuation des biais
- optimisation sous contrainte
- élagage
Organisme subventionnaire
Résumé
Résumé
La montée en popularité des modèles fondamentaux à grande échelle a révolutionné l'intelligence artificielle. Toutefois, en raison des contraintes computationnelles et de stockage, cela présente des défis significatifs pour leur déploiement sur des appareils aux ressources restreintes. Des techniques telles que ajustement économe en paramètres (PEFT), illustré par l'adaptation de rang faible (LoRA), et des méthodes de compression de modèles comme l’élagage ont émergé pour résoudre ces problèmes. Cependant, leur impact sur l'équité demeure insuffisamment étudié et pourrait potentiellement aggraver les biais envers certains groupes de la population sous-représentés.
Cette thèse examine les implications en matière d'équité des méthodes PEFT et de l'élagage et introduit des solutions pour atténuer efficacement les biais associés. Premièrement, nous proposons \textbf{FairLoRA}, une nouvelle adaptation de LoRA consciente de l'équité qui réduit les disparités de performance entre les sous-groupes de données en minimisant la variance de la perte par classe. Notre évaluation systématique sur divers modèles de vision—incluant ViT, DINO et CLIP—et jeux de données démontre que FairLoRA atteint des résultats en matière d'équité comparables à un ajustement fin complet avec régularisation d'équité, sans nécessiter des rangs LoRA plus élevés.
Deuxièmement, nous abordons l'impact disparate de l'élagage en formulant une approche d'optimisation contrainte qui limite directement les changements de précision entre les modèles denses et sparsifiés pour chaque sous-groupe. Cette méthode fournit un critère interprétable pour des niveaux de disparité acceptables et s'adapte efficacement aux grands modèles et à de nombreux sous-groupes protégés. Une contribution clé de ce travail est l'identification des défis de généralisation dans les interventions d'équité; nous sommes parmi les premiers à observer que les améliorations en matière d'équité sur les données d'entraînement peuvent ne pas toujours se transférer aux données non vues. En soulignant cette limitation, notre travail souligne la nécessité de recherches supplémentaires pour développer des stratégies robustes d'atténuation des biais.
Dans l'ensemble, cette thèse fait progresser le déploiement de modèles d'apprentissage automatique efficaces et équitables en proposant des méthodes pratiques pour atténuer les problèmes d'équité dans le PEFT et l’élagage, garantissant que les gains en performance ne se font pas au détriment de l'équité.
The rise of large-scale foundational models has revolutionized artificial intelligence but presents significant challenges for deployment on resource-constrained devices due to computational and storage limitations. Techniques such as parameter-efficient fine-tuning (PEFT), exemplified by Low-Rank Adaptation (LoRA), and model compression methods such as pruning have emerged to address these issues. However, their impact on fairness remains under-explored, potentially exacerbating biases against underrepresented groups. This thesis investigates the fairness implications of PEFT and pruning methods and introduces solutions to mitigate associated biases efficiently. First, we propose \textbf{FairLoRA}, a novel fairness-aware adaptation of LoRA that reduces performance disparities across data subgroups by minimizing per-class loss variance. Our systematic evaluation across various vision models—including ViT, DINO, and CLIP—and datasets demonstrates that FairLoRA achieves fairness outcomes comparable to full fine-tuning with fairness regularization, without necessitating higher LoRA ranks. Second, we address the disparate impact of pruning by formulating a constrained optimization approach that directly bounds the accuracy changes between dense and sparse models for each subgroup. This method provides an interpretable criterion for acceptable disparity levels and scales efficiently to large models and numerous protected subgroups. A key contribution of this work is the identification of generalization challenges in fairness interventions; we are among the first to observe that fairness improvements on training data may not always transfer to unseen data. By highlighting this limitation, our work underscores the need for further research to develop robust fairness mitigation strategies. Overall, this thesis advances the deployment of efficient and fair machine learning models by providing practical methods to mitigate fairness issues in PEFT and pruning, ensuring that performance gains do not come at the expense of equity.
The rise of large-scale foundational models has revolutionized artificial intelligence but presents significant challenges for deployment on resource-constrained devices due to computational and storage limitations. Techniques such as parameter-efficient fine-tuning (PEFT), exemplified by Low-Rank Adaptation (LoRA), and model compression methods such as pruning have emerged to address these issues. However, their impact on fairness remains under-explored, potentially exacerbating biases against underrepresented groups. This thesis investigates the fairness implications of PEFT and pruning methods and introduces solutions to mitigate associated biases efficiently. First, we propose \textbf{FairLoRA}, a novel fairness-aware adaptation of LoRA that reduces performance disparities across data subgroups by minimizing per-class loss variance. Our systematic evaluation across various vision models—including ViT, DINO, and CLIP—and datasets demonstrates that FairLoRA achieves fairness outcomes comparable to full fine-tuning with fairness regularization, without necessitating higher LoRA ranks. Second, we address the disparate impact of pruning by formulating a constrained optimization approach that directly bounds the accuracy changes between dense and sparse models for each subgroup. This method provides an interpretable criterion for acceptable disparity levels and scales efficiently to large models and numerous protected subgroups. A key contribution of this work is the identification of generalization challenges in fairness interventions; we are among the first to observe that fairness improvements on training data may not always transfer to unseen data. By highlighting this limitation, our work underscores the need for further research to develop robust fairness mitigation strategies. Overall, this thesis advances the deployment of efficient and fair machine learning models by providing practical methods to mitigate fairness issues in PEFT and pruning, ensuring that performance gains do not come at the expense of equity.
Table des matières
Notes
Notes
Autre version linguistique
Ensemble de données lié
Licence
Approbation
Évaluation
Complété par
Référencé par
Ce document diffusé sur Papyrus est la propriété exclusive des titulaires des droits d'auteur et est protégé par la Loi sur le droit d'auteur (L.R.C. (1985), ch. C-42). Sauf si le document est diffusé sous une licence Creative Commons, il ne peut être utilisé que dans le cadre d'une utilisation équitable et non commerciale comme le prévoit la Loi (i.e. à des fins d'étude privée ou de recherche, de critique ou de compte-rendu). Pour toute autre utilisation, une autorisation écrite des titulaires des droits d'auteur sera nécessaire.