Building awareness and safeguarding privacy : the development of DEDALUS and ICARUS for image privacy classification

Abstract

La montée du partage d'images en ligne soulève d'importants enjeux de confidentialité, les utilisateurs pouvant involontairement exposer des informations personnelles sensibles. Cette thèse présente deux systèmes basés sur l'Intelligence Artificielle, DEDALUS et ICARUS, visant à renforcer la sensibilisation et la sécurité des utilisateurs. DEDALUS est un classificateur de confidentialité d'images doté de capacités avancées d'explicabilité. Il est basé sur deux modules. Les résultats expérimentaux montrent que son module de classification (classificateur par vote) a atteint un score F1 pondéré de 86% dans la classification de la confidentialité des images, évalué par rapport aux recherches précédentes à l'aide d'une version étendue du jeu de données PrivacyAlert. Son module d'explicabilité fournit une évaluation des risques basée sur un Modèle de Langage de Grande Taille, intégrant LIME pour expliquer les décisions des modèles de vision. ICARUS détecte les divulgations d’informations privées en identifiant les informations personnellement identifiables (PII) dans les images grâce à un modèle de vision par ordinateur. Il intègre également la classification de DEDALUS via API et attribue des avertissements de risques. Deux applications de démonstration utilisant les API de ces systèmes sont proposées : DEDALUS Workbench, pour l’analyse des modèles et la création de jeux de données, et ICARUS Watcher, pour simuler des interactions en environnements non sécurisés. Ces deux systèmes contribuent aux domaines de la vision par ordinateur, de l’éthique de l’Intelligence Artificielle et de la confidentialité numérique, en proposant une approche innovante pour atténuer les risques liés au partage d’images sensibles. The rise of online image sharing raises significant privacy concerns, as users may inadvertently expose sensitive personal information. This thesis presents two Artificial Intelligence-driven systems, DEDALUS and ICARUS, designed to enhance user awareness and security. DEDALUS is an image privacy classification system with advanced explainability capabilities, consisting of two modules. Experimental results show that its classification module (voting classifier) achieved a weighted F1 score of 86% in image privacy classification, evaluated against prior research using an extended version of the PrivacyAlert dataset. Its explainability module provides a Large Language Model-based risk assessment and employs LIME to interpret the decisions of the vision models. ICARUS is a system specialized in detecting privacy-based disclosures. It employs a computer vision model trained on a custom dataset to determine whether an image contains personally identifiable information (PII). Additionally, it integrates DEDALUS’s private image classification via API chaining and assigns appropriate warnings in a human-friendly format. Two demonstration applications are proposed: DEDALUS Workbench, for model analysis and dataset creation using the DEDALUS API, and ICARUS Watcher, for simulating interactions in unsecured environments. The ICARUS API, used in the ICARUS Watcher demo, monitors image-sharing activity and issues alerts for PII detection and private image classification. These two systems contribute to the fields of computer vision, Artificial Intelligence ethics, and digital privacy, offering an innovative approach to mitigating the risks associated with sharing sensitive images.