Liste
Sécuriser le développement d'une IA : fiche CNIL 2025
Article 32 du RGPD appliqué à un projet d'IA : objectifs de sécurité, risques et mesures listées par la CNIL pour les données, le code et le service.
Mis à jour le
La sécurité d'un projet d'IA n'est pas qu'une affaire d'ingénieurs en cybersécurité : c'est une obligation du RGPD (règlement général sur la protection des données). Son article 32 demande des mesures adaptées aux risques. Dans sa fiche « Garantir la sécurité du développement d'un système d'IA », publiée le 22/07/2025, la CNIL en dresse la liste pour l'IA. Les mesures sont indicatives : c'est au responsable de traitement de les adapter. Informations générales, à faire valider par un juriste ou le DPO (délégué à la protection des données).
Pour une solution fondée sur une plateforme, consultez les fonctions d’ALMA et répartissez les responsabilités à examiner entre fournisseur et équipe projet. Demandez les éléments précis sur les accès, les incidents et les données ; une liste de fonctions ne remplace pas ces preuves.
La méthode
Combinez une analyse de sécurité classique (environnement, développement logiciel, maintenance) avec une analyse des risques propres à l'IA. La CNIL recommande de réaliser une analyse d'impact et d'être particulièrement attentif aux composants peu évalués : modèles pré-entraînés, bases de données, bibliothèques.
Trois objectifs de sécurité
- Confidentialité : empêcher la mémorisation, la reconstruction ou l'inférence d'appartenance, qui peuvent divulguer des données d'entraînement. Voir un modèle contient-il des données personnelles ?
- Performance et intégrité : garantir la fiabilité des données, des modèles et des procédures, et surveiller les systèmes à apprentissage continu.
- Sécurité générale du système d'information : protéger sauvegardes, interfaces, communications. La fiche note que ces éléments sont souvent plus exposés que le modèle lui-même.
Ce qui fait monter le risque
La nature des données, la maîtrise (ou non) des données, modèles et outils (sources non vérifiées, fichiers corrompus, portes dérobées), le mode d'accès (service en ligne, logiciel libre, exposition sur le web), le contenu des sorties (comme des scores de confiance) et le contexte d'usage.
Les mesures, par étape
Les données d'entraînement
- Vérifier fiabilité, qualité et intégrité des données et de leurs annotations, sur tout leur cycle de vie.
- Versionner les jeux et tracer la version utilisée pour chaque entraînement.
- Utiliser des données fictives ou synthétiques quand les vraies ne sont pas nécessaires.
- Chiffrer sauvegardes et communications, contrôler les accès par niveaux d'habilitation.
- Anonymiser ou pseudonymiser, cloisonner les données sensibles, encadrer les exports et partages (tatouage ou hachage des modèles compris).
Le développement
- Intégrer la protection des données dès la conception, avec minimisation.
- Employer des bibliothèques, modèles et fichiers de configuration vérifiés, des formats sûrs (safetensors plutôt que pickle) et la revue de code.
- Travailler en environnement contrôlé et reproductible : conteneurs, machines virtuelles, bac à sable.
- Mettre en place l'intégration continue et une démarche DevSecOps, avec tests et authentification des modifications de production.
- Documenter le système : composants, nomenclature logicielle, performances, biais, limites, protections.
- Réaliser des audits de sécurité, dont des attaques simulées (red teaming).
Le système en fonctionnement
- Informer les utilisateurs des limites et des conditions d'usage.
- Fournir de quoi interpréter les résultats et recueillir les retours.
- Contrôler les sorties : filtres, apprentissage par retour humain, tatouage des contenus générés.
Les mesures transversales
- Suivre un plan d'action sécurité avec retour arrière et gestion d'incident.
- Constituer une équipe pluridisciplinaire et former les développeurs.
- Gérer les habilitations, journaliser les accès et analyser les traces : le détail sur la journalisation.
Pour aller plus loin côté attaques
La fiche renvoie vers des référentiels : ANSSI (EBIOS RM, recommandations pour l'IA générative), ENISA, BSI, OWASP, NIST, MITRE ATLAS, Plot4AI et le guide RGPD du développeur de la CNIL. Pour la liste des vulnérabilités les plus courantes des applications à base de modèles de langage, voir l'OWASP Top 10 pour les LLM.
Par où commencer
- Dressez la liste de vos composants tiers (modèles, bibliothèques, jeux de données) et de leur origine.
- Passez les modèles sur un format sûr et vérifiez les fichiers avant chargement.
- Séparez les environnements : un jeu réel ne devrait pas se trouver sur un poste de test.
- Versionnez et journalisez.
- Décidez qui peut modifier la production, avec quelle authentification.
Questions fréquentes
Quelle obligation du RGPD impose de sécuriser un projet d'IA ?
L'article 32, qui exige des mesures de sécurité adaptées aux risques. La fiche de la CNIL (22/07/2025) en tire une liste de mesures indicatives, à adapter par le responsable de traitement.
Que veut dire safetensors plutôt que pickle ?
La CNIL recommande des formats de fichiers sécurisés pour les modèles, par exemple safetensors plutôt que pickle, avec des bibliothèques, modèles et fichiers de configuration vérifiés.
Faut-il une analyse d'impact pour un projet d'IA ?
La CNIL la recommande dans sa fiche sur la sécurité, et invite à la vigilance avec les composants peu évalués : modèles pré-entraînés, bases de données, bibliothèques.
Sources
Pages consultées pour écrire cet article :