Guide
AIPD d'un projet d'IA : quand la faire, quels risques
Critères qui rendent l'analyse d'impact obligatoire en développement d'IA, huit risques propres à l'IA et mesures techniques citées par la CNIL.
Mis à jour le
Une analyse d'impact relative à la protection des données (AIPD) est obligatoire quand un traitement est « susceptible d'engendrer un risque élevé » pour les personnes (article 35 du RGPD, règlement général sur la protection des données). Pour la phase de développement d'un système d'IA (constituer la base, entraîner, tester), la CNIL (Commission nationale de l'informatique et des libertés) a publié le 08/04/2024 une fiche qui précise comment appliquer cette règle et quels risques propres à l'IA y étudier. Cette page en suit la logique.
Pour un assistant déjà fait que l'on branche sur ses documents, le sujet est traité sous l'angle du déploiement dans l'analyse d'impact pour un assistant IA.
Quand l'AIPD devient obligatoire
Un traitement qui remplit au moins deux des neuf critères du CEPD (Comité européen de la protection des données) est présumé soumis à l'obligation. La CNIL en retient cinq comme particulièrement pertinents en développement :
| Critère | Lecture de la CNIL pour l'IA |
|---|---|
| Données sensibles ou hautement personnelles | Santé, opinions, biométrie… dans la base d'entraînement |
| Collecte à grande échelle | Pas automatique : quelques milliers de personnes reconnaissables dans un jeu d'images de paysages n'en font pas forcément une ; un grand modèle de langage entraîné sur un volume considérable de données moissonnées peut en relever |
| Personnes vulnérables | Mineurs notamment |
| Croisement de jeux de données | Fusion de sources différentes |
| Usage innovant | L'apprentissage profond, dont l'IA générative, en relève ; régression, partitionnement ou forêts aléatoires non |
Autres repères de la fiche :
- pour les traitements de la liste publiée par la CNIL qui impliquent du profilage ou une décision automatisée, « une AIPD est toujours requise » ;
- pour un système à haut risque au sens du règlement européen sur l'IA, l'AIPD est présumée nécessaire dès qu'il y a des données personnelles ;
- pour un modèle de fondation ou un système à usage général, elle est nécessaire « dans la majorité des cas » ;
- même avec moins de deux critères, l'AIPD peut s'imposer si des risques importants existent (mésusage, violation, discrimination). À l'inverse, elle n'est pas requise si l'on peut établir avec une certitude suffisante l'absence de risque élevé.
Les huit risques propres à l'IA
La CNIL demande de les examiner pour chaque source de données et pour l'ensemble constitué :
- Mésusage des données de la base d'apprentissage, notamment après une violation.
- Discrimination automatisée due à un biais, par exemple une performance moindre pour une catégorie de personnes.
- Contenu fictif et erroné sur une personne réelle, notamment avec l'IA générative.
- Décision automatisée par biais d'automatisation ou de confirmation, faute d'explicabilité, ou quand l'agent ne peut pas s'écarter du système sans préjudice.
- Attaques propres à l'IA : empoisonnement des données, porte dérobée, inversion du modèle.
- Atteinte à la confidentialité des données extractibles du système.
- Risques éthiques systémiques liés au déploiement (fonctionnement démocratique, droits fondamentaux).
- Perte de contrôle des personnes sur leurs données publiées en ligne, surtout en cas de moissonnage.
Un modèle pré-entraîné fourni par un tiers entre lui aussi dans l'analyse de risque.
Les mesures citées par la fiche
| Objectif | Exemples de mesures techniques |
|---|---|
| Sécurité | Chiffrement homomorphe, environnement d'exécution sécurisé |
| Minimisation | Données synthétiques |
| Anonymisation ou pseudonymisation | Confidentialité différentielle |
| Protection dès la conception | Apprentissage fédéré |
| Exercice des droits | Désapprentissage machine, explicabilité, traçabilité des sorties |
| Audit et validation | Exercices d'attaque (red teaming) pour repérer biais et erreurs |
S'y ajoutent des mesures génériques : accès encadré aux bases d'apprentissage, limitation de l'accès des tiers et sous-traitants, traçabilité des actions, comité d'éthique, charte informatique. Les mesures se choisissent au cas par cas et entrent dans un plan d'action suivi.
Développement, déploiement : qui fait l'AIPD ?
- Le fournisseur déploie lui-même un usage connu : une AIPD générale couvrant les deux phases.
- Le fournisseur ne déploie pas, mais connaît les usages : il peut proposer un modèle d'AIPD ; l'utilisateur reste tenu de faire la sienne.
- L'usage n'est pas connu au développement : le fournisseur analyse la phase de développement ; celui qui déploie juge ensuite si une AIPD est nécessaire pour son usage.
L'analyse se fait avant la mise en œuvre et se met à jour, par exemple quand les risques sont réévalués en conditions réelles. Son contenu minimal reste celui de l'article 35, paragraphe 7 : description des opérations et finalités, nécessité et proportionnalité, évaluation des risques, mesures prévues.
Publier l'AIPD
La CNIL recommande d'en publier tout ou partie, en retirant ce qui relève du secret des affaires ou de la sécurité. C'est aussi l'une des garanties qui renforcent l'intérêt légitime.
Cette page explique la méthode de la CNIL ; la décision de faire ou non une AIPD, et son contenu, se prennent avec votre délégué à la protection des données.
Questions fréquentes
L'apprentissage profond compte-t-il comme « usage innovant » ?
Oui, selon la CNIL. Les techniques éprouvées (régression, partitionnement, forêts aléatoires) n'en relèvent pas ; l'apprentissage profond, notamment l'IA générative, en relève.
Faut-il une AIPD pour développer un modèle à usage général ?
La CNIL considère qu'elle est nécessaire « dans la majorité des cas » quand le développement implique des données personnelles, parce que les usages de ces modèles ne peuvent pas être tous identifiés.
Sources
Pages consultées pour écrire cet article :