Le web scraping est-il interdit pour entraîner une IA ?

Non. La CNIL indique que le moissonnage n'est pas interdit en soi, qu'il repose généralement sur l'intérêt légitime et qu'il doit s'accompagner de mesures protégeant les personnes, à analyser au cas par cas.

Faut-il respecter le fichier robots.txt ?

Oui. La CNIL demande d'exclure les sites qui s'opposent clairement au moissonnage, notamment par robots.txt ou CAPTCHA, et précise que le responsable du traitement est tenu de les respecter.

Web scraping pour entraîner une IA : les règles CNIL

Le moissonnage (web scraping) de pages publiques pour constituer un jeu d'entraînement n'est pas interdit, mais il n'est pas libre non plus. La CNIL (Commission nationale de l'informatique et des libertés) lui a consacré une fiche spécifique le 19/06/2025, en complément de sa fiche sur l'intérêt légitime, la base légale généralement utilisée dans ce cas. Elle y distingue des mesures obligatoires, tirées du principe de minimisation (article 5, paragraphe 1, point c du RGPD, règlement général sur la protection des données), et des mesures complémentaires qui pèsent dans la mise en balance.

Une donnée accessible en ligne reste une donnée personnelle. Le fait qu'elle soit publique compte dans l'analyse, sans la dispenser.

Les mesures obligatoires

Mesure	Traduction technique
Définir en amont des critères de collecte précis	Liste des domaines, types de pages, champs à extraire, fixée avant de lancer le robot
Exclure les catégories de données inutiles	Filtres à l'extraction ; si le filtrage est impossible, exclure les types de sites qui contiennent structurellement ces données
Supprimer les données non pertinentes	Dès la collecte ou dès leur repérage ; la CNIL cite les pseudonymes d'un forum quand seul le texte des commentaires est utile
Respecter le refus des éditeurs	Exclure les sites qui s'opposent clairement au moissonnage, signalé par robots.txt ou des CAPTCHA

Sur ce dernier point, la fiche est nette : le protocole robots.txt et les CAPTCHA sont des signaux « que le responsable du traitement est tenu de respecter ». Elle cite aussi d'autres signaux non bloquants : le fichier ai.txt, le protocole TDMRep (fichier tdmrep.json, que la CNIL rattache au W3C, le consortium qui normalise le web), les balises meta du type « noai », les registres de type « do-not-train ». La CNIL encourage leur standardisation.

Les mesures complémentaires recommandées

À choisir au cas par cas, selon les risques :

Une liste d'exclusion par défaut : sites à contenu intrusif (sites pour adultes, forums de santé), sites généalogiques.
Les seules données réellement publiques : contenus accessibles sans compte et que les personnes savent publics ; ni profils ni groupes privés.
Une information large sur la collecte et les droits (articles, réseaux sociaux), avec la liste des sites concernés.
Un droit d'opposition préalable et discrétionnaire, par exemple au moyen de listes d'exclusion tenues à la demande des personnes.
L'anonymisation ou la pseudonymisation dès la collecte.
Empêcher les recoupements à partir des identifiants, par exemple avec un pseudonyme propre à chaque contenu plutôt qu'à chaque auteur.

La fiche « collecte et gestion des données » ajoute deux réflexes : utiliser les moyens prévus par le diffuseur, notamment ses API (interfaces de programmation), quand ils existent, et sécuriser les flux.

Les données sensibles

Les catégories particulières de données, dites sensibles, surgissent vite dans un corpus moissonné : un forum de santé, un commentaire politique suffisent. La CNIL demande :

de les exclure automatiquement quand elles ne sont pas pertinentes, par des filtres ou en écartant les sites concernés ;
d'admettre qu'une collecte incidente et résiduelle n'est pas illégale en soi (elle cite l'arrêt C-136/17 de la Cour de justice) ;
mais, dès qu'on sait en traiter, de les supprimer « autant que possible », de façon immédiate et automatisée.

Leur traitement peut être permis si la personne les a manifestement rendues publiques, par un choix explicite et éclairé (arrêt C-252/21).

Les attentes raisonnables

Les personnes ne s'attendent pas à être moissonnées partout. La CNIL tient compte du caractère public des données, de la nature du site, des restrictions posées (conditions d'utilisation, robots.txt, CAPTCHA), du type de publication et de la relation avec le responsable. Un traitement qui ignore les sites opposés au moissonnage ne peut pas entrer dans ces attentes.

Une liste de contrôle pour le robot

Critères de collecte écrits et versionnés avant le premier lancement.
Lecture de robots.txt et des autres signaux d'opposition à chaque visite, avec exclusion journalisée.
Liste d'exclusion par défaut chargée par le robot.
Extraction des seuls champs utiles ; pseudonymes, identifiants et images supprimés quand ils ne servent pas.
Filtre de détection des données sensibles, avec suppression automatique.
Conservation de l'adresse web (URL) source et de la date, utiles pour répondre aux demandes des personnes.
Page publique décrivant la collecte, les sources et la manière de s'y opposer (voir informer les personnes).

Le moissonnage pose aussi des questions de droit d'auteur et de conditions d'utilisation des sites, hors du champ de cette page. Pour un projet précis, faites valider l'ensemble par votre délégué à la protection des données ou un avocat.