Automatisation et agentsMis à jour le

Qu'est-ce que le scraping (web scraping) ?

Le scraping, ou moissonnage de données, est une technique qui collecte automatiquement des informations publiées sur des sites web, à l'aide d'un programme, pour les ranger dans un fichier ou une base exploitable.

Aussi appelé : web scraping, moissonnage, extraction web, harvesting, scraper

En clair

Une entreprise de services cible les sociétés qui recrutent dans son domaine, signe qu'elles ont un besoin. Un programme parcourt chaque semaine des offres d'emploi publiques, repère celles qui correspondent et alimente une liste de comptes à étudier. Les commerciaux partent de signaux concrets au lieu d'une liste achetée.

Comment ça marche

Lire les pages comme un visiteur

Le programme ouvre les pages ciblées, comme le ferait un navigateur, puis repère dans le code de la page les éléments recherchés : un nom d'entreprise, un intitulé de poste, une date. C'est l'étape de parsing.

Ranger et enrichir

Les données collectées sont nettoyées, dédoublonnées et rangées dans un tableur, une base ou un CRM (logiciel de gestion de la relation client). Un modèle d'IA peut ensuite les qualifier : secteur, taille, pertinence pour l'offre.

Respecter le cadre

Le scraping de données personnelles reste soumis au RGPD (règlement général sur la protection des données). La CNIL a publié des règles sur la réutilisation des données publiques à des fins de prospection. Il faut aussi respecter les conditions d'utilisation des sites et ne pas surcharger leurs serveurs. Quand une API officielle existe, elle est préférable.

À ne pas confondre avec

Scraping (web scraping) et les termes voisins
Terme voisinSa définitionLa différence
API (interface de programmation)Une API, ou interface de programmation d'application, est une porte d'entrée normalisée qu'un logiciel ouvre à d'autres logiciels pour leur permettre de lire ou d'écrire ses données et de déclencher ses fonctions, sans passer par l'écran.Une API est un accès prévu par l'éditeur, stable et encadré. Le scraping lit les pages comme un visiteur, sans accord de l'éditeur, et casse quand la page change.
ParsingLe parsing, ou analyse syntaxique, consiste à lire un contenu brut, e-mail, PDF, page web ou fichier, pour en extraire des données structurées et exploitables, comme un nom, une date, un montant ou une référence.Le scraping va chercher les pages. Le parsing extrait ensuite les données utiles de leur contenu. Un outil de scraping fait souvent les deux.

Pour aller plus loin

Questions fréquentes

Le scraping est-il légal ?

Collecter des données publiques n'est pas interdit en soi, mais des données publiées en ligne restent des données personnelles au sens du RGPD. La CNIL rappelle que leur réutilisation pour de la prospection exige d'informer les personnes, et souvent leur consentement pour la prospection par e-mail. Les conditions d'utilisation des sites comptent aussi.

Avec quels outils fait-on du scraping ?

Avec des plateformes spécialisées comme Apify, des extensions de navigateur, ou du code sur mesure. Les outils d'automatisation comme n8n peuvent ensuite traiter et ranger les données collectées.

Sources

  1. CNIL, « La réutilisation des données publiquement accessibles en ligne à des fins de démarchage commercial », 30 avril 2020, consulté le .
  2. Wikipédia, « Web scraping », consulté le .

30 minutes pour savoir combien de temps vous récupérez.

Diagnostic offert, sans engagement, avec Mehdi ou Loïc. Réponse confirmée sous 24 h ouvrées.

  • Un échange concret, pas un argumentaire
  • 3 pistes d'automatisation identifiées
  • Compte-rendu écrit envoyé sous 24 h

Réserver votre diagnostic de 30 min

30 minutes avec Mehdi ou Loïc, offertes et sans engagement. Choisissez le créneau qui vous arrange.

Chargement du planning…

Ouvrir le planning dans un nouvel onglet