Scrapper Linkedin avec CasperJs pour les nuls

Personne n’est né en sachant scrapper :-p (enfin je pense).

Tout le monde a envie de scrapper parce que c’est bon et ça donne de la data assez rapidement:-) Étant moi même passé par la phase d’apprentissage, j’ai décidé de faire un petit tutoriel (en Français).

C’est la première fois que je fais un tuto donc soyez indulgents.

Si vous êtes un expert, de grâce ne regardez pas mes tutos ou si vous les regardez, pas de commentaires “énervés” en mode “oui mais ça c’est pas juste, ou pas optimisé”. L’idée c’est que tous ceux qui veulent apprendre à scrapper ou automatiser n’importe quelles actions, puissent le faire simplement et rapidement.

Les tutos sont sous forme de vidéos youtube. J’ai mis les codes sources disponibles sur Google drive ici.

Pour que ce soit concret les tutos permettent d’aboutir à un script qui permet de se connecter à Linkedin, lancer une recherche et ensuite scrapper tous les résultats de la recherche. J’ai vraiment essayé de faire le maximum de commentaires dans les vidéos et dans les codes sources.

Si vous rencontrez des problèmes écrivez moi sur Twitter, si vous avez aimé les vidéos et qu‘elles ont été utiles ou si vous voulez d’autres tutos dites le moi aussi :-) Ça m’aide :-).

J’ai choisi casperJs parce qu’il y a une bonne documentation sur internet avec pas mal de tutos. Et puis c’est la librairie que je connais le mieux.

1 — Rappels Html, css, sélecteurs, etc… (ou pas)

2 — Installation des outils

Télécharger l’ensemble des codes sources ici si vous ne l’avez pas fait.

Je vous conseille vraiment de faire les scripts dans l’ordre sauf si vous êtes déjà avancé. On va enrichir un script de base et je ne ré-explique pas tout à chaque fois.

3 — Mon premier script

Ce tuto est vraiment simple. Il permet d’ouvrir une page avec casperJs.

Nb : On travaille dans le dossier STEP_1_mon_premier_script

4 — Connexion à Linkedin

Ce tuto permet de se connecter à Linkedin. N’oubliez pas de modifier les variables email et mot de passe pour pouvoir vous connecter avec votre compte.

Nb : On travaille dans le dossier STEP_2_connexion_linkedin

5 — Ma première recherche

Ce tuto permet de faire une recherche sur Linkedin et d’extraire les informations de “leads” sur une page de résultats Linkedin : nom et prénom, localisation, titre sur linkedin, dernier poste, identifiant public linkedin, photo, url du profil complet

6 — Mes premières visites

Ce tuto permet de visiter tous les profils qui sont présent sur la première page de résultats.

7— Terminator

Je sais le nom craint un peu mais je n’avais plus d’inspiration après une journée à faire des vidéos.

Ce tuto permet de visiter tous les profils sur une recherche Linkedin soit potentiellement 1000 profils. Tout est fait pour mimer le comportement humain (temps de pause, manière de scroller les pages etc…).

It’s over :-) Vous savez remplir des formulaires, faire défiler des pages, manipuler les éléments, cliquer sur les boutons etc…

Bref vous êtes prêt à tout scrapper.

Merci de me donner un avis sur les tutos :-)

PS : j’ai mis à jour les liens vers Google Drive.