Il était une fois, l’histoire d’un jeune homme voulant faire du web scrapping

Par où commencer ? C’était la question que je me posais à l’époque de mon fameux périple jeune et inconscient. Je voulais réaliser un “alerteur” en temps direct pour le site leboncoin.fr.

Première étape, je me renseigne sur comment faire, web scrapping, scrappy.py, curl, n’était plus inconnu pour moi.

Allez je me lance !

Seconde étape, je commence à coder en python avec la librairie scrappy.py, tout se déroule à merveille, je vois des licornes voler dehors, c’est génial !

J’enchaîne dans la foulée par créer le site internet qui devais accueillir le paramétrage des utilisateurs (la définition de leurs alertes). Mais le karma me rattrape vite

en détruisant mon disque dur.

À l’époque Github n’offrait pas généreusement de répertoire privé donc, aucune sauvegarde en ligne. Bon allez, ce n’est pas fini ! Je recommence.

Et pour ne pas avoir subi un échec inutile, je décide de le redévelopper… En PHP, histoire de voir un peu comment faire, et découvrir une autre solution. Idem tout se passe bien dans le meilleur des mondes, tout marche, j’arrive au résultat escompté. Mais pareil, trop beau, trop facile. Le karma revient sonner à ma porte à gros coup de batte de baseball.

Le bon coin change de technologie.

Horreur, stupéfaction, ils changent, l’architecture et la technologie de leur plateforme. Bon après tout, c’est que des expressions régulières à changer, ce n’est pas la mort.

Mais ils n’ont pas fait que changer de technologie, ils ont totalement fermé les connexions étrangères (normal vu le nombre de bot qu’il y avait). Donc si vous tentez de vous connecter au site sans votre navigateur web, ça ne marche pas. Je me suis dit que c’était l’entête HTTP vide qui me trahissait, mais non toujours pas, même avec un entête HTTP valide, je n’arrivais pas à récupérer le HTML d’une page le bon coin. D’ailleurs à se jour je ne sais toujours pas comment ils m’ont détecté (si vous avez des idées n’hésitez pas partager dans la section commentaire).

Fin mot de l’histoire, quand vous faites quelque chose de mal, le karma viendra toujours vous rattrapez au moment où vous vous sentirez le mieux !