Image for post
Image for post

Hey everybody, how are you?

At first, sorry if maybe my english is not the best! But what I'll show here is a grate thing and very useful.

I have a mission in my job, they sent me make some crawlers to get useful data in that moment. However this work was kind of complicated in the point that I have to integrate the framework Django with framework Scrapy.

This because I can't find nothing about it in the docs of scrapy.

Well, after search for a long time and try too. I got it!!!

Versions:

Python 3.6.7

Django 2.1.3

Scrapy…


Image for post
Image for post

Fala galera, tudo certo?

Vamos para o primeiro post aqui no Medium!!, bora lá! 😋

Tive a missão aqui na empresa onde trabalho de implementar alguns crawlers para rastrear produtos de determinados websites. Mas a integração do framework Django com o framework Scrapy, vou dizer, não tão fácil assim.

Como não encontrei nada na documentação do scrapy, acabei por procurar bastante em fóruns, na maioria deles o pessoal dizia que era super fácil essa integração, mas tinha muita coisa defasada e nada funcionava. Então, aonde eu estava errando que não conseguia fazer essa engrenagem girar?

Realmente depois de bastante pesquisa tudo ficou mais simples, por isso vou explicar brevemente com um exemplo, como realizei essa…

About

Tiago Piovesan

desenvolvedor full stack nas empresas Compras Paraguai e 9bits.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store