Passei o primeiro semestre de 2019 preso em casa e na faculdade estudando sobre Redes Neurais Convolucionais porque precisava apresentar dois trabalhos com esse tema em disciplinas distintas, acabei que gostando bastante de trabalhar com Deep Learning e Visão Computacional. Fizemos um projeto para reconhecimento de dígitos do alfabeto em LIBRAS, para o primeiro contato com a área ficou bem apresentável e funcionando como queríamos. O código esta disponível no meu Github.

Nesse post vou explicar sobre o funcionamento dessa arquitetura de redes neurais passando pelo funcionamento de todas as camadas.

Levando em consideração que já existe um breve conhecimento sobre o funcionamento de Redes Neurais Multicamadas (Multi Layer Perceptron — MLP), aquelas que dão o nome da área de Deep Learning por possuírem uma ou mais camadas ocultas (profundas) entre a camada de entrada e camada de saída, podemos anotar que Redes Neurais Convolucionais (Convolutional Neural Network — CNN) segue essa arquitetura porem incluindo as camadas de convolução no seu processamento.

Perceptron Multi Camadas X Redes Neurais Convolucionais

As CNN estão incluídas na área de visão computacional por serem utilizadas para o reconhecimento de padrões e classificações de imagens. Para analisar uma imagem uma CNN trabalha com os chamados Campos Receptivos, que tem como base o funcionamento do córtex visual biológico. A ideia é poder analisar a imagem em pequenos pedaços processando pixels em neurônios diferentes sabendo manter a proximidade espacial dos pixels para capturar traços e detalhes importantes. Já uma MLP não leva em consideração a estrutura espacial e trata os pixels de entrada no mesmo nível independente da distância entre eles.

Na imagem podemos observar neurônios da camada de entrada de uma MLP analisando uma imagem 200x200 e apenas nessa camada teremos 40000 neurônios e 1,6 bilhões de parâmetros a serem aprendidos/computados, já na CNN é aplicado um filtro 5x5 criando 100 campos receptivos e 2500 parâmetros. Se o tamanho da imagem fosse 1000x1000, em um MLP precisaríamos de 10⁶ neurônios na camada de entrada, isso é um numero muito alto e acaba se tornando o processamento ineficaz.

Estrutura: Como a rede funciona ?

Podemos dividir a estrutura da CNN em dois blocos, o primeiro é o bloco de extração de características onde existe as camadas de convolução e camadas de pooling o segundo é o bloco de classificação onde possui os camadas totalmente conectadas que se comportam igual a uma MLP.

Extração de características: Convolução

A camada de convolução é composta por diversos neurônios, onde cada um é responsável por aplicar um filtro, chamado de kernel, que é uma matriz de convolução responsável para a detecção de bordas, características e traços importantes na imagem. Cada matriz possui valores dos pesos sinápticos da rede e ao percorrer toda a imagem, é gerado uma nova imagem com o nome de mapa de características.

Esse site possui um modo interativo para entender como o kernel trabalha, é possível simular valores dos pesos e ver a nova imagem gerada.

Quando você esta criando a estrutura da rede, na convolução é necessário passar alguns parâmetros e inicialmente existem 3 parâmetros importantes para serem usados. São eles o tamanho da matriz do kernel, o salto (stride) e o preenchimento de zero (zero padding).

O salto é a quantidade de colunas/linhas de pixels que o kernel deve ‘saltar’ ao percorrer a imagem. O preenchimento de zero serve para que as camadas não diminuam muito mais rápido do que é necessário para o aprendizado. Para entender para que ele serve, imagine que enquanto o kernel varre a imagem pulando os pixels de acordo com o valor do salto, possivelmente, pelos valores de tamanho de cada um, alguma coluna ou linha de pixel será perdida e não será analisada. O padding adiciona borda na imagem com valores 0 para não ter interferência no resultado da convolução e o kernel poder analisar toda a imagem.

Uma imagem gera um conjunto de imagens.

Com o intuito de obter mais características da imagem original, no kernel é definido uma dimensão, essa dimensão representa quantas vezes o kernel deve percorrer a imagem. Cada vez que é feito uma convolução na imagem é gerado um mapa de características diferente, isso porque os pesos sinápticos podem ser melhorados e em cada mapa conter valores diferentes para a precisão da rede.

Como em toda Rede Neural, a saída do neurônio passa por uma função de ativação. A função de ativação é uma função com grau de não-linearidade. Presente em cada neurônio, ela é responsável por aplicar uma transformação nos dados recebidos.

De acordo com a literatura, as funções de ativação mais comumente utilizada em uma MLP são a ReLU (unidade linear retificada), Leaky ReLU e Tanh (Tangente hiperbólica). Cada função possui uma particularidade para otimizar o treinamento, podendo desativar neurônios que podem não ser influentes para o aprendizado do neurônios da camada seguinte. Essas funções de ativação devem ser utilizadas nas camadas ocultas.

Extração de características: Polling

Após uma camada de convolução ainda no bloco de extração de características, pode-se aplicar uma camada de pooling. Essa camada ajuda a diminuir a quantidade de parâmetros para a próxima camada de convolução ou para as camadas totalmente conectadas. A camada de pooling serve para simplificar a informação e reduzir a dimensionalidade da convolução. Essa redução é importante por questão de agilidade no treinamento. O pooling também possui uma matriz que percorre o mapa de características gerado pela convolução e prepara um mapa de características condensadas. Possui alguns métodos de ativação que podem ser aplicados, onde os mais utilizados são Max Pooling e Average Pooling. Cada neurônio da camada de pooling pode resumir uma região de neurônios da camada de convolução. Utilizando a função de max pooling, por exemplo, um neurônio gera a ativação máxima na região aplicada.

Classificação: Camadas totalmente conectadas

Pertencendo ao bloco de classificação, existe a camada totalmente conectada, é uma camada semelhante a uma MLP, onde os neurônios têm conexões completas com todos os neurônios ativados da camada anterior. Sua entrada é a saída da camada anterior, que possui informações das características da imagem e sua saída são N neurônios, com N sendo a quantidade de classes do seu modelo para finalizar a classificação. A função de ativação Softmax pode ser utilizada nessa etapa por ser uma função de classificação que deve ser aplicada na camada de saída da rede. A vantagem do uso da softmax é o intervalo de probabilidade de saída com valores entre 0 e 1. Por exemplo, para as saídas como [1.2, 0.9, 0.75] quando aplicamos a função softmax, obteríamos [0.42, 0.31, 0.27] e isso essencialmente dá a probabilidade de identificar qual classe pertence a imagem de entrada.

A primeira rede neural convolucional implementada e testada com sucesso foi abordada no artigo ‘Gradient-based learning applied to document recognition’ escrito por Yann LeCun em 1998, LeCun publicou sua rede neural convolucional para o problema de reconhecimento de dígitos manuscritos, utilizando o dataset MNIST. Existem diferentes arquiteturas que repetem e combinam as camadas do bloco de extração de características para melhorar performance e resultados, a LeNet-5 (LeCun et al., 1998) possui duas camadas de convolução seguidas por camadas de pooling e duas camadas completamente conectadas. Uma versão da denominada GoogLeNet (Inception) segue a arquitetura da LeNet-5 porém conta com mais três camadas de convolução seguidas do pooling.

O Deep Learning Book em seu capítulo sobre arquitetura de redes neurais possui um trecho interessante sobre a primeira CNN de Yan LeCun: “Em 1998, Yann LeCun e seus colaboradores desenvolveram um reconhecedor, realmente bom, para dígitos manuscritos chamado LeNet. Ele usou o backpropagation em uma rede feedforward com muitas camadas ocultas, muitos mapas de unidades replicadas em cada camada, agrupando as saídas de unidades próximas, formando uma rede ampla que pôde lidar com vários caracteres ao mesmo tempo, mesmo se eles se sobrepõem. Mais tarde, esta arquitetura foi formalizada sob o nome de redes neurais convolucionais”. A figura abaixo ilustra a estrutura da rede LeNet-5.

Decidi escrever essa publicação para registrar o que estudei e entendi sobre as CNN, esperando espalhar o conhecimento e incentivando o uso dessa arquitetura de redes neurais para aumentar os resultados em tecnologias que trabalham com visão computacional. Existem algumas bibliotecas com funções prontas para trabalhar de modo fácil com redes neurais, como por exemplo o Tensorflow, o Keras e o PyTorch. Mas anoto que alguns conceitos matemáticos são sempre bem vindos no conhecimento caso queria desenvolver sua arquitetura, manipular parâmetros e entender melhor os resultados.

Referências

AS 10 PRINCIPAIS ARQUITETURAS DE REDES NEURAIS. DEEP LEARNING BOOK.

O QUE É VISÃO COMPUTACIONAL?

CONVOLUTIONAL NEURAL NETWORKS FOR VISUAL RECOGNITION.

LECUN, Y.; BOTTOU, L.; BENGIO, Y. Gradient-based learning applied to nndocument recognition: vol. 86, no. 11, p. 2278–2324: Proceedings of the IEEE, 1998.

DEEP LEARNING PARTE 1: INTRODUÇÃO COM KERAS.

BUILDING A DEEPER UNDERSTANDING OF IMAGES.

Espero que tenha achado esse post útil. Se você gostou deixe alguns claps de incentivo. Comentários com dicas e criticas são bem vindos!

Até a próxima!

Nesse tutorial irei mostrar como utilizar web scraping em python utilizando a biblioteca BeautifulSoup para obter a lista de filmes mais avaliados do site IMDB e salvar essa informação em um arquivo csv. Uma aplicação simples e rapida onde mostrarei como navegar entre tags html e seus atributos para obter o conteúdo que está armazenado no site.

Direto ao ponto, vamos por as mãos na massa

Passo 1: Encontre a URL que você quer fazer o scrape

É bom conhecer um pouco de html (tags e seus atributos) para localizar na pagina onde estarão as informações que precisamos. No nosso caso, no site IMDB na pagina de Top Rated Movies, inspecionando os elementos da pagina pelo navegador encontrei o titulo do filme em uma tag <td> que pertence a classe ‘titleColumn’, o titulo em si esta dentro de uma tag <a> e temos o ano de lançamento em <span>, seguindo a mesma ideia, o valor IMDB Rating esta em <td class=’imdbRating’> <strong …> </strong> </td> — importante anotar isso para poder filtrar essa busca no código.

Passo 2: Instalando e testando a biblioteca

Começamos então fazendo o download da biblioteca que iremos utilizar para capturar dados de um site.

$ pip install beautifulsoup4

Quando finalizar a instalação, teste criando um arquivo “teste-scraping.py” com o exemplo:

A biblioteca urlopen é a responsável para baixar o html da url e depois criamos um objeto BeautifulSoup passando esse html no modo leitura.

Salve e execute o script em seu terminal. Na saída temos o titulo da pagina dentro de sua tag html…
Quando eu for salvar em meu arquivo csv eu quero apenas o titulo da pagina, a tag html não é uma coisa útil para mim nesse caso, somente o conteúdo dentro dela. Para isso eu vou incluir uma chamada de método no objeto BeautifulSoup.

Executando dessa maneira consegui o que queria.

Passo 3: Encontrando tag e percorrendo a lista

Agora podemos buscar as tags que havíamos separado no primeiro passo e obter seus conteúdos. No BeautifulSoup temos o método find_all onde como parâmetro eu passo a tag que estou buscando e opcionalmente coloco a classe, assim podendo filtrar melhor nosso resultado. Após essa busca, faço um laço percorrendo a lista que foi criada recuperando seu conteúdo. Dessa maneira

Como disse, o titulo do filme eu encontrei na tag <a> e o ano de lançamento na <span>, consigo percorrer a hierarquia dessa forma ‘<lista com a tag principal>.<tag que esta dentro da principal>’. Ex: td.span.text.

Algumas tags possuem atributos e também conseguimos obter esses valores. Por exemplo, no html que estamos brincando, a informação da pontuação dos filme esta presente da na tag <td class=”imdbRating”><strong>9,2</..>, porem a tag strong possui o atributo ‘title’ e nele temos mais informações dos votos de usuários do site. Para obter essa informação podemos fazer assim:

Passo 4: Adicionando Expressão Regular para separar informações

Minha ideia é criar um arquivo csv com as informações separadas em colunas: ‘Titulo’, ‘Ano lançamento’, ‘IMDB Rating’ e ‘User Rating’.
As informações do ano de lançamento e as avaliações dos usuários obtidas no atributo ‘title’ no passo 3 possui mais informações do que eu preciso, se eu separar apenas os números ficará melhor para poder fazer uma analise para algo útil mais tarde. Minha solução foi importar a biblioteca ‘re’ para trabalhar com expressões regulares e tratar as strings obtidas, segue exemplo:

regexMovieYear = re.compile(‘(\d{4})’)

regexUserRating = re.compile(‘\ ((\d{1,3})((\,|\.)\d{1,3})*)’)

Analisando a string obtida, criei essas expressões regulares para obter a informação do ano de lançamento sem os parênteses e obter apenas a quantidade de votos dos usuários. Caso não conheça expressões regulares recomendo esse guia inicial. E aqui você encontra a documentação da biblioteca re que foi utilizada.

Passo 5: Salvando arquivo csv

Após todos os valores que precisava estarem salvos em suas respectivas variáveis, preciso apenas criar o arquivo csv com a biblioteca csv e escrever seus conteúdos. Deixo no código o comentário do que esta sendo feito, ele fica assim:

Meu código final com “tratamento” caso a requisição na URL falhe ficou dessa maneira:

E o resultado obtido foi esse:

Como visto, um código para web-scraping em Python é bem simples. Um uso popular de web scraping é procurar ofertas online como passagens aéreas, shows, etc... Por exemplo, um script automatizado pode fazer um scraping em um site quando as vendas de ingressos ficam online e usar algum bot para comprar os melhores ingressos.

Referências:

BeautifulSoup: https://www.crummy.com/software/BeautifulSoup/bs4/doc/

Expressões Regulares (‘re’ Python): https://docs.python.org/3/library/re.html

Espero que tenha achado esse post útil. Se você gostou deixe alguns claps de incentivo. Comentários com dicas e criticas são bem vindos!!

See you next!