O que é Natural Language Processing, o tal do NLP — Data Hackers Podcast 27

Como funciona e como começar a usar Processamento de Linguagem Natural em Ciência de Dados

Paulo Vasconcellos
Data Hackers
2 min readAug 7, 2020

--

Um dos campos que mais estão crescendo e sendo aplicados em AI e Data Science é o NLP, o Processamento de Linguagem Natural. Mas você sabe o que é o Natural Language Processing e como começar a aplicar nos seus projetos? Nesse episódio de hoje vamos entrar de cabeça nesse assunto altamente importante para quem precisa lidar com dados de texto e voz.

E, para esse episódio, convidamos Flávio Clésio — Machine Learning Engineer na MyHammer — , e Ahirton Lopes — PhD Student no Mackenzie e Data Scientist na Magna Sistemas — para que eles possam nos contar como tem sido a experiência deles aplicando NLP na indústria e academia.

Lembrando que você pode encontrar o podcast do Data Hackers no Spotify, iTunes, Google Podcast, Castbox e muitas outras plataformas. Caso queira, você também pode ouvir o episódio aqui no post mesmo!

Falamos no episódios

Nossos convidados

Linkedin do Flávio Clésio
Twitter do Flávio Clésio
Canal do Flávio Clésio no Youtube sobre explicação de papers
Linkedin do José Ahirton Lopes
Twitter do José Ahirton

Comunidades

AI Brasil, comunidade moderada pelo José Ahirton

Notícias

O primeiro chatbot em nos anos 1960
Microsoft Tay: o bot da Microsoft que foi corrompido pelo Twitter
Microsoft substitui jornalistas do MSN por AI
Resultado: AI confundiu cantoras e publicou imagem errada

Posts

Análise Estilométrica: Satoshi Nakamoto
Sobre os desafios em NLP com pre-processamento
Aplicando LDA em bandas brasileiras

Papers

Deep Learning Based Text Classification: A Comprehensive Review
Paper do GPT-3
BERTimbau
Paper do Ahirton, sobre verificação de expressão de gênero

Papers with Code

VICTOR, SOTA para modelos de classificação multilabel
SOTA em tarefas de NLP no Papers with Code
Código do BERTimbau em Português
Opinion Mining

Estudos

Repositório dedicado a recursos para estudo de NLP
Curso de NLP da Coursera
Curso da Microsoft de NLP no Coursera (atualmente indisponível)

Técnicas de NLP

O que é Word Embedding
Tokenização
Part-of-Speech Tagging
O que é Tf-idf
Bag of Words
Lemmatization e Stemming
Word2Vec
Diferença entre NLP e NLU
NLG, Natural Language Processing

Livros

Neural Network Methods in Natural Language Processing

Ferramentas e bibliotecas

O gerador de Lero Lero
Gerador de cargos de startups
Spacy
NLTK
Gensim
Facebook FastText
Chatbot da Rasa
Prodigy para rotulação de dados
Doccano, versão gratuita para rotulação de dados
SciSpacy
Allen NLP
Stanford NLP
Spark NLP
DFRTopics, biblioteca de Topic Modelling para R
Flair, framework de NLP da Zalando

--

--

Paulo Vasconcellos
Data Hackers

Principal Data Scientist @ Hotmart | Msc in Computer Science | Co-founder @ Data Hackers