Como a Hotmart utiliza Inteligência Artificial
NLP, Forecasting, Sistemas de Recomendação e Detecção de Fraude. Conheça alguns produtos de AI que estamos criando
Se você pegar 10 cientistas de dados, colocá-los numa sala e perguntar a cada um o que é Inteligência Artificial, é capaz que você tenha 10 respostas diferentes. Aqui na Hotmart, a gente tem uma visão bem clara sobre AI: ela pode ser tanto uma ferramenta quanto um produto. Com essa mentalidade, criamos nos últimos anos produtos críticos para o negócio, assim como enriquecemos nossas análises com técnicas de Machine Learning.
No post de hoje, quero falar um pouco mais sobre o que estamos fazendo com Inteligência Artificial na Hotmart. O conteúdo desse artigo é baseado na minha apresentação no Hot N' Code Meetup, um meetup organizado pela Hotmart. Clique aqui para conferir a apresentação na íntegra.
Produto e ferramenta
Hoje, cientistas de Dados e engenheiros de machine learning estão alocados em dois times: Data Science e Inteligência Artificial. Ambos os times possuem skills semelhantes, mas enquanto o primeiro utiliza Machine Learning como uma ferramenta, realizando análise de sentimento ou classificação texto hierárquica para enriquecer um estudo, o segundo está pensando em como identificar oportunidades de negócio que podem ser resolvidas com Inteligência Artificial. É um time onde o principal output é um produto de Machine Learning.
Stack de Machine Learning
Hoje, grande parte de nossa stack de ML está na AWS ou em ferramentas open-source. Um dos grandes aliados na criação de modelos é o Amazon SageMaker: um serviço que fornece diversas funcionalidades de ML, desde camadas de processamento que oferecem integração com Spark e GPU by design, a inferência de modelos, com endpoints elásticos e escaláveis.
Além disso, fazemos muito uso de ferramentas que nos possibilita abstrair camadas técnicas para os cientistas de dados, como provisionamento de infra e pipeline de deploy. Para tal, somos muito engajados com ferramentas open-source como MLflow e Airflow, além de criarmos nossas próprias ferramentas, como é o caso da Omnitool e o Rec N' Play: nossa interface com a plataforma de ML e nosso framework para criação de sistemas de recomendação, respectivamente.
Machine Learning na Prática
Com base nessa filosofia e stack, nos últimos anos estamos criando modelos de Machine Learning para diferentes aspectos do negócio. Nas próximas linhas, trazemos alguns exemplos deles.
Topic modelling, text classification e language detection
NLP são os building blocks de grande parte dos projetos que tocamos aqui na Hotmart. Utilizamos técnicas de processamento de linguagem natural para (1) gerar insights sobre os produtos e creators da nossa plataforma, como no uso de modelos de análise de sentimento e classificação hierárquica em pesquisa de NPS, a fim de entendermos os aspectos da plataforma que estão sendo comentados pelos nossos usuários; e (2) na criação de produtos de Machine Learning, como é o caso do Marty: um atendente virtual que visa acelerar o atendimento de usuários da Hotmart.
Time Series Forecasting
Oferecer maior previsibilidade para o negócio traz uma série de benefícios para a empresa, como fazer melhor alocação de recursos, desenhar e antecipar estratégias, dentre outras. Para tal, tarefas de previsão de séries temporais podem resolver esse problema, onde dada uma série histórica, é possível entender como onde uma determinada métrica pode estar no futuro.
Na Hotmart utilizamos desde modelos estatísticos clássicos, como ARIMA e SARIMAX, até o uso de algoritmos de Machine Learning, como ensembles e algoritmos baseado em árvore. Dentre as métricas de negócio que prevemos estão desde faturamento e novos usuários, até custo com infraestrutura e cloud.
Fraud detection
Prevenção a fraude é uma frente que nos importamos muito aqui no time de AI. Quando falamos de fraude, estamos falando desde aquelas que trazem um risco financeiro para a Hotmart (como no caso de fraude de cartão de créditos, por exemplo), até fraudes que impactam na imagem da plataforma para nossos usuários, como casos de phishing e spam, que diminuem muito a relevância e confiança na plataforma. Fico muito feliz em dizer que utilizamos Machine Learning em ambas os casos.
Um desses casos é o Sparkle: o aplicativo de comunidades da Hotmart. Milhares de comunidades gratuitas e pagas interagem diariamente com conteúdos que são postados por seus membros, e claro que garantirmos uma plataforma confiável está no alto das nossas prioridades. No Sparkle, possuímos modelos que detectam spams e atuam em uma série de mecânismos para identificar usuários e comportamentos fraudulentos.
Mas não é apenas no Sparkle que estamos evitando fraudes para a Hotmart. Hoje possuímos múltiplas camadas de sistemas anti-fraude para detectar usuários e compras fraudulentas na plataforma, auxiliando nossos times a evitar perdas financeiras para a Hotmart e para compradores.
Sistemas de recomendação
Hoje a plataforma Hotmart possui diversas oportunidades para aplicação de sistemas de recomendação. Uma delas é o Mercado de Afiliados: um local onde afiliados podem encontrar produtos para se afiliar e promover. Nosso sistema de recomendação atualmente recomenda os melhores produtos para afiliados, que irão otimizar e potencializar suas vendas.
Um dos modelos que usamos nesse projeto é feito através de técnicas de aprendizado por reforço, e modelamos esse problema como um multi-armed bandit. Recentemente escrevi sobre essa técnica e esse problema, falando, inclusive, de alguns efeitos interessantes que esse algoritmo teve, como descobrir a Páscoa. Clique aqui para acessar esse post.
MLOps
Entregar esses modelos em diferentes áreas do negócio, sendo consumidos de diferentes formas (Batch, API, etc.) gera um trabalho operacional grande. Com o passar do tempo, modelos de ML devem ser mais fáceis de manter, não mais difíceis. Isso envolve a criação de automações e pipelines para manter uma esteira de entrega saudável e produtiva, abrangendo pontos que vão desde a coleta do dado até o treinamento contínuo. Se você tem curiosidade sobre o que é MLOps, recomendo a leitura desse artigo.
Na Hotmart temos um time que está focando em melhorar esse processo. Estamos criando pouco a pouco uma plataforma de Machine Learning para ser o ponto referencial de criação de AI dentro da organização. Para isso, estamos criando processos, ferramentas e infraestrutura para cientistas de dados e machine learning engineers. Uma dessas soluções é a Feature Store: uma fonte de dados voltada para Machine Learning, oferecendo rastreabilidade e uma latência muito baixa na entrega das features. A Feature Store oferece feature pré-calculadas, e que podem ser reutilizadas em diferentes projetos (por exemplo, dados de compras podem ser usados tanto em sistemas de recomendação quanto em modelos anti-fraude), permitindo uma consistência melhor dos dados que são utilizados em modelos.
Mas sabemos que problemas em produtizar ML não param por aí. A criação de um modelo de ML é apenas um pequeno componente em uma grande arquitetura. E para isso estamos atuando em frentes que façam esse trabalho ser abstraído ao máximo para o cientista de dados.
Saiba mais
Quer saber como a Hotmart vem utilizando não só machine learning e dados, mas tecnologia como um todo? Você pode conferir e participar do Hot N' Code Meetup, organizado pela Hotmart, onde nós trazemos a galera que trabalha aqui para contar experiências para a comunidade. O conteúdo desse post é baseado na minha palestra do Hot N' Code de Julho, e você pode conferir o Meetup completo aqui.
