Como a RD Station utiliza inteligência artificial para prever o melhor horário de envio de campanhas de e-mail marketing

A solução para automação de marketing da RD Station (o RD Station Marketing) tem como principal funcionalidade o envio de e-mails em massa — suportamos por mês mais de 1 bilhão de e-mails disparados pelos nossos clientes e parceiros.

Neste artigo, eu, Bruna, Karina e Bianca, membros do time de Engenharia, vamos compartilhar como criamos uma funcionalidade que usa inteligência artificial para prever o melhor horário para envio de e-mails — desde a validação, até os primeiros resultados. Se esse assunto te interessa, você está no lugar certo e na hora certa (ou será que uma inteligência previu seus assuntos de interesse e horário de acesso ao site? 😉)

Foto de ThisIsEngineering no Pexels

O desafio: Como engajar mais os leads dos nossos clientes

Customer First é um dos valores da RD Station, por isso todas as melhorias de produto são entregues com base nas necessidades identificadas de nossos clientes e parceiros. Elas são mapeadas através de uma série de dados qualitativos e quantitativos identificadas por diversos times da empresa, e então analisadas e priorizadas pelo nosso time de produto.

Com isso em mente, nasceu a iniciativa que dá título a esse artigo. Identificamos que alguns clientes estavam sofrendo com queda no engajamento de seus leads nas campanhas, principalmente nas taxas de abertura de e-mail, e para um sistema de automação de marketing como o RD Station Marketing, isso é um sinal de alerta e um problema relevante o suficiente para ser estudado.

Então, investigamos melhor o que estava impactando essa baixa no engajamento, avaliamos as variáveis envolvidas e observamos como o cliente lidava com cada uma delas. Além disso, começamos também a fazer um primeiro levantamento de hipóteses que poderíamos explorar e o esforço envolvido em cada uma delas. Todo esse estudo rendeu uma árvore de oportunidades bem completa, que facilitou a compreensão do problema que havíamos levantado.

A solução: Recomendação do melhor horário de envio

Com o estudo e levantamento concluídos, identificamos que nem sempre o horário escolhido por nossos clientes era o horário com maior abertura e engajamento dos leads e, ao nos aprofundarmos nesse contexto, percebemos também que o processo de definição do horário para envio de uma campanha de marketing era algo complexo e trabalhoso. Com esses dois pontos em mente pensamos “e se pudéssemos construir algo que, de uma forma simples e direta, indicasse qual o melhor momento para o nosso cliente enviar a sua campanha?”. Esse foi o ponto de partida para o que hoje chamamos de Envio Inteligente.

Refinando a proposta que tínhamos levantado inicialmente e também nos aprofundando em benchmarks, percebemos que a recomendação de melhor horário tem uma sinergia muito forte com técnicas de inteligência artificial que se baseiam em otimização. Sabendo que a nossa solução caminharia nessa direção no futuro, precisávamos antes validar muitas das hipóteses levantadas ao longo do estudo e a melhor forma de realizá-lo era através de uma POC (Proof of Concept ou Prova de Conceito) rápida e barata, até porque nesse momento o time montado para essa iniciativa era bem enxuto. 1 Product Manager, 1 Cientista de Dados e 1 Team Leader.

A própria formação desse time é algo interessante de ser compartilhado. Inicialmente essas 3 pessoas faziam parte de um time maior responsável por toda nossa estrutura de e-mail, mas pelo potencial que a iniciativa representava, optamos por formar uma célula própria sob o nome de “Time de Data Science”. O objetivo principal era validar as hipóteses do estudo e, caso a temática se mostrasse relevante, conseguiríamos incluí-la no roadmap de 2021.

A validação: Provando valor através de uma POC

Para avançar na validação do impacto positivo que teríamos ao recomendar o melhor horário para nossos clientes, construímos uma POC bem simples: um dashboard no Data Studio com uma agregação estatística dos horários com mais aberturas de e-mail. Montamos dashboards exclusivos para um grupo de clientes que decidiram participar do experimento, que tiveram uma reação muito positiva sobre poder usar o horário apresentado no dashboard para configurar as suas campanhas, por vezes relatando uma melhora nas taxas de abertura.

Com a validação bem sucedida, conseguimos priorização e investimento para atuar no Envio Inteligente em 2021, conseguindo logo de partida a participação de mais duas pessoas no squad: 1 Software Engineer e 1 Project Manager da Magrathea Labs, nossa parceira de desenvolvimento. A partir desse estágio, o time começou a planejar o que seria uma versão Alpha da solução já dentro do nosso produto.

O desenvolvimento: Realizando um Alpha com inteligência artificial no produto

Nesse momento, o desafio do time foi trazer ao produto (da forma mais enxuta possível) uma funcionalidade que permitisse nossos clientes usarem uma recomendação do melhor horário diretamente no fluxo de criação de campanhas. Tínhamos 3 premissas que nos guiaram nessa implementação:

• Construir o modelo de IA mais simples para poder testá-lo o quanto antes, mesmo que com um grupo pequeno de contas;
• Evitar criar novos componentes de engenharia, aproveitar ao máximo possível a estrutura que já existia no nosso produto;
• Garantir que a solução permitisse medir o aumento das taxas de abertura de email, gerada pela IA, e comparar as taxas coletadas, com os horários que o cliente escolhe.

Os dois primeiros pontos eram para garantir velocidade da iniciativa e o último era para garantir direção. Ambos os aspectos eram fundamentais para avaliar o progresso da iniciativa e entender se as nossas escolhas de modelo de IA estavam corretas.

Para disponibilizar o Alpha para nossos clientes, a estrutura foi dividida em duas partes: o modelo de inteligência e o serviço que consulta os dados e os disponibiliza para uso.

No serviço, optamos de início por montar uma estrutura simples e serverless (que não demandasse muita infraestrutura), cujo output pudesse ser consumido diretamente pelo serviço de agendamento de e-mail do RDSM.

Na parte do modelo, também seguimos a abordagem mais enxuta: realizamos o treinamento da máquina diretamente em Jupyter Notebooks e o hospedamos na Google Cloud Platform. Como output, esses notebooks geravam um arquivo .json com a recomendação do melhor horário e era esse arquivo que o serviço de consulta aos dados consumia.

A mensuração: Colhendo dados e preparando o Beta

Após conseguirmos subir o Alpha para o nosso produto, entramos em um processo de avaliação do sucesso e avaliamos a melhora na abertura de e-mail das contas que utilizaram a solução. Para isso, nos baseamos tanto em dados qualitativos (coletados via entrevistas com clientes) quanto quantitativos armazenados durante esse experimento — como é bom trabalhar em uma empresa que tem Data-Driven como um dos seus valores ❤

Mesmo com todas as limitações que o modelo Alpha tinha, conseguimos gerar uma melhora na taxa de abertura dos e-mails disparados nos horários recomendados pela solução!

Com esses dados nas mãos e uma vontade enorme de aumentar ainda mais os resultados dos nossos clientes, validamos que valia a pena investir mais esforços na iniciativa e avançá-la para uma fase Beta: ampliamos então o squad de 5 para 10 pessoas focadas nessa entrega \o/

A evolução: Construindo a visão da funcionalidade

Com a proposta de valor e o caso de uso inicial validados, estava na hora de construir o MVP (Minimum Viable Product) da nossa fase Beta. Para entendermos o que seria a evolução dela, iniciamos com um Design Sprint onde tivemos a participação de todo o time na ideação e desenho do que seria a usabilidade ideal para essa funcionalidade.

Após a prototipação da saída do Design Sprint, partimos para a próxima fase: validação da usabilidade com os usuários. Realizamos 8 entrevistas com clientes que não tiveram contato com a solução com o objetivo de capturar as seguintes impressões:

• O valor para o negócio do cliente;
• Outras possibilidades de casos de uso;
• Usabilidade, facilidade e compreensão.

O resultado das entrevistas foi a base para iniciarmos a definição do que seria o nosso MVP através de uma priorização MoSCoW adaptada. Como já tínhamos uma versão inicial em produção, essa análise teve seu foco na sustentação da funcionalidade no produto: o que precisaríamos ter para que ela entregue valor para o cliente e seja escalável para o negócio? As premissas que guiaram a análise, foram:

• Must Solve: não podemos disponibilizar sem;
• Should Solve: seria bom ter;
• Nice if Solved: um extra no desenvolvimento;
• May not Solve: não é necessário.

O planejamento: Desenhando as fases de desenvolvimento

Partindo dessa análise, iniciamos o desenho das fases de desenvolvimento ou “Waves”, uma adaptação do conceito de sprints. As primeiras Waves foram totalmente focadas nos itens listados no Must Solve da análise MoSCoW (citados acima) — que formam justamente o MVP da funcionalidade.

Para a evolução do algoritmo, pensamos sempre em como podemos evoluí-lo da forma mais simples. Qual a modelagem mais simples que resolve esse problema? Qual a variável que podemos usar de início? Para o nosso MVP, consideramos uma inteligência baseada em um grupo maior de dados, não tão granular, mas que já entrega valor ao cliente quando utilizada.

Para avaliar o progresso e ajustar o curso, a definição de Waves era feita mensalmente e, semanalmente, nosso time fazia uma revisão rápida do plano em busca de oportunidades de redução de escopo ou mudança de prioridade na iniciativa.

A consolidação no produto: Parceria com o time responsável por e-mail

Para avançar nessa etapa, unimos esforços com o time responsável pela funcionalidade de e-mail e o objetivo era melhorar a interface de uso do Envio Inteligente: o modo como a opção de usá-lo aparecia na tela e a visualização pós-uso, como labels e filtros.

No total, tivemos um apoio mais focado de um time mais estruturado durante 3 meses e trazer essa visão fresca ajudou a fazermos a transição do pensamento de construção de um serviço-teste para uma visão mais a longo prazo, mirando em uma entrega mais robusta que poderá atender milhares de clientes.

Os resultados: Dashboard de acompanhamento das métricas

Ótimo, tínhamos o desenho do ideal, do MVP e da entrega de valor. Agora é acompanhar. Quais são os indicadores que nos guiam durante o desenvolvimento dessa nova funcionalidade? O que nos ajuda a entender o impacto da nossa entrega para o cliente e para a empresa?

Para isso, construímos um dashboard no Data Studio, olhando para as principais métricas de produto: Adoção, Retenção e Satisfação, além da taxa de abertura das campanhas enviadas com o envio inteligente. Dá uma olhada em como ficou uma parte dele 👇

Evoluções e Resultados: o aprendizados dessa jornada

Boa parte das melhorias mapeadas na MoSCoW já foram implementadas e conseguimos constatar melhoras significativas na taxa de abertura dos e-mails após o uso da funcionalidade, entretanto, ainda temos 3 grandes desafios pela frente: liberar o Beta para todos os clientes elegíveis, melhorar ainda mais nosso modelo preditivo e fazer tudo isso em uma escala muito maior!

Se você também quer fazer parte da construção de iniciativas desse tipo, está em busca de desafios e um ambiente muito legal para se desenvolver, confere aqui nossas oportunidades abertas :D