Interleaving: Uma nova maneira de se fazer testes A/B
Na Loft buscamos entregar para nossos clientes a experiência mais prazerosa possível no momento de busca de um novo lar. Nesse processo aprendemos a enxergar novas possibilidades para agradar cada vez mais os nossos clientes ao comprar e vender um apartamento.
Uma experiência que podemos abordar como exemplo é a busca por apartamentos. Pra quem já passou seja comprando, seja alugando, sabe que essa experiência pode ser traumática. Em suma, encontrar um apartamento significa encontrar primeiro qual a região que você deseja morar: perto do trabalho, perto da escola dos filhos, perto dos lugares que você gosta de frequentar. Depois, você precisa descobrir se nessa região existe um imóvel que compreenda todas as suas necessidades, e aqui o cenário pode ser o mais diverso possível: desde os requisitos mais clássicos como número de quartos e preço, até os mais contemporâneos como ser pet-friendly e possuir varanda gourmet.
Toda essa complexidade pode ainda crescer exponencialmente quando se inclui na conta não apenas o seu momento de vida atual como também a sua pretensão para daqui 5, 10 ou 15 anos. Dessa forma, a nossa missão de compreender a importância de cada requisito e como devemos apresentá-lo para cada cliente só apresenta uma solução: TESTAR, e explorar mais e mais em cada teste diferente.
Resolvido!! Se o negócio todo está em testar vamos jogar um teste A/B, que ele vai resolver. É só repartir o nosso fluxo: 20% testa a abordagem nova, 80% mantém a que já funciona. No final, basta medir se a conversão aumentou. É… talvez não seja tão simples assim.
- Primeiramente, a decisão de qual a fração do nosso público que vai ser exposta ao teste impacta diretamente a velocidade de convergência do nosso estudo (quanto maior a quantidade de pessoas expostas ao teste, mais rápido será possível inferir se ele é ou não válido).
- Depois, o teste A/B pode arriscar conversão, e portanto, receita, o que é inaceitável em um negócio em que cada venda representa centenas de milhares de reais.
- Além disso, da forma como o teste A/B é construído hoje, conseguimos identificar um usuário por um browser. Ou seja, em browsers diferentes ele pode estar em contextos diferentes do teste A/B, o que pode ser desastroso em alguns casos.
Voltando ao nosso problema de apresentar a melhor experiência de busca de apartamentos para os nossos clientes, uma maneira de fazermos isso pode ser mostrando os apartamentos no nosso site com a melhor ordem possível, certo? Agora suponhamos que temos uma ordenação muito boa, baseada no número de quartos de um apartamento, quanto maior o número de quartos mais relevância o apartamento terá. E com essa ordenação temos uma conversão (aqui indiciada pelo número de apartamentos vendidos em um dia sobre o número de pessoas que visitaram a nossa página) de 5%, ou seja, sabemos que a cada 20 pessoas que entrarem no nosso site 1 comprará um apartamento.
Dado esse cenário e uma meta de aumentar a nossa conversão,devemos testar diferentes hipóteses para maximizar esse resultado. Uma possível é testar outra ordenação, digamos, por número de vagas. Dessa forma, apartamentos com maior número de vagas seriam vistos primeiro. O que pode modificar completamente a nossa ordenação atual, mas até aí tudo bem, afinal estamos testando novas abordagens. Seguindo a metodologia do teste A/B e com o direcionamento de explorar o máximo possível para encontrarmos o melhor algoritmo mais rapidamente, optamos por uma segmentação do fluxo do nosso site de 50% para a ordenação por número de vagas e 50% para a ordenação por número de quartos. E daqui esperamos uma de três possibilidades:
- Conseguimos encontrar uma ordenação que é melhor que a anterior e com isso aumentamos a receita da empresa;
- A ordenação nova não mudou nada na conversão e a gente pode até passar a pensar que ordenação não é importante para o nosso cliente;
- A nova ordenação foi uma catástrofe e a nossa conversão caiu a zero!!!
Se estivermos na terceira opção e supondo um fluxo de 1000 pessoas por dia no nosso site podemos perder até 25 vendas por dia ou 50 milhões de reais em um só dia!! Esse risco é enorme e foi pensando em um caso como esse que alguns desenvolvedores do Bing resolveram inovar numa forma de teste que não arriscasse receita. Eles desenvolveram alguns estudos que, pra que quiser se aprofundar no assunto pode ser um bom ponto de partida (Paper; Primeiro estudo ; Segundo estudo).
Vamos entender o caso deles:
O Bing, como os outros buscadores, ganha dinheiro com os anúncios vendidos em que empresas diferentes pagam para aparecer em destaque nas buscas relacionadas ao seu negócio. Mas para esse modelo de negócios funcionar, eles precisam ter um fluxo de busca suficiente na plataforma deles para que as empresas queiram pagar pelo anúncio. E, para se fazer interessante para o usuário, eles partiram para uma abordagem de personalizar o resultado das buscas, o que poderia ser desastroso uma vez que selecionar o conteúdo disposto para cada usuário pode significar não mostrar um anunciante que pagaria caro por um acesso ao site deles. Dessa forma, a solução foi tão genial quanto simples. Se eu possuo uma ordenação que seria a mais indicada para o meu usuário e uma ordenação que privilegia os anúncios que me pagam melhor por clique, unir o melhor dos mundos significa intercalar as duas ordenações e dispor para o meu usuário tanto o que eu acredito que seja melhor pra ele quanto o que me traria mais receita caso o usuário se interessasse. Genial não é?
Com essa abordagem, além de não arriscar receita eles conseguiram mais alguns ótimos resultados: se eu estou dispondo as duas ordenações que eu desejo mostrar ao mesmo tempo, eu posso dispô-las a 100% do meu fluxo, promovendo uma velocidade de convergência máxima, porque 100% do meu público está exposto ao meu teste. E esse é o motivo de o Netflix ter passado a utilizar dessa metodologia nos testes dos algoritmos de recomendações deles. Post do Netflix sobre Interleaving.
Aqui na Loft nós encontramos mais uma utilidade para a metodologia: criar uma nova ordenação. Imagine que você tenha em mãos o algoritmo utópico que te diz com certeza qual apartamento é mais líquido (vende mais fácil) que outro. Uma decisão possível seria ordenar os apartamentos no site por ordem de liquidez o que faria, no curto prazo, acelerar a venda de apartamentos. Entretanto ao ordenarmos assim os apartamentos menos líquidos ficariam cada vez menos líquidos porque ninguém teria acesso a eles. Dessa forma, nós criamos duas ordenações uma que ordena da maior para a menor liquidez e outra ao contrário. Ao intercalarmos ambas as ordenações acreditamos obter a ordenação que mais faz sentido ao negócio e ainda facilita o nosso usuário na busca pelo seu novo lar.
Se você gostou desse desafio e a forma como utilizamos o que há de mais recente na tecnologia para revolucionar o mercado imobiliário venha fazer parte do nosso time! Veja nossas vagas :)
