Personalização de arte nos conteúdos da Netflix
Por Ashok Chandrashekar , Fernando Amat , Justin Basilico e Tony Jebara
Durante muitos anos, o objetivo principal do sistema de recomendação personalizado da Netflix foi obter os títulos certos em frente de cada um dos nossos membros no momento certo. Com um catálogo que abrange milhares de títulos e uma base de membros diversificada que abrange mais de cem milhões de contas, recomendo os títulos que são justos para cada membro é crucial. Mas o trabalho de recomendação não termina. Por que você se preocupa com algum título particular que recomendamos? O que podemos dizer sobre um título novo e desconhecido que despertará seu interesse?Como podemos convencê-lo de que um título vale a pena assistir? Responder a estas perguntas é fundamental para ajudar nossos membros a descobrir um ótimo conteúdo, especialmente para títulos desconhecidos. Uma avenida para abordar este desafio é considerar a obra de arte ou imagens que usamos para retratar os títulos. Se a obra de arte que representa um título captura algo atraente para você, então ele age como um gateway nesse título e dá-lhe algumas “evidências” visuais para o motivo pelo qual o título pode ser bom para você. A obra de arte pode destacar um ator que você reconhece, capturar um momento emocionante como uma perseguição de carro, ou conter uma cena dramática que transmite a essência de um filme ou programa de TV. Se apresentarmos essa imagem perfeita na sua página inicial (e, como dizem: uma imagem vale mais do que mil palavras), então talvez, talvez, você tente.Esta é mais uma maneira, a Netflix difere das ofertas de mídia tradicionais: não temos um produto, mas mais de 100 milhões de produtos diferentes, com um para cada um de nossos membros com recomendações personalizadas e imagens personalizadas .
Nos trabalhos anteriores , discutimos um esforço para encontrar a obra de arte perfeita para cada título em todos os nossos membros. Através de algoritmos de bandidos multi-armados, caçamos a melhor obra de arte para um título, diz Stranger Things, que ganharia a maioria das peças da maior fração de nossos membros. No entanto, dada a enorme diversidade de gostos e preferências, não seria melhor se pudéssemos encontrar as melhores obras de arte para cada um de nossos membros para destacar os aspectos de um título que lhes são especificamente relevantes?
Como inspiração, deixe-nos explorar cenários onde a personalização de obras de arte seria significativa. Considere os seguintes exemplos em que diferentes membros têm diferentes historias de visualização. À esquerda são três títulos que um membro assistiu no passado. À direita da seta é a obra de arte que um membro obteria para um filme em particular que recomendamos para eles.
Consideremos tentar personalizar a imagem que usamos para retratar o filme Good Will Hunting. Aqui podemos personalizar essa decisão com base em quanto um membro prefere diferentes gêneros e temas. Alguém que assistiu a muitos filmes românticos pode estar interessado em Good Will Hunting, se mostramos as obras de arte contendo Matt Damon e Minnie Driver, enquanto que um membro que assistiu muitas comédias pode ser atraído para o filme se usarmos as obras de arte contendo Robin Williams, um comediante bem conhecido.
Em outro cenário, vamos imaginar como as diferentes preferências para os membros do elenco podem influenciar a personalização da obra de arte para o filme Pulp Fiction. Um membro que assiste a muitos filmes com Uma Thurman provavelmente responderia positivamente à obra de arte para Pulp Fiction que contém Uma. Enquanto isso, um fã de John Travolta pode estar mais interessado em assistir a Pulp Fiction se a obra de arte possui John.
Claro, nem todos os cenários para personalizar obras de arte são tão claros e óbvios. Portanto, não enumeramos essas regras derivadas na mão, mas sim confiamos nos dados para nos dizer quais sinais usar. Em geral, personalizando obras de arte, ajudamos cada título a colocar seu melhor pé para cada membro e, assim, melhorar a experiência de nossos membros.
Desafios
Na Netflix, abraçamos a personalização e adaptamos algorítmicamente muitos aspectos da experiência de nossos membros, incluindo as linhas que selecionamos para a página inicial , os títulos que selecionamos para essas linhas , as galerias que exibimos, as mensagens que enviamos e assim por diante. Cada novo aspecto que nós personalizamos tem desafios únicos; Personalizar as obras que exibimos não é uma exceção e apresenta diferentes desafios de personalização. Um desafio da personalização da imagem é que só podemos selecionar uma única peça de arte para representar cada título em cada lugar onde a apresentamos. Em contraste, as configurações típicas de recomendação nos permitem apresentar seleções múltiplas para um membro onde podemos posteriormente aprender sobre suas preferências do item que um membro seleciona. Isso significa que a seleção de imagem é um problema do tipo o ovo ou a galinha funcionando em um circuito fechado: se um membro toca um título, ele só pode vir da imagem que decidimos apresentar a esse membro. O que procuramos entender é ao apresentar uma obra de arte específica para um título que influenciou um membro para assistir (ou para não assistir) um título e quando um membro teria assistido um título (ou não) independentemente da imagem que apresentamos. Portanto, a personalização das obras de arte fica em cima do problema de recomendação tradicional e os algoritmos precisam trabalhar em conjunto uns com os outros. Claro, para aprender corretamente como personalizar obras de arte, precisamos coletar muitos dados para encontrar sinais que indicam quando uma obra de arte é significativamente melhor para um membro.
Outro desafio é entender o impacto da mudança de arte que mostramos um membro para um título entre as sessões. A mudança de arte -final reduz a capacidade de reconhecimento do título e dificulta a localização visual do título novamente, por exemplo, se o membro pensasse estar interessado antes, mas ainda não o tinha visto? Ou, mudando a obra de arte levando o membro a reconsiderá-lo devido a uma seleção melhorada? Claramente, se encontrarmos melhor arte para apresentar a um membro, provavelmente devemos usá-lo; mas mudanças contínuas também podem confundir as pessoas. Alterar imagens também introduz um problema de atribuição, uma vez que fica claro qual imagem levou um membro a se interessar por um título.
Em seguida, há o desafio de entender como a arte -final funciona em relação a outras obras que selecionamos na mesma página ou sessão. Talvez um close-up arrojado do personagem principal funcione para um título em uma página porque se destaca em comparação com a outra arte. Mas se cada título tivesse uma imagem semelhante, a página como um todo pode não parecer tão atraente. Olhar para cada peça de arte isolada pode não ser suficiente e precisamos pensar sobre como selecionar um conjunto diversificado de imagens em títulos em uma página e em uma sessão. Além da obra de arte para outros títulos, a eficácia da obra de arte para um título pode depender de outros tipos de evidências e recursos (por exemplo, sinopses, trailers, etc.), também mostramos esse título. Assim, podemos precisar de uma seleção diversificada, onde cada um pode destacar aspectos complementares de um título que pode ser atraente para um membro.
Para conseguir uma personalização eficaz, também precisamos de um bom conjunto de obras de arte para cada título. Isso significa que precisamos de vários recursos, onde cada um é envolvente, informativo e representativo de um título para evitar “clicar”. O conjunto de imagens para um título também precisa ser bastante diversificado para cobrir um grande público potencial interessado em diferentes aspectos do conteúdo. Afinal, quão envolvente e informativo uma obra de arte é verdadeiramente depende do indivíduo que a veja. Portanto, precisamos ter obras que destacem não só temas diferentes em um título, mas também estética diferente. Nossas equipes de artistas e designers se esforçam para criar imagens que são diversas em muitas dimensões. Eles também levam em consideração os algoritmos de personalização que selecionarão as imagens durante seu processo criativo para gerar obras de arte.
Finalmente, há desafios de engenharia para personalizar trabalhos em escala.Um desafio é que a experiência de nossos membros é muito visual e, portanto, contém muitas imagens. Então, usar a seleção personalizada para cada recurso significa lidar com um pico de mais de 20 milhões de pedidos por segundo com baixa latência. Esse sistema deve ser robusto: não processar adequadamente a obra de arte em nossa UI traz uma degradação significativa da experiência. Nosso algoritmo de personalização também precisa responder rapidamente quando um título é lançado, o que significa aprender rapidamente a personalizar em uma situação de arranque a frio. Então, após o lançamento, o algoritmo deve se adaptar continuamente à medida que a eficácia da obra de arte pode mudar ao longo do tempo, pois o título evolui através do seu ciclo de vida e os gostos dos membros evoluem.
Abordagem dos bandidos contextuais
Grande parte do mecanismo de recomendação Netflix é alimentado por algoritmos de aprendizado de máquina. Tradicionalmente, nós coletamos um lote de dados sobre como nossos membros usam o serviço. Em seguida, executamos um novo algoritmo de aprendizado de máquina neste lote de dados. Em seguida, testamos esse novo algoritmo contra o sistema de produção atual através de um teste A / B. Um teste A / B ajuda-nos a ver se o novo algoritmo é melhor do que o nosso sistema de produção atual, testando-o em um subconjunto aleatório de membros. Os membros do grupo A obtêm a experiência de produção atual, enquanto os membros do grupo B obtêm o novo algoritmo. Se os membros do grupo B tiverem maior envolvimento com a Netflix, então, lançamos o novo algoritmo para toda a população de membros. Infelizmente, esta abordagem do lote incorre em arrependimento: muitos membros durante um longo período de tempo não se beneficiaram da melhor experiência. Isto é ilustrado na figura abaixo.
Para reduzir esse arrependimento, nos afastamos da aprendizagem em máquina em lote e consideramos a aprendizagem em linha da máquina. Para a personalização de obras de arte, o quadro de aprendizagem on-line específico que usamos é bandidos contextuais . Ao invés de esperar para coletar um lote completo de dados, esperando para aprender um modelo e, em seguida, aguardando a conclusão de um teste A / B, bandidos contextuais rapidamente descobrem a melhor seleção personalizada de obras de arte para um título para cada membro e contexto. Resumidamente, os bandidos contextuais são uma classe de algoritmos de aprendizagem on-line que compensam o custo da coleta de dados de treinamento necessários para aprender um modelo imparcial de forma contínua com os benefícios de aplicar o modelo aprendido ao contexto de cada membro. Em nosso trabalho anterior de seleção de imagem não pessoal, utilizamos bandidos não contextuais onde encontramos a imagem vencedora, independentemente do contexto. Para personalização, o membro é o contexto , pois esperamos que diferentes membros respondam de forma diferente às imagens.
Uma propriedade-chave de bandidos contextuais é que eles são projetados para minimizar o arrependimento. Em um nível elevado, os dados de treinamento para um bandido contextual são obtidos através da injeção de randomização controlada nas previsões do modelo aprendido. Os esquemas de randomização podem variar em complexidade a partir de simples formulações epsilon-gananciosas com aleatoriedade uniforme para esquemas em circuito fechado que variam de forma adaptativa o grau de randomização como uma função da incerteza do modelo. Nos referimos amplamente a este processo como exploração de dados . O número de obras de arte candidatas que estão disponíveis para um título, juntamente com o tamanho da população geral para a qual o sistema será implantado, informa a escolha da estratégia de exploração de dados. Com essa exploração, precisamos registrar informações sobre a randomização para cada seleção de arte final. Este registro nos permite corrigir propensões de seleção esféricas e, portanto, realizar a avaliação do modelo off-line de forma imparcial, conforme descrito mais adiante.
A exploração em bandidos contextuais geralmente tem um custo (ou arrependimento) devido ao fato de que nossa seleção de artefatos em uma sessão de membro não pode usar a melhor imagem prevista para essa sessão.Qual o impacto dessa randomização na experiência dos membros (e conseqüentemente em nossas métricas)? Com mais de cem milhões de membros, o arrependimento incorrido pela exploração é tipicamente muito pequeno e é amortizado em nossa grande base de membros, cada membro implicitamente ajudando a fornecer feedback sobre obras para uma pequena parte do catálogo. Isso torna o custo de exploração por membro insignificante, o que é uma consideração importante ao escolher bandidos contextuais para gerar um aspecto-chave da experiência de nossos membros.A randomização e a exploração com bandidos contextuais seriam menos adequadas se o custo da exploração fosse alto.
Sob nosso esquema de exploração on-line, obtemos um conjunto de dados de treinamento que registra, para cada tupla (membro, título, imagem), se essa seleção resultou em uma peça do título ou não. Além disso, podemos controlar a exploração de modo que as seleções de obras de arte não mudem com muita frequência. Isso dá uma atribuição mais limpa do envolvimento do membro em obras de arte específicas. Nós também determinamos cuidadosamente o rótulo para cada observação, observando a qualidade do engajamento para evitar aprender um modelo que recomenda imagens “clickbait”: as que atraem um membro para começar a jogar, mas, em última análise, resultam em um compromisso de baixa qualidade.
Treinamento modelo
Nesta configuração de aprendizagem on-line, treinamos nosso modelo de bandido contextual para selecionar a melhor arte para cada membro com base no seu contexto. Normalmente, temos até algumas dúzias de imagens de trabalhos de arte candidatos por título. Para aprender o modelo de seleção, podemos considerar uma simplificação do problema classificando imagens para um membro de forma independente em todos os títulos. Mesmo com essa simplificação, ainda podemos aprender preferências de imagem de membros em títulos porque, para cada candidato de imagem, temos alguns membros que foram apresentados e envolvidos com o título e alguns membros que foram apresentados e não se envolveram. Essas preferências podem ser modeladas para prever para cada tupla (membro, título, imagem), a probabilidade de o membro desfrutar de um compromisso de qualidade. Estes podem ser modelos de aprendizagem supervisionados ou contrapartes de bandidos contextuais com métodos de Amostras Thompson, LinUCB ou Bayesianos que equilibram inteligentemente fazendo a melhor previsão com a exploração de dados.
Sinais potenciais
Em bandidos contextuais, o contexto geralmente é representado como um vetor de características fornecido como entrada para o modelo. Existem muitos sinais que podemos usar como recursos para esse problema. Em particular, podemos considerar muitos atributos do membro: os títulos que eles jogaram, o gênero dos títulos, as interações do membro com o título específico, seu país, suas preferências de idioma, o dispositivo que o membro está usando, o hora do dia e dia da semana. Uma vez que nosso algoritmo seleciona imagens em conjunto com nosso mecanismo de recomendação personalizado, também podemos usar sinais sobre o que nossos vários algoritmos de recomendação consideram do título, independentemente da imagem usada para representá-lo.
Uma consideração importante é que algumas imagens são naturalmente melhores do que outras no grupo de candidatos. Observamos as taxas gerais de aceitação de todas as imagens na nossa exploração de dados, que é simplesmente o número de peças de qualidade divididas pelo número de impressões. Nosso trabalho anterior na seleção de obras de arte não pessoais usou diferenças gerais nas taxas de tomada para determinar a melhor imagem para selecionar uma população total. No nosso novo modelo contextual personalizado, as taxas globais de aceitação ainda são importantes e a personalização ainda recupera seleções que concordam em média com o ranking do modelo não-pessoal.
Seleção de imagem
A atribuição ideal de artebras de imagem para um membro é um problema de seleção para encontrar a melhor imagem do candidato a partir do pool de imagens de um título. Uma vez que o modelo é treinado como acima, usamos para classificar as imagens para cada contexto. O modelo prediz a probabilidade de reprodução para uma determinada imagem em um determinado contexto de membro. Nós classificamos um conjunto de imagens de candidatos por essas probabilidades e escolhemos aquele com a maior probabilidade. Essa é a imagem que apresentamos a esse membro em particular.
Avaliação de desempenho
desligada
Para avaliar nossos algoritmos de bandidos contextuais antes de implantá-los on-line em membros reais, podemos usar uma técnica off-line conhecida como repetição [ 1 ]. Este método nos permite responder perguntas contrafactuais com base nos dados de exploração registrados (Figura 1). Em outras palavras, podemos comparar offline o que teria acontecido em sessões históricas sob diferentes cenários, se tivéssemos usado diferentes algoritmos de forma imparcial.
Replay nos permite ver como os membros se comprometeram com nossos títulos se tivéssemos imagens hipotéticamente apresentadas que foram selecionadas através de um novo algoritmo e não o algoritmo usado na produção. Para imagens, estamos interessados em várias métricas, particularmente a fração de tomada, conforme descrito acima. A Figura 2 mostra como a abordagem do bandido contextual ajuda a aumentar a fração de tomada média em todo o catálogo em comparação com a seleção aleatória ou bandidos não contextuais.
Conectados
Depois de experimentar muitos modelos diferentes fora de linha e encontrar aqueles que tiveram um aumento substancial na repetição, nós finalmente executamos um teste A / B para comparar os bandidos contextuais personalizados mais promissores contra bandidos não pessoais. Como suspeitamos, a personalização funcionou e gerou um aumento significativo em nossas métricas principais. Também vimos uma correlação razoável entre o que medimos fora de linha na repetição e o que vimos em linha com os modelos. Os resultados on-line também produziram algumas idéias interessantes. Por exemplo, a melhoria da personalização foi maior nos casos em que o membro não teve interação prévia com o título. Isso faz sentido porque esperamos que a obra de arte seja mais importante para alguém quando um título é menos familiar.
Conclusão
Com esta abordagem, tomamos nossos primeiros passos na personalização da seleção de obras de arte para nossas recomendações e em todo o nosso serviço. Isso resultou em uma melhoria significativa na forma como nossos membros descobrem novos conteúdos … então nós o lançamos para todos!Este projeto é a primeira instância de personalização, não apenas o que recomendamos, mas também como recomendamos aos nossos membros. Mas há muitas oportunidades para expandir e melhorar essa abordagem inicial.Essas oportunidades incluem o desenvolvimento de algoritmos para lidar com o arranque a frio, personalizando novas imagens e novos títulos o mais rápido possível, por exemplo, usando técnicas de visão por computador. Outra oportunidade é ampliar essa abordagem de personalização em outros tipos de obras de arte que usamos e outras evidências que descrevem nossos títulos, como sinopses, metadados e trailers. Há também um problema ainda maior: ajudar artistas e designers a descobrir quais novas imagens devemos adicionar ao conjunto para tornar um título ainda mais convincente e personalizável.
Se esses tipos de desafios o interessarem, avise-nos! Estamos sempre à procura de grandes pessoas para se juntarem a nossa equipe e, para esses tipos de projetos, estamos especialmente entusiasmados com os candidatos com experiência em aprendizado de máquina e / ou experiência em visão por computador .
Referências
[1] L. Li, W. Chu, J. Langford e X. Wang, “Avaliação Offline imparcial de Algoritmos de recomendações de artigos de notícias com base em bandas contextuais”, em Procedimentos da Quarta Conferência Internacional ACM sobre Pesquisa na Web e Mineração de Dados , New York, NY, EUA, 2011, pp. 297–306.
Post publicado originalmente em: https://medium.com/netflix-techblog/artwork-personalization-c589f074ad76
Artigo traduzido com a ajuda de: https://translate.google.com.br/
