Discurso de Ódio em interface inteligente expõe falha da Inteligência Artificial

Em 2016, a Microsoft criou uma chatterbot chamada Tay, a ideia era conversar com as pessoas no Twitter de uma forma descontraída. Mas o problema é que de conversas divertidas e inocentes, Tay passou a twittar discursos de ódio direcionados à mulheres, negros, judeus e a comunidade LGBTQ+. Por que isso aconteceu?

O perfil do usuário @TayandYou no Twitter era semelhante ao de muitos jovens que usam as redes sociais todos os dias: ela tinha sua própria estética, era apaixonada por tudo e postava alguns tweets. “Falar com humanos é a única maneira de aprender”, escreveu ela. Tay foi programada para aprender e evoluir suas conversas através da interação com as pessoas, com isso ela aprendeu a falar como usuários do twitter e se assemelhar a uma adolescente. O objetivo da equipe técnica e de pesquisa da Microsoft era “conduzir experimentos e estudar o diálogo de compreensão”.

Isso significa que muito do discurso de Tay era um reflexo do que era conversado com ela. “Quanto mais você falar com Tay, mais inteligente ela fica, o que faz com que a experiência seja ainda mais personalizada para você”, explicou a Microsoft. O objetivo da empresa era melhorar sua forma de comunicação, principalmente entre jovens de 18 a 24 anos.

Mas não demorou muito para usuários do twitter se aproveitarem da IA e “trollaram” a Microsoft, pedindo para Tay repetir discursos racistas, machistas e homofóbicos. Pouco tempo depois, a IA já estava publicando por conta própria mensagens de ódio. Os tweets saíram de controle e depois dessa polêmica a Microsoft desligou o chatterbot e excluiu os tweets ofensivos.

Essa experiência nos faz refletir sobre o uso de Inteligência Artificial, se um experimento simples e aparentemente inofensivo levou a esse descontrole, imagine o desenvolvimento de IA em objetos mais perigosos, como armas. Muitos se preocupam com o desenvolvimento de uma consciência da IA, mas a maior preocupação é quando o desenvolvimento é através de coleta de dados e algoritmos, que já sabemos que é falho e cruel com minorias.