GPT-3: A era da incerteza.

Janeiro calorento em São Paulo e não haviam ainda quaisquer indícios de Covid ou necessidade de isolamento social: “Daqui cinco anos, olharemos para trás e não reconheceremos a vida que levamos neste momento, quando comparada a vida que estaremos levando naquele momento”.

A frase, ou presságio, foi minha maneira de explicar para Rodrigo Scotti — o cara que criou a Nama, ex-chefe e agora amigo — rumo ao almoço com menor custo benefício que já experimentei na vida, o porque de conseguir entender tão facilmente alguns dos seus mais malucos insights de produto. Afinal, estávamos falando de OpenIA, GPT-3 e algumas aplicações com potencial de mudar o mundo de maneira ainda mais radical que a pandemia.

Para quem está fora dessa indústria, e as vezes até para quem está dentro, o volume de parâmetros usados na GPT-3 assusta, mesmo para uma empresa co-capitaneada por um sujeito que manda foguetes para o espaço, cria carros elétricos e ainda encontra tempo para apoiar golpes em repúblicas sul-americanas em busca de Lítio.

Comparado à BERT, a IA do Google com 340 milhões de parâmetros, a GPT-2 da OpenIA — uma companhia com a missão de garantir que a inteligência artificial seja usada em benefício de toda humanidade — com 1.5 bilhões de parâmetros, já trazia capacidades cognitivas difíceis de mensurar, e não nos preparava emocionalmente para a chegada da GPT-3, com 175 bilhões de parâmetros. Vale lembrar que já a GPT-2, na época não foi disponibilizada na sua integridade porque teria, potencialmente, a capacidade de influir estruturalmente na maneira como lidamos, por exemplo, com fake news, spam, fishing e engenharia social.

O treinamento da GPT-3 consiste num dataset de 410 bilhões de tokens da web, 19 bilhões de textos, 67 bilhões de livros e 3 bilhões de verbetes da Wikipedia. A nova versão da IA não traz tanta inovação arquitetural — continua se chamando Transformer — sua diferença consiste quase que exclusivamente no tamanho da base de conhecimento. Tanto esforço chamou a atenção de gigantes como a Microsoft, que já planeja lançar equipamentos e softwares para rodar com motores OpenIA. Mesmo para quem, como eu, já criou ou fez a curadoria de datasets é impossível mensurar o volume de tanta informação.

O título do paper, chamado Language Models are Few-Shot Learners, já explica o conceito todo por trás do modelo, que consiste em analisar quais as próximas palavras dentro de uma sentença e com isso aprender sobre as relações semânticas, gramaticais e sintáticas entre as palavras. A grande diferença é que ela já seria capaz de fazer isso com poucos exemplos, mas possui essa base de conhecimento imensa com 175 bilhões de parâmetros.
No documento, a GPT-3 é definida como task-agnostic, ou seja, não foi modelada para apenas uma atividade específica — como os seres humanos — e pode ser usada para criar experiências conversacionais realmente convincentes ou quem sabe, te fornecer as ferramentas para iniciar sua própria Skynet.

Diferente da GPT-2 e BERT, a GPT-3 não estava disponível até o lançamento deste artigo e deve ser vendida como um serviço. Já existe como fazer algumas integrações — mediante aprovação — via chamadas de API, e por isso já é possível encontrar na internet alguns casos de uso bastante interessantes para avaliar o potencial desta IA.

Comandos por linguagem natural

A GPT-3 é capaz de escrever poesias, músicas e textos complexos, programar, criar interfaces, escrever e-mails, ganhar campeonatos de DOTA 2 ou responder convincentemente questões subjetivas como “Porque os pães costumam ser fofos?” sem precisar de nenhuma sentença semelhante para ENTENDER a melhor maneira de responder esta pergunta. Quem trabalha na área conversacional, por exemplo, sabe o problema que envolve essas questões de cognição, semântica e ambiguidades de intenção.

Parece um pouco preocupante para quem não acompanha o assunto, mas o paper original conta que durante os pré-treinos não supervisionados o modelo desenvolveu habilidades de reconhecimento de padrões de comportamento, ou in-context learning, influindo diretamente na sua capacidade de entender a natureza de cada tarefa que lhe é demandada, ou, meta-learning. Para ser mais técnico, o modelo se baseia em 3 abordagens: Few, One e Zero Shots, tornando desnecessário o treinamento prévio de modelos.

Nos casos que testei ou assisti, prevalecem os comandos por linguagem natural para qualquer natureza de tarefa, ou seja, são quase sempre casos de descrever o que você deseja de maneira simples e não técnica como instruções enviadas por WhatsApp, confirmando que skills como UX writing, design conversacional e VUI — voice user interface — devem seguir em alta demanda pelos próximos anos.

Descreva um layout

Foi com essa chamada numa postagem de Twitter, que Sharif Shameem — @sharifshammen — anunciou um teste de geração de layouts web baseados apenas na descrição de como eles deveriam se parecer. Além do layout, a GPT-3 é capaz de gerar um código perfeito para implementação.
Teste em www.debuild.co.

Figma Lovers

Jordan Singer — @jsngr — o cara por trás do site I Build My Ideas, desenvolveu um plugin capaz de criar layouts no Figma baseados apenas numa breve explicação de como o layout deve parecer e se comportar. Na thread deste link, Jordan conta o processo de criação do plugin que ele chamou “Designer”, levantando inclusive questões como a relevância desta profissão para os próximos anos.

Você pode ficar por dentro do projeto cadastrando-se na newsletter. http://ibuildmyideas.substack.com

Linux Lovers

Se você, como eu, ama Linux mas não entende nada desse sistema operacional, chegou a hora de brilhar. O Site CMD XYZ utiliza GPT-3 para traduzir explicações em comandos Linux. É experimentar para crer.
https://cmd.xyz

Ganho de produtividade

A OtherSideAI, uma empresa que se compromete a desenvolver ferramentas de comunicação que funcionem como mágica, postou em sua conta do Twitter os primeiros testes do Quick Response, uma ferramenta desenvolvida em GPT-3 que é capaz de escrever um e-mail inteiro — com o estilo de escrita original do usuário — apenas baseado em Response Points que devem ser considerados na redação.

Nessa thread a equipe OtherSideAI explica o processo de construção da POC baseada na GPT-3.

Os próximos 5 anos

O cérebro humano típico é capaz de 100 trilhões de sinapses, cerca de 570 vezes maior que a GPT-3 175B da OpenAI. Considerando um crescimento desta tecnologia de 100x a cada 2 anos, é bastante provável que tenhamos um modelo de linguagem com mais parâmetros que as sinapses do cérebro humano nos próximos 5 anos.

Da mesma maneira que não conseguimos prever nos anos 60 — embora a Lei do Moore já desse evidências — uma fração do uso massivo de computadores na atualidade, estamos subestimando muito uma taxa de crescimento de parâmetros na ordem de 100x a cada 2 anos.

Ainda não sei dizer se é possível prever o futuro, e sei que estou bastante bem acompanhado nesta dúvida, mas entendo que construir cenários baseados em evidências pode render boas tomadas de decisão — ou pelo menos evitar as muito ruins — , mesmo que a realidade as vezes se apresente como um roteiro de ficção-científica e te faça planejar tudo novamente.

Três mudanças — aceleradas por IA — para os próximos 5 anos:

•O fim da necessidade de seres humanos para algumas profissões atualmente consideradas seguras por serem “criativas”, como designers, arquitetos, redatores e principalmente jornalistas. Não é que estas profissões deixem de existir, mas mudarão radicalmente.

•Aumento de profissões relacionadas ao processo conversacional entre humanos e máquinas. Skills de UX, num mundo cada mais complexo e low-touch, vão se tornar ainda mais importantes e demandadas em todas as indústrias.

•Crescimento acentuado na utilização de assistentes virtuais para finalidades pessoais ou ainda não mapeadas integralmente. A interação com tarefas mundanas, como a marcação de reuniões e envio de mensagens ou e-mails e será cada vez menos frequente.

Ao que tudo indica, nos próximos anos, olharemos para trás e não reconheceremos a vida que levamos até aqui.
Como você está se preparando para isso?