Por que os custos com IA continuam a subir nas novas gerações de modelos?
A corrida tecnológica do aprendizado de máquina
"O custo necessário para se treinar grandes modelos de Inteligência Artificial (IA) têm crescido exponencialmente".
Esta é a chamada de uma notícia da Tom's Hardware, compartilhada pelo Paulo Chiodi, que levantou uma dúvida bastante pertinente para quem acompanhou o desenvolvimento de outras tecnologias no passado:
Não seria esperado que os modelos [de Inteligência artificial] se tornassem mais eficientes com o passar do tempo e, consequentemente, exigissem menos custos?
Primeiramente, é importante a gente ter em mente que nada se torna mais eficiente sozinho. Para que um processo se torne mais eficiente, é necessário que haja pessoas trabalhando ativamente para pesquisar e desenvolver novas soluções. Por exemplo, por um tempo, os consumidores queriam computadores e celulares cada vez mais rápidos, menores e com uma bateria mais duradoura. As empresas, por sua vez, contrataram profissionais e investiram nessa direção para os seus produtos.
Quanto aos modelos de IA, parece que a corrida tecnológica está muito mais focada em apresentar resultados que impressionem "como mágica" e que acendam as discussões polêmicas como a substituição da força de trabalho humano ou o quão distante estamos de uma inteligência artificial geral, do que outras questões relevantes como a eficiência e até mesmo a segurança no uso dessas tecnologias.
Nesta corrida da IA, o número de cálculos realizados durante o treinamento de modelos de aprendizado de máquina estão crescendo muito, tanto pelo aumento da quantidade de dados fornecidos aos modelos quanto pelo aumento do tamanho dos próprios modelos. Se você quiser aprender que cálculo são estes e como eles podem crescer rapidamente, sugiro o vídeo a seguir do quadro IA Descomplicada:
Quando dizem que o GPT X tem Y bilhões de parâmetros e a versão X+1 terá 10*Y parâmetros, estão aumentando o número de contas pelo tamanho do modelo significativamente. Se dizem que ele vai operar com vídeo, estão aumentando os dados e adicionando um tipo de dado que é bem custoso, porque o custo de armazenar e processar um vídeo é muito maior que o de operar com texto. Consequentemente, mais máquinas são necessárias e/ou mais tempo de processamento (leia-se energia) também será necessário para alcançar os resultados esperados. Olha que não estamos nem contando a energia gasta com todas as tentativas que não alcançaram o resultado esperado.
Com a demanda por “resultados” rápidos, não há tempo para se produzir hardwares com ganhos de eficiência no consumo de energia nesta mesma escala, nem métodos computacionais que gerem os mesmos resultados com bem menos processamento. Os investidores, aqueles que detém a grana e a decisão de onde aplicá-la não querem saber dessa parte que não é “útil”…
Serviços como o ChatGPT só se tornaram possíveis após um resultado científico publicado em um artigo chamado Attention is All You Need. O artigo foi publicado em 2017 por pesquisadores da Google e da Universidade de Toronto, e introduz a arquitetura Transformer, uma das bases do ChatGPT — GPT significa Generative Pre-trained Transformer. No entanto, há pessoas que só conhecem ChatGPT, que se tornou sinônimo de "IA generativa", outro termo que está na academia há anos e foi apropriado, até mesmo distorcido, pelo marketing.
Certamente, a Google já possuía um modelo similar ao da OpenAI, visto a rapidez com que lançaram o Bard, mas para a sociedade em geral, isso não fez tanta diferença. Há, inclusive, posts de novos pseudo-especialistas em IA, que não entendem nada de pesquisa, mas afirmam que "a Google perdeu", não tem resultados etc. Veja só como a velocidade e o marketing das soluções se tornaram importante! Aliás, o Bard teve que passar até por um rebranding como Gemini…
Neste cenário, infelizmente, há muito mais dinheiro de pesquisa e desenvolvimento indo para a geração de “resultados maiores” do que para o desenvolvimento de métodos mais eficientes, seguros ou com qualquer outra característica considerada "secundária". Se ainda dá pra consumir o planeta e aumentar o hype, por que não? 🙄
Se você deseja aprender a programar e, futuramente, entender um pouco mais da parte técnica da área de inteligência artificial, confira o curso Python do Jeito Certo 2.0 e desenvolva uma base sólida em programação:
