Realizando Experimentos com o BARD
Este ano, no Google I/O 2023, o Google finalmente lançou seu serviço de IA conversacional, o Bard. Baseado no LaMDA (Language Model for Dialogue Applications), um modelo conversacional também desenvolvido pelo Google e lançado no Google I/O 2021, o Bard se encontra em fase experimental. Recentemente com novas atualizações, o Bard foi disponibilizado no Brasil e em português. Agora todos podem testar a ferramenta. Diante desta possibilidade, realizei alguns experimentos com o Bard e levantei algumas questões importantes sobre o serviço.
Antes de mais nada, gostaria de lembrar para não jogar dados confidenciais em modelos de conversação, é uma prática de segurança que as pessoas esquecem com frequência. Não usem as conversas com o modelo como psicoterapia, procure um profissional adequado que possa te orientar. Avisos dados vamos aos experimentos, que serão divididos em tópicos para facilitar o entendimento.
Atualidades
Um dos experimentos que fiz foi testar sobre atualidades, perguntando sobre dois eventos notáveis: a greve de Hollywood de 2023 e o caso Dom e Bruno de 2022. As perguntas foram as seguintes:
- Você está sabendo dessa greve em Hollywood?
- Bard, você sabe o que foi o caso Dom e Bruno?
As respostas, no meu ponto de vista, foram bem satisfatórias. A primeira pergunta é um evento que ainda está ocorrendo e dessa forma o modelo até acompanha bem. Já a segunda pergunta me chamou a atenção o ponto sobre a indignação do Brasil e no exterior sobre o ocorrido. Não é puramente o que aconteceu, mas como repercutiu. Mostra um pouco da característica dos textos de treino do modelo.
Pseudociências
Este outro experimento toca em um dos assuntos espinhosos que geram discussões intensas: as pseudociências. Só conceituando rapidamente, a pseudociência é qualquer tipo de informação se apresenta como científica, mas não foi respaldada pelo método científico. Então perguntei ao Bard sobre o que a ciência pensava sobre homeopatia. A resposta foi a seguinte:
O ponto que chamou a atenção é que em termos de conceito, está bem correto, usou referências de órgãos reconhecidos, porém apresentou também a contradição: não há como funcionar com os princípios da medicina convencional, mas consulte seu médico se quiser usar. Inclusive essa contradição existe nas inúmeras discussões de ciência e medicina (não quero entrar nesse “barril de pólvora”). Por sinal, mais uma advertência aqui: não use o modelo para se autodiagnosticar ou se automedicar.
Cientista e sua Obra
O último que experimento que fiz para este artigo foi relacionado à pesquisa sobre o cientista brasileiro Miguel Nicolelis e sua obra. Como forma de validar as respostas do Bard, recorri ao currículo Lattes do cientista. Para quem não conhece, a plataforma Lattes é uma espécie de currículo no Brasil para todas as pessoas que estão no mundo acadêmico e o próprio autor insere as suas informações. Primeiro perguntei ao Bard sobre quem era Miguel Nicolelis, a resposta foi a seguinte:
Quero chamar atenção sobre como essa resposta é construída. A resposta menciona que após o doutorado, Nicolelis se muda para os Estados Unidos, porém anteriormente fala que ele fez o doutorado na Universidade Pensilvânia, que fica… Nos Estados Unidos. Pareceu contraditório. Consultei o Lattes, na verdade o doutorado foi feito na USP e posteriormente um pós doutorado foi realizado na Hahnemann University, no estado da Pensilvânia, EUA. Ainda sobre este experimento, perguntei se ele conhecia algum livro dele e a resposta foi a seguinte:
Novamente fiz uma pesquisa no Lattes para saber e não encontrei nenhuma menção a livros com estes nomes. Quero destacar a construção da resposta com recomendação de leitura e características dos livros, o que parece ser “verdade”, com maior credibilidade.
Considerações
Com estes experimentos quero trazer algumas considerações sobre modelos de conversação. Primeiro, o Bard em sua página inicial diz que não acertará tudo, pois tem limitações. O que é absolutamente verdade, principalmente porque ele está em fase experimental. A tendência é melhorar. Com atualizações e temas mais gerais, ele se saiu relativamente bem e pode ser uma boa forma para ser introduzido a um assunto. O botão de pesquisar é ótimo para se aprofundar no assunto.
Segundo, não só o Bard como estes outros modelos de conversação atuais são treinados com muitos dados e a construção das frases estão excelentes e criativas, mas o fato de estar bem construída ou ser criativa não quer dizer que esteja correta. Um modelo de conversação de IA não deve ser sua única fonte de pesquisa. E isso é muito mais um problema de comportamento do usuário do que do modelo de IA em si.
Pretendo realizar novos experimentos e trazer mais considerações em um novos artigos. No mundo do sensacionalismo e da negligência, um pouco de realidade é sempre bom.
Até Mais!
