Por que você não deve usar o Chat GPT como referência de trabalhos científicos
É surpreendente admitir que o Chat GPT 🤖, uma inteligência artificial capaz de produzir textos tão realistas e convincentes quanto um humano, possa às vezes apontar acontecimentos que não aconteceram ou até mesmo “inventar” algo. Embora possa parecer estranho, nos seus escritos, a IA declara resumos de trabalhos que para o leitor é extremamente convincente, porém de fato essas referências muitas vezes podem estar trocadas ou às vezes nem terem existido. Essas alucinações são um exemplo de como uma máquina pode ser limitada por sua falta de compreensão da realidade.
Imaginemos que você é um pesquisador e está em busca de trabalhos para utilizar como referência na sua pesquisa. Eu perguntei para o Chat GPT se ele poderia escrever um resumo de algum trabalho relacionado ao aprendizado por reforço que pudesse ser aliado com problemas de classificação, um tema bem específico pois une duas técnicas de aprendizado de máquina. A IA, de maneira quase que perfeita, me deu um ótimo resumo de um trabalho que facilmente poderia ser utilizado como referência na minha pesquisa, trazendo embasamento para as técnicas que eu estaria utilizando no meu trabalho. Além disso, ele trouxe a referência do trabalho.
Até aí tudo bem, me parece um exemplo muito rico. Porém quando pesquisamos essa referência no Google Scholar por exemplo, temos o seguinte resultado:
Notamos que o nome do trabalho, os autores e o ano do trabalho são totalmente diferentes do que a IA nos recomendou. Além de todos estes erros, o conteúdo do trabalho possui pouquíssima relação com o resumo apresentado ❌ e o que é mais impressionante é que este trabalho em nenhum momento fala sobre “Aprendizado por reforço” o que é um erro muito crítico caso tivéssemos utilizado o trabalho como referência sem ter checado o conteúdo previamente. Ou seja, o Chat GPT acabou de nos recomendar um trabalho que não existe.
Para tentar começar a entender por que o Chat GPT possui essas alucinações, precisamos entender um pouco mais como ele funciona. O Chat GPT utiliza diversas tecnologias para nos dar respostas inteligentes, a partir de uma rede neural treinada em uma grande quantidade de dados linguísticos, incluindo textos de livros, artigos, sites e até mesmo conversas humanas. O treinamento dessa rede neural permite que o Chat GPT compreenda a estrutura da linguagem e a lógica das frases, possibilitando que ele gere respostas a partir de entradas dadas pelos usuários.
Quando um usuário faz uma pergunta ou digita uma mensagem no Chat GPT, o modelo utiliza o algoritmo de processamento de linguagem natural (PLN ou em inglês NLP) para analisar a entrada e gerar uma resposta. O Chat GPT não se limita a uma lista pré-definida de respostas, mas gera uma resposta nova para cada entrada que recebe. Isso é possível porque o modelo é capaz de entender o contexto da pergunta ou mensagem e gerar uma resposta coerente com base nesse contexto.
Além dessas tecnologias o ChatGPT se destacou por sua abordagem inovadora de aprendizado por reforço (AP ou em inglês RL), que envolveu a colaboração entre humanos e máquina para determinar as melhores respostas possíveis com base no julgamento humano. Os usuários interagem fazendo perguntas ou solicitações, e o modelo oferece diferentes respostas. Os usuários, por sua vez, avaliam essas respostas e indicam as melhores opções para o modelo. Esse processo de feedback constante permite que o ChatGPT aprenda e melhore continuamente a qualidade de suas respostas ao longo do tempo.
Para aprender mais sobre como funciona o Chat GPT acesse este artigo.
Apesar dessa IA entregar respostas extraordinárias com essas tecnologias, vimos que as alucinações podem acontecer por alguns motivos, um deles acontece devido ao próprio processo de treinamento utilizado para construí-lo e muitos outros. No exemplo que vimos anteriormente, da recomendação de trabalhos científicos que nunca existiram, o modelo pode gerar respostas que não estão relacionadas com a realidade pois é exposto a dados incorretos ou incompletos durante o treinamento ou quando ele é exposto a uma pergunta que ele nunca viu antes.
Apesar de haver algumas limitações como citamos acima, uma melhoria bastante significativa vem por aí com a promessa de auxiliar em alguns problemas que a tecnologia possui. Com a chegada do GPT-4, uma das principais melhorias que pode ajudar a resolver as alucinações é a capacidade do modelo de entender melhor o contexto das informações apresentadas.
O GPT-4 é projetado para ter um conhecimento mais profundo do mundo real e ser capaz de interpretar informações em um contexto mais amplo. Isso pode ajudar o modelo a evitar confusões e recomendações equivocadas de artigos científicos inexistentes.
Porém, até que essas tecnologias evoluam a ponto de mitigar essas alucinações, a recomendação é que você NÃO USE diretamente as referências que o Chat GPT recomenda diretamente no seu trabalho. Mas isso não quer dizer que não sejam úteis, pois você pode ter os textos que são gerados como referência e procurar trabalhos que foram publicados.
