GPT-3: ¿La esperada creatividad literaria de la inteligencia artificial?
Karma Peiró y Ricardo Baeza-Yates
“Todo lo que tengo que hacer es escribir un mensaje y la máquina agrega el texto de manera plausible y coherente. Así he conseguido componer canciones, relatos, poemas, notas de prensa, partituras de guitarra, memes, imágenes, emails, códigos de programación, entrevistas a supuestos personajes políticos y hasta manuales técnicos con instrucciones a seguir para poner en funcionamiento un aparato ficticio. El GPT-3 es inquietantemente bueno escribiendo cualquier cosa”
Así lo explica Arram Sabeti, un científico que ha tenido la oportunidad de probar este modelo avanzado de generación de texto que está causando furor entre expertos de Inteligencia Artificial y aprendizaje profundo (deep learning). “Es divertido y aterrador a la vez. Siento que he visto el futuro”, añade.
Al modelo GPT-3 se le han concedido muchas medallas en pocos meses, quizás porque todavía son pocas las personas que han tenido la oportunidad de probarlo y compararlo con las capacidades creativas humanas. ¿De qué estamos hablando? ¿De otra súper máquina? ¿De un nuevo paso de la inteligencia artificial que hará imposible distinguir si el creador fue un ordenador o una persona?
Los autores de este artículo ya explicamos el año pasado que una novela escrita por una máquina había ganado un premio literario japonés, siendo el jurado incapaz de detectarlo. ¡Eso fue en el 2016!
¿Dónde está la novedad ahora? ¿Quizás sea que el GPT-3 abre la puerta a obviar la autoría de las creaciones artísticas y a dar importancia a las emociones o al conocimiento que transmite el contenido creado?
Todas las obras de la literatura mundial del pasado estarán relacionadas con sus autores pero, en el futuro… ¿el arte se atribuirá al anonimato de las máquinas? ¿Diremos que la autoría es de un modelo inteligente capaz de crear una obra maestra o del texto inicial que sirvió para generarla?
¿Cómo funciona la generación inteligente de texto?
El Generative Pre-Trained Transformer (GPT-3) es una red neuronal profunda generadora de texto creada por OpenAI, una empresa de investigación de San Francisco. El GPT-3 es –hasta la fecha– el mayor modelo de lenguaje creado.
En noviembre del año pasado, OpenAI lanzó el modelo anterior –el GPT-2– como la gran revolución porque contenía entrenamiento previo sobre 1,5 mil millones de parámetros que definen las capas y las conexiones de la red neuronal.
El GPT-3 posee 175 mil millones de parámetros y ha sido entrenado con cerca de un billón de palabras recopiladas de Internet y libros digitalizados. Eso hace que su predecesor, el GPT-2, anunciado en febrero de 2019 y que utiliza 1,5 mil millones de parámetros, parezca ridículo.
Los anteriores modelos más grandes eran Turing NLG de Microsoft (febrero de 2020 y con 17.000 millones de parámetros) y T5 de Google (noviembre de 2019 y con 11.000 millones de parámetros).
¿Pero cómo funciona este modelo y qué hace exactamente? No es fácil explicarlo en términos sencillos. Imaginen una máquina que lee una frase y que aprende cuál es la siguiente. Y así sucesivamente. El problema de este esquema es que necesitamos leer el texto secuencialmente y, si es muy largo, debemos invertir mucho tiempo.
Para solucionar este problema, en 2017 se inventó una arquitectura de red neuronal. Es decir, una forma de interconectar la red llamada Transformer, que permite procesar las frases en paralelo. Esto implica poder usar más datos y disminuir el tiempo de entrenamiento.
Esta tecnología ha sido usada hasta ahora para la traducción de textos, generación de resúmenes y de documentos en general, reconocimiento de voz y análisis de secuencias biológicas.
No es tan perfecto como parece
El GPT-3 memorizó las formas de innumerables géneros y estilos narrativos, además de situaciones diversas, desde tutoriales de programación de ordenadores hasta escritura deportiva.
Los resultados pueden ser técnicamente impresionantes, y también divertidos o estimulantes, como se ha podido comprobar ya con poemas, entrevistas o canciones. Sin embargo, también ha recibido críticas ya que, frecuentemente, crea contradicciones o frases sin sentido. ¿El motivo? La generación de palabras no se guía por ninguna comprensión coherente del contexto.
Los destacados investigadores Gary Marcus y Ernest Davis mencionan la falta de precisión del GPT-3. Además, acusan a OpenAI de violar la ética científica por no permitir el acceso al código para investigar, a pesar de que está ligada a una organización sin ánimo de lucro.
Otro de los fallos detectados en esta versión beta del GPT-3 son los sesgos. Lo cual tiene lógica si los algoritmos aprendieron de billones de palabras extraídas de Internet.
El director de IA de Facebook, Jerome Pesenti, acusó a OpenAI de haber lanzado un modelo poco fiable. No solo eso, sino que tuiteó capturas de pantalla de tweets creados con GPT-3 en los que se puede ver cómo asocian a los judíos con el amor por el dinero, y a las mujeres con el mal sentido de la orientación. Esto no es sorprendente, pues GPT-3 aprende de los sesgos humanos y no ha sido entrenado para evitar textos ofensivos.
Los expertos también critican que el GPT-3 es simplemente una versión más grande del GPT-2. Es decir, con más parámetros y datos, pero con la misma inteligencia. En otras palabras: es como tener un ordenador con más memoria.
Simplemente ejecuta…
Pero no perdamos el foco de lo importante.
Este tipo de IA no piensa como los humanos, simplemente ejecuta. Eso quiere decir que procesa la entrada textual en función de los datos con los que ha sido previamente entrenado.
Los mismos creadores del GPT-3 reconocen que:
“Aunque la calidad es alta en general, las muestras se repiten semánticamente, pierden coherencia en pasajes largos, como podría ser un libro de centenares de páginas, se contradicen y contienen oraciones o párrafos sin sentido”.
Si comparamos la creatividad del GPT-3 con la de los humanos, nosotros todavía somos capaces de mantener un argumento de manera persistente, mientras que el modelo inteligente pierde el enfoque en pasajes más largos.
Por lo tanto, la respuesta a la mayoría de las preguntas que planteábamos al inicio de este artículo se resume en que Cervantes o Shakespeare pueden estar tranquilos.
Estos modelos generarán, como mucho, obras que emularán otras grandes obras, pero nunca serán originales, pues la originalidad es justo lo que no está en los datos.
Así como hay peritos que permiten distinguir buenas imitaciones de una pintura maestra, habrán peritos que podrán distinguir imitaciones literarias. Y lo más probable es que los mejores peritos también usen la inteligencia artificial. Paradójico, ¿no?
La explosión de la IA está redefiniendo los roles de los inventores: los artistas tradicionales pueden ver cómo se mejora su inspiración con estas herramientas, y se están creando nuevos trabajos para operar modelos y procesar sus resultados. ¡Te contamos más en nuestro Short Course in Artificial Intelligence for Creative Projects!
Karma Peiró, periodista especializada en Tecnologías de la Información y la Comunicación desde 1995.
Ricardo Baeza-Yates, Ph.D. en Ciencia de la Computación y Director de Ciencia de Datos de Northeastern University, investigador en universidades de Catalunya y Chile y miembro del Consejo de IA de España y Fellow de ACM e IEEE.
