GPT-3 y su potencial en el procesamiento de lenguaje natural
Hace poco OpenAI publicó GPT-3 (Generative Pre-trained Transformer 3), la API en versión de beta privada de lo que sería su más reciente modelo de lenguaje. Este reciente lanzamiento ha creado debates en cuanto a su funcionamiento y comprensión sobre el lenguaje natural, puesto que ha recibido críticas tanto positivas como negativas en lo que compete al futuro del procesamiento de textos y la inteligencia artificial.
Hay muchos expertos en el área que lo han podido probar para poder determinar cuál es realmente su alcance. Tratándose de algo tan novedoso que hasta para algunos resulta apocalíptico pues lo perciben como una amenaza en el mundo laboral, es preciso aclarar algunas cosas sobre este modelo de lenguaje.
¿Cómo funciona?
Este programa funciona gracias al conocimiento profundo o deep learning. Está compuesto por una cantidad enorme de datos que se consiguen gracias a la web y con ellos puede crear un algoritmo de predicción para completar una frase o crear las siguientes combinaciones textuales. Se espera que estas predicciones puedan ser capaces de crear los textos lo más realistas posibles tanto en semántica como pragmática.
GPT-3 cuenta con 175.000 millones de parámetros aunque por los momentos solamente admite pruebas en inglés. Es importante resaltar que pocas semanas después del anuncio de GPT-3, Google también lanza un modelo, llamado GShard (Scaling Giant Models with Conditional Computation and Automatic Sharding), que llega a los 600.000 millones de parámetros. Sobre GPT-3, OpenAI dice
La API proporciona hoy en día una interfaz de propósito general de “entrada de texto, salida de texto”, que permite a los usuarios probarla en prácticamente cualquier tarea en inglés.
El acceso a esta API es privado. Es tramitado bajo solicitud, por lo que debemos llenar primero un formulario en el que justifiquemos el uso que le queremos dar, ya sea personal o como empresa. OpenAI hasta la fecha tiene una barrera de entrada en la que puede filtrar a aquellas personas que pueden acceder y a las que no. Una vez que nos permiten acceder podremos comenzar a interactuar con la API y determinar su alcance.
La función de esta API es la de “completar” la información según los datos previamente proporcionados. Podemos comenzar a escribir un texto y GPT-3 lo irá completando según el contexto y determinando la información que puede ser relevante. También, podemos citar algunos ejemplos para crear una especie de “entrenamiento” y que la API entienda así lo que queremos solicitarle. Por ejemplo, podríamos darle unas sumas o unos valores y luego en base a una fórmula propuesta la pueda resolver, pues le hemos enseñado previamente a través de estos ejemplos a hacerlo. Podemos darle también información a partir de un texto que pueda completar como una definición, una pregunta o el comienzo de una oración que pueda terminar convirtiéndose en un texto.
Otra dinámica que podemos aplicar para interactuar con GPT-3 es la de preguntas y respuestas. Podemos crear conversaciones que se desarrollaran gracias a la información que previamente hemos dado. Es decir, de nuevo vamos creando un contexto.
Como podemos observar en la interacción que muestra la imagen, la persona ha creado una intercambio basado en preguntas y respuestas así como comentarios. Estamos hablando de una conversación que en este caso que para algunos puede ser coherente y emocionante. Definitivamente en el caso del autor de este video, fue una experiencia increíble y logró probar el alcance de esta API.
¿Cuáles han sido las impresiones de los expertos sobre GPT-3?
En este punto es preciso aclarar que nos encontramos con opiniones de diversos tipos y valoraciones que dependerán del resultado que esperaban los desarrolladores y expertos.
Para algunos es una buena herramienta, pero consideran que aún queda mucho trabajo por delante. Estos modelos de lenguaje aún se encuentra en una etapa prematura, lo que no descarta que use un lenguaje muy natural y muestre cierta fluidez en sus textos. No es capaz se escribir novelas o si los textos son lo suficientemente largos pueden perder cierta coherencia. Por otra parte es necesario recordar que este modelo de lenguaje no cumple con la acción de razonar sino de memorizar y ofrecer respuestas en base a lo establecido o mostrado anteriormente.
Otros le dan a GPT-3 críticas positivas sin negar que aún hay mejoras por realizar.
GPT-3 es capaz de aprender nuevas formas de generar texto tan solo recibiendo unos pocos ejemplos como entrada. Esto hace que sea capaz de convertir lenguaje natural a código de programación o a patrones de diseño o que entienda conceptos como escribir un comentario al estilo Youtube, antónimos o verdadero/falso.
También se han generado fuertes críticas en cuanto a cómo el modelo no logra completar los textos de manera eficaz dejando a un lado la lógica del razonamiento. Según varias pruebas realizadas planteando distintos escenarios, GPT-3 no ha completado los textos con planteamientos “lógicos”, lo cual lleva a los expertos a concluir que no debemos confiarnos de sus respuestas. A veces tendrá respuestas con mayor a menor sentido y recordando que son solo aproximaciones o posibles escenarios.
Conclusiones
El machine learning nos sigue brindando novedades y avances que demuestran que estamos cada vez más cerca de modelos de lenguaje capaces de acercarse al procesamiento del lenguaje natural. Después de interactuar por un tiempo con el modelo puede funcionar y otras veces no tanto. Todo dependerá del tipo de interacción y de los resultados que estén esperando de él. Recordemos que estos son avances significantes del aprendizaje profundo o deep learning, pero no son completamente exactos o asertivos según la situación.
