GPT

Se trata de un modelo computacional del lenguaje de tipo autorregresivo (recibe un fragmento de texto y predice cuál será el fragmento SIGUIENTE). Las siglas vienen de «Generative Pre-trained Transformer» que se corresponden con una arquitectura de red neuronal artificial que utiliza aprendizaje profundo para saber cómo imitar textos escritos por seres humanos.

La primera versión del modelo se publicó en 2018 y la versión 3 apareció en junio de 2020, alcanzando gran popularidad. Es obra de la empresa OpenAI, fundada entre otros por Elon Musk y valorada a finales de 2022 en unos 29 billones (americanos) de dólares. Microsoft tiene comprado el acceso en exclusiva al interior del modelo.

Otras empresas como Google tienen sistemas similares e incluso más potentes (PaLM y el chatbot Lambda).

Funcionamiento

Grandes bases de datos textuales (libros, capturas de la Web y la Wikipedia, que solamente supone un 3%) se descomponen en tokens (códigos numéricos que representan partes de una palabra, ej. 3 letras). A la red de transformación se le proporcionan contextos de un máximo de 2048 tokens y se usan 175 billones de parámetros configurables (800 GB de almacenamiento sólo para ellos) que son entrenados hasta que la red es capaz de continuar cualquier texto razonablemente bien.

Con las redes neuronales recurrentes de hace años, obtenías respuestas muy repetitivas. En el GPT básico, era necesario elaborar bien el «prompt» (con ejemplos y todo) que servía como base a la respuesta del sistema. A día de hoy el funcionamiento de ChatGPT es más simple y directo. Se ha mejorado mucho en lo que se llama alineamiento de la IA (AI Alignment), que permite que esta se comporte de manera similar a un asistente virtual y no que su personalidad (y por tanto resultados) cambien radicalmente de una consulta a otra.

Usos

Puede responder preguntas, resumir textos… y tiene almacenado no sólo lenguaje natural sino también código CSS, Javascript, Python, etc. Puede trabajar de hecho con otros lenguajes formales, no sólo con programación, como los análisis médicos, los documentos legales, poemas, canciones y notación musical, etc. comentándolos y explicándolos en lenguaje natural. Aunque entendemos que principalmente se ha entrenado en inglés, también maneja español y otros idiomas.

ChatGPT es un chatbot publicado en noviembre de 2022 que aprovecha esta tecnología y la afina usando ideas de «transfer learning», mediante técnicas de aprendizaje supervisado y por refuerzo, siempre con la realimentación de usuarios humanos. Esto quiere decir que se han usado textos y continuaciones de textos creadas íntegramente por seres humanos, y que también se ha puesto al sistema a generar contenido y se ha pedido después a personas que valoren los resultados y usar así sus opiniones como «recompensa» para que el sistema aprenda por sí solo. Posiblemente el uso que le estados dando entre todos ahora a ChatGPT, ahora que está abierto a todos, también sea reaprovechado en mejorar las versiones futuras.

Es importante tener en cuenta que ahora mismo el servicio NO es gratuito: tiene un coste por token (tanto de entrada como de salida), aunque los primeros 18 dólares corran por cuenta de la casa. ChatGPT admite parámetros de usuario a la hora de pedir resultados, como la temperatura (cuánto de original debe ser el resultado), la extensión, el motor a usar (cuanto más potente, más lento) e incluso si queremos usar un motor básico (base) o uno instructivo (instruct), que permite redactar instrucciones directamente, en vez de tener que poner ejemplos ilustrativos en plan «instrucción A + respuesta A, instrucción B + respuesta…», que es como se hacía para forzar el sistema a que atendiera a instrucciones.

En el futuro es posible que veamos mejoras como hacer versiones de ChatGPT específicas de dominio o con conexión a Internet para trabajar con noticias actuales. De hecho otros sistemas lo hacen, como Minerva, de Google, que se especializa en resolver problemas de matemáticas, o Flamingo, de DeepMind, que es capaz de discutir y comentar imágenes.

Problemas

Es importante entender que herramientas como ChatGPT no tienen bases de conocimiento tradicionales, de hecho a menudo no tienen ni conexión a Internet… autores como Gary Marcus tienen artículos con numerosos contraejemplos, recordándonos que lo que estos sistemas saben hacer es generar texto de salida en respuesta al texto de entrada, pero no hay ninguna representación interna de tipo simbólico de lo que dicen, ni de los datos numéricos más objetivos si quiera. Donde claramente falla es como averiguador de datos concretos: ese no es su punto fuerte, sino el de la redacción coherente. Por ello la desinformación es uno de los riesgos principales, si tomamos como cierto todo lo que dice. También lo son los sesgos y los arquetipos, e incluso la falta de ética en los textos que puede producir, aunque ChatGPT tiene un sistema de autoevaluación para ver si la respuesta que va a proporcionar es políticamente correcta, y si no lo es, devuelve una explicación de por qué prefiere no dar respuesta. Los creadores de estos sistemas no tienen control sobre los fines que un usuario quiera dar a los resultados generados tampoco.