Introducción al tema

La inteligencia artificial ha avanzado mucho con los chatbots, siendo ChatGPT una de las creaciones más impresionantes de los últimos tiempos gracias a su capacidad de generar conversaciones coherentes y entendibles.

Sin embargo, para llegar a este punto fue necesario pasar por varias etapas de entrenamiento y mejora constantes.

La semilla del conocimiento: Pre-entrenamiento

El primer paso fue nutrir a ChatGPT con una gran cantidad de información disponible en Internet, lo cual le permitió encontrar relaciones entre palabras y frases que usualmente se utilizan juntas.

De esta manera, ChatGPT creó una representación interna del lenguaje que le posibilita predecir la palabra o frase que sigue en una secuencia de palabras. No obstante, ChatGPT solo podía completar textos de manera similar a la función de autocompletado de los buscadores.

SFT: La guía hacia la coherencia

Para superar la limitación del pre-entrenamiento se utilizó el Ajuste Fino Supervisado (SFT), que consistió en proporcionar a ChatGPT 13,000 pares de entradas y salidas esperadas. El objetivo fue enseñarle a responder preguntas, resumir textos, traducir y seguir instrucciones. Si bien este paso permitió mejorar el modelo, también fomentó la tendencia de ChatGPT a inventar respuestas cuando no sabía la información correcta.

RLHF: El toque humano

El Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) resolvió el problema del SFT al proporcionar retroalimentación sobre la calidad de las respuestas de ChatGPT a través de un modelo de puntuación entrenado por humanos.

De esta manera, ChatGPT pudo generar sus propias respuestas y recibir una puntuación, lo cual le permitió maximizar las respuestas mejor valoradas. El RLHF redujo considerablemente la tendencia de ChatGPT a inventar información al darle retroalimentación constante sobre la pertinencia de sus respuestas.

La metáfora del jardín

Imagina que ChatGPT es un jardín lleno de flores, donde cada flor representa una respuesta posible. El jardinero (el aprendizaje por refuerzo) se encarga de cuidar y podar las flores, seleccionando las más hermosas y sanas para ofrecer al visitante (el usuario) una experiencia agradable e inolvidable.

Las palabras de Arthur C. Clarke

Como dijo alguna vez el célebre escritor de ciencia ficción Arthur C. Clarke: «Cualquier tecnología lo suficientemente avanzada es indistinguible de la magia«. Por supuesto, ChatGPT no es magia, pero la forma en que ha sido desarrollado y mejorado nos da una idea del increíble potencial de la inteligencia artificial.

En conclusión

El desarrollo de ChatGPT requirió de grandes cantidades de datos, recursos informáticos y trabajo humano para lograr un chatbot con capacidad de mantener conversaciones coherentes.

Aunque aún existen áreas por mejorar, como reducir la generación de información falsa, ChatGPT es un avance significativo en el campo de la inteligencia artificial que demuestra el potencial de esta tecnología.