Introducción

En el vasto universo de los Grandes Modelos de Lenguaje (LLM), GPT-4 de OpenAI brilla con luz propia. Pero, ¿y si te dijera que hay un competidor que emerge desde las sombras? Un gigante dormido que se está despertando, que se alimenta de transparencia y código abierto, y que está listo para redefinir lo que sabemos sobre los LLM. ¡Déjame presentarte a OpenChat V2 x OpenOrca!

Un nuevo líder en el mercado

OpenChat V2, un LLM de código abierto que está ganando terreno, ha sido afinado con los datos de OpenOrca, logrando un hito al superar a ChatGPT-3.5. Descubre por ti mismo OpenChat V2 x OpenOrca ↗.

Hundiéndonos en el océano de OpenOrca

OpenOrca, como su homónimo el cetáceo, es majestuoso y poderoso. En el artículo Orca: Progressive Learning from Complex Explanation Traces of GPT-4 ↗, se destaca el heroico Flan V2, un glorioso conjunto de datos.

Más allá de lo superficial: Mejorando con Explicaciones Paso a Paso

¿Quieres saber el secreto de OpenOrca? Explicaciones paso a paso. Al agregarlas a los ejemplos objetivo de Flan V2, OpenOrca logra superar a ChatGPT-3.5 en el banco de pruebas Vicuna.

Los misterios detrás de Orca

Los investigadores se han centrado en mejorar los modelos más pequeños a través del aprendizaje por imitación, basándose en las salidas generadas por los grandes modelos de base (LFMs). Sin embargo, existen desafíos que enfrentar, como las limitadas señales de imitación de las salidas superficiales de los LFMs, los datos de entrenamiento a pequeña escala y homogéneos, y una evaluación no rigurosa.

Orca: Nuestro faro en la tormenta

Para enfrentar estos desafíos, se desarrolló Orca, un modelo de 13 mil millones de parámetros que aprende a imitar el proceso de razonamiento de los LFMs. Orca aprende de las ricas señales de GPT-4, incluyendo rastros de explicación, procesos de pensamiento paso a paso y otras instrucciones complejas, con la ayuda del profesor de ChatGPT.

El ascenso de Orca

Orca supera a los modelos convencionales sintonizados con instrucciones de última generación, como Vicuna-13B. Además, alcanza paridad con ChatGPT en la prueba de BBH y muestra un rendimiento competitivo en exámenes profesionales y académicos como el SAT, LSAT, GRE y GMAT.

Reflexión final

El camino para mejorar los modelos de lenguaje puede estar en aprender de las explicaciones paso a paso, ya sean generadas por humanos o modelos de IA más avanzados. Como una semilla plantada en un suelo fértil, OpenOrca tiene el potencial para crecer y transformar el paisaje de los modelos de lenguaje.