Un Modelo de Inteligencia Artificial Adaptable

Te presento AdaTape, un modelo de inteligencia artificial adaptable, creado por los investigadores de Google. AdaTape tiene una particularidad: utiliza un sistema de lectura adaptable que le permite ajustar el número de tokens por entrada según su complejidad. Así, puede cambiar su comportamiento y su uso de recursos informáticos en respuesta a las variaciones en los datos de entrada.

Cómo Funciona

AdaTape asigna tokens de una «cinta» a cada entrada, en función de su complejidad. Esta cinta puede armarse de dos maneras:

Banco Impulsado por la Entrada

En este caso, AdaTape extrae tokens adicionales de la entrada misma, obteniendo información de diferentes niveles de abstracción.

Banco Aprendible

Aquí, AdaTape usa vectores aprendibles como tokens de la cinta. Esto le permite adaptar su uso de recursos computacionales según la complejidad de cada entrada, asignando más tokens y, en consecuencia, llevando a cabo más cálculos con entradas más complejas.

Sea cual sea el banco de tokens usado, los tokens seleccionados se añaden a la entrada original y se procesan en las capas del transformador. Se usan diferentes redes neuronales para los tokens de la entrada y de la cinta.

Ventajas de AdaTape

AdaTape tiene una característica muy útil: incorpora capacidades recurrentes ligeras que le permiten mantener un contador implícito para resolver tareas. Esto le da una ventaja frente a otros transformadores adaptativos. En pruebas de clasificación de imágenes, AdaTape supera a alternativas como A-ViT, UViT y U2T, y además, resulta más eficiente en cuanto a uso de recursos informáticos.

Comportamiento de AdaTape

Los experimentos muestran que AdaTape suele seleccionar con más frecuencia los parches centrales en las imágenes. Esto sugiere que AdaTape prioriza las entradas más informativas, demostrando cierta inteligencia al identificar y seleccionar los parches más relevantes para mejorar su rendimiento.

Conclusión

AdaTape ofrece una nueva visión de la computación adaptable, ya que utiliza secuencias de longitud variable que se generan dinámicamente. Esto le permite resolver tareas difíciles para otros transformadores, manteniendo un balance favorable entre rendimiento y coste computacional. En resumen, AdaTape es un gran avance en modelos de IA transformadores que son a la vez adaptables y eficientes.

Enlaces:

Página de AdaTape en Google