Quiero presentarte a FlashAttention-2, la nueva versión del algoritmo FlashAttention. Este algoritmo está diseñado para que las computadoras puedan comprender textos extensos de manera más eficiente y rápida, y empleando menos memoria.

Los modelos de lenguaje que los científicos han desarrollado pueden leer textos muy largos, como libros enteros o videos de gran duración. Pero, normalmente, las computadoras necesitan mucho tiempo para procesar estos textos extensos. Aquí es donde FlashAttention-2 entra en juego, permitiendo que las computadoras aprendan y comprendan estos textos de manera más rápida.

Funcionamiento de FlashAttention-2

FlashAttention-2 optimiza el proceso interno para que la computadora realice ciertas operaciones matemáticas de manera más rápida:

• Simplifica operaciones complicadas y se centra en multiplicaciones de matrices, las cuales las computadoras pueden realizar muy rápidamente.
• Reparte el trabajo entre distintas partes de la computadora para que varias secciones trabajen simultáneamente.
• Organiza el trabajo de forma que cada parte de la computadora realice menos operaciones adicionales.

Gracias a estos cambios, FlashAttention-2 puede llegar a ser hasta dos veces más rápido que FlashAttention original y hasta nueve veces más rápido que los métodos convencionales.

Resultados de FlashAttention-2

Al poner a prueba FlashAttention-2 con modelos que aprenden de textos largos, se alcanzaron los siguientes logros:

• Se alcanzó una velocidad de hasta 225 billones de operaciones por segundo en una computadora de alto rendimiento. Esto es 1.3 veces más rápido que con FlashAttention original.
• Una computadora puede aprender de textos que son 16 veces más largos al mismo costo que antes, cuando solo podía con textos 8 veces más cortos.

Mirando hacia el futuro

Los científicos tienen planes de seguir mejorando FlashAttention-2. Quieren que funcione en más tipos de computadoras y con diferentes tipos de datos. También desean combinarlo con otros avances para entrenar modelos que puedan aprender de textos, imágenes y videos aún más largos.

Además, buscan que sea más accesible para que cualquier programador pueda aplicar estas técnicas avanzadas. De esta manera, las computadoras podrán entender mejor nuestro mundo, que es tan vasto y complejo.

Para más información, puedes visitar el repositorio en GitHub: FlashAttention en GitHub ↗ y consultar el paper de investigación en el siguiente enlace: FlashAttention-2 Paper ↗.