Los modelos de visión por computador innovan la forma en que las máquinas interpretan y analizan imágenes de personas. Sapiens, una nueva familia de modelos desarrollados por Meta, se destaca por su capacidad para realizar tareas complejas como la estimación de pose 2D y la segmentación de partes del cuerpo.

Este artículo explora cómo Sapiens utiliza datos masivos y aprendizaje autosupervisado para ofrecer un análisis detallado y preciso, prometiendo un futuro emocionante en la interacción humano-máquina.

¿Qué es un modelo de visión por computador?

Los modelos de visión por computador son sistemas que permiten a las computadoras interpretar y entender imágenes y videos de manera similar a como lo hace el ser humano. Utilizan algoritmos y técnicas de aprendizaje automático para analizar datos visuales, identificar objetos, reconocer patrones y tomar decisiones basadas en la información visual. Por ejemplo, un modelo puede ser entrenado para detectar y clasificar diferentes tipos de vehículos en una imagen de tráfico, ayudando a las máquinas a «ver» y «comprender» su entorno, lo que tiene aplicaciones en áreas como la seguridad, la automoción y la robótica .

Para entender mejor cómo funciona los modelos de visión por computador, imagina que estás en una galería de arte. Cuando miras una pintura, no solo ves los colores y las formas, sino que también interpretas lo que representan: una escena de la naturaleza, un retrato, o una abstracción. De manera similar, un modelo de visión por computador «mira» una imagen y, a través de su entrenamiento, puede identificar y clasificar los elementos que contiene, como personas, animales o vehículos, tal como tú lo harías en la galería. Así, al igual que un crítico de arte analiza una obra, el modelo analiza la imagen para extraer información significativa .

galería de arte

Un Enfoque Integral para la Visión Artificial Humana

Sapiens se distingue por su capacidad para abordar cuatro tareas fundamentales relacionadas con la visión humana:

1. Estimación de pose 2D: Determina la posición y orientación del cuerpo humano en una imagen.
2. Segmentación de partes del cuerpo: Identifica y delimita diferentes partes anatómicas.
3. Estimación de profundidad: Calcula la distancia de los elementos en la escena.
4. Predicción de normales de superficie: Analiza la orientación de las superficies en 3D.

Esta aproximación multitarea permite a Sapiens ofrecer un análisis completo y detallado de las imágenes humanas.

La Clave del Éxito: Datos Masivos y Aprendizaje Autosupervisado

El rendimiento excepcional de Sapiens se basa en dos pilares fundamentales:

• Dataset Humans-300M: Un conjunto de datos colosal con 300 millones de imágenes humanas no etiquetadas.
• Preentrenamiento autosupervisado: Una técnica que permite al modelo aprender patrones y características sin necesidad de etiquetas manuales.

Esta combinación dota a Sapiens de una capacidad de generalización sobresaliente, incluso en escenarios con datos limitados o sintéticos.

Características Técnicas que Marcan la Diferencia

Sapiens incorpora avances tecnológicos que lo sitúan a la vanguardia:

• Arquitectura de Transformadores de Visión (ViT): Permite procesar imágenes de forma más eficiente y flexible.
• Escalabilidad: El rendimiento mejora al aumentar el número de parámetros, desde 0.3 hasta 2 mil millones.
• Alta resolución: Soporta inferencia nativa en imágenes de 1024×1024 píxeles, capturando detalles finos.

Estas características permiten a Sapiens superar significativamente a los modelos existentes en diversos benchmarks centrados en humanos.

Sapiens: Un Reflejo Digital de Nuestra Percepción Visual

Sapiens no solo avanza la tecnología de visión artificial, sino que también ilumina los intrincados procesos de nuestra propia percepción visual. Al replicar habilidades humanas como la estimación de pose 2D y la segmentación corporal, este modelo revela la complejidad subyacente en nuestras aparentemente simples capacidades visuales.

El uso de aprendizaje autosupervisado y grandes conjuntos de datos en Sapiens plantea preguntas intrigantes sobre el aprendizaje humano:

• ¿Utiliza nuestro cerebro métodos similares para procesar la vasta información visual que recibimos?
• ¿Cómo moldea nuestra exposición constante a imágenes nuestra interpretación del mundo visual?

La evolución de Sapiens sugiere una creciente convergencia entre la visión artificial y la comprensión de la cognición humana. Esto promete no solo avances en neurociencia y psicología cognitiva, sino también nuevas formas de interacción humano-máquina más naturales y sofisticadas. En esencia, al replicar y mejorar las capacidades visuales humanas, Sapiens no solo crea herramientas más potentes, sino que también profundiza nuestra comprensión de cómo percibimos e interactuamos con nuestro entorno.

Para más información, puedes consultar el paper de investigación sobre Sapiens.