By Mirror es una aplicación web desarrollada por cocktailpeanut que permite interactuar con un espejo inteligente controlado por inteligencia artificial (IA) desde cualquier ordenador portátil.
¿En qué consiste Mirror?
Mirror es una aplicación web que observa constantemente el flujo de vídeo en tiempo real procedente de la webcam y responde con comentarios. Sus principales características son:
- Privacidad 100%: Todo sucede en el portátil del usuario, sin conexión a internet. Esto permite probar todo tipo de ideas sin preocupaciones.
- Gratuito: Dado que el modelo de IA se ejecuta 100% en la máquina del usuario, se puede mantener en funcionamiento indefinidamente y experimentar diferentes cosas.
- Hackeable: Cambiando el prompt o modificando un poco el código, se puede reutilizar Mirror fácilmente para hacer cosas distintas.
¿Cómo funciona Mirror?
Cuando se lanza la aplicación, el navegador solicita permiso para acceder a la webcam. Una vez concedido, empieza a transmitir el vídeo a la IA (Bakllava, ejecutándose en llama.cpp).
La IA analiza la imagen y transmite la respuesta, que la interfaz frontal imprime en tiempo real.
¿Cómo se utiliza Mirror?
Al iniciar la interfaz web, comienza inmediatamente a transmitir respuestas de la IA en base al prompt predefinido: «Describe a una persona en la imagen».
Se puede editar este campo para que Mirror empiece a transmitir cualquier cosa que se desee.
Algunos prompts de ejemplo para probar:
- ¿Qué objeto estoy sosteniendo?
- ¿Qué está haciendo la persona?
- Describe algún evento notable en la imagen.
- Indícame si ves algo extraño.
Instalación de Mirror
Se recomienda utilizar el instalador con un clic disponible en Pinokio.
Mirror consta de varios componentes, por lo que la instalación manual puede resultar compleja:
- Orquestación de múltiples backends (servidor llama.cpp y servidor web gradio).
- Instalación de prerequisitos como cmake, visual studio (windows), ffmpeg, etc.
El instalador automatiza todo esto y funciona en Mac, Windows y Linux.
Créditos
El código backend se inspiró y adoptó de Realtime Bakllava, que utiliza:
- Llama.cpp para el servidor LLM.
- Bakllava para el modelo de IA multimodal.
La interfaz web se construyó con gradio.
Conclusión
Mirror es una solución open source desarrollada por cocktailpeanut que permite interactuar con un espejo inteligente controlado por IA de forma privada, gratuita y hackeable. Su funcionamiento se basa en analizar el vídeo de la webcam con un modelo de IA en local y devolver respuestas personalizadas según el prompt configurado. Resulta sencillo de utilizar y modificar para crear nuevos casos de uso.
Comentarios