GestureAI
Sistema de interacción hombre-máquina que usa visión artificial y machine learning para jugar a piedra, papel o tijera detectando gestos en tiempo real por webcam.
🧠 La idea
GestureAI surgió como proyecto de la asignatura de Big Data e Inteligencia Artificial: transformar la webcam en un periférico de juego, detectando gestos de la mano en tiempo real para jugar a piedra, papel o tijera contra la máquina.
🚀 Qué hace
- Detecta gestos de la mano en tiempo real desde la webcam
- Clasifica el gesto (piedra, papel o tijera) con un modelo entrenado
- Resuelve la ronda contra una jugada aleatoria de la IA
- Guarda resultados y persiste métricas de la partida en SQLite
- Dashboard de análisis de la experiencia de usuario en Streamlit
👥 Proyecto en equipo
Desarrollado junto a tres compañeros más, cada uno responsable de una capa del sistema. Mi rol fue ML Engineer: entrenamiento, validación y optimización del modelo de clasificación de gestos, a partir de los landmarks de mano extraídos con MediaPipe.
🏗️ Arquitectura
El sistema funciona como un pipeline secuencial:
- Captura — vídeo en tiempo real con OpenCV
- Procesamiento — extracción de 21 landmarks de la mano con MediaPipe
- Inferencia — clasificación del gesto con el modelo entrenado
- Lógica — resolución de la ronda contra la jugada de la IA
- Output — visualización de resultados y persistencia en SQLite
📊 Lo interesante del proyecto
Lo más complejo no fue el juego en sí, sino:
- Conseguir que la clasificación de gestos fuera fiable con distintas condiciones de luz y ángulo de cámara
- Elegir y ajustar el modelo para que la inferencia funcionara en tiempo real sin lag perceptible
- Coordinar cuatro piezas del sistema (datos, ML, motor de juego, BI) desarrolladas por personas distintas en paralelo
🎯 Estado actual
Proyecto entregado como parte del curso de especialización en IA y Big Data. Funcional end-to-end: captura, clasificación, juego y dashboard de métricas.