Guante inteligente que reconoce gestos de manos para reproducción de audio

Abstract

Debido al cambio continuo en la industria de la música, específicamente en la industria de la música electrónica, lo que siempre se ha buscado es innovar; esto ha sido posible gracias al crecimiento de la tecnología que ha brindado nuevas posibilidades de componer música y hacer performances en vivo. Sin embargo, lo que el performer también busca son nuevas maneras de interactuar con su audiencia en una performance en vivo, ya que no siempre es evidente para la audiencia que es lo que sucede cuando el performer está detrás de su laptop, loops u otros dispositivos. Por ello, para que los performers puedan interactuar con su música y audiencia de una nueva manera se propone el diseño de un guante, que reconozca gestos que el performer realice y un software, mediante el cual se permita reproducir audios que estén vinculados a un gesto; y así, dé la impresión al espectador de cómo “crea música” en frente de él. El guante está conformado por sensores de flexión, los cuales miden los ángulos de las articulaciones metacarpofalángicas de los dedos de la mano, y un sensor IMU, que mide los movimientos articulares de la muñeca. Los datos que se adquieren de los sensores son enviados a una PC para que sean ingresados al modelo de reconocimiento de gestos construido y consiguientemente se reproduzca el archivo de audio que esté vinculado al gesto entrenado. El entrenamiento del modelo de reconocimiento de gestos se realizó con el algoritmo de clasificación Random Forest. La ventaja de este sistema es que se proponen dos modos de uso: modo de usuarios múltiples y modo de usuario especifico, dándose en el último caso la oportunidad al usuario de obtener resultados más precisos a cambio de que se tomen el tiempo de tomar los datos de sus gestos para el entrenamiento del modelo. Los resultados de precisión que se obtuvieron para los modelos fueron de 92.80% para el modelo de usuarios múltiples y 92,52% para el modelo de usuario específico. Por último, se obtuvo un costo del sistema electrónico y mecánico de S/. 1438.40 y un costo de diseño de S/. 9000 para el proyecto, con lo cual se concluye que el costo de diseño se podría repartir y obtener un costo menor por guante en el caso que sea fabricado en volúmenes de producción alto.