Conversión y evaluación de un modelo de aprendizaje profundo traductor de lengua de señas para Edge Computing

Abstract

Actualmente, los diccionarios en línea para lenguas de señas que utilizan aprendizaje profundo dependen generalmente de servidores externos para realizar las operaciones de reconocimiento de señas. El diccionario de lengua de señas peruana no es la excepción, lo que implica limitaciones en términos de eficiencia y autonomía. Se propone eliminar esta dependencia a un servidor externo llevando el procesamiento al navegador del usuario. En este sentido, la presente tesis tiene como objetivo central adaptar un modelo de aprendizaje profundo para reconocimiento de lengua de señas a un enfoque de edge computing para inferencia desde navegador. El trabajo inicia con la definición de los fundamentos necesarios, incluyendo los modelos de estimación de pose y la arquitectura encoder-decoder utilizada para el reconocimiento de señas. También se detallan las técnicas de compresión evaluadas, la cuantización y la destilación de conocimiento, aplicadas para optimizar el modelo para su despliegue en el navegador. Con esta base, se desarrolla la metodología que abarca el uso de la base de datos AEC-DGI305, el entrenamiento del modelo y su integración en un entorno de navegador mediante el framework React. Los resultados obtenidos muestran que el modelo alcanza una precisión máxima Top-1 de 72.3 % y una precisión Top-5 de 89.3 %. Además, se encuentra que aplicar cuantización de 8 bits es más efectivo en reducir el tamaño de los modelos sin afectar su precisión significativamente. Asimismo, se valida que al eliminar la dependencia a un servidor externo el tiempo de inferencia se reduce hasta 4.28 veces.