2. Maestría
Permanent URI for this communityhttp://98.81.228.127/handle/20.500.12404/2
Tesis de la Escuela de Posgrado
Browse
2 results
Search Results
Item Modelos de detección de emociones en texto y rostros para agentes conversacionales multimodales(Pontificia Universidad Católica del Perú, 2022-04-06) Balbuena Galván, José Guillermo; Beltrán Castañón, César ArmandoEl presente trabajo de investigación aborda la implementación, análisis y selección de distintos modelos de redes neuronales recurrentes (RNN) y convolucionales (CNN) para la detección de emociones en texto y rostros; los cuales pueden ser utilizados como módulos adicionales en agentes conversacionales de tiempo real como son chatbots o robots sociales. Los módulos de detección permiten a los agentes conversacionales poder entender cómo se sienten las personas durante la interacción con ellas; conociendo estos estados los agentes conversacionales pueden responder empáticamente. En primer lugar, se revisará la literatura sobre como los agentes conversacionales buscan ser más empáticos, así como los métodos de detección de emociones mediante distintos canales como texto y rostros. Luego, se procede a recolectar y pre-procesar bases de datos públicas para el entrenamiento de los algoritmos seleccionados en base a la literatura. Finalmente, métricas tanto para la evaluación del rendimiento de predicción multiclase (Accuracy, Precision, Recall y F1), como la velocidad de procesamiento (ej. Framesper- second) son seleccionadas y analizadas para determinar cuáles son los mejores algoritmos para implementar una aplicación de tiempo real.Item Talking with signs: a simple method to detect nouns and numbers in a non annotated signs language corpus(Pontificia Universidad Católica del Perú, 2020-08-31) Huiza Pereyra, Eric Raphael; Olivares Poggi, Cesar AugustoPeople with deafness or hearing disabilities who aim to use computer based systems rely on state-of-art video classification and human action recognition techniques that combine traditional movement pat-tern recognition and deep learning techniques. In this work we present a pipeline for semi-automatic video annotation applied to a non-annotated Peru-vian Signs Language (PSL) corpus along with a novel method for a progressive detection of PSL elements (nSDm). We produced a set of video annotations in-dicating signs appearances for a small set of nouns and numbers along with a labeled PSL dataset (PSL dataset). A model obtained after ensemble a 2D CNN trained with movement patterns extracted from the PSL dataset using Lucas Kanade Opticalflow, and a RNN with LSTM cells trained with raw RGB frames extracted from the PSL dataset reporting state-of-art results over the PSL dataset on signs classification tasks in terms of AUC, Precision and Recall.