Página 1 de 27 PONTIFICIA UNIVERSIDAD CATÓLICA DEL PERÚ FACULTAD DE CIENCIAS E INGENIERÍA Analítica de datos en información pública de medios periodísticos y redes sociales para el análisis de sentimiento: una revisión de literatura TRABAJO DE INVESTIGACIÓN PARA LA OBTENCIÓN DEL GRADO DE BACHILLER EN CIENCIAS CON MENCIÓN EN INGENIERÍA INFORMÁTICA AUTOR Gabriel Hélard Zárate Calderón ASESOR: Dr. César Armando Beltrán Castañón Lima, diciembre, 2020 Página 2 de 27 Resumen El análisis de sentimiento es un área de investigación importante en el procesamiento de lenguaje natural, la cual está en constante crecimiento especialmente por la generación de grandes volúmenes de información textual, y el avance tecnológico en lo que se refiere al almacenamiento y los algoritmos inteligentes para el análisis de esta. Esta tarea cada vez va tomando más fuerza su uso en diferentes aplicaciones computacionales dado el crecimiento exponencial del uso de medios digitales y redes sociales, las cuales, gracias a la información debidamente procesada, pueden ser muy valiosas para los negocios. Actualmente existen procedimientos ambiguos para la realización de dicha tarea y sobre todo para textos en español y de manera específica para notas periodísticas y publicaciones realizadas en redes sociales, todo ello por el hecho de la escasa cantidad de herramientas existentes para la presente tarea, por ende el proceso de clasificación de las polaridades de los sentimientos expresadas en los textos se realiza de manera manual por expertos en el tema, generándose así resultados ambiguos y sesgados según la experiencia del encargado, lo cual generaba resultados que no eran del todo fiables retándole valor a dicha tarea, además del hecho de que realizarlo de manera totalmente manual resultaba muy pesado y se realizaba en un periodo largo de tiempo. Para la realización de dicha tarea existen múltiples técnicas de aprendizaje de máquina y de aprendizaje profundo que son adecuadas para este, pero en el último año uno de los modelos que va siendo reconocido cada vez más para ser aplicado a resolver problemas de procesamiento de lenguaje natural son los modelos basados en transformers dadas sus buenas capacidades y los resultados que se obtienen con estos. Ante dicha problemática surge la necesidad de investigar más acerca de cómo se vienen implementando soluciones para la realización de análisis de sentimiento para hacer una comparativa sobre los modelos usados y además dadas las buenas capacidades de los modelos basados en transformers investigar más a fondo la utilidad de estos y las aplicaciones que tiene para así comprobar sus buenas capacidades. Palabras clave: análisis sentimental, aprendizaje profundo, transformers, redes sociales, medios periodísticos Página 3 de 27 Tabla de Contenido 1 INTRODUCCIÓN ........................................................................................................................... 5 2 MÉTODO ........................................................................................................................................ 5 2.1 REVISIÓN SISTEMÁTICA ............................................................................................................. 6 2.1.1 Objetivos de revisión ....................................................................................................... 6 2.1.2 Preguntas de Investigación ............................................................................................. 6 2.1.3 Proceso de Búsqueda ..................................................................................................... 7 2.1.4 Criterios de Inclusión y Exclusión .................................................................................... 8 2.1.5 Datos extraídos y analizados .......................................................................................... 9 2.2 RESULTADOS DE LA REVISIÓN .................................................................................................. 11 2.3 DISCUSIÓN .............................................................................................................................. 15 2.4 REVISIÓN DE TESIS ................................................................................................................. 22 3 CONCLUSIONES ........................................................................................................................ 24 4 REFERENCIAS............................................................................................................................ 25 Página 4 de 27 Índice de Figuras Figura 1. Arquitectura del modelo Transformer (Vaswani et al., 2017) ............................... 16 Figura 2. Distribución de las métricas de evaluación utilizadas .......................................... 17 Índice de Tablas Tabla 1. Criterios PICOC ..................................................................................................... 6 Tabla 2. Resultados de búsqueda ....................................................................................... 7 Tabla 3. Formulario de extracción de datos ......................................................................... 9 Tabla 4. Listado de estudios primarios utilizados ............................................................... 11 Tabla 5. Resultados de distintos enfoques de análisis sentimental .................................... 17 Tabla 6. Objetivos de uso de modelos basados en transformers ....................................... 19 Página 5 de 27 1 Introducción El análisis de sentimiento es un área de investigación importante en el procesamiento de lenguaje natural, la cual está en constante crecimiento especialmente por la generación de grandes volúmenes de información textual, y el avance tecnológico en lo que se refiere al almacenamiento y los algoritmos inteligentes para el análisis de esta. Además, cada vez va tomando más fuerza su uso en diferentes aplicaciones computacionales dado el crecimiento exponencial del uso de medios digitales y redes sociales, las cuales, gracias a la información debidamente procesada, pueden ser muy valiosas para los negocios. Para realizar dicha tarea existen muchas técnicas y distintos modelos a usar, especialmente durante los últimos años, las estrategias basadas en aprendizaje profundo (deep learning) se han mostrados muy adecuadas, siendo que el último año uno de los que va siendo reconocido cada vez más es el uso de modelos basados en Transformers, dadas sus buenas capacidades en el procesamiento de lenguaje natural. Por ello a continuación se realizará una revisión sistemática del estado del arte del análisis sentimental y del uso de modelos de aprendizaje profundo basados en Transformers. 2 Método Para el presente trabajo de investigación se realizará una revisión sistemática, la cual consistirá en identificar, evaluar e interpretar investigaciones relevantes ya existentes que hayan tratado temas parecidos al que se desea investigar, por ello este se hará en tres etapas: • Planeamiento: se identificarán las necesidades de la revisión en base a ello se definirán los objetivos de esta, se plantearán las preguntas de investigación y se definirá el proceso de búsqueda a seguir, donde se desarrollará un formulario de extracción de información de las investigaciones revisadas • Ejecución: Se seleccionarán los estudios, se extraerán los datos correspondientes y se sintetizará la información • Reporte y divulgación: Se responderán las preguntas de investigación en el presente trabajo de investigación (Kitchenham et al., 2009) Página 6 de 27 2.1 Revisión Sistemática 2.1.1 Objetivos de revisión Esta revisión sistemática tendrá como principales objetivos realizar una comparativa entre los modelos de aprendizaje profundo que son utilizados para realizar análisis sentimental de información pública de medios periodísticos y redes sociales, luego se enfocará la revisión hacia los modelos basados en Transformers identificando en qué tipo de técnicas se aplican estos, para finalmente centrarse en qué tipos de análisis sentimental se aplicaron dichos modelos. Para estructurar los elementos de los objetivos de la revisión se mostrará una tabla que hace uso de los criterios PICOC. Tabla 1. Criterios PICOC Population -Análisis sentimental de textos que use cualquier técnica de aprendizaje profundo -Modelos basados en transformers aplicados a cualquier técnica de aprendizaje Intervention Aplicación de aprendizaje profundo para procesamiento del lenguaje natural Comparison Entre modelos de aprendizaje profundo utilizados para análisis sentimental Outcome Ventajas y desventajas del uso de modelos transformers para el análisis de sentimiento Context Estudios de investigación que pertenecen al área de las ciencias de la computación orientadas al uso de aprendizaje profundo para procesamiento del lenguaje natural 2.1.2 Preguntas de Investigación ● P1. ¿Qué modelos de deep learning son usados para el análisis sentimental de información pública de medios periodísticos y redes sociales? Página 7 de 27 o P1.1 ¿Qué métricas de evaluación se utilizaron y qué valores tuvieron las mismas? o P1.2 ¿De qué manera son aplicados los resultados obtenidos en cuanto a casos de estudio reales? ● P2. ¿Para qué tipo de técnicas se aplicaron los modelos transformers en el procesamiento de lenguaje natural? o P2.1 ¿Con qué objetivo fueron diseñados dichos modelos? ● P3. ¿Qué variaciones de análisis sentimental utilizaron los modelos basados en Transformers? o P3.1 ¿Qué tipo de data se usó y qué embeddings se utilizaron? o P3.2 ¿En qué categorías se clasificaron los textos? 2.1.3 Proceso de Búsqueda Se utilizarán dos motores de búsqueda, IEEE Xplore y Scopus, para los cuales se definió una cadena de búsqueda por pregunta: Tabla 2. Resultados de búsqueda Motor de Búsqueda Cadenas generales básicas de búsquedas Cantidad de resultados Preguntas relacionadas IEEE Xplore "sentiment* analysis" AND "Natural Language Processing" AND "deep learning" and (news OR "social media") 3 1 IEEE Xplore deep learning AND Natural Language Processing and transformer* and attention 3 2 IEEE Xplore "Sentiment* analysis" AND "Transformers*" 6 3 Página 8 de 27 Scopus TITLE-ABS-KEY("sentiment* analysis" AND "Natural Language Processing" AND "deep learning" and (news OR "social media")) AND ( LIMIT-TO ( openaccess,1) ) AND ( LIMIT-TO ( PUBYEAR,2020) OR LIMIT-TO ( PUBYEAR,2019) OR LIMIT-TO ( PUBYEAR,2018) OR LIMIT-TO ( PUBYEAR,2017) ) 7 1 Scopus TITLE-ABS-KEY(deep learning AND Natural Language Processing and transformer* and attention) AND ( LIMIT-TO ( PUBYEAR,2020) OR LIMIT-TO ( PUBYEAR,2019) OR LIMIT-TO ( PUBYEAR,2018) OR LIMIT-TO ( PUBYEAR,2017) ) AND ( LIMIT- TO ( openaccess,1) ) 9 2 Scopus TITLE-ABS-KEY("Sentiment* analysis" AND "Transformer*") AND ( LIMIT-TO ( openaccess,1) ) AND ( LIMIT-TO ( PUBYEAR,2020) OR LIMIT-TO ( PUBYEAR,2019) OR LIMIT-TO ( PUBYEAR,2018) OR LIMIT-TO ( PUBYEAR,2017) ) 4 3 2.1.4 Criterios de Inclusión y Exclusión Se incluirán los estudios que cumplan con los siguientes criterios: ● El estudio presenta resultados en sus métricas mayores a 65% ● El estudio está escrito en inglés o español. Página 9 de 27 ● El estudio tiene resultados experimentales replicables Se excluirán los estudios que cumplan con los siguientes criterios: ● El estudio utiliza técnicas de aprendizaje automático tradicionales que no realizan una extracción automática de las características ● El estudio tiene una antigüedad mayor a 3 años (2017), puesto que la idea es comparar los modelos con los que están basado en Transformers, y el primer artículo publicado con dicho enfoque orientado al uso de capas de atención para NLP fue publicado en dicho año. ● Los estudios no son de acceso abierto 2.1.5 Datos extraídos y analizados Se diseñó un formulario de extracción de datos genérico para que este sirva para poder responder las tres preguntas de investigación planteadas: Tabla 3. Formulario de extracción de datos Campo Descripción Ejemplo Pregunta Id E01 General Fecha de extracción 24/07/2020 General Autores Zihao Fu General Título Transformer Based Memory Network for Sentiment Analysis of Web Comments General Año de Publicación 2019 General Tipo de Bibliografía Revista, paper, congreso, etc. General https://ieeexplore.ieee.org/author/37087227266 Página 10 de 27 Motor de búsqueda IEEE Xplore General Modelo Qué modelo se utilizó Sequence To Sequence, Transformer P1 Técnica Qué técnica de NLP se desarrolla Sentiment Analysis, Named Entity Recognition P2 Corpus Qué tipo de información se usará Noticias, Web Comments, Tweets P3 Lenguaje de la data En qué lenguaje está la data a usar Español, inglés P1, P2, P3 Embeddings Qué embeddings se usaron para vectorizar las palabras word2vec P3 Problemática abordada Qué problemas se abordaron en el procesamiento de NLP Análisis de aceptación de un producto, determinar la opinión pública de un político P2 Casos de estudio reales y aplicación En qué casos de estudio reales se aplicaron Identificación de ciberbullying P1, P3 Métrica de evaluación y resultado Qué métrica se utilizó para evaluar Score: 71.82% P1 Página 11 de 27 el modelo y el valor de esta Target En qué categorías era clasificada la data finalmente Por polaridad: “positivo”, “negativo”, “neutral” Por sentimiento: "enfado", "tristeza", o "felicidad" P3 2.2 Resultados de la revisión Para realizar la revisión sistemática se utilizaron los siguientes estudios primarios: Tabla 4. Listado de estudios primarios utilizados ID Título Autores Año de Publicación Tipo de Bibliografía Motor de búsqueda E01 A Multi-Layer Dual Attention Deep Learning Model with Refined Word Embeddings for Aspect-Based Sentiment Analysis S. Rida-E-Fatima; A. Javed; A. Banjar; A. Irtaza; H. Dawood; H. Dawood; A. Alamri 2019 Artículo IEEE Xplore E02 Toward multi-label sentiment analysis: a transfer learning- based approach Tao, J., Fang, X. 2020 Artículo Scopus E03 ConvLSTMConv network: a deep learning approach for sentiment analysis in cloud computing Ghorbani, M., Bahaghighat, M., Xin, Q., Özen, F. 2020 Artículo Scopus E04 Towards a real-time processing framework based on improved distributed recurrent neural network Ait Hammou, B., Ait Lahcen, A., Mouline, S. 2020 Artículo Scopus Página 12 de 27 variants with fastText for social big data analytics E05 Classification of sentiments on online products using deep learning model – RNN Lakshmidevi, N., Vamsikrishna, M., Nayak, S.S. 2019 Artículo Scopus E06 A combined deep learning model for Persian Sentiment Analysis Nezhad, Z.B., Deihimi, M.A. 2019 Artículo Scopus E07 Senzi: A sentiment analysis lexicon for the latinised Arabic (Arabizi) Tobaili, T., Fernandez, M., Alani, H., Sharafeddine, S., Hajj, H., Glavaš, G. 2019 Conference Paper Scopus E08 A Hybrid Bidirectional Recurrent Convolutional Neural Network Attention- Based Model for Text Classification Zheng, J., Zheng, L. 2019 Artículo IEEE Xplore / Scopus E09 Deep learning approach for short-term stock trends prediction based on two- stream gated recurrent unit network Lien Minh, D., Sadeghi-Niaraki, A., Huy, H.D., Min, K., Moon, H. 2018 Artículo IEEE Xplore / Scopus E10 HHH: An Online Medical Chatbot System based on Knowledge Graph and Hierarchical Bi-Directional Attention Bao, Q., Ni, L., Liu, J. 2020 Conference Paper Scopus E11 A Fusion Model-Based Label Dong, Y., Liu, P., 2020 Artículo IEEE Página 13 de 27 Embedding and Self- Interaction Attention for Text Classification Zhu, Z., Wang, Q., Zhang, Q. Xplore / Scopus E12 Emotional conversation generation based on a Bayesian deep neural network Sun, X., Li, J., Wei, X., Li, C., Tao, J. 2019 Artículo Scopus E13 Concept to code: Deep learning for multitask recommendation Sonie, O. 2019 Conference Paper Scopus E14 Self-attention networks for intent detection Yolchuyeva, S., Németh, G., Gyires-Tóth, B. 2019 Conference Paper Scopus E15 Transformer-Based Neural Network for Answer Selection in Question Answering Shao, T., Guo, Y., Chen, H., Hao, Z. 2019 Artículo IEEE Xplore / Scopus E16 Dependency-based self- attention for transformer NMT Deguchi, H., Tamura, A., Ninomiya, T. 2019 Conference Paper Scopus E17 Understanding neural machine translation by simplification: The Case of Encoder-free Models Tang, G., Sennrich, R., Nivre, J. 2019 Conference Paper Scopus E18 R-Trans: RNN Transformer Network for Chinese Machine Reading Comprehension S. Liu, S. Zhang, X. Zhang and H. Wang, 2019 Artículo IEEE Xplore E19 Transformer Based Memory M. Jiang; J. Wu; X. 2019 Artículo IEEE Página 14 de 27 Network for Sentiment Analysis of Web Comments Shi; M. Zhang Xplore / Scopus E20 Target-Dependent Sentiment Classification With BERT Z. Gao; A. Feng; X. Song; X. Wu 2019 Artículo IEEE Xplore / Scopus E21 Interactive Multi-Head Attention Networks for Aspect-Level Sentiment Classification Q. Zhang; R. Lu; Q. Wang; Z. Zhu; P. Liu 2019 Artículo IEEE Xplore E22 R-Transformer Network Based on Position and Self- Attention Mechanism for Aspect-Level Sentiment Classification Z. Zhou; F. Liu; Q. Wang 2019 Artículo IEEE Xplore E23 Capsule Network With Identifying Transferable Knowledge for Cross- Domain Sentiment Classification H. Yin; P. Liu; Z. Zhu; W. Li; Q. Wang 2019 Artículo IEEE Xplore E24 Sentiment Classification Based on Part-of-Speech and Self-Attention Mechanism K. Cheng; Y. Yue; Z. Song 2020 Artículo IEEE Xplore E25 Multi-source data fusion for aspect-level sentiment classification Chen, F., Yuan, Z., Huang, Y. 2020 Artículo Scopus E26 A Multi-Attention Network for aspect-level sentiment analysis Zhang, Q., Lu, R. 2019 Artículo Scopus Página 15 de 27 Para resolver las preguntas de revisión se llenó el formulario de extracción con la información pertinente de cada estudio y se procedió a adjuntar dichos resultados al final del documento en el anexo A. 2.3 Discusión 2.3.1 Modelos de deep learning usados para análisis sentimental de información pública de medios periodísticos y redes sociales ¿Qué modelos de deep learning son usados para el análisis sentimental de información pública de medios periodísticos y redes sociales? Los modelos utilizados para realizar análisis sentimentales utilizando información pública de medios periodísticos y redes sociales que se revisaron son combinaciones o modelos mejorados de los mostrados a continuación: • Long short-term memory (LSTM) La red LSTM es un tipo especial de red neuronal recurrente compuesto por celdas especiales que principalmente es diseñada para aprender dependencias de largo plazo utilizando celdas de memoria para almacenar información (Ait Hammou, Ait Lahcen and Mouline, 2020). Cada celda en este modelo cuenta con tres compuertas: o Forget gate: controla cuánto del anterior estado a largo plazo se lee al estado actual o Input gate: controla cuánto del input actual es añadido al estado actual o Output gate: decide qué partes del estado a largo plazo deben estar en el siguiente estado oculto Esta red también presenta una extensión de esta, la cuál es la Bidirectional Long Short-Term Memory (BiLSTM), el cual consiste en utilizar dos redes LSTM para así aprovechar al máximo tanto el contexto a futuro como el pasado (Ait Hammou, Ait Lahcen and Mouline, 2020). • Gated recurrent unit (GRU) La red GRU es una variante de la red LSTM diseñada para simplificar la compleja arquitectura de las LSTM reduciendo el número de parámetros a entrenar en cada celda, contando ahora con dos compuertas: reset gate y update gate, teniendo así un mejor performance que muchos modelos (Ait Hammou, Ait Lahcen and Mouline, 2020). • Modelos basados en mecanismos de atención La técnica de atención es usada para seleccionar las partes más importantes del input (Rida- E-Fatima et al., 2019). Estos mecanismos le asignan distintos pesos a cada palabra de la oración dependiendo de su importancia en la misma, facilitando la distinción de palabras Página 16 de 27 clave que juegan un rol de mayor importancia al momento de la clasificación (Zheng and Zheng, 2019) Existen modelos que pretenden explotar las capacidades de dicha técnica haciendo uso de técnicas más sofisticadas del mismo, como es el uso de la atención dual, donde se explota la relación de propagación dual de los términos, como por ejemplo en cuanto a aspectos y a sentimientos (Rida-E-Fatima et al., 2019) • Modelos basados en Transformers Es una arquitectura basada en el mecanismo de auto atención, el cual evita la recurrencia y en su lugar confía completamente del mecanismo de atención para extraer dependencias globales entre entradas y salidas, con lo cual se permite un incremento significativo en lo que es la paralelización al momento de entrenar dicho modelo (Vaswani et al., 2017). La figura mostrada a continuación muestra la arquitectura del modelo. Figura 1. Arquitectura del modelo Transformer (Vaswani et al., 2017) 2.3.1.1 Métricas de evaluación ¿Qué métricas de evaluación se utilizaron y qué valores tuvieron las mismas? En los estudios revisados para resolver esta pregunta de revisión se utilizaron tres métricas: accuracy (precisión), F1-Score y Loss. En la figura mostrada a continuación se puede ver la distribución del uso de estas métricas: Página 17 de 27 Figura 2. Distribución de las métricas de evaluación utilizadas Los resultados de las métricas obtenidos no necesariamente implican que un modelo es mejor de otro realizando un análisis sentimental, puesto que hay diversos enfoques de dicho análisis, como son los que están basados en aspectos (ABSA) o en aspectos mejorados (AESA), además de que en algunos casos se usan conjuntos de datos con etiquetas múltiples y de que depende del idioma de la data, por ello en la Tabla 5 se muestran los mejores resultados de cada enfoque teniendo en cuenta modelos que trabajan con data en inglés. Tabla 5. Resultados de distintos enfoques de análisis sentimental Modelo Enfoque de AS Métrica y valor Hybrid Bidirectional Recurrent Convolutional Neural Network Attention-Based Model Análisis sentimental Accuracy: 96.81% Multi-Attention Network Análisis sentimental basado en aspectos (ABSA) Accuracy: 91.22% XLNet (Transfer Learning) Análisis sentimental basado en aspectos mejorados (AESA) con etiquetas múltiples Accuracy: 89.96% Página 18 de 27 Capsule network method with Identifying Transferable Knowledge (CITK) Análisis sentimental de dominios cruzados Accuracy: 94.6% 2.3.1.2 Aplicaciones de los modelos ¿De qué manera son aplicados los resultados obtenidos en cuanto a casos de estudio reales? Los análisis sentimentales pretenden facilitar la extracción dicho tipo de información importante contenida en noticias y data de las redes sociales para con ello comprender mejor las opiniones públicas sobre diversos temas y así utilizar esta información según mejor sea el caso. Por ejemplo, se da el caso de un modelo que en base a noticias financieras e información histórica de los precios de las acciones se genera un modelo que predice tendencias de los precios de las acciones a corto plazo (Lien Minh et al., 2018) y también hay un modelo que se utilizó en un sistema inteligente distribuido para análisis de big data social en tiempo real (Ait Hammou, Ait Lahcen and Mouline, 2020). 2.3.2 Técnicas en las que se utilizan los modelos transformers ¿Para qué tipo de técnicas se aplicaron los modelos transformers en el procesamiento de lenguaje natural? El hecho de que la arquitectura de los modelos basados en Transformers utilice los mecanismos de autoatención para la extracción de dependencias entre palabras resulta muy útil y esto se ve reflejado en su uso en las siguientes técnicas, dentro de las cuales todas son orientadas al procesamiento de lenguaje natural: ● Selección de respuestas en sistemas de respuestas de preguntas (QA): consiste en seleccionar la respuesta más apropiada para una pregunta dentro de un grupo de posibles respuestas (Shao et al., 2019). ● Generación de textos emocionales: es una subrama de la generación de textos de lenguaje natural pero enfocado a generar texto natural y coherente con factores emocionales específicos teniendo en cuenta tanto el sentido del texto en sí como del sentimiento (Sun et al., 2019). ● Detección de intenciones: esta tarea se enfoca en clasificar la intención del sujeto en el texto y extraer conceptos semánticos como restricciones del lenguaje natural (Yolchuyeva, Németh and Gyires-Tóth, 2019). Página 19 de 27 ● Machine reading comprehension (MCR): consiste en darle a la máquina la capacidad de resolver preguntas basadas en el texto proporcionado (Liu et al., 2019). ● Traducción de textos ● Clasificación de textos: tiene como principal objetivo anotar una secuencia de texto dada con una o varias etiquetas que describen la semántica textual (Dong et al., 2020) ● Análisis sentimental: es el proceso de analizar, procesar, resumir e inferir texto subjetivo con polaridad de sentimiento, que es una tarea vital en el procesamiento del lenguaje natural (NPL) y también se conoce como minería de opinión (Zhang and Liu, 2016). 2.3.2.1 Objetivos de uso de modelos transformers ¿Con qué objetivo fueron diseñados dichos modelos? A continuación, se mostrará un listado de los objetivos de los estudios revisados para los cuales se desarrolló cada modelo para las técnicas explicadas: Tabla 6. Objetivos de uso de modelos basados en transformers Técnica Cita del artículo Objetivo Selección de respuestas en sistemas de respuestas de preguntas (QA) (Shao et al., 2019) Se desea hacer un modelo enfocado en la selección de respuestas, subtarea de los sistemas de QA utilizando modelos basados en Transformers aprovechando que estos se basan solo en la atención y que son buenos para extraer características. Generación de textos emocionales (Sun et al., 2019) Se propone un modelo que genere conversaciones basados en una red neuronal profunda Bayesiana que genere respuestas ricas en emociones, temas claros y diversas, que luego serán divididas en múltiples cláusulas y de ahí pasarán por un modelo basado en transformer que genere cláusulas bidimensionales: granularidad y estructura de las oraciones Página 20 de 27 Detección de intenciones (Yolchuyeva, Németh and Gyires-Tóth, 2019) Se desea mostrar mejoras en el uso de un modelo transformers y un codificador de oraciones universal basado en redes de promedio profundo para la tarea de detección de entidades Machine reading comprehension (MCR) (Liu et al., 2019) Se desea aplicar modelos existentes de MRC a documentos chinos mitigando la influencia de la segmentación incorrecta y minar la información secuencial de oraciones completas Traducción de textos Se desea ampliar LISA (linguistically- informed self-attention) que inicialmente era usado para el codificador de etiquetado semántico de las Transformers para enmascarar información futura de las palabras en el lado del decodificador en la autoatención basada en dependencias Clasificación de textos (Dong et al., 2020) Se propone hacer un modelo basado en mecanismos de atención de auto-interacción y embeddings de etiquetas, teniendo en cuenta la interacción de información entre todas las oraciones de un texto para que no haya pérdida de semántica Análisis sentimental Se desea hacer un modelo de atención múltiple que no falle al extraer representaciones de texto de manera eficiente y que logre la interacción entre términos y aspectos 2.3.3 Variaciones de análisis sentimentales que aplican Transformers ¿Qué variaciones de análisis sentimental utilizaron los modelos basados en Transformers? El análisis sentimental consiste en extraer polaridades de sentimiento expresadas de manera implícita o explícita en textos, y por lo tanto los sentimientos expresados muchas veces Página 21 de 27 dependen de otros factores expresados en los textos, por ello se dan variaciones en estos análisis para tratar estos casos y orientarlos a tareas más específicas. Según los estudios revisados, las variaciones encontradas fueron las siguientes: • Análisis sentimental basado en aspectos (ABSA) Esta consiste en extraer características o aspectos específicos de distintos bienes o servicios que están asociados directamente con los sentimientos expresados por los clientes. Existen dos principales métodos que usan para este tipo de extracción: basados en lexicón y basados en aprendizaje de máquina (Jie Tao and Fang, 2020). • Clasificación de etiquetas múltiples Consiste en clasificar instancias en un subconjunto de clases predefinidas, lo cual le aumenta complejidad a la clasificación, pero su uso en los análisis sentimentales se da por el hecho de que en los textos reales normalmente se discuten múltiples temas. Existen 3 categorías para agrupar estos métodos: métodos basados en la transformación de problemas, métodos basados en la adaptación de algoritmos y métodos basados en conjuntos (J. Tao and Fang, 2020). • Análisis sentimental basado en aspectos mejorado (AESA) Es una mejora del ABSA que intenta realzar los sentimientos a nivel de documento con aspectos discutidos en todo el documento, esto quiere decir que se enfocará en el contexto expresado en todo el documento, es por ello por lo que esta clasificación, por naturaleza, será de etiquetas múltiples (Jie Tao and Fang, 2020). • Análisis sentimental de dominios cruzados Como su nombre lo menciona, consiste en utilizar dominios cruzados, es decir, entrar al modelo con data perteneciente a un dominio específico y luego aplicarlo a otro. Dentro de este tipo de clasificación, los esfuerzos más importantes son el aprendizaje por correspondencia de estructura (SCL), el cual puede predecir la presencia de características de pivote en los targets de la data, y la alineación estructurada de características (SFA), que logra la clasificación cruzada usando palabras independientes del dominio (Yin et al., 2019). 2.3.3.1 Tipo de data y embeddings utilizados ¿Qué tipo de data se usó y qué embeddings se utilizaron? Los estudios revisados, al momento de realizar las experimentaciones para probar sus modelos, utilizaron principalmente “reviews” extraídos de distintas fuentes (Amazon, TBS, Yelp, etc.) de diversos tópicos (hoteles, restaurantes, electrodomésticos, etc.), de los cuales la gran mayoría eran conjuntos de data utilizados en las evaluaciones SemEval. También Página 22 de 27 hubo estudios que utilizaron tweets que expresaban opiniones, comentarios de redes sociales como Weibo y hubo uno que utilizó noticias financieras. Y para vectorizar la data mencionada se utilizaron principalmente los siguientes embeddings de palabras o frases: • Wor2vec • GloVe • FastText • Keras embedding • Fine-tuning embeddings • Tencent AI Lab Embedding (para chino) • Positional embeddings • BERT embeddings (pre-entrenado) 2.3.3.2 Targets ¿En qué categorías se clasificaron los textos? La tarea de clasificar los sentimientos dentro del análisis sentimental consiste en clasificar la polaridad de los textos según los sentimientos expresados en los mismos, y en los estudios analizados se evalúa si esta opinión fue positiva, negativa o si tiene una posición neutral. También hubo un estudio que se enfoca en la clasificación de textos incluyendo la clasificación de sentimientos evaluando niveles de satisfacción frente a algo con calificaciones del 1 al 5. 2.4 Revisión de Tesis De manera complementaria a las preguntas de investigación realizadas, se realizó una búsqueda en el repositorio de Tesis PUCP de trabajos similares al presente trabajo de investigación. Para ello se decidió buscar las siguientes tres cadenas de búsqueda relevantes para el presente trabajo de investigación, probándolas independientemente y también combinándolas entre ellas para ver los resultados que entregaba el repositorio: “análisis sentimental”, “medios de información pública”, “transformers”. De las búsquedas salieron los siguientes resultados: • En primera instancia para el análisis sentimental se obtuvieron dos resultados de búsqueda: o El primer trabajo tiene como título “Revisión sistemática sobre la aplicación de ontologías de dominio en el análisis de sentimiento” y su autor es César Augusto Olivares Poggi, y este trabajo tiene como objetivo realizar un estudio Página 23 de 27 que reporte de manera sistemática los beneficios alcanzados con la aplicación de ontologías de dominio al análisis de sentimiento (Olivares, 2016). o El segundo trabajo tiene como título “Modelo computacional de minería de microblogs para el análisis del comportamiento del consumidor de telefonía celular” y su autor es Santiago Hernán Apaza Delgado, y este trabajo muestra el resultado de la aplicación de diversas técnicas de análisis de sentimiento para poder asignar una polaridad positiva, negativa o neutral a los tweets de los consumidores de telefonía celular en el Perú, con la finalidad de poder identificar cual es el comportamiento que presentan los clientes de las empresas de telefonía celular representado en opiniones vertidas en la red social Twitter (Apaza Delgado, 2016). Este trabajo presenta una aplicación real del uso del análisis de sentimiento realizada para analizar el comportamiento de los consumidores, complementando así lo investigado para la revisión sistemática. • En segunda instancia para al agregar la cadena de “medios de información pública” los resultados de búsqueda no cambiaron, por ende, no hay trabajos que realicen dicha investigación • En tercera instancia para la cadena de “transformers” no se obtuvieron resultados, por lo cual no hay trabajos de investigación que toque dicho modelo de red neuronal, esto se puede deber a que su aplicación se viene haciendo recientemente desde el 2017 aproximadamente. Página 24 de 27 3 Conclusiones Los modelos basados en transformers cuentan con una arquitectura basada en el mecanismo de auto atención permitiéndoles centrarse en el uso de la atención para extraer las características de los textos y sus dependencias tanto de las entradas como de las salidas, para ello evita la recurrencia y aplica paralelización, haciéndolo un modelo muy eficiente. Si bien es un modelo que cuenta con muchas características buenas como las mencionadas anteriormente puede ser mejorado dependiendo de las técnicas a las cuales se apunte, combinándolo con distintos tipos de embeddings, haciendo uso de modelos pre entrenados (transfer learning), combinando su arquitectura con otras para explotar al máximo sus capacidades y así de diversas formas, por lo cual es un bastante versátil y al ser medianamente nuevo (desde el 2017) todavía se tiene buen camino para mejorar y explotar este modelo. En cuanto a su aplicación en el análisis sentimental es de mucha utilidad para este obteniendo muy buenos resultados en precisión comparado con modelos más clásicos de deep learning como son LSTM o GRU. Este puede ser aplicado a variaciones de análisis sentimental mucho más complejas como análisis sentimental de dominios cruzados o análisis sentimental basado en aspectos mejorado (AESA), los cuales realizan ya no solo la clasificación de las polaridades de los sentimientos de dominios en específico, sino pretenden generalizar un poco esto para poderlo aplicar a diversos dominios; además que permite que los textos no estén limitados por una sola etiqueta, sino que se analice todo el contexto textual facilitando la discusión de diversos tópicos y la expresión de más de una emoción. En ese sentido, hacer un modelo basado en Transformers para el análisis sentimental de información pública extraída de noticias y redes sociales se muestra como una técnica muy adecuada y computacionalmente enriquecedora en el área de procesamiento de lenguaje natural. Página 25 de 27 4 Referencias Ait Hammou, B., Ait Lahcen, A. and Mouline, S. (2020) ‘Towards a real-time processing framework based on improved distributed recurrent neural network variants with fastText for social big data analytics’, Information Processing and Management. doi: 10.1016/j.ipm.2019.102122. Dong, Y. et al. (2020) ‘A Fusion Model-Based Label Embedding and Self-Interaction Attention for Text Classification’, IEEE Access, 8, pp. 30548–30559. doi: 10.1109/ACCESS.2019.2954985. Lien Minh, D. et al. (2018) ‘Deep learning approach for short-term stock trends prediction based on two-stream gated recurrent unit network’, IEEE Access. doi: 10.1109/ACCESS.2018.2868970. Liu, S. et al. (2019) ‘R-Trans: RNN Transformer Network for Chinese Machine Reading Comprehension’, IEEE Access. Institute of Electrical and Electronics Engineers Inc., 7, pp. 27736– 27745. doi: 10.1109/ACCESS.2019.2901547. Rida-E-Fatima, S. et al. (2019) ‘A Multi-Layer Dual Attention Deep Learning Model With Refined Word Embeddings for Aspect-Based Sentiment Analysis’, IEEE Access. doi: 10.1109/access.2019.2927281. Shao, T. et al. (2019) ‘Transformer-Based Neural Network for Answer Selection in Question Answering’, IEEE Access, 7, pp. 26146–26156. doi: 10.1109/ACCESS.2019.2900753. Sun, X. et al. (2019) ‘Emotional conversation generation based on a Bayesian deep neural network’, ACM Transactions on Information Systems, 38(1). doi: 10.1145/3368960. Tao, Jie and Fang, X. (2020) ‘Toward multi-label sentiment analysis: a transfer learning based approach’, Journal of Big Data. doi: 10.1186/s40537-019-0278-0. Tao, J. and Fang, X. (2020) ‘Toward multi-label sentiment analysis: a transfer learning based approach’, Journal of Big Data, 7(1). doi: 10.1186/s40537-019-0278-0. Vaswani, A. et al. (2017) ‘Attention is all you need’, in Advances in Neural Information Processing Systems. Yin, H. et al. (2019) ‘Capsule Network with Identifying Transferable Knowledge for Cross-Domain Sentiment Classification’, IEEE Access. doi: 10.1109/ACCESS.2019.2948628. Yolchuyeva, S., Németh, G. and Gyires-Tóth, B. (2019) ‘Self-attention networks for intent detection’, in International Conference Recent Advances in Natural Language Processing, RANLP, pp. 1373– 1379. doi: 10.26615/978-954-452-056-4_157. Zhang, L. and Liu, B. (2016) ‘Sentiment Analysis and Opinion Mining’, in Encyclopedia of Machine Learning and Data Mining. doi: 10.1007/978-1-4899-7502-7_907-1. Zheng, J. and Zheng, L. (2019) ‘A Hybrid Bidirectional Recurrent Convolutional Neural Network Attention-Based Model for Text Classification’, IEEE Access, 7, pp. 106673–106685. doi: Página 26 de 27 10.1109/ACCESS.2019.2932619. Cortez, A., Vega, H. and Pariona, J. (2011) ‘Procesamiento de lenguaje natural robusto’, Primer encuentro de GruPos de investiGación sobre Procesamiento del lenGuaje, 2013(3), p. 147. Jurafsky, D. and Martin, J. (2002) ‘Speech and Language Processing. An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition’, Zeitschrift fur Sprachwissenschaft, 21(1), pp. 134–135. doi: 10.1515/zfsw.2002.21.1.134. Jiang, D. et al. (2017) ‘Sentiment computing for the news event based on the social media big data’, IEEE Access. doi: 10.1109/ACCESS.2016.2607218. Zhang, S. et al. (2015) ‘Code Consistent Hashing Based on Information-Theoretic Criterion’, IEEE Transactions on Big Data. doi: 10.1109/tbdata.2015.2499191. Bekkers, V., Edwards, A., & de Kool, D. (2013). Social media monitoring: Responsive governance in the shadow of surveillance?. Government Information Quarterly, 30(4), 335-342. Zhang, B., & Vos, M. (2014). Social media monitoring: aims, methods, and challenges for international companies. Corporate Communications: An International Journal. Batrinca, B., & Treleaven, P. C. (2015). Social media analytics: a survey of techniques, tools and platforms. Ai & Society, 30(1), 89-116. Ebrahimi, M., Yazdavar, A. H., & Sheth, A. (2017). Challenges of sentiment analysis for dynamic events. IEEE Intelligent Systems, 32(5), 70-75. Younis, E. M. (2015). Sentiment analysis and text mining for social media microblogs using open source tools: an empirical study. International Journal of Computer Applications, 112(5). Deng, L., & Liu, Y. (Eds.). (2018). Deep learning in natural language processing. Springer. McNamara, D. S., Allen, L. K., Crossley, S. A., Dascalu, M., & Perret, C. A. (2017). Natural language processing and learning analytics. Handbook of learning analytics, 93-104. Pla, F., & Hurtado, L. F. (2018). Spanish sentiment analysis in Twitter at the TASS workshop. Language Resources and Evaluation, 52(2), 645-672. del Arco, F. M. P., Valdivia, M. T. M., Zafra, S. M. J., González, M. D. M., & Cámara, E. M. (2016). COPOS: corpus of patient opinions in spanish. application of sentiment analysis techniques. Procesamiento del Lenguaje Natural, 57, 83-90. Dıaz-Galiano, M. C., Garcıa-Vega, M., Casasola, E., Chiruzzo, L., Garcıa-Cumbreras, M. Á., Cámara, E. M., ... & Graff, M. (2019). Overview of TASS 2019: One More Further for the Global Spanish Sentiment Analysis Corpus⋆. Paredes-Valverde, M. A., Colomo-Palacios, R., Salas-Zárate, M. D. P., & Valencia-García, R. (2017). Página 27 de 27 Sentiment analysis in Spanish for improvement of products and services: A deep learning approach. Scientific Programming, 2017. Tellez, E. S., Miranda-Jiménez, S., Graff, M., Moctezuma, D., Siordia, O. S., & Villaseñor, E. A. (2017). A case study of Spanish text transformations for twitter sentiment analysis. Expert Systems with Applications, 81, 457-471. Apaza Delgado, S. H. (2016). Modelo computacional de minería de microblogs para el análisis del comportamiento del consumidor de telefonía celular. In Pontificia Universidad Católica del Perú. http://tesis.pucp.edu.pe/repositorio/handle/20.500.12404/7515 Kitchenham, B., Pearl Brereton, O., Budgen, D., Turner, M., Bailey, J., & Linkman, S. (2009). Systematic literature reviews in software engineering - A systematic literature review. In Information and Software Technology. https://doi.org/10.1016/j.infsof.2008.09.009 Olivares, C. A. (2016). Revisión Sistemática Sobre La Aplicación De De Ontologías De Dominio En El Análisis De Sentimientos. http://tesis.pucp.edu.pe/repositorio/handle/123456789/7514 1 Anexos Anexo A: Formulario de extracción lleno 2 3