Diseño de un modelo explicativo basado en ontologías aplicado a un chatbot conversacional

Abstract

Actualmente, la inteligencia artificial es una de las áreas de investigación más importantes para el desarrollo de tecnología en múltiples disciplinas. Aunque ha tenido un crecimiento exponencial en los últimos años, el entendimiento de cómo funciona es mínimo para la mayoría de las personas. En consecuencia de ello, su uso en actividades que implican una toma de decisiones es limitado, lo cual se evidencia en el Reporte 2023 de Artificial Intelligence Index [1]. Según este reporte, el cambio porcentual en las respuestas de adopción de la inteligencia artificial por industria y actividad entre el 2021 y 2022 ha sido de -15% y -13% para las actividades de marketing y ventas, y desarrollo de productos y/o servicios, respectivamente. Frente a esto se propone el diseño de un modelo que permita explicar los componentes básicos de un sistema basado en inteligencia artificial a través de un chatbot conversacional en idioma inglés. De este modo, la explicación se brinda en un formato sencillo (texto) y a través de un medio interactivo (conversación). El modelo explicativo se basa en la ontología XAIO, propuesta en este estudio y desarrollada a partir de dos ontologías de aprendizaje de máquina e inteligencia artificial explicable. Haciendo uso de un modelo de generación de lenguaje natural a partir de datos estructurados, el modelo explicativo genera explicaciones en lenguaje natural basadas en el conocimiento descrito en las tripletas de la ontología XAIO. Para evaluar el modelo se implementó un chatbot conversacional que utiliza un modelo de entendimiento de lenguaje natural para identificar intenciones y entidades, a partir de las cuales se realizan las consultas en la ontología que permiten obtener las tripletas. En la evaluación cuantitativa se obtuvo un BLEU promedio de 76.97, lo cual indica un buen desempeño en la tarea de generación de lenguaje natural a partir de datos estructurados. Asimismo, se desarrollaron sistemas de inteligencia artificial explicable con chatbot para la prueba con usuarios y se obtuvo un SUS de 69, indicando una usabilidad por encima del promedio. Finalmente, también se realizó una evaluación cualitativa para obtener las apreciaciones de los participantes acerca de los sistemas, las cuales señalan la coherencia al momento de responder, la sencillez de las respuestas y la interacción amigable con el chatbot.

Nowadays, artificial intelligence is one of the most important research areas for the technological development of many disciplines. Although it has grown exponentially in recent years, understanding of how it works is minimal for most people. Consequently, its use in decision making activities is limited, as evidenced in the Artificial Intelligence Index Report 2023 [1]. According to this report, the percentage change in the response of artificial intelligence assimilation by industry and activity between 2021 and 2022 has been -15% and -13% for marketing and sales activities, and product and/or service development, respectively. In view of this, we propose the design of a model to explain the basic components of a system based on artificial intelligence through a conversational chatbot developed in English. Thus, the explanation is provided in a simple format (text) and through an interactive manner (conversation). The explanatory model is based on the XAIO ontology, proposed in this study, and developed from two ontologies of machine learning and explainable artificial intelligence. Using a natural language generation model from structured data, the explanatory model generates natural language explanations based on the knowledge described in the triplets of the XAIO ontology. For evaluation purposes, a conversational chatbot was implemented. This chatbot uses a natural language understanding model to identify intentions and entities. Then it uses ontology queries build from the intentions and entities to get the ontology triplets. Regarding quantitative evaluation, an average BLEU of 76.97 was obtained, which indicates a good performance in the task of natural language generation from structured data. Likewise, explainable artificial intelligence systems were developed with chatbot for user testing and a SUS of 69 was obtained, indicating above-average usability. Finally, a qualitative evaluation was also carried out to obtain the participants' feedback about the systems. They mainly pointed out the coherence at the time of answering, the simplicity of the answers and the friendly interaction with the chatbot.