PONTIFICIA UNIVERSIDAD CATÓLICA DEL PERÚ ESCUELA DE POSGRADO “LA TEORÍA FUNDAMENTADA EN ESTUDIOS QUE INVOLUCRAN EVALUACIONES DE USABILIDAD” TESIS PARA OPTAR EL GRADO ACADÉMICO DE MAGÍSTER EN INFORMÁTICA CON MENCIÓN EN INGENIERÍA DE SOFTWARE AUTOR/A DAVID SALOMÓN TABOADA CÁCERES ASESOR/A HÉCTOR ÁNDRES MELGAR SASIETA LIMA – PERÚ Junio, 2019 RESUMEN La usabilidad es un atributo importante en cualquier aplicación informática y constituye un elemento fundamental de la Ingeniería de Usabilidad. Debido a su importancia, se han formulado métodos que permiten su evaluación denominados métodos de evaluación de usabilidad. El objetivo del presente estudio es conocer cuál ha sido el uso de la Teoría Fundamentada en investigaciones que evalúen la usabilidad. Para responder esta pregunta, se realizó una revisión sistemática que permitió recuperar estudios de reconocidas bases de conocimiento. Los resultados obtenidos revelan cual ha sido el aporte de la Teoria Fundamentada en evaluaciones de usabilidad y el rol desempeñado por las herramientas de usabilidad en los estudios recuperados. ii INDICE RESUMEN ............................................................................................................................................... ii INDICE .................................................................................................................................................... iii LISTA DE TABLAS .................................................................................................................................. v CAPITULO 1 INTRODUCCIÓN .................................................................................................................. 1 1. OBJETIVOS ........................................................................................................................... 4 2. ESTRUCTURA DE LA TESIS ............................................................................................... 4 CAPITULO 2 TEORÍA FUNDAMENTADA (GROUNDED THEORY) .......................................................... 6 1. TEORIA FUNDAMENTADA .................................................................................................. 6 1.1. ORIGEN 6 1.2. TENDENCIAS DE LA TEORÍA FUNDAMENTADA ....................................................... 6 CAPITULO 3 REVISIÓN SISTEMÁTICA .................................................................................................... 8 1. CONCEPTOS BASICOS DE LA REVISION SISTEMATICA ................................................ 8 2. REVISION SISTEMATICA ..................................................................................................... 8 2.1. ORIGENES DE LA REVISION SISTEMATICA ............................................................. 8 2.2. RAZONES PARA REALIZAR UNA REVISION SISTEMATICA .................................... 9 2.3. SIMILITUDES Y DIFERENCIAS ENTRE LAS REVISIONES SISTEMATICAS Y NO SISTEMATICAS ............................................................................................................. 9 2.4. FASES DEL PROCESO DE REVISION ...................................................................... 11 2.5. PROTOCOLO DE REVISIÓN ...................................................................................... 11 2.5.1. LA PREGUNTA DE INVESTIGACION ..................................................................... 12 2.5.2. ESTRATEGIA DE BUSQUEDA ............................................................................... 13 2.5.3. SELECCIÓN DE ESTUDIOS ................................................................................... 13 2.5.4. CRITERIOS DE INCLUSION / EXCLUSION ........................................................... 14 2.5.5. EVALUACION DE CALIDAD DE LOS ESTUDIOS.................................................. 14 2.5.6. ESTRATEGIA DE EXTRACCION DE DATOS ........................................................ 15 iii CAPITULO 4 METODOS DE EVALUACION DE USABILIDAD................................................................. 16 1. CONCEPTOS ASOCIADOS A LA USABILIDAD ................................................................ 16 2. USABILIDAD ....................................................................................................................... 18 3. METODOS DE EVALUACION ............................................................................................ 20 3.1. METODOS DE INSPECCION ..................................................................................... 20 3.2. METODOS DE PRUEBAS DE USABILIDAD .............................................................. 21 3.3. METODOS DE INDAGACION ..................................................................................... 21 3.4. METODOLOGIAS DE EXPERIMENTOS CONTROLADOS ....................................... 21 3.5. METODOS ADICIONALES .......................................................................................... 21 CAPITULO 5 DISEÑO Y REALIZACION DE LA REVISION SISTEMATICA ............................................. 23 1. LA PREGUNTA DE INVESTIGACION ................................................................................ 23 2. ESTRATEGIA DE BUSQUEDA ........................................................................................... 23 2.4. SELECCIÓN DE ESTUDIOS ....................................................................................... 28 2.5. VALORACION DE LOS ESTUDIOS PRIMARIOS ...................................................... 28 2.6. ESTRATEGIA DE EXTRACCION DE DATOS ............................................................ 28 3. EJECUCION DE LA REVISIÓN SISTEMÁTICA ................................................................. 29 3.1. RESULTADO DE LA BUSQUEDA .............................................................................. 30 3.2. EXTRACCION DE DATOS .......................................................................................... 31 3.3. RESULTADOS Y ANALISIS ........................................................................................ 32 CAPITULO 6 CONCLUSIONES Y TRABAJO FUTURO ............................................................................ 43 REFERENCIAS .................................................................................................................... 45 iv LISTA DE TABLAS Tabla 1- 1.- Tabla sobre el razonamiento inductivo y deductivo ..................................................... 2 Tabla 3- 1.- Diferencias entre la revisión tradicional y la sistemática, tomado de [42, 43] .............. 10 Tabla 3- 2.- Fases de la revisión sistemática, tomado de [39] ........................................................ 11 Tabla 3- 3 .- Criterios de valoración de estudios primarios [47] ........................................................ 15 Tabla 5- 1.- Aplicación del método picoc ........................................................................................ 23 Tabla 5- 2.- Criterios de búsqueda .................................................................................................. 24 Tabla 5- 3.- Términos de búsqueda derivados del método picoc .................................................. 25 Tabla 5- 4.- sintaxis de búsqueda que fueron usadas en las distintas base de datos ................... 27 Tabla 5- 5.- Formulario de extracción ............................................................................................. 29 Tabla 5- 6.- Resultados obtenidios en la primera búsqueda- agosto 2017 .................................... 31 Tabla 5- 7.- Resultados obtenidos en el segunda búsqueda diciembre 2018 ............................... 31 Tabla 5- 8.- estudios obtenidos luego de aplicar los criterios de exclusión/inclusión ................... 32 Tabla 5- 9.- Variante de la TF por estudio y porcentaje de uso ...................................................... 33 Tabla 5- 10.- Fases de TF y estudios donde se aplico ................................................................... 34 Tabla 5- 11.- Herramientas de obtención de datos por estudio...................................................... 34 Tabla 5- 12.- Herramientas para automatizar el análisis cualitativo por estudio ............................ 35 Tabla 5- 14.- Herramientas de usabilidad usadas en la revisión .................................................... 36 Tabla 5- 13.- Área donde se aplican la TF y las evaluaciones de usabilidad................................. 36 Tabla 5- 15.- Tipos de usuario x área ............................................................................................. 37 Tabla 5- 16.- Factores que fueron cubiertos a través del uso de la TF .......................................... 38 Tabla 5- 17.- Descripción y tipo de aporte encontrado en los estudios de la revisión ................... 40 v INTRODUCCIÓN CAPITULO I La usabilidad constituye un factor importante que determina la calidad de los productos de software [1]. La ISO/IEC 9241-11[2], define la usabilidad como “la medida en que un producto puede ser usado por un grupo específico de usuarios para alcanzar objetivos específicos (tareas) con eficacia, eficiencia y satisfacción en un cierto contexto de uso”. Debido a su importancia, este factor puede ser evaluado haciendo uso de métodos de evaluación de usabilidad (MEU). Con el paso del tiempo, se han formulado una variedad de métodos de evaluación de usabilidad [3]. Sin embargo, estudios señalas que estos métodos presentan problemas de efectividad, validez, confiabilidad, utilidad práctica y subjetividad [4-6]. Ello se debe a que los métodos de evaluación fueron diseñados para detectar problemas y no para desarrollar un entendimiento de la interacción hombre-máquina [5]. Aspectos poco conocidos de esta interacción podrían ser parte de las causas de los problemas presentes en los métodos. La Teoría Fundamentada (TF) es una metodología de investigación cualitativa que se caracteriza porque intenta explicar, conductas humanas en un determinado campo de estudio [7]; y comprender el mundo de la experiencia subjetiva desde el punto de vista de las personas que lo viven [8, 9]. Su uso permite generar una teoría original a partir del análisis riguroso de los datos [10]. En años recientes, se ha experimentado un creciente uso de la TF en estudios de Ingeniera de Software; en áreas como el desarrollo de aplicaciones, la obtención de requisitos, mejora de procesos de software y modelado de software [11, 12]. Los problemas que presentan los métodos de evaluación pueden ser resultado de la omisión de información. Esta información bien podría ser revelada a través del uso de la TF, debido a que esta metodología ha revelado información oculta en una variedad de estudios de investigación [13, 14], ha permitido comprender la experiencia subjetiva desde el punto de vista de las personas [8, 9] y se viene incrementado su uso en la Ingeniería de Software [11, 12]. Es por ello, que el interés del presente estudio es responder la pregunta: ¿Cómo ha sido usada la TF en evaluaciones de usabilidad? La respuesta que se obtenga permitirá revelar como ha sido usada la TF y cuál ha sido su utilidad en evaluaciones de usabilidad. Con el fin de responder esta interrogante, se ha realizado una revisión sistemática de todos aquellos estudios que hacen uso de la TF en evaluaciones de usabilidad. Los resultados obtenidos en la revisión pueden servir como un nuevo enfoque que permita mejorar las evaluaciones de usabilidad que puede ser usado por investigadores y la comunidad científica. La información contenida en este documento contiene los hallazgos obtenidos en la revisión y es expuesta de manera ordenada y organizada, tal como se describe a continuación. El Capítulo I presenta el problema, objetivos y la motivación del estudio. El Capítulo II, III, IV expone el marco teórico de la Teoría Fundamentada, la Revisión Sistemática y la Usabilidad. El Capítulo V presenta el diseño y ejecución de la revisión. Mientras que en el Capítulo VI se 1 exponen las conclusiones y se esboza las sugerencias que podrían ser tomados en cuenta en futuras investigaciones. DESCRIPCIÓN DEL PROBLEMA Y MOTIVACIÓN La investigación científica se nutre de fuentes de conocimiento a través del razonamiento deductivo e inductivo [15]. Siendo el razonamiento deductivo, un proceso de pensamiento en que a través de afirmaciones generales se llega a afirmaciones especificas aplicando reglas de la lógica [15]. En el inductivo solo se establecen conclusiones generales que se basan en hechos recopilados por medio de la observación directa [15]. Los tipos de razonamientos se muestran en la Tabla 1- 1. Razonamiento Inductivo Razonamiento Deductivo  Mario y Laura tienen tres hijos: María, Juan,  El hombre es un ser humano. Pedro.  Hernán es un hombre.  María es rubia, Juan es rubio y Pedro es  Por tanto, Hernán es un ser humano. rubio.  Por tanto, todos los hijos de Mario y Laura son rubios. TABLA 1- 1.- TABLA SOBRE EL RAZONAMIENTO INDUCTIVO Y DEDUCTIVO Existen principalmente dos tipos de modelos o paradigmas de investigación científica, el cualitativo y el cuantitativo [16]. Mientras el paradigma cualitativo se basa en el método inductivo; el cuantitativo se sustenta el inductivo [16]. Correspondiendo estos dos métodos a los tipos de razonamiento descritos anteriormente. La Teoría Fundamentada es un tipo de investigación cualitativa [17] donde el descubrimiento y desarrollo de una teoría se basa en el análisis riguroso de los datos y no en el razonamiento deductivo apoyado que se apoya en un marco teórico [18]. Esta metodología recomienda que para obtener conocimientos nuevos se debe evitar revisar conceptos y teorías que puedan condicionar la investigación [13, 19, 20]. Un estudio de Teoría Fundamentada se inicia con una pregunta general, no con una hipótesis; estas preguntas suelen ser del tipo “¿Qué es lo que pasa aquí? ¿Qué es lo que sucede?” [21]. Los métodos de evaluación de usabilidad (MEU) permiten detectar problemas de usabilidad en distintas etapas del desarrollo de software [22, 23]. Ellos se componen de procedimientos con actividades bien definidas que permiten, recopilar datos de la interacción “usuario- producto”, y evaluar aquellas propiedades del producto que contribuyen a alcanzar cierto grado de usabilidad [24]. Los resultados que se obtienen del uso de estos métodos es cuestionados por presentar una serie de problemas; tales como la validez, confiabilidad, utilidad práctica y subjetividad [4-6]. Gray y Salzman señalan que los estudios donde se comparan MEU carecen de validez, no solo por las limitadas pruebas estadísticas en sus conclusiones, sino también por las medidas usadas al comparar los métodos [25]. Así mismo, la falta de confiabilidad se ve reflejada en estudios donde diferentes evaluadores encuentran grupos de problemas notablemente 2 diferentes luego de aplicar un determinado método de evaluación [26]. En cuanto a la utilidad práctica, Dix hace referencia a que los análisis estadísticos y estudios prácticos demuestran que hay pocos participantes que puedan detectar la mayor parte de los problemas que se presentan cuando un producto es desplegado [27]. Asimismo, Elliot indica que el principal problema de los MEU es la subjetividad de las evaluaciones; así como, un conjunto de factores que influyen en las evaluaciones tales como el ambiente, las características del usuario y el tamaño de la muestra del grupo de usuarios [5]. Vermeeren concluye que el proceso de análisis en las pruebas de usabilidad es inherentemente subjetivo [28]. Clemmensen sugiere que la subjetividad de las evaluaciones puede darse por la variación del proceso en las pruebas de usabilidad que siguen practicas comunes surgidas en el contexto de la historia y cultura de una región del mundo [29]. Adicionalmente, es importante mencionar que los datos que se obtienen del uso de métodos cualitativos, tales como los métodos de evaluación, son procesados generalmente en base al talento e intuición del investigador [18]. Asimismo, los MEU estén sujetos a pautas prescritas para conducir las evaluaciones, no habiendo oportunidad a que puedan detectarse falencias fuera de tales guías [5]. Los problemas presentes en los métodos de evaluación y que han sido descritos en párrafos anteriores bien podrían haber sido abordados con el uso de la TF. Ya que la TF ha demostrado ser útil en campos relacionados a la conducta e interacción humana [7, 30]; permite desarrollar teorías a partir de datos sistemáticamente capturados y analizados [30, 31]; ha revelado información oculta en una variedad de estudios [13, 14], y ha permitido comprender la experiencia subjetiva desde el punto de vista de las personas que lo viven [8, 9]. Estas características permiten abordar los problemas que presentan los métodos de evaluación; tales como, la subjetividad presente en las evaluaciones [5], la omisión de factores que intervienen en las evaluaciones de usabilidad [5], la falta de sustento en los resultados obtenidos del uso de métodos que generalmente se basan en la intuición y talento del investigador [18] y no detectar falencias fuera de las pautas prescritas que guían el uso de métodos [5]. Por tal motivo, el presente estudio formula la pregunta: ¿Cómo fue usada la TF en evaluaciones de usabilidad? La respuesta que se obtenga permitirá revelar como ha sido usada la TF y cuál ha sido su utilidad en evaluaciones de usabilidad. La respuesta a la pregunta de investigación permitirá resumir los temas de usabilidad abordados por la TF y revelara en qué medida el uso de esta metodología ha ayudado a las evaluaciones de usabilidad. La información que se obtenga permitirá construir un marco de referencia que sirva de guía para todos aquellos que deseen aplicar la TF en evaluaciones de usabilidad. Así también, se han realizado análisis detallados de cada estudio recuperado a fin de detallar cómo ha sido usada esta metodología en las evaluaciones. La pregunta principal ha sido dividida en las siguientes sub preguntas, las cuales se listan a continuación: 3 PI1. ¿Qué elementos intervienen al usar la TF en evaluaciones de usabilidad? PI2. ¿Qué factores omitidos en evaluaciones de usabilidad han sido abordados por la TF? PI3. ¿Qué estudios empíricos de técnicas que evalúan la usabilidad hay en la revisión? PI4. ¿Cuál ha sido el aporte de la TF en las evaluaciones de usabilidad? PI5. ¿Cómo los métodos de evaluación se usaron por la TF? Para responder estas preguntas, se realizó una revisión sistemática que permite sintetizar los hallazgos y obtener información libre de influencia de opiniones parcializadas. Así mismo, el uso de una revisión sistemática hace posible que se replique y valide los pasos realizados permitiendo que los hallazgos sean comprobados por otros investigadores [32, 33]. 1. OBJETIVOS La presente tesis es de naturaleza exploratoria y tiene por objetivo investigar cómo ha sido usada la TF y el cual ha sido su utilidad en las evaluaciones de usabilidad. Los siguientes objetivos requieren ser completados:  Identificar y describir los elementos que entran en juego al momento de usar la TF en evaluaciones de usabilidad.  Identificar los factores que intervienen en la evaluación que han sido analizados a través del uso de la TF.  Describir aquellos estudios en los que se evalúan la usabilidad haciendo uso de la TF  Conocer los aportes de la TF al evaluar la usabilidad  Identificar como los métodos de evaluación fueron usados al momento de usar la TF. 2. ESTRUCTURA DE LA TESIS El capítulo uno provee la descripción del problema, la motivación, los objetivos de la investigación y la estructura de la tesis. El capítulo II, III y IV provee el sustento teórico relacionado de los conceptos relacionado a la TF, revisión sistemática y los métodos de evaluación. El capítulo V describe los detalles de la revisión sistemática. En el capítulo VI se realiza la ejecución de la revisión de sistemática. Mientras, el capítulo VII describe las conclusiones y trabajos futuros. Capítulo II - TEORÍA FUNDAMENTADA: Se expone el concepto, origen, tendencias de la teoría fundamentada. Se describen las versiones de la Teoría Fundamentada, la cual ha variado a lo largo del tiempo y de acuerdo a las tendencias ideológicas surgidas en el tiempo que fueron formuladas. Capítulo III – REVISION SISTEMÁTICA: Brinda los conceptos básicos y asociados a las revisiones sistemáticas, origen, características, comparaciones con otras técnicas de extracción de información, fases del proceso de revisión a detalle. Capítulo IV – MÉTODOS DE EVALUACIÓN DE USABILIDAD: Expone conceptos de HCI, usabilidad, diseño centrado en el usuario, métodos de evaluación. Los que son presentados en orden cronológico porque estos en la actualidad se usan 4 indistintamente, sin establecer su real significado de forma clara. Así también, se expone los métodos de evaluación de uso actual. Capítulo V – DISEÑO Y REALIZACIÓN LA REVISIÓN SISTEMÁTICA: Describe las actividades a realizar para obtener las respuestas a las preguntas de investigación. Se detalla los pasos a seguir en cada una de ellas para obtener, procesar y evaluar la información. Capítulo VI – REALIZACIÓN DE LA REVISIÓN SISTEMATICA: Describe las tareas de cada actividad, los problemas encontrados y soluciones tomadas. La parte final del capítulo expone por temas los aportes brindados por la Teoría Fundamentada en estudios vinculados a los métodos de evaluación. Capítulo VII – CONCLUSIONES Y TRABAJOS FUTUROS: Detalla las conclusiones llegadas en la revisión y expone los trabajos futuros que se pueden realizar conociendo el actual estado de las investigaciones, las cuales hacen uso de la TF. 5 TEORÍA FUNDAMENTADA (GROUNDED THEORY) CAPITULO II En este capítulo se exponen los conceptos más importantes de la Teoría Fundamentada (TF) que van desde la descripción de la metodología, origen, tendencias o variantes del método. 1. TEORIA FUNDAMENTADA Es una metodología de investigación cualitativa que revela la teoría detrás de los datos recuperados [10]. El uso de esta herramienta permite descubrir conceptos e hipótesis relevantes en las distintas áreas de interés donde se enfoque el estudio [10]. Para obtener los datos que serán procesados por esta herramienta se hace uso de técnicas de investigación cualitativa; tales como, entrevistas a profundidad, observaciones, encuestas; solo por mencionar alguna de ellas [34]. 1.1. ORIGEN La TF fue formulada a finales de 1960 por Glaser y Strauss en respuesta a los métodos positivistas y enfoques doctrinarios en el campo de investigación de las ciencias sociales [35]. Esta metodología fue influenciada por dos formas de pensamiento: el tradicional Interaccionismo Simbólico de Chicago que hacía énfasis en interpretar las acciones en base a su propio significado; y el pragmatismo de John Dewey y Gorge Mead, quienes consideraban que el conocimiento no es independiente del conocedor, sino “el conocimiento es creado a través de acciones e interacción” [35]. 1.2. TENDENCIAS DE LA TEORÍA FUNDAMENTADA En la actualidad, se vienen usando cinco variantes de la Teoría Fundamentada (TF); entre las que figuran, la teoría original formulada por Glaser y Strauss en el año 1967, las variantes del método original conocidas como la TF de Glaser y de Strauss-Corbin; la TF Constructivista formulada el 2000 por Kathy Charmaz y la TF del Postmodernismo [35, 36]. La diferencia fundamental entre variantes del método original denominadas TF de Glaser y Strauss-Corbin , radica en que la primera subraya la inducción y creatividad del investigador dentro del desarrollo de las etapas de la investigación siendo importante su habilidad para descubrir lo que aportan los datos y en formular una hipótesis a partir de información que la investigación suministra [34]. Por otro lado, Strauss y Corbin confían más en la técnica que permita al investigador, sin importar la destreza posea, alcanzar la teoría buscada [34] . Charmaz introduce fundamentos constructivistas en el campo de la teoría fundamentada. Ella sostiene que los datos y teorías no son descubiertas, sino construidas por el investigador y el participante de la investigación [35]. Esta variante del método presenta un proceso de teorización transparente que incluye interpretaciones y opiniones del investigador junto con datos recopilados. Además de formar una categoría central, expone una perspectiva constructivista que enfatiza la construcción de teorías fundamentadas “a través de implicancias pasadas y presentes e interacciones con personas, perspectivas y prácticas de investigación” [35]. Charmaz permite la inclusión de la revisión de la literatura como 6 instrumento que ayude a mejorar la perspectiva general del investigador, siempre y cuando no disuada el proceso creativo [35]. “Hacia el año 2005, Adele Clarke presenta la tendencia conocida como la Teoría Fundamentada en el Postmodernismo y retoma el concepto de mundos/arenas/discursos- ecológicos y propone el uso de tres mapas, los cuales enfatizan las diferencias más que las concordancias [34]. Entre ellos, tenemos los mapas circunstanciales, los mapas de mundos/arenas sociales y los mapas posicionales. Esta variante de la TF sigue las huellas de Michel Foucault para analizar variaciones, diferencias y silencios en la información, de manera condicional y compleja [34]. Clarke cuestiona la idea de la realidad como pre-existente y plantea cómo una renovada visión de la TF debería re-articular sus principios respecto al “giro postmoderno”. Se propone: … un método de análisis y generación/búsqueda de datos llamado Análisis Situacional (AS). El AS permite tener en cuenta varios niveles de la realidad social y articularlos en un análisis que la capturen sin necesariamente simplificarla. La creación de mapas (la herramienta clave del AS) nos ayuda a sacar fotografías que van más allá de las dos dimensiones y son susceptibles de mostrar no sólo los relieves de las situaciones, sino el subsuelo de las mismas, así como su atmósfera [37]. Las cinco tendencias de la teoría fundamentada se encuentran actualmente vigentes: … sin embargo, la tendencia Strauss-Corbin es la más seguida por la mayoría de los investigadores sociales, especialmente en la región Latino Americana. La fortaleza de la tendencia Strauss-Corbin radica se muestra de forma clara la manera de desarrollar la TF durante el curso de una investigación. Puede decirse no obstante, que las variantes de la TF apuntan hacia lo mismo; los aspectos que las hacen diferentes, más que diferencias en sí, son los distintos enfoques que se usan para abordar la realidad estudiada [34]. 7 REVISIÓN SISTEMÁTICA CAPITULO III 1. CONCEPTOS BASICOS DE LA REVISION SISTEMATICA EVIDENCIA La evidencia es todo aquello que sustenta el conocimiento y en general se espera que el conocimiento se derive de la evidencia a través de algún proceso de interpretación [38]. La naturaleza de la interpretación puede aprovechar el conocimiento de otras áreas como matemáticas, estadística, botánica, medicina, entre otras [38] . Por ejemplo, evidencias pueden ser; los registros médicos que sustentan que el fumar hace daño al pulmón, las declaraciones de testigos sobre un hecho delictivo ante un juez, grabaciones de audio o video sobre un hecho a denunciar. 2. REVISION SISTEMATICA Una revisión sistemática es un medio para identificar, evaluar e interpretar la información disponible y relevante para responder una pregunta de investigación, un tópico de un área o un fenómeno de interés [39]. Los estudios individuales que contribuyen a la revisión sistemática se denominan estudios primarios; y la revisión sistemática en sí, es formalmente considerada como un estudio secundario [39]. La revisión comprende una secuencia estricta de pasos metodológicos que siguen un protocolo desarrollado a priori, denominado “protocolo de revisión” [40]. Los pasos metodológicos, la estrategia de recuperación de evidencia y la pregunta(s) de investigación son explícitamente definidos a fin de que pueda ser reproducido el protocolo de revisión por otros profesionales y que se pueda evaluar la precisión de la revisión [40]. 2.1. ORIGENES DE LA REVISION SISTEMATICA Una de las primeras síntesis de investigación, data del año 1891 que fue realizada por Herber Nichols con su escrito titulado “Boletín Americano de la Psicología” [33]. En él se describe, la revisión de veintidós evidencias de experimentos que prueban la validez de la ley de Weber. Así mismo, incluye la tabulación de información cuantitativa y la descripción sistemática de veinte experimentos [33]. Este documento en su momento no fue denominado una revisión sistemática, pero los métodos y objetivos usados podrían ser familiares para los revisores modernos [33]. En 1904, Pearson elabora un documento que integra resultados, calcula el promedio de los resultados de la correlación entre la inoculación de la fiebre tifoidea y la mortalidad a fin de mejorar la estimación de este tipo de efecto y compararlo con la inoculación para otros tipos de enfermedad [40]. En 1930, los métodos para combinar estimaciones son desarrollados en campos de las ciencias físicas (Birge-1932) y estadísticas (Tippett-1931, Fisher-1932, Cochran-1937, 8 Yates/Cochran-1938) para luego ser aplicados en otros campos como la agricultura [40]. El uso de técnicas de síntesis entra en su mejor momento en los 70s cuando nuevas propuestas para integrar resultados de investigaciones son desarrolladas y aplicadas principalmente en el campo de las ciencias sociales. En el campo metodológico, Feldman (1971) describe los pasos para el proceso de revisión de la literatura. Light and Smith (1971) desarrollan un tratamiento metodológico de las variaciones en los resultados de los estudios, Taveggia (1974) describe los problemas que presenta la revisión de la literatura y Glass (1976) define el termino meta-análisis [40]. En los 80’s, el enfoque de la síntesis metodológica se convierte en una nueva e independiente especialidad y alcanza legitimidad en el campo de la investigación. Las revisiones de investigación y enfoques meta-analíticos son integrados. Nuevos métodos y técnicas se desarrollan y aumenta el nivel de rigurosidad de las metodologías alcanzadas [40]. Posteriormente, este metodología de revisión es adaptada por Kitchenham al campo de la Ingeniería de software a través de un documento que sugiere como debería llevarse un revisión sistemática en el campo de la ingeniera de software cuyo título fue “Procedimientos para realizar revisiones sistemáticas” [41]. 2.2. RAZONES PARA REALIZAR UNA REVISION SISTEMATICA Entre las principales razones para emprender una revisión sistemática podemos nombrar, aquellas citadas por Kitchenham [39]:  Resumir la evidencia que existe sobre un tema o tecnología; por ejemplo, el reunir toda la evidencia empírica de beneficios y limitaciones del uso de la Teoría Fundamentada en las evaluaciones de usabilidad.  Identificar vacíos en investigaciones con el fin de sugerir áreas para futuras investigaciones; por ejemplo, la falta de una metodología para la toma de información podría ser una de las causas para no usar la TF en evaluaciones de usabilidad.  Proveer un marco/antecedentes para posicionar adecuadamente las nuevas actividades de investigación. Por ejemplo, generar el marco y antecedentes del uso de la TF podría darnos un mejor base para desarrollar las actividades de investigación. 2.3. SIMILITUDES Y DIFERENCIAS ENTRE LAS REVISIONES SISTEMATICAS Y NO SISTEMATICAS A continuación se presenta la Tabla 3- 1.- se detalla cada una de las diferencias y similitudes entre la revisión sistemática y la tradicional, la misma que ha sido descrita en “Aprendiendo a elaborar una revisión sistemática: Parte 1” [42] y de las publicación online “Revisión tradicional vs. Las revisiones sistemáticas” [43]. 9 Revisión sistemática Revisión de la Literatura No es necesariamente enfocada en Enfocado en una pregunta de Pregunta una pregunta, pero puede describir investigación. un panorama general. Se incluye un protocolo o plan de Protocolo No hay protocolo. revisión. Conocimientos Ambos proveen un resumen de la literatura disponible sobre un tópico. Los objetivos pueden ser o no Objetivos Objetivos claros e identificados. identificados. Criterios de Criterio descrito antes de iniciar la inclusión e Criterio no especificado. revisión. exclusión Estrategia de Exhaustiva búsqueda conducida de Estrategia no declarada búsqueda forma sistemática. explícitamente. Proceso de No descrito en la revisión de la selección de Usualmente clara y explícita. literatura. artículos Proceso de Evaluación integral de la calidad del Evaluación de la calidad del estudio evaluación de estudio. puede o no incluirse. artículos Proceso de extracción de El proceso de extraer relevante Usualmente clara y especifica. información información no es explícito y claro. relevante La documentación exacta obtenida Hallazgos no pueden ser Reproducible por el método indica que este se reproducidos de y las conclusiones puede reproducir. son subjetivas. Puede ser periódicamente Actualización actualizado para incluir nueva No puede ser actualizado. evidencia. Resumen basado en estudios donde las calidades de los artículos Resultado y pueden no ser especificados. Resumen claro de estudios síntesis de basados en evidencia de calidad. datos Pueden también ser influenciados por la teoría, necesidades y creencias de los revisores. En algunos casos la evidencia Las conclusiones obtenidas se Conclusiones puede ser influenciada por la basan en evidencias creencia del autor. Escrito por un experto o grupo de expertos con detalle y buen Discusión fundamentado conocimiento de los temas. TABLA 3- 1.- DIFERENCIAS ENTRE LA REVISIÓN TRADICIONAL Y LA SISTEMÁTICA, TOMADO DE [42, 43] 10 2.4. FASES DEL PROCESO DE REVISION Las fases del proceso de revisión se muestran en la Tabla 3- 2.- y fueron obtenidas del documento “Directrices para realizar una revisión sistemática en la Ingeniería de Software” [39]. Toda la información descrita en esta sección fue tomada de dicho documento. Fase Etapas Identificación de la necesidad de una revisión Puesta en marcha de una revisión Planificación de la revisión Especificación de las preguntas de investigación Desarrollo de un protocolo de revisión Evaluar el protocolo de revisión Identificación de la investigación Selección de los estudios primarios Realización de la revisión Estudio de evaluación de la calidad Seguimiento y extracción de datos Síntesis de los datos Especificación de los mecanismos de difusión Información y difusión de la Formateo del informe principal revisión Evaluación del informe TABLA 3- 2.- FASES DE LA REVISIÓN SISTEMÁTICA, TOMADO DE [39] Estas fases son obligatorias, excepto:  Si la puesta en marcha de la revisión se realiza sobre una base comercial.  Si la evaluación del protocolo y el informe de revisión son opcionales y dependen de procesos que aseguran la calidad y que han sido definidos por el equipo de revisión. Las fases listadas muestran cierta secuencia, pero muchas de ellas requieren iteración. En particular varias actividades son iniciadas en la fase del desarrollo del protocolo y refinadas cuando la revisión toma lugar. 2.5. PROTOCOLO DE REVISIÓN El protocolo de revisión es un plan que describe detalladamente como se debe realizar la revisión; contiene la(s) pregunta(s) de investigación, los objetivos y los métodos de revisión que se deben considerar antes de identificar la literatura relevante [44]. Adicionalmente, se incluyen detalles de cómo los diferentes tipos de estudios serán localizados, evaluados y sintetizados (Petticrew and Roberts 2006). El protocolo es valioso porque: - Evita que el investigador parcialice la investigación. - Permite que la investigación sea evaluada por otros investigadores, quienes pueden proveer retroalimentación acerca del diseño de la revisión. 11 - Puede ser usado de insumo para las secciones de introducción y como método de un informe de revisión. Los siguientes elementos componen el protocolo de revisión:  Antecedentes  Las preguntas de investigación.  La estrategia de búsqueda.  Selección de los estudios.  Valoración de la calidad de los estudios primarios  Extracción de datos.  Estrategia de síntesis y agregación de datos. 2.5.1. LA PREGUNTA DE INVESTIGACION La pregunta de investigación es la parte más importante de la revisión [41]. Por ello, resulta útil su fragmentación en base a componentes definidos por el método PICOC [33] . Para cada componente se define una pregunta que indaga aspectos importantes de la investigación. Las respuestas a las sub preguntas devuelven términos que serán usados en motores de búsqueda de artículos. Los componentes del método PICOC y la descripción detallada de las preguntas asociadas a ellos se describen a continuación: Componente Pregunta Población ¿Quien? Intervención ¿Qué o Cómo? Comparación ¿Comparado con qué? Outcome (resultado) ¿Que está tratando de mejorar/realizar? Contexto ¿En qué tipo de organización o circunstancias? Población ¿En qué población estoy interesado? (¿Niños? Si es así; ¿A qué grupo de edad? ¿Aquellas que emplean un servicio particular? ¿Personas con necesidades de salud o de tipo social?). En experimentos de ingeniería de software la población puede ser: - Un rol especifico de ingeniería de software, por ejemplo, testers, desarrolladores, administradores, gestores de proyecto…etc. - Una categoría de ingeniería de software, por ejemplo, un novato, un experimentado. - Un área de aplicación, por ejemplo, sistemas de TI, sistemas de control. - Un grupo de la industria, como una compañía de telecomunicaciones, pequeñas compañías de TI. 12 Intervención ¿En qué intervención estoy interesado? ¿Es esta una intervención o un grupo de intervenciones? (tales como programas sociales). Puede haber varias intervenciones enfocadas en un mismo problema. La intervención en ingeniería de software puede ser un procedimiento/herramienta/tecnología/metodología de software que apunta hacia un uso específico, por ejemplo, tecnologías para realizar tareas específicas como especificación de requerimientos, pruebas de sistemas o estimación de costos de software. Comparación ¿Con que se compara la intervención? Por ejemplo ¿La investigación de la efectividad de una forma de educación sexual, con que está siendo comparada? ¿Una diferente forma de educación sexual? ¿Programas relacionados con la abstinencia? En ingeniería de software la comparación puede ser un procedimiento/herramienta/metodología/tecnología con la cual la intervención es comparada. Cuando la comparación tecnológica es convencional o tecnología usada comúnmente, esta es referida a menudo como tratamiento de control. Resultados Para muchas intervenciones sociales hay un amplio rango de resultados, y la valoración de la efectividad involucra reunir información tanto de los impactos negativos como positivos, y valorar el balance entre ellos. En la especificación de la pregunta de investigación es importante determinar qué resultados son los más relevantes para responder la pregunta. Los resultados deberían relacionarse a factores de importancia como la mejora de la fiabilidad, reducción de costos, reducción de tiempo, disminuir el tiempo de salida al mercado. Todos los resultados relevantes deberán ser especificados. Contexto Para revisiones de intervenciones sociales hay un mayor componente que necesita ser considerado. Este viene a ser el contexto donde la intervención se lleva a cabo. En ingeniera de software, el contexto puede ser: el lugar donde la comparación toma lugar (por ejemplo, academia o industria), los participantes que toman parte del estudio (por ejemplo, profesionales, académicos, consultores, estudiantes), o las tareas que están realizando (por ejemplo, en pequeña y gran escala). 2.5.2. ESTRATEGIA DE BUSQUEDA La estrategia es definida para realizar la búsqueda y selección de estudios primarios de la investigación. El proceso se inicia seleccionando que bases de conocimiento serán usadas para realizar la búsqueda. A continuación, se definen los términos a usar en la cadena de búsqueda. Seguidamente, se define las fases con las que contara el proceso de búsqueda, incluido el refinamiento de la cadena. 2.5.3. SELECCIÓN DE ESTUDIOS A continuación, se detalla las pautas tomadas en cuenta para la selección de los artículos que fueron incluidos en el estudio. Antes de explicar estas pautas, se debe tener en claro cuáles 13 son las partes de un artículo/estudio que los buscadores devuelven en la búsqueda. Un artículo/estudio se compone de un título, resumen, introducción, cuerpo principal, resumen y referencias 2.5.4. CRITERIOS DE INCLUSION / EXCLUSION El proceso de búsqueda de estudios relevantes se dificulta por la cantidad de bases de datos electrónicas y las variantes que se puedan realizar en las búsquedas. La recuperación de estudios de calidad requiere del uso de técnicas que permitan localizarlos, siendo el criterio de exclusión e inclusión, el más comúnmente usado. Antes de iniciar una investigación relevante, el revisor deberá explícitamente declarar los criterios a usar para determinar si un estudio es relevante. Estos son descritos a priori para reducir cualquier parcialidad no deseada que pudiese presentarse. Los criterios requieren precisión con fin de que más de una persona pueda llegar a las mismas conclusiones sobre la propiedad de los artículos o estudios recuperados [45]. El no cumplimiento de un criterio de elegibilidad es suficiente para que un estudio sea excluido de la revisión, sin necesidad de evaluar algún otro criterio adicional. Por tanto, estos criterios se deben evaluar en orden de importancia, de manera que a la primera respuesta negativa se debe excluir dicho estudio, siendo innecesaria la evaluación de los criterios restantes [46]. 2.5.5. EVALUACION DE CALIDAD DE LOS ESTUDIOS La evaluación de calidad de los estudios trata de determinar hasta qué punto los resultados obtenidos en un estudio empírico son válidos y libre de sesgos [38]. Los criterios de valoración de calidad y lista de verificación para los distintos tipos de estudios han sido publicados en la literatura de las ciencias sociales y médicas, que han sentado las bases para listas de verificación propuestas, usadas y/o evaluadas en estudios empíricos del campo de la ingeniería de software. Kitchenham, en su publicación “Ingeniería de software basada en evidencias y revisiones sistemáticas”, usa en su investigación 11 criterios que permiten valorar cada estudio, Tabla 3- 3. La veracidad o negación de la lista son representados por sus equivalentes de ‘1’ o ‘0’ respectivamente. Hay un único criterio de la lista que permite eliminar un estudio de la investigación, siendo este el primero. Los criterios enumerados en la lista que fue usada cubren cuatro áreas en las investigaciones empíricas [47], las cuales son: Informe. – Referido a la calidad de la presentación de los informes de un estudio empírico. Abarcan los criterios del 1-3. Rigor. - Relacionado al diseño de la investigación. Abarcan los criterios del 4-8. Credibilidad. - Enfocado sobre la validez y significancia de los resultados del estudio. Corresponde a los criterios 9 y 10. Relevancia. - Referente a la relevancia del estudio para la práctica. Corresponde al criterio 11. 14 N° Criterios 1 ¿Es el trabajo basado en investigación (o simplemente un informe de “lecciones aprendidas” basado en la opinión de expertos)? 2 ¿Existe una declaración clara de los objetivos de la investigación? 3 ¿Hay una adecuada descripción del contexto en el que la investigación se llevó a cabo? 4 ¿Fue apropiado el diseño de la investigación para abordar los objetivos de la investigación? 5 ¿Fue adecuada la estrategia de reclutamiento para los objetivos de la investigación? 6 ¿Hubo un grupo de control con el que comparar los tratamientos? 7 ¿Se recolectaron datos de manera que se abordó el tema de investigación? 8 ¿Fueron suficientemente rigurosos los análisis de datos? 9 ¿Ha sido considerada adecuadamente la relación entre el investigador y los participantes? 10 ¿Hay una declaración clara de las conclusiones? 11 ¿Es el estudio de valor para la investigación o la practica? TABLA 3- 3 .- CRITERIOS DE VALORACIÓN DE ESTUDIOS PRIMARIOS [47] 2.5.6. ESTRATEGIA DE EXTRACCION DE DATOS Los formularios de extracción se crean antes de iniciar la revisión sistemática. Permiten extraer información relevante de cada estudio, ya sea por haber registrados los datos relevantes de un estudio dentro de un formulario único o por ingresar estos datos directamente en la base de datos [33]. Estos formularios cumplen varias funciones que apoyan al proceso de revisión. En primer lugar, el formulario de extracción: … se deriva de la pregunta de investigación y de los criterios de elegibilidad aplicados a los estudios identificados. En segundo lugar, el formulario de obtención de datos es el registro histórico de la gran cantidad de decisiones (y cambios en las decisiones) que ocurren durante el proceso de revisión. Tercero, el formulario es la fuente de datos que se incluye en el análisis [46]. El diseño de los formularios debería incluir el título de la revisión, la fecha de revisión, el nombre de la persona que reviso el artículo, espacio para notas, indicador único para el estudio, evaluación del estudio, registro de la fuente de cada pieza de información, opciones sobre la claridad del estudio…etc. Estas son solo algunas características sugeridas por el Manual Cochrane [46]. 15 METODOS DE EVALUACION DE USABILIDAD CAPITULO IV El éxito de un producto de software depende de cuan fácil los usuarios pueden interactuar con él [48]. Si una aplicación tiene una interfaz pobre y difícil de usar, tendrá una alta probabilidad de ser reemplazada [48]. La facilidad en el uso de un sistema no significa que hay una simple tecnología detrás de él; al contrario, hay una avanzada tecnología empleada para su construcción [48]. Es importante tener en claro los conceptos usabilidad y funcionalidad para entender mejor la usabilidad. La funcionalidad es lo que un producto puede hacer y probarla asegura que funciona tal como fue especificada [49]. Mientras, la usabilidad se refiere a cómo la gente usa el producto y probarla permite asegurar que las personas saben usar las funcionalidades para cumplir sus objetivos [49]. Si la usabilidad está correctamente implementada permitirá que el usuario realice sus tareas de forma rápida y fácil. Generalmente, las interfaces de presentación de información de aplicativos han sido asociados a la usabilidad [50]. Antes se creía que la usabilidad podría ser considerada posterior al proceso de desarrollo; pero esto, no es necesariamente así, porque las características de usabilidad pueden abarcar tanto la capa de presentación como la de arquitectura. Por tanto, direccionar las características de usabilidad al final del desarrollo puede originar un mayor retrabajo [50]. Los ingenieros para mejorar la usabilidad han separado la capa de presentación y la de funcionalidad del sistema, tal como lo recomiendan las estrategias de diseño [50]. Los métodos de evaluación han permitido evaluar la usabilidad de productos de software y han evolucionado a lo largo del tiempo [51]. En los años 80’s los laboratorios de usabilidad constituyeron los primeros medios para evaluar la usabilidad [51]. Permitieron evaluar el rendimiento del usuario según la rapidez, precisión y los errores. Además de obtener data para medir el rendimiento, se incluyeron protocolos verbales, reportes de incidentes críticos y escalas de satisfacción de usuario [51]. En los 90’s, desarrolladores exploraron otros métodos con el fin de bajar los costos y tiempos requeridos por las tradicionales pruebas de usabilidad [51]. Así también, estaban motivados en obtener métodos que puedan ser usados en el proceso de diseño sin requerir el diseño a detalle [51]. Como resultado surgieron métodos basados en la inspección experta que crecieron en popularidad porque muchos de ellos eran usados tempranamente en conceptos de diseño [51]. Este capítulo presenta conceptos de usabilidad, HCI, principios y paradigmas de usabilidad. Así mismo, se describe los métodos de evaluación que incluye inspecciones y pruebas de usabilidad, métodos de indagación, experimentos controlados y métodos adicionales. 1. CONCEPTOS ASOCIADOS A LA USABILIDAD En este apartado se describirá el conjunto de términos asociados a la usabilidad, tales como HCI, ingeniería de usabilidad, diseño centrado en el usuario y procesos de desarrollo. Estos 16 conceptos son presentados cronológicamente según fueron apareciendo en el campo de la ingeniería de software. HCI (Human Computer Interaction) El termino HCI fue adoptado a mediados de 1980 con el fin de describir un nuevo campo de estudio [52]. El término tiene un alcance amplio ya que no solo abarca aspectos de diseño de interfaces; sino incluye los temas asociados a la interacción humano computador [52]. Uno de sus principales conceptos lo constituye la ingeniería de usabilidad tal como lo describe Jakob Nielsen[53]. Carrol, en su libro “HCI en el Nuevo Milenio” señala que los fundamentos de HCI fueron inicialmente tratados en los 60’s y 70’s a lo largo de las cuatro mayores tendencias de desarrollo tecnológico vigentes hasta hoy[54]. Entre estas principales tendencias se encuentran: el prototipeo y desarrollo iterativo del campo de la ingeniera de software; la psicología y los factores humanos en sistemas computacionales; el software de interfaz de usuario y la gráfica computacional; y los modelos, teorías y frameworks de la ciencia cognitiva [54]. HCI es un campo multidisciplinario que combina teorías y prácticas de psicología cognitiva y comportamiento, ergonomía, antropología, psicología, ciencias de la computación, ingeniería, y diseño gráfico, entre otras [55]. Está vinculado con el diseño, evaluación e implementación de sistemas interactivos y con los fenómenos que giran alrededor de ellos. El HCI es estudiado en el proceso de desarrollo para crear sistemas informáticos interactivos que sean usables y prácticos [52]. INGENIERIA DE USABILIDAD La ingeniería de usabilidad es un enfoque para el desarrollo de software y sistemas, involucra la participación del usuario desde el inicio y garantiza la utilidad del producto a través del uso de especificaciones de usabilidad y métricas. La ingeniería de usabilidad incorpora conceptos de HCI dentro de la ingeniería de software [56]. Dentro del ciclo de vida del software, una de las importantes características de la ingeniería de usabilidad es que especificaciones de usabilidad formen parte de los requerimientos, los que deben centrarse en características de la interacción usuario-sistema con el fin de que contribuyan a la usabilidad de los productos de software [27]. DISEÑO CENTRADO EN EL USUARIO Es una disciplina que provee un método estructurado para alcanzar la usabilidad en las interfaces de usuario durante el desarrollo del producto. Fue utilizado por primera vez por Donald Norman’s en 1980 y referenciado posteriormente en su libro “Nuevas Perspectivas sobre HCI” en 1986; que a la letra dice “El diseño centrado en el usuario enfatiza que el propósito del sistema es servir al usuario, no al uso de una tecnología específica y tampoco ser una pieza de una elegante programación. Las necesidades del usuario deberán dominar 17 las interfaces y las necesidades de las interfaces deberán dominar el diseño del resto del sistema” [57]. Puede ser aplicado a través del proceso de ingeniería de usabilidad. Norman proporciona cuatro sugerencias para el diseño de sistemas [58]:  Se deben poder ejecutar acciones en cualquier momento.  Debe ser posible visualizar el modelo conceptual del sistema, las alternativas de acción y los resultados de las acciones.  La evaluación del estado del sistema debe ser sencilla.  Se debe seguir un mapeo natural entre las intenciones y las acciones requeridas, entre las acciones y el efecto del resultado, y entre la información visible y la interpretación del estado del sistema. GRIETA ENTRE HCI Y LA INGENIERIA DE SOFTWARE En los últimos cinco años, estudios y workshop han resaltado la grieta existente entre los enfoques HCI del diseño de software y la ingeniería de software. Aunque los campos son complementarios hay varios frameworks propuestos para integrar HCI y técnicas de usabilidad dentro del ciclo de vida del desarrollo de software. Aunque investigadores y profesionales de HCI vieron al diseño centrado en el usuario (DCU) como un proceso y conjunto de metodologías para el diseño y desarrollo de aplicaciones de software interactiva, DCU no ha sido suficiente para posicionar al HCI como un tópico central dentro de la ingeniera de software [59]. La realidad es que DCU y las técnicas de ingeniería de software tienen solapamientos de objetivos tanto en los métodos usados en el proceso de desarrollo de software, los tipos de artefactos (documentos y entregables) que se usarán, y los atributos de calidad a priorizar [59]. PROCESOS DE DESARROLLO DE SOFTWARE “Los profesionales de HCI e investigadores han propuesto un numero de procesos de desarrollo que tienen en cuenta problemas particulares encontrados en la ingeniería de sistemas altamente interactivos. Entre estas metodologías podemos encontrar Star Lifecycle (Hix and Hartson, 1993), LUCID (“Logical User-Centered Interface Design” method of Smith and Dunckly, 1998), the Usability Engineering Lifecycle (Mayhew, 1999), Usage-Centered Design (Constantine, 1999), SANE Toolkit for cognitive modeling and user-centered design (Bosser et al., 1992), SEP (for user-centered requirements using scenarios) (McGraw, 1997) y IBM-OVID (Object, View, Interaction and Design) (Roberts, 1998)” [59]. 2. USABILIDAD La ISO 9421-11 (1998) define la usabilidad como la medida en la que un producto puede ser usado por usuarios específicos para alcanzar objetivos específicos con efectividad, eficiencia y satisfacción. La usabilidad no solo se relaciona con la interface de usuario, esta tiene múltiples componentes y tradicionalmente se asocia con estos cinco atributos de usabilidad [60], los cuales son enumerados a continuación: 18  Fácil de aprender: El usuario puede rápidamente comenzar a realizar algún trabajo con el sistema.  Eficiente: El sistema es eficiente en su uso, el usuario aprende y es posible alcanzar altos niveles de productividad.  Fácil de recordar: Un usuario no habituado en su uso será capaz de volver a usar el sistema luego de no haberlo usado por un periodo sin tener que aprender todo nuevamente.  Errores: El sistema deberá tener una baja tasa de errores, los usuarios tienen muy pocos errores al usar el sistema. Si hay alguno, los usuarios rápidamente pueden recuperarse de estos. Los errores graves no debieran ocurrir.  Satisfactorio: el usuario se siente satisfecho al usar el sistema. 2.1. PRINCIPIOS QUE SOPORTAN LA USABILIDAD Las reglas de diseño abstractas son principios generales que pueden ser aplicados al diseño de un sistema interactivo a fin de mejorar la usabilidad. La derivación de los principios de interacción surge de la necesidad de explicar porque un paradigma es exitoso y cuando no podría serlo [27]. Los principios son independientes de la tecnología. Dix [27], expone los principios de usabilidad en tres categorías: Aprendizaje - la facilidad con la que un usuario nuevo puede iniciar una interacción efectiva y alcanzar el máximo rendimiento. Flexibilidad - Múltiples formas en que el usuario y el sistema intercambian información. Robustez – Grado de apoyo brindado al usuario para determinar el logro exitoso de objetivos. En la categoría de aprendizaje encontramos los principios de familiaridad, consistencia, previsible, sintetizable y generalizable. Mientras que flexibilidad, se compone de iniciativa de dialogo, multihilo, migración de tareas, sustitución y personalización. Finalmente, la categoría de robustez se compone de observación, recuperación, sensibilidad y cumplimiento de tareas. 2.2. HEURISTICAS DE USABILIDAD. Nielsen [61] expone un conjunto de principios para evaluar la usabilidad de interfaces, los mismos que son amplios y aplicables a prácticamente cualquier tipo de interface aunque presenten gráficos y caracteres. Estos principios son aplicados a través del método de Evaluación Heurística y son descritos a continuación: Dialogo natural y simple – las interfaces deben ser simples, la adición de nuevo ítem o característica significa algo más que aprender, malinterpretar, o una característica adicional a ser buscada. Se debe emparejar las tareas del usuario de forma natural con la interfaz. Hablar en el lenguaje del usuario – los términos usados en las interfaces deben ser entendido por el usuario, se debe evitar términos de sistemas. 19 Minimizar la carga de memoria del usuario – las computadoras deben gestionar la carga información cuando se realice un trabajo, se debe mostrar elementos que permitan al usuario elegir o recordar algo que anteriormente vieron o hicieron. Consistencia – si el usuario visualiza comandos o acciones usadas en otros sistemas, sentirán confianza y estarán motivados a aprender y explorar nuevas estrategias ya que cuentan con parte del conocimiento para operar partes del sistema. Retroalimentación – el usuario debe estar continuamente informado sobre lo que está haciendo en el sistema y como sus acciones se están interpretando. La retroalimentación no debe esperar que una situación de error ocurra. Mostrar claramente las salidas – el usuario no debe sentirse atrapado por la computadora. Se debe proporcionar una sensación de control sobre el sistema, y ofrecer salidas fáciles a múltiples situaciones. Atajos – para la operación de la interface se deberían conocer pocas reglas, pero esta debería permitir también que un usuario experimentado realice operaciones rápidamente, usando atajos. Los aceleradores incluyen por ejemplo abreviaturas, teclas con funciones clave, doble clic, la sola presión de una tecla, etc. Buenos mensajes de error – las situaciones de error son críticas debido a que el usuario tendrá problemas en alcanzar sus objetivos. Estos estados que permiten ayudar al usuario, apoyan la comprensión del sistema y contribuyen a su mejora. Prevenir errores – deberían evitarse los errores en lugar de mejorar los mensajes de error. Ayuda y documentación – aunque la ausencia de documentación sea un objetivo del sistema, este no siempre puede ser cumplido. 3. METODOS DE EVALUACION Cuando las pruebas o inspecciones de usabilidad son realizadas al final del ciclo de diseño pueden ser costosas y difíciles de implementar. Los problemas de diseño detectados tempranamente tienen una mayor probabilidad de corregirse, pero con frecuencia, las pruebas de usabilidad son ignoradas por los desarrolladores que piensan que no tienen problemas de este tipo. La interfaz de diseño debería llamarse interfaz de desarrollo similar al desarrollo de software, ya que para su diseño se requiere fases de síntesis y componentes de interfaz de usuario, las cuales incluyen metáforas, modelos mentales, navegación, interacción, apariencia y usabilidad [62]. Los métodos de evaluación pueden ser divididos en métodos de inspección (sin usuarios finales), métodos de prueba (con usuarios finales), métodos de indagación (con los usuarios), metodologías con experimentos controlados (involucra el usuario final y la prueba de una hipótesis) y métodos adicionales (aquellos usados para apoyar otros métodos). 3.1. METODOS DE INSPECCION Es un conjunto de métodos que permiten identificar problemas y mejoras de usabilidad en el diseño de la interfaz por medio de validar contra estándares establecidos. Dentro de estos métodos se encuentran la Evaluación Heurística, el Recorrido cognitivo y Análisis de acciones [62]. 20 3.2. METODOS DE PRUEBAS DE USABILIDAD Los métodos que involucran pruebas con los usuarios finales son fundamentales e indispensables. Ellos proveen información del uso del sistema y los problemas encontrados en las interfaces a través de la observación del usuario, el cual realiza tareas pre definidas (Nielsen, 1994). Los métodos apuntan a observar y medir la interacción reuniendo datos cuantitativos de los usuarios [23]. Existen varios métodos para probar la usabilidad siendo los más comunes la inspección en voz alta, la observación en el campo y los cuestionarios. 3.3. METODOS DE INDAGACION Involucra reunir data cualitativa de tipo subjetiva que proporciona información valiosa sobre lo que quieren los usuarios. Entre los métodos de indagación que permiten obtener este tipo de información, se encuentran las entrevistas, cuestionarios y focus group [23]. 3.4. METODOLOGIAS DE EXPERIMENTOS CONTROLADOS Involucra la aplicación de un método científico para pruebas de hipótesis con usuarios reales a través de variables de control y uso de muestras lo suficientemente grandes para determinar estadísticos significativos. Aunque los experimentos controlados representan una de las metodologías de evaluación de usabilidad con menos efectos de sesgo, ellas son las más difíciles de implementar debido a que requieren gran número de participantes y variables de control [63]. 3.5. METODOS ADICIONALES Entre los principales métodos adicionales tenemos al prototipado, la votación ciega, la categorización y eye tracking. PROTOTIPADO El prototipado se enfoca en: … modelar el producto final y permitir efectuar un test sobre determinados atributos del mismo haciendo uso del modelo. Se puede probar características del prototipo como la interfaz, funcionalidad, posibilidades de ampliación, etc. En muchas ocasiones se dirá que cuanto más próximo se encuentre el prototipo al producto real, mejor será la evaluación, pero veremos que esto no tiene por qué ser así [64]. CATEGORIZACION … Hay dos métodos característicos: Categorización por Tarjetas (Card Sorting). - Se trata de un método de categorización donde los usuarios clasifican tarjetas que representan varios conceptos, en diversas categorías. Diagramas de Afinidad (Affinity Diagram). - Es un método de categorización donde los usuarios clasifican varios conceptos en notas Post It, en diversas categorías. Este método suele ser utilizado por un equipo para organizar una gran cantidad de datos, organizando las notas en grupos basándose en las relaciones y asociaciones que establecen entre los distintos conceptos [64]. 21 VOTACION CIEGA La implementación de votación ciega involucra el uso de equipos electrónicos y salas de conferencia equipadas donde cada asiento cuenta con un terminal. Los cuales están conectados a una pantalla grande se ve la participación de cada usuario, pero de manera anónima su participación es representada por una entrada donde se pueden poner ideas, conceptos y votos[65]. EYE-TRACKING Los evaluadores pueden identificar que miran los participantes durante el curso de una prueba de usabilidad. El equipo necesario para eye tracking es diverso incluyendo cámaras para el procesamiento de imágenes, lentes de contacto marcados y seguidores de reflejos [65, 66]. 22 DISEÑO Y REALIZACION DE LA REVISION SISTEMATICA CAPITULO V Esta sección presenta el diseño de la revisión y la ejecución de la revisión sistemática. A continuación, se siguen detalladamente cada uno de los pasos de la revisión sistemática que fue propuesta por Kitchenham [38, 39, 41]. 1. LA PREGUNTA DE INVESTIGACION La pregunta principal de este estudio buscar responder ¿Cómo ha sido usada la TF en evaluaciones de usabilidad? La pregunta principal ha sido dividida en sub preguntas: PI1. ¿Qué elementos intervienen al usar la TF en evaluaciones de usabilidad? PI2. ¿Qué factores omitidos en evaluaciones de usabilidad han sido abordados por la TF? PI3. ¿Qué estudios empíricos de técnicas que evalúan la usabilidad hay en la revisión? PI4. ¿Cuál ha sido el aporte de la TF en las evaluaciones de usabilidad? PI5. ¿Cómo los métodos de evaluación se usaron por la TF? Para la búsqueda de estudios primarios se fragmento la pregunta principal en base a los componentes definidos por el método PICOC. El criterio de comparación de PICOC no fue aplicado en este estudio porque no se desea realizar comparaciones del uso de la Teoría Fundamentada con el uso de otro método cualitativo. Tampoco fue usado el criterio de resultados/salidas porque para la revisión no se han definido resultados esperados. En la Tabla 5- 1 muestra los criterios del método PICOC aplicados a la pregunta de investigación del presente estudio. Criterio Descripción Population Evaluaciones de Usabilidad. (Población) Intervention Teoría Fundamentada. (Intervención) Comparison ----- (comparación) Outcomes ----- (salidas) Context Industria de software, académico, estudios empíricos (Contexto) (observaciones, cuestionarios, encuestas, experimentos controlados, casos de estudio, etc.) TABLA 5- 1.- APLICACIÓN DEL MÉTODO PICOC 2. ESTRATEGIA DE BUSQUEDA A continuación, se detalla la elección de la fuente de datos, los criterios de búsqueda y las fases de búsqueda. 23 2.1. FUENTE DE DATOS La búsqueda se realizó en bases de datos especializadas que incluían artículos científicos, congresos, manuales y libros. Las fuentes de datos que se usaron en este estudio, fueron:  ACM Digital Library  Elsevier Science Direct  Ebsco  IEEE Xplore  ISI Web of Science  Scopus Esta lista se compone de bases de conocimientos que usaron los términos de búsqueda “usabilidad” y “teoría fundamentada” para recuperar estudios. Las bases de datos que permitieron recuperar una cantidad mayor o igual a cinco estudios, pasaban a formar de las bases de datos que se incluirían en la lista que se usaría en esta revisión. SCOPUS paso a ser la base de datos que permitió recuperar el total de todos los estudios incluidos en esta revisión. A continuación, se mencionan las bases de datos donde también se buscó información pero que, a pesar de la cantidad de estudios recuperados, estos muchas veces ya habían sido obtenidos en Scopus o no estaban relacionados al tema de la investigación; entre esas bases y en orden descendente y de acuerdo a la cantidad de estudios recuperados, se encuentran Ebsco, ISI, Science Direct y ACM. 2.2. CRITERIOS DE BÚSQUEDA Los criterios de búsqueda se componen de aquellos términos que se obtienen al descomponer la pregunta principal de la investigación de acuerdo a los componentes del método PICOC. Los términos usados en la búsqueda fueron escritos en inglés, ya que este constituye el idioma oficialmente usado por la comunidad científica internacional para difundir sus trabajos de investigación. Estos términos son presentados en la Tabla 5- 2. Criterio Descripción Population Usability (Población) Intervention Grounded Theory (Intervención) Comparison - (comparación) Outcomes - (salidas) Context - (Contexto) TABLA 5- 2.- CRITERIOS DE BÚSQUEDA 24 Para el criterio población, se usaron las siguientes palabras en su equivalente en inglés: métodos de usabilidad, técnica de usabilidad, practica de usabilidad, procedimiento de usabilidad, enfoque de usabilidad, prueba de usabilidad, inspección de usabilidad, valoración de usabilidad, medición de usabilidad, evaluación de usabilidad. Todas estas combinaciones son mostradas en la Tabla 5- 3. En cuanto al criterio intervención, se concluyó que la expresión “Teoría Fundamentada” en su equivalente en inglés era suficiente para recuperar todos los estudios vinculados con esta metodología. Al momento de realizar la búsqueda, no se requirió del uso de términos equivalentes para esta expresión. Por otro lado, el componente asociado al contexto fue usado en un primer momento, pero luego se obvio a fin de no limitar la cantidad de estudios recuperados. Ello debido a que, al aplicar este componente, se reducía drásticamente la cantidad de estudios recuperados. La omisión del contexto amplio el número de estudios recuperados entre 100 a 200. Los términos usados al momento de la búsqueda se encuentran en la Tabla 5- 3. Componente Termino Original Termino Equivalentes 1 Method* 2 Technique* 3 Practice* 4 Procedure* 5 Approach* Population Usability evaluation 6 Test* (Población) 7 Inspection* 8 Assessment* 9 Measurement* 10 Evaluation* Usability Intervention Grounded Theory Grounded Theory (Intervención) TABLA 5- 3.- TÉRMINOS DE BÚSQUEDA DERIVADOS DEL MÉTODO PICOC * Donde el asterisco significa que la palabra puede ser usada en su forma plural para las búsquedas. Las cadenas de búsqueda básicas creadas a partir de los componentes del método PICOC de población e intervención son mostradas a continuación: C0 = Usability C1 = Usability AND Method* C2 = Usability AND Technique* C3 = Usability AND Practice* C4 = Usability AND Procedure* 25 C5 = Usability AND Approach* C6 = Usability AND Test* C7 = Usability AND Inspection* C8 = Usability AND Assessment* C9 = Usability AND Measurement* C10 = Usability AND Evaluation* C11 = Grounded Theory Estas cadenas básicas pueden combinarse usando el operador “OR”, ello permitirá que la búsqueda pueda usar la expresión formada por las cadenas básicas. Mientras, el uso del operador “AND” obliga a que se usen de forma obligatoria cada una de las cadenas básicas unidas por el operador “AND”. La expresión usada en las búsquedas fue: (C0) AND (C11) Donde: C0 = {(C1) OR (C2) OR (C3) OR (C4) OR (C5) OR (C6) OR (C7) OR (C8)} La cadena básica C0 es genérica y contiene la combinación de las cadenas que van de la C1 hasta C10 y son unidas por el operador “OR”. En un principio se realizó la búsqueda usando la expresión “[(C1) OR (C2) … OR (C10)] AND (C11)” pero posteriormente se vio conveniente hacer uso de la expresión genérica “(C0) AND (C11)“ a fin de obtener un mayor número de estudios y no limitar la búsqueda en las distintas bases de conocimiento. La búsqueda de los términos “Usabilidad” y “Teoría Fundamentada” fueron asignados a los campos filtro de cada base de datos. En la Tabla 5- 4, se detalla que cadenas de búsquedas fueron usadas en las distintas fuentes de datos. Así también, se detalla en que campos filtro de las bases de conocimiento se buscó dicha expresión, como se muestra en la Tabla 5- 4. Es importante indicar que la cadena de búsqueda según la nomenclatura particular de cada base de conocimiento, pero en todas ellas, se buscó, en el título, abstract y palabras clave. Base de Datos Cadena de Búsqueda Campos Filtro Buscados Scopus TITLE-ABS-KEY(usability) AND TITLE- título, abstract y ABS-KEY (“grounded theory”) palabras claves acmdlTitle:(+USABILITY+”GROUNDED Titulo THEORY”) recordAbstract:(+USABILITY+”GROUNDED Abstract ACM THEORY”) keywords.author.keyword:(+USABILITY Palabras Claves del +”GROUNDED THEORY”) Autor EBSCO TI usability AND TI “grounded theory” Titulo 26 AB usability AND AB “grounded theory” Abstract SU usability AND SU “grounded theory” En la Fuente (“Document Title”:”usability” AND “Document Title”:”grounded theory”) OR En el documento, (“Abstract”:”usability” AND abstract y palabras IEEE xplorer “Abstract”:”grounded theory”) OR (“Author clave Keywords”:”usability” AND “Author Keywords”:”grounded theory”) TS=(“usability” AND “grounded theory”) OR Abstract y titulo ISI TI=(“usability” AND “grounded theory”) SCIENCE TITLE-ABSTR-KEY(usability) AND TITLE- Título, abstract y DIRECT ABSTR-KEY(“grounded theory”) palabras clave TABLA 5- 4.- SINTAXIS DE BÚSQUEDA QUE FUERON USADAS EN LAS DISTINTAS BASE DE DATOS 2.3. FASES DEL PROCESO DE BUSQUEDA El proceso de búsqueda comprendió las siguientes fases:  Búsqueda Primaria: Se realizó la búsqueda con la expresión genérica de la sección anterior. La misma que fue usada en las distintas bases de datos. La literatura gris no es considerada en este estudio porque no cumple con las normas de control bibliográfico debido a que son trabajos parciales, no se puede evaluar su calidad, no forman parte de una publicación formal, y su búsqueda devuelve gran cantidad de estudios irrelevantes [67].  Búsqueda Secundaria: Esta búsqueda se realizó sobre los estudios que fueron recuperados a partir de la búsqueda primaria. Si algún estudio recuperado presenta referencias o citaciones relevantes, se realizó la búsqueda secundaria que consiste en buscar estas referencias y contar con mayor información para el análisis. Es fin de este tipo de búsqueda ayudar en la comprensión del estudio primario, buscar artículos relacionados al tema de investigación, y mejorar los términos de búsqueda. Adicionalmente, se ha hecho uso de Scholar Google para recuperar información citada en estudios de búsquedas primaria y secundaria. Su uso permitió visualizar versiones del archivo buscado, el número de veces que un artículo había citado; y permitió generar automáticamente citaciones que fueron importadas en EndNote. Se usó Scholar Google para búsquedas secundarias porque no cuenta con restricciones de usuario y password. 27 2.4. SELECCIÓN DE ESTUDIOS En este apartado toca considerar los criterios de exclusión e inclusión que fueron definidos para este estudio. A continuación, se describen los criterios empleados. 2.4.1. CRITERIOS DE INCLUSION / EXCLUSION Los estudios recuperados luego de haber usado las cadenas de búsqueda fueron filtrados en base a los siguientes criterios de exclusión inclusión y exclusión: Criterio de Inclusión: Para la selección de estudios primarios se consideraron los siguientes criterios de inclusión:  Los estudios deben estar escritos en inglés.  Los estudios recuperados deben ser del ámbito académico o la industria, pero vinculados al desarrollo de software.  Los estudios deben mostrar un fuerte vínculo entre evaluaciones de usabilidad y la Teoría Fundamentada (TF) Criterio de Exclusión: Para la selección de estudios primarios se consideraron los siguientes criterios de Exclusión:  Las evaluaciones de usabilidad y la TF son únicamente mencionadas en referencias, palabras claves o trabajos futuros.  Evaluaciones de usabilidad y TF son presentadas en conclusiones, resultados o productos que se obtienen al finalizar un determinado estudio.  Libros y conferencias incluyen los términos “evaluación de usabilidad” y “Teoría Fundamentada” de forma separada y no presentan vínculo alguno. 2.5. VALORACION DE LOS ESTUDIOS PRIMARIOS La lista de verificación usada por Kitchenham fue usada en esta investigación y consta de 11 criterios que permiten valorar cada estudio, los detalles de la valoración son descritos en el capítulo III, sección 2.5.5. La valoración realizar para este estudio se encuentra en el respectivo anexo. 2.6. ESTRATEGIA DE EXTRACCION DE DATOS El formulario de extracción fue diseñado a fin de responder las preguntas formulas en la investigación; las mismas que se listan a continuación: PP. ¿Cómo ha sido usada la TF en evaluaciones de usabilidad? PI1. ¿Qué elementos intervienen al usar la TF en evaluaciones de usabilidad? PI2. ¿Qué factores omitidos en evaluaciones de usabilidad han sido abordados por la TF? PI3. ¿Qué estudios empíricos de técnicas que evalúan la usabilidad hay en la revisión? PI4. ¿Cuál ha sido el aporte de la TF en las evaluaciones de usabilidad? PI5. ¿Cómo los métodos de evaluación se usaron por la TF? 28 Identificador Identifica de manera única el estudio a revisar Titulo Título del artículo Autor Nombre de los autores del articulo Año de Publicación Año de publicación del documento Fuente Nombre de la base de datos donde se extrae el documento Objetivo del estudio Que se busca en el articulo Área de Aplicación Área donde se aplicado la investigación La evaluación en qué etapa de desarrollo En qué etapa del desarrollo del aplicativo se del aplicativo se dio? llevó la evaluación. Herramientas de apoyo a la Investigación Herramientas usadas en la investigación Método de Evaluación de usabilidad Que métodos o conceptos de evaluación de Aplicado usabilidad fueron usados en los estudios Metodología de Investigación del estudio Cual fueron las actividades realizadas en el estudio o que metodología fue usada para realizar la ejecución del estudio Tipos de usuarios de las pruebas Que usuarios probaron los aplicativos evaluados. ¿Los usuarios fueron especialistas en usabilidad, o usuarios comunes que estaban vinculados al área donde se usa el aplicativo? Ejecución del estudio Como se realizó el estudio, los actividades y tareas realizadas. Enfoque o Tipo de TF que se uso Qué tipo de variante de TF fue usada. Fases de TF usadas Que fases o procesos de TF que fueron usados en los estudios. Como se usó de la TF Como fue usada la TF, como se aplicó. Resultados obtenidos del uso de la TF Qué resultados se obtuvieron del uso de la TF Resultados obtenidos del estudio Qué resultados se obtuvieron del estudio realizado Texto Extraído Que texto importante se puede extraer del artículo. Enlaces relacionados Enlaces de interés que pueden ser usados para realizar las búsquedas secundarias TABLA 5- 5.- FORMULARIO DE EXTRACCIÓN 3. EJECUCION DE LA REVISIÓN SISTEMÁTICA Se realizaron dos revisiones en tiempos diferentes; en cada una de ellas, se buscaron los artículos usando la expresión descrita en el punto 2.2 que fue adaptada según las distintas sintaxis de cada base de datos como se indica en la Tabla 5- 4, sección 2.2. La primera se realizó en el mes de agosto del año 2017; mientras que la segunda fue realizada 9 de diciembre de 2018. La facilidad de búsqueda y recuperación de artículos en las bases de datos varía considerablemente de una a otra. Se debe tener en cuenta que cada base de datos presenta dos tipos de búsquedas; una simple y otra avanzada. Scopus proporciona una interfaz clara, intuitiva y efectiva para simples, nuestra investigación no requirió la búsqueda avanzada en esta base de datos. En Ebsco, la búsqueda simple no fue intuitiva; a diferencia de la búsqueda avanzada que presento una interfaz más simple. En esta base de datos, se encontraron 29 inconsistencia entre el contador de estudios encontrados y la cantidad de estudios mostrados. Por otro lado, ScienceDirect presenta una búsqueda simple limitada sin opción de poder elegir filtros para la búsqueda; mientras, la avanzada es similar a una búsqueda simple de Scopus, es decir una búsqueda más amigable. Finalmente, la interfaz de búsqueda en ISI y IEEExplorer son sencillas y de fácil uso, el único problema presente en estas bases de datos fue el bajo número de estudios recuperados. 3.1. RESULTADO DE LA BUSQUEDA. La búsqueda se realizó en dos fechas y en años diferentes; las cuales son descritas a continuación. La primera revisión se realizó sobre seis bases de datos en agosto del 2017. Para la búsqueda de estudios no se restringió la fecha; ni el área de aplicación o industria. En un primer momento estos filtros fueron usados, pero ello redujo drásticamente el número de estudios recuperados; motivo por el cual, estos criterios fueron omitidos en todas las bases de datos. En esta primera búsqueda se recuperó un total de 165 estudios primarios a partir de la estrategia de búsqueda descrita en el punto 2 de este capítulo. Del total de estudios recuperados se procedió a eliminar 56 estudios que se repetían en las distintas bases de datos. Así también, se observó duplicidad en una misma base de datos porque un estudio era clasificado como articulo y conferencia, ello generaba que aparezca un estudio dos veces en una búsqueda. Del total de estudios, se eliminaron 6 registros recuperados en Scopus, que eran referencias de conferencias. Luego de eliminar las referencias a conferencias y los estudios repetidos, quedaron un total de 103 estudios, a los que se les aplico los criterios de exclusión/inclusión quedando solo 8 elementos a ser incluidos en la revisión. A continuación, se describe el detalle de la revisión; Scopus permitió recuperar todos los estudios incluidos en el estudio; así también permitió recuperar el mayor número de estudios, 104 en total. En Ebsco 23 estudios se recuperaron; 21 de los cuales eran repetidos y 2 fueron excluidos por criterios de exclusión/inclusión. En ISI se recuperaron 15 estudios, 12 eran repetidos y 3 fueron excluidos por criterios de exclusión/inclusión. ScienceDirect permitió recuperar 10 estudios, 9 eran repetidos y uno fue eliminado por criterios de exclusión/inclusión. La cantidad de estudios obtenidos al realizar la búsqueda en las diferentes bases de datos se muestran en la siguiente Tabla 5- 6. 30 Nombre de Resultad Papers Papers no Antes de Eliminados Papers la BD os de la Duplicados encontrados Criterios x Criterios Validos Búsqued Exclusión a SCOPUS 104 4 6 94 86 8 ACM 6 5 0 1 1 0 Ebsco 23 21 0 2 2 0 IEEExplorer 7 5 0 2 2 0 ISI (Web de 15 12 0 3 3 0 la Ciencia) Science 10 9 0 1 1 0 Direct Total 165 56 6 103 95 8 TABLA 5- 6.- RESULTADOS OBTENIDIOS EN LA PRIMERA BÚSQUEDA- AGOSTO 2017 Para aplicar los criterios de exclusión/inclusión se revisaron títulos, resúmenes y conclusiones de los artículos; así también se realizó una revisión parcial o total de los artículos. El orden en que se aplicaron los criterios de inclusión/inclusión tiene gran importancia, ya que el incumplimiento de uno de ellos eliminaba el artículo recuperado, no siendo necesario evaluar los criterios restantes. En esta etapa se siguió lo indicado en la sección 2.4.1 de este capítulo. Luego aplicar los criterios de exclusión e inclusión, quedaron ocho estudios que se incluirían en el estudio, la totalidad de ellos pertenecían a la base de datos Scopus. Estos artículos seleccionados fueron insertados en el gestor bibliográfico, EndNote. Para valorar la calidad de un estudio, se deben cumplir los criterios de calidad, tales como: informe, rigor, credibilidad y relevancia. Estos criterios son evaluados en base a preguntas, cuya respuesta estará representado por ‘0’ y ‘1’. Solo hay una pregunta en la lista de criterios que elimina un estudio de la revisión. En esta revisión no se eliminó ningún artículo. La segunda revisión que fue realizada en diciembre del 2018, se recuperaron los estudios como se muestra en Tabla 5- 7. Nombre de Resultados Papers Antes de Eliminados Papers la BD de la 2da Duplicados Criterios x Criterios Validos Búsqueda Exclusión SCOPUS 121 104 17 17 0 ACM 7 6 1 1 0 IEEExplor 12 12 0 0 0 er Science 59 10 49 49 0 Direct Total 199 132 67 67 0 TABLA 5- 7.- RESULTADOS OBTENIDOS EN EL SEGUNDA BÚSQUEDA DICIEMBRE 2018 3.2. EXTRACCION DE DATOS La extracción de información se realizó sobre los ocho estudios que quedaron luego de aplicar excluir artículos duplicados, eliminar conferencias, aplicar los criterios de inclusión y exclusión; y los de calidad. La información extraída de cada uno de los estudios fue registrada en el formular de extracción que fue definido en el punto 2.6 de este capítulo. 31 El formulario de extracción elaborado para este estudio permitió recoger detalles importantes que han sido sintetizados y fueron usados para responder las preguntas formuladas para esta investigación. Los artículos seleccionados se muestran en la Tabla 5- 8. Tipo de Código Titulo Autor Año Trabajo Elliott, G. J. A grounded theory approach to modelling Jones, E. A1 learnability of hypermedia authoring tools Barker, P. 2002 Artículo The Web Performance of Different Types of Ahonen, Aki Online Insurance Providers-A Wake Up Call to Windischhofer, Artículo de A2 Traditional Insurance Providers Richard 2005 Conferencia A grounded theory approach to understanding Namkung, Y. the website experiences of restaurant Shin, S. Y. A3 customers Yang, I. S. 2007 Artículo Cognitive dimensions and grounded theory in Arcs, G. A4 learning software modeling Razali, R. 2009 Artículo Usability requirements of formal verification Razali, R. A5 tools: A survey Garratt, P. 2010 Artículo Templates for Cross-Cultural and Culturally Specific Usability Testing: Results From Field Studies and Ethnographic Interviewing in Three Clemmensen, A6 Countries Torkil 2011 Artículo What do users really care about? A comparison of usability problems found by users and experts on highly interactive Petrie, H. Artículo de A7 websites Power, C. 2012 Conferencia Evaluating user perceptions of mobile Grindrod, K. A. medication management applications with Li, M. A8 older adults: A usability study Gates, A. 2014 Artículo TABLA 5- 8.- ESTUDIOS OBTENIDOS LUEGO DE APLICAR LOS CRITERIOS DE EXCLUSIÓN/INCLUSIÓN 3.3. RESULTADOS Y ANALISIS La búsqueda se realizó usando la expresión descrita en el sección 2.2., que permitió recuperar un total de 165 estudios. Pero el uso de los criterios de exclusión e inclusión que vinculan de forma directa las evaluaciones de usabilidad y la Teoría Fundamentada (TF) redujeron este número a solo ocho los estudios. Los estudios recuperados han proporcionado información sobre cómo hasta el momento se han venido abordando estudios que hacen uso de la TF en evaluaciones de usabilidad. A continuación, se responden las preguntas de investigación formuladas para el presente estudio. PI1. ¿Qué elementos intervienen al usar la TF en evaluaciones de usabilidad? Entre los elementos que intervienen en las evaluaciones de usabilidad al hacer uso de la TF, se encuentran: - La TF - Las herramientas de usabilidad - Aplicativos usados para evaluar la usabilidad 32 - Los usuarios que realizan las pruebas. Con el objetivo de detallar como fueron usados cada uno de ellos, se han formulado las siguientes preguntas: a) ¿Qué variantes de la TF fueron usadas en los estudios recuperados? b) ¿Qué procesos de la TF fueron usados en los estudios recuperados? c) ¿Qué herramientas permitieron recuperar los datos a procesar por la TF? d) ¿Qué herramientas permitieron automatizar el análisis cualitativo? e) ¿Qué herramientas y métodos de usabilidad fueron usados? f) ¿Cuáles son las áreas a las pertenecen los estudios recuperados? g) ¿Qué usuarios se usaron para evaluar la usabilidad de los aplicativos? a) ¿Qué variantes de la TF fueron usadas en los estudios recuperados? Son cuatro las variantes de la TF descritas por Hernández en su trabajo “Generación de la Teoría Fundamentada” y estas son: la TF Glaser&Strauss, Strauss-Corbin, Charmaz y la TF del Postmodernismo [34]. En la revisión, 50% de los estudios recuperados hicieron uso de la variante de la TF de Strauss-Corbin. La Tabla 5- 9 muestra las variantes de la TF y en que estudios fueron usadas. Variante de la TF Estudios donde fue aplicado Porcentaje Glasser & Strauss [A1] (Elliot), [A2] (Ahonen-deducida) 25% Strauss-Corbin/Strauss [A3] (Namkung)(Strauss), [A4] 50% (Arcs)(Strauss), [A5] (Razali), [A7] (Petrie-deducida) Charmaz 0 TF Postmodernismo 0 Otras Variantes (Strauss, [A6] (Clemmensen) (Glaser & 25% Glaser & Holton) Holton), [A8] (Grindrod) (variado) TABLA 5- 9.- VARIANTE DE LA TF POR ESTUDIO Y PORCENTAJE DE USO De los ocho estudios revisados encontramos que en [A1] y [A2] se usó el enfoque de Glaser&Strauss, siendo la variante del estudio [A2] deducida. En los estudios [A3], [A4], [A5], y [A7] se usó el enfoque de Strauss&Corbin, siendo la variante del estudio [A7] deducida. Mientras que para el grupo de “Otras Variantes”, el estudio [A6] empleo el artículo de Glaser&Holton (se hace énfasis en el uso de la TF Glaser bajo el marco del análisis de datos cualitativos-QDA) como herramienta para el análisis de su investigación y en el estudio [A8] hace uso de un mix de conceptos de TF no usando una variante de esta metodología. La variante de TF fue asociada a un determinado estudio por deducción o porque fue descrito explícitamente en el estudio. La variante asociada por deducción se realizó cuando se encontró el tipo de variante del estudio en la referencia, como en los estudios [A2] y [A7]. En los estudios revisados se nota una clara inclinación por el uso de la TF de Strauss-Corbin. Siendo elegida como indica Razali en el estudio [A5] por ser sistemática y directa. La elección de esta variante radica porque en ella se muestra como desarrollar la metodología el curso de una investigación [34]. 33 b) ¿Qué procesos de la TF fueron usados en los estudios recuperados? La aplicación de la TF hace uso de procesos que se conocen como la codificación abierta, axial y selectiva. Es posible usar la TF de forma parcial, no siendo necesario usar siempre los tres procesos. En los estudios revisados, el principal uso dado a la TF fue generar una teoría. Un segundo uso dado fue categorizar y buscar relaciones entre categorías y esto corresponde tanto a la codificación abierta, como la axial. En la Tabla 5- 10, se detalla que procesos se usaron en cada uno de las investigaciones incluidas en el estudio. Fase de TF Estudios donde fue aplicado Porcentaje Abierta [A2] (Ahonen), [A7] (Petrie), 25% Abierta-Axial [A1] (Elliot), [A5] (Razali) 25% Abierta-Axial-Selectiva [A3] (Namkung), [A4] (Arcs), [A6] 50% (genera teoría) (Clemmensen), [A8] (Grindrod) TABLA 5- 10.- FASES DE TF Y ESTUDIOS DONDE SE APLICO Entre los estudios que incluyen todos los procesos de la metodología y permiten generar una teoría, se tiene a los estudios [A3], [A4], [A6] y [A8]. Entre los estudios que usan la TF para categorizar datos se encuentran [A2] y [A7]. Mientras que en los estudios [A1] y [A5] tanto se buscan categorías como las relaciones entre ellas. Los estudios que hicieron uso del proceso de codificación axial, buscaron principalmente generar categorías y definir nuevas heurísticas de usabilidad. En el uso de la TF en evaluaciones de usabilidad se ha buscado categorizar la información y la generación de una teoría. La aplicación de determinado proceso de esta metodología depende de los objetivos del estudio. c) ¿Qué herramientas permitieron recuperar los datos a procesar por la TF? Entre las herramientas usadas para obtener los datos que luego fueron procesados por la TF se encuentran; encuestas, cuestionarios, focus group, entrevistas, grabaciones y los propios métodos de evaluación. Debido a que la TF permite generar categorías, establecer relaciones entre categorías y generar teorías; para ello requiere del uso de herramientas que le proporcionen datos para que pueda procesarlos y generar dicha información. En la Tabla 5- 11 se muestra las herramientas usadas para obtener los datos en los estudios recuperados. Herramientas usadas para Estudios donde se aplico Numero de estudios obtener los datos aplicados Encuestas, Cuestionarios [A1] , [A2], [A4], [A5], [A8] 5 Focus Group [A1], [A7], [A8] 3 Entrevistas [A2], [A3], [A6](EE, EP) 3 Métodos de Evaluación de [A6](TA), 7(MEUV) 2 Usabilidad Grabaciones [A1], [A6], [A7], [A8] 4 TABLA 5- 11.- HERRAMIENTAS DE OBTENCIÓN DE DATOS POR ESTUDIO EE= Entrevista Etnográfica EP= Entrevista en Profundidad 34 TA= Think Aloud MEUV= Métodos de evaluación de usabilidad variados Las encuestas y cuestionarios fueron diseñadas y elaboradas usando conceptos y herramientas de usabilidad. En el estudio [A1], las encuestas son diseñadas haciendo uso de las medidas el Molnar y Kletke. En los estudios [A4] y [A5] para la elaboración de las encuestas se tomaron en cuenta las notaciones cognitivas de Green, y los criterios de usabilidad ISO. Así también, entre las herramientas que fueron usadas en mayor frecuencia se encuentran las encuestas, cuestionarios y grabaciones; en segundo lugar, fueron usados los focus group y entrevistas. Finalmente, los datos generados del uso de los métodos de evaluación constituyen la última fuente que suministro datos a la TF; entre estos métodos se tiene a Think Aloud y a los métodos de evaluación usabilidad grupal. Adicionalmente, se usaron focus group, entrevistas en profundidad, grabaciones de voz y de video, encuestas, y etnografía. Así como, el uso de métodos de evaluación de usabilidad. d) ¿Qué herramientas permitieron automatizar el análisis cualitativo? Dentro de las herramientas que automatizaron el análisis cualitativo que es propiamente la aplicación de la TF, se tiene a Nvivo y Atlas.ti. En la Tabla 5- 12, se muestra el estudio y la herramienta automatizada que fue usada, mientras que en los estudios restantes se asume que la TF fue realizada de forma manual. Se observa el predomino el procesamiento manual al aplicar la TF. Tipo de Herramienta usada Estudios donde se aplico Porcentaje Nvivo [A2] (Ahonen) 12,5% Atlas.ti [A6] (Clemmensen) 12,5% Manual o no detallada [A1], [A3], [A4], [A5], [A7] y [A8] 75% TABLA 5- 12.- HERRAMIENTAS PARA AUTOMATIZAR EL ANÁLISIS CUALITATIVO POR ESTUDIO Los datos que procesa la TF provienen de cuestionarios, encuestas, entrevistas, y fuentes multimedia. Dentro de los estudios revisados, se ha encontrado un uso limitado de herramientas que permiten automatizar el análisis de datos cualitativos (QDA). Las herramientas usadas para automatizar la TF fueron Nvivo y Atlas.ti, los mismas que fueron descritas en los estudios [A2] y [A6]. Es importante mencionar que el software de análisis cualitativo cubre un amplio rango de procesos y permite analizar el contenido de transcripciones, discursos, codificación, texto, imágenes, y grabaciones. La elección de una determina herramienta de análisis cualitativo al momento de emplear la TF dependerá de las preferencias, cantidad de información y criterio personal de cada investigador. e) ¿Qué herramientas y métodos de evaluación asociados a la usabilidad fueron usados? En los estudios recuperados se observa el uso variado uso que fue dado a las herramientas de usabilidad; tales como; métodos, herramientas y criterios de usabilidad. En la Tabla 5- 13, se muestra la descripción de las herramientas de usabilidad, el estudio donde fueron aplicadas y cuantas veces en la revisión se usaron. 35 Descripción de herramienta, método, concepto Estudios donde se #Veces usada de Usabilidad aplico en la revisión Medidas de Molnar y Kletke, distingue facilidad [A1] 1 de uso y aprendizaje Framework de Scharl y Bauer para evaluar la [A2] 1 usabilidad de Websites Framework de Usabilidad de usabilidad para [A1] (usada solo x 3 notaciones de modelado “Dimensiones referencia), [A4], [A5] Cognitivas de Green” Escala de Usabilidad de sistemas SUS [A8] 1 Criterios de usabilidad ISO [A4], [A5] 2 Evaluación Heurística [A2] 1 Think Aloud [A6],[A7] 2 Colaborativas, Evaluación Heurística, Recorrido [A7] 1 experto de grupo, Recorrido experto de dominio Conceptos de usabilidad y documentación [A3] 1 variada TABLA 5- 13.- HERRAMIENTAS DE USABILIDAD USADAS EN LA REVISIÓN En la revisión las diversas herramientas de usabilidad fueron usadas de diversas formas. En el caso de herramientas de usabilidad usadas como elementos de apoyo, se tiene a las medidas de Molnar y Kletke, las dimensiones cognitivas de Green y los criterios de la ISO; que fueron usadas para el diseño de encuestas y cuestionarios, como se detalla en los estudios [A1], [A4] y [A5]. Así mismo, la escala de usabilidad de sistemas SUS del estudio [A8] fue usada para el análisis cuantitativo del estudio y no para el análisis realizado por la TF. En el estudio [A3] se hizo uso de información variada y relacionada a la usabilidad principalmente sirvió para elaborar entrevistas semi-estructuradas. Por otro lado, los métodos de evaluación como las evaluaciones heurísticas, Think Aloud y métodos de evaluación grupal se usaron para evaluar la usabilidad de productos de software, como en los estudios [A2], [A6] y [A7]. f) ¿Cuáles son las áreas a las que pertenecen los estudios recuperados? Los estudios fueron realizados en diversas áreas, siendo predominante el área de la informática. La TF y las evaluaciones de usabilidad se usaron en diversas áreas. En la Tabla 5- 14 se muestra a que área pertenece cada estudio. Área donde se aplicó el Estudios donde se aplico Porcentaje estudio Educación [A1] (Elliot) 12,5% Seguros [A2] (Ahonen) 12,5% Servicios - Restaurants [A3] (Namkung) 12,5% Informática [A4] (Arcs) M*, [A5] (Razali) M*, [A6] 50% (Clemmensen) U*, [A7] (Petrie) U* Salud [A8] (Grindrod) 12,5% TABLA 5- 14.- ÁREA DONDE SE APLICAN LA TF Y LAS EVALUACIONES DE USABILIDAD 36 M = Modelado de Software U = Herramientas de usabilidad Los estudios orientados a un área realizaron evaluaciones sobre aplicaciones orientadas a esa área, como en los estudios [A1], [A2], [A3], [A4] y [A5]. Es así, que para estudios en el área de educación se usaron aplicativos para enseñanza como en [A1]. Investigación en el área de seguros como en [A2], hicieron uso de aplicativos de seguros para la evaluación. En el área de servicios de comida como en [A3], se emplearon aplicativos para restaurants. Para el área de informática, los estudios [A4] y [A5] usaron aplicativos de notación de modelado. Finalmente, en el área de salud, se usaron aplicativos de gestión de salud en el estudio [A8]. En los estudios [A6] y [A7] se usó software de varias áreas; ya que el área de aplicación era amplia y no estaba asociada a un área en particular, estos dos estudios fueron asignados al área de Informática. En el estudio [A6] se evaluó el uso de métodos de evaluación en diferentes lugares geográficos y se usó software variado que no pertenece a un área específica. En este estudio, se evaluaron websites de periódicos, páginas de empresas de telecomunicaciones, site de e-learning, motores de búsqueda, chats, workflow y móviles. Mientras en el estudio [A7], se tiene por objetivo mejorar la usabilidad en webs altamente interactivas y transacciones; para ello, se evalúan seis websites que prestan diversos servicios del gobierno que son complejas, altamente interactivas y transaccionales; así mismo, se evaluaron webs de educación. g) ¿Qué usuarios fueron usados para evaluar la usabilidad de los aplicativos? El objetivo de esta pregunta es conocer la idoneidad del usuario elegido para realiza la prueba; es decir, se quiere saber si el usuario contaba con el conocimiento para realizar la prueba. En los resultados obtenidos observamos que los usuarios que evaluaron los aplicativos no fueron elegidos al azar; ellos presentaban cierto grado de conocimiento del área a la que pertenece el aplicativo. En la Tabla 5- 15, se muestra el área a la que pertenece el aplicativo y el tipo de usuario que evaluó el aplicativo. Área donde se aplicó el Estudio donde se Descripción del usuario (adecuado/no estudio aplico adecuado) Educación [A1] Se usaron profesores Seguros [A2] Se reclutaron estudiantes con estudios de seguros Servicios - Restaurants [A3] Se seleccionaron comensales con una frecuencia 2 a 3 veces por semana Informática [A4], [A5], [A6], Estudiantes de computación [A7] Salud [A8] Personas medicadas que ya habían usado aplicativos de gestión de salud. TABLA 5- 15.- TIPOS DE USUARIO X ÁREA En general todos los estudios presentaban los evaluadores idóneos, la única distinción que se puede hacer, es sobre el área de aplicación que abarca cada estudio. En el caso de estudios enfocados a un área específica, se tiene a los estudios [A1], [A2], [A3], [A4], [A5] y [A8]. En el estudio [A1] donde aplicaciones orientadas a la enseñanza fueron probadas por educadores. Aplicaciones del área de seguros fueron evaluadas por estudiantes con cursos 37 de seguros, como se indica en el estudio [A2]. Aplicaciones de restaurantes fueron probadas por personas que salían a comer con una frecuencia de 2 a 3 veces por semana, estudio [A3]. Aplicaciones de modelado de sistemas fueron evaluadas por estudiantes de postgrado de ingeniería de sistemas, como se describe en los estudios [A4] y [A5]. Aplicaciones orientadas a la administración de medicación fueron probadas por personas con tratamientos médicos y que ya venían utilizando este tipo de aplicativos, como en el estudio [A8]. Hay casos en que el estudio abarca más de un área de aplicación como en el estudio [A6] y [A7]. En el caso del estudio [A6] se usaron software de aplicación general como, website proveedor de telecomunicaciones, web para escuela de e-learning, motor de búsqueda, software de chat, interfaz móvil, work flow. Es por ello, que los usuarios solo debían cumplir con ciertos rasgos que ayuden a mejorar la influencia de aspectos culturales en las pruebas de usabilidad, entre estos rasgos se encontraban la edad, el nivel social entre el evaluador y el evaluado. En el estudio [A7]; se combinaron trabajadores y estudiantes que evaluaron webs de servicios públicos y de educación, respectivamente. PI2. ¿Qué factores que intervienen en las evaluaciones han sido abordados por la TF? Antes de describir que factores han sido cubiertos a través del uso de la TF, es bueno mencionar dos estudios que nos permiten ahondar sobre este tema. Explícitamente, estos factores han sido descritos tanto por Elliot y Clemmensen y son descritos a continuación. Elliot, los menciona al señalar que “el principal problema de los métodos de evaluación de usabilidad es la subjetividad de la evaluación y la interacción de factores, tales como, las características del usuario, el entorno y el tamaño de la muestra de usuarios” [5]. Así mismo, Clemmensen, hace referencia de ellos cuando menciona “la inherente subjetividad en las pruebas de usabilidad, más bien pueden seguir practicas comunes surgidas en el contexto de la historia y la cultura de cada región del mundo” [29]. Gracias a los descrito en el párrafo anterior, se puede decir que entre los factores para evaluar la usabilidad se tiene a las características del usuario, el entorno, el tamaño de la muestra, historia y la cultura. El uso de la TF permite formular solución a los problemas que surgen al omitir dichos factores en la evaluación. El uso de la TF puede también permitir revelar nuevos factores, y dar detalles sobre ellos; tal como lo describe el estudio de Grindrod, en donde menciona que la edad es una característica de usuario que debe ser considerada [68]. Entre los factores que han sido abordados por la TF en la revisión, se tiene el relacionado al aprendizaje, el tipo de aplicativo, la cultura y características de usuario. En la Tabla 5- 16 se muestra que factor analizado y el estudio asociado. Factor a abordar Tipo de Usuario (Adecuado o No adecuado) Cognitivo o de aprendizaje [A1] (Elliot), A4 (Arcs) Área donde se enfoca (tipo de aplicativo) [A2] (Ahonen) Cultural [A6] (Clemmensen) Característica de usuario - Edad [A8] (Grindrod) TABLA 5- 16.- FACTORES QUE FUERON CUBIERTOS A TRAVÉS DEL USO DE LA TF 38 El aspecto o factor de aprendizaje es descrito en el estudio de Elliot y Arcs. Elliot tiene como objetivo analizar la facilidad de aprendizaje, el uso de la TF genera un modelo de aprendizaje que se compone de factores y la relación entre ellos [5]. Arcs, analiza la facilidad de aprendizaje de herramientas de modelado de software. Hace uso de la TF y genera conocimiento que permite combinar las notaciones formales y semi-formales [69]. Es claro que un mayor entendimiento de la parte cognitiva al realizar las evaluaciones ayudaría a mejorar la facilidad de uso, ya que el aprendizaje es un principio en los que se basa la usabilidad. El factor asociado al tipo de aplicativo que corresponde a un área específica de aplicación, es tratado en el estudio de Ahonen. En este estudio orientado al área de seguros, se concluye que para mejorar la usabilidad del aplicativo se debe mejorar la presentación de la información y se debe contar con asistencia al usuario de forma permanente [70]. Esta información se deriva de la abundante información presente en las páginas web de empresas aseguradoras, que lejos de orientar al usuario, lo confunden. El factor cultural, es tratado en el estudio de Clemmensen, quien al aplicar la TF ha permitido obtener un modelo teórico de la producción de informes de problemas de usabilidad y ha generado un conjunto de plantillas para evaluar la usabilidad cultural [29]. En factor relacionado a las características del usuario, es tratado por Grindrod. El uso de la TF revela que se debe considerar la edad de las personas al diseñar aplicativos de gestión de salud [68]. Los muchos problemas físicos que presentan las personas de avanzada edad; como la vista, audición y problemas físicos no son tomados en cuenta al diseñar y elaborar este tipo de aplicativos de salud [68]. Existen una variedad de factores que interviene en la evaluación, el uso de la TF podría permitirnos detectar cuales son ellos, los mismos que varían y dependen de la aplicación a evaluar. PI3. ¿Qué estudios empíricos de técnicas para evaluar la usabilidad hay en la revisión? La TF se ha usado para evaluar la usabilidad en los estudios de Grindrod y Ahonen. En uno de los estudios se evalúa la usabilidad apoyado en un método de evaluación; mientras que, en el otro, no se requiere de su uso. En los párrafos siguientes, se describen los métodos usados en ambos estudios. Grindrod, evaluó la usabilidad de aplicativos, sin hacer uso de conceptos, métodos de evaluación o alguna herramienta asociado a la usabilidad. Los pasos seguidos para realizar la evaluación fueron: primero, se discute sobre el conocimiento de los aplicativos; a continuación, se provee de dispositivo y se asignan tareas; se finaliza el estudio, con un focus group sobre la experiencia del usuario, facilidad de uso, calidad de información y data errónea [68]. Los datos a procesar por la TF se obtienen al observar a los usuarios del aplicativo y de la data recogida de fuentes tales como, la experiencia de los participantes descritas en los cuestionarios, grabaciones en voz de los focus group y observaciones realizadas por los investigadores [68]. En este estudio se genera una teoría. 39 Ahonen, presenta una evaluación que el mismo denomina una nueva forma de evaluar la usabilidad, en que combina las evaluaciones heurísticas y la TF[70]. El proceso se inicia realizando preguntas abiertas de conocimiento del producto; se entrega el dispositivo para familiarizarse, se solicita rankear el producto por preferencia; se asigna tareas a la vez que se evalúa el aplicativo; se culmina el estudio preguntando el ranking, usabilidad y funcionalidad de los aplicativos [70]. En este estudio no se genera una teoría y solo se categoriza para obtener heurísticas. PI4. ¿Cuál es el aporte dado por la TF a las evaluaciones de usabilidad? Podemos decir que la TF ha servido para generar teorías y conocimientos que son útiles para las evaluaciones de usabilidad, ha permitido mejorar herramientas de evaluación y ha sido usada para formular herramientas nuevas. En la Tabla 5- 17 se muestra a detalle los aportes brindados por la TF a las evaluaciones de usabilidad. Aporte Tipo de Aporte Área de aplicación Estudio Generación de modelo de Teoría Educación [A1] (Elliot) aprendizaje que mejora la facilidad de uso del aplicativo Definición de dos categorías más al Mejora de Seguros [A2] (Ahonen) Framework de Usabilidad de Scharl herramientas - y Bauer, que evaluar websites. framework Generación de un framework de Herramienta Servicios- [A3] usabilidad para sitios web de Nueva -Teoría Restaurants (Namkung) restaurants Definición de una teoría sobre la Teoría Ingeniería de [A4] (Arcs) combinación de notación formal y Software – semi-formal Modelado Se determinó tres principales Herramienta - Ingeniería de [A5] (Razali) elementos que pueden afectar la Nueva Software – usabilidad de las herramientas de Verificación verificación Modelado Plantillas de usabilidad de acuerdo Herramienta General [A6] a la cultura donde se aplique Nueva (Clemmensen) Generación de heurísticas de Mejora de General, para [A7] (Petrie) usabilidad adicionales a las herramientas - aplicaciones con propuestas por Nielsen y Molich, Heurística esas características aplicadas a sitios web altamente interactivos y transaccionales Formulación de teoría de usabilidad Teoría Se pude dar un uso [A8] (Grindrod) relacionada con la usabilidad en General personas de la tercera edad TABLA 5- 17.- DESCRIPCIÓN Y TIPO DE APORTE ENCONTRADO EN LOS ESTUDIOS DE LA REVISIÓN La TF ha permitido generar teorías conceptos y conocimientos nuevos, los mismos que se describen en los estudios [A1], [A3], [A4] y [A8]. El Estudio [A1] y [A4] han permitido generar conocimientos de usabilidad sobre aprendizaje en aplicativos de educación [A1], y aplicativos de ingeniería de software [A4]. En el estudio [A3] se genera un framework de usabilidad para webs de restaurants; y una teoría que declara que la usabilidad es solo una parte de la experiencia del usuario. En el estudio [A8] se genera una teoría que evidencia que los 40 aplicativos desarrollados para la gestión de salud no consideran la edad de las personas que usan los aplicativos, siendo este el punto débil y principal que tienen el desarrollo de estas soluciones. La TF ha permitido mejorar herramientas de evaluación de usabilidad, entre los estudios que abordan este tema se encuentran [A2] y [A7]. En el estudio [A2] se generó dos categorías para la mejora del Framework de Usabilidad de Scharl y Bauer (para evaluar websites), pero orientados al ámbito de seguros. El estudio [A7] permitió definir nueve heurísticas nuevas a las formuladas por Nielsen y Molich, aplicables a sitios web altamente interactivos y transaccionales. La TF ha permitido formular nuevas herramientas, dentro de estudios se encuentran [A5], [A3] y [A6]. En el estudio [A3], se define un framework para evaluar la usabilidad de aplicativos orientados a restaurants. En el estudio [A5] expone los elementos que se deben considerar aplicativos de verificación de modelado a fin de ser más usable. En el estudio [A6], se diseña un conjunto de plantillas de usabilidad que pueden ser usadas para evaluar la usabilidad en distintos países. Es decir, la TF puede servir para múltiples propósitos que van desde generar conocimiento, mejorar herramientas y formular elementos útiles que pueden ser usados para evaluar la usabilidad. PI5. ¿Cómo los métodos de evaluación fueron usados por la TF? Es necesario indicar que para responder esta pregunta las medidas, criterios ISO, frameworks y escalas de usabilidad no fueron considerados como métodos de evaluación. Entre los métodos de evaluación tomados en cuenta para responder esta pregunta se encuentran; la Fvaluación Heurística, Think Aloud y métodos grupales de evaluación de usabilidad. A continuación, se describe como estos métodos de evaluación han sido usado en los estudios. Ahonen combino la Evaluación Heurística y el Framework de Usabilidad de Scharl y Bauer a fin de evaluar la usabilidad percibida, en aplicaciones enfocadas en el área de seguros [70]. Las preguntas fueron diseñadas usando esta combinación de elementos y fueron realizadas antes y después de probar las funcionalidades del aplicativo [70]. Las preguntas formuladas antes fueron para conocer la opinión de los participantes sobre la oferta electrónica de los seguros y del servicio en general; mientras que las finales, fueron usadas para conocer como los estudiantes percibieron la usabilidad y funcionalidad de los websites [70]. Clemmensen aplica Think Aloud para realizar evaluaciones sobre aplicativos de ámbitos culturales distintos. La aplicación de este método de evaluación debía realizarse por pares con personas de igual status social, familiarizadas unas con otras, y sin necesidad de contar con un observador [29]. La forma de cómo debía aplicarse Think Aloud se sustentó en los estudios previos realizados por Herman, quien recomienda no usar cuestionarios, ni entrevistas al realizar evaluaciones en ambientes culturales diferentes [71]. 41 Petrie, usa un conjunto de métodos de evaluación entre los que figuran Think Aloud, la Evaluación Heurística Colaborativa, el Recorrido Experto de Grupo y el Recorrido Experto de Grupo de Dominio [6]. Las tres herramientas se aplicaron sin tomar en cuenta consideraciones especiales, el uso de estas herramientas permitió que se puedan generar nuevas heurísticas de usabilidad. De los estudios antes mencionados, se observa que en el estudio de Clemmensen, la aplicación de Think Aloud tuvo que ser ejecutada en condiciones especiales a fin de que sea de utilidad para la investigación. El estudio de Ahonen se combina las evaluaciones heurísticas y el Framework de Usabilidad de Scharl y Bauer y se adapta al área de seguros. 42 CONCLUSIONES Y TRABAJO FUTURO CAPITULO VI Los métodos de evaluación de usabilidad usados para detectar problemas de usabilidad en aplicativos son cuestionados en su efectividad, validez, confiabilidad y utilidad [4-6]. Estudios indican que una posible causa es la subjetividad de las evaluaciones y a la influencia de un conjunto de factores [5, 29]. Debido a que la Teoría Fundamentada (TF) es un reconocido método de investigación cualitativa que se caracteriza por explicar conductas humanas en un determinado campo de estudio [7]. Es de interés de este estudio fue investigar cómo fue usada la TF en evaluaciones de usabilidad. Para cumplir este objetivo, se realizó una revisión sistemática que permitió recuperar 165 estudios, 95 fueron eliminados por no cumplir los criterios de inclusión/exclusión, 56 eran duplicados y 6 no corresponden a referencias de artículos sino a conferencias, quedando ocho estudios que fueron incluidos en la revisión. Después de analizar los estudios recuperados podemos decir que la TF ha sido usada para abordar problemas sobre aspectos o factores que intervienen en las evaluaciones de usabilidad y que muchas veces son omitidos por los métodos de evaluación. Entre los factores abordados por la TF se encuentra; el aprendizaje, el tipo de software, el cultural, y la característica del usuario. Los factores que están incluidos en la evaluación pueden ser descubiertos y abordados haciendo uso de la TF. A partir del análisis de los datos la TF podría revelar estos factores que son importantes a considerar al realizar las evaluaciones de usabilidad. Es claro, que en la actualidad no se cuenta con una metodología que permita detectar estos factores y es necesario formularla. En cuanto a los beneficios que se obtienen del uso de la TF en evaluaciones de usabilidad, podemos mencionar que a través de ella se ha generado conocimiento nuevo. El 50% de los estudios revisados muestran que la TF fue usada para este fin, es por ello que se formularon teorías en las áreas de ingeniería, salud, educación y servicios. El conocimiento generado en ciertos casos puede llegar a generalizarse o solo servir al área donde se orienta el estudio. A través del uso de la TF se han enriquecido métodos de evaluación existentes al generar heurísticas nuevas y categorías de usabilidad. Adicionalmente, a través de la TF se han creado nuevas herramientas de evaluación tales como plantillas para evaluar la usabilidad cultural, criterios para evaluar herramientas de validación de modelado y un framework que permite comprender la experiencia del usuario en webs de restaurants. La revisión de los estudios recuperados ha permitido revelar la información que se describe a continuación:  Así mismo, la revisión de los estudios recuperados ha revelado la posibilidad de evaluar la usabilidad usando únicamente la TF. La información proporcionada por Grindrod, Ahonen y los estudios revisados permite proponer las acciones que se deben seguir para evaluar la usabilidad. Se debe capturar los datos antes y después que el usuario realice tareas sobre el aplicativo, realizar focus group, se debe contar con soporte para el registro en texto y multimedia, y se debe disponer de personal de apoyo que entren en juego en las distintas etapas del proceso. En lo posible evitar generar datos sesgados.  Las teorías, conceptos y herramientas relacionadas con la usabilidad han sido usadas en el diseño de cuestionario, encuestas, entrevistas, focus group. Los mismos que han 43 servido para obtener data que luego sería procesada por la TF. Mientras que los métodos de evaluación se usaron tanto para obtener datos a procesar por la TF; y para evaluar el aplicativo.  La revisión revela como se ha usado las fases de la TF. En ciertos casos ha permitido generar teorías que son útiles para evaluar la usabilidad. En otros solo se ha usado para categorizar la información para generar heurísticas y categorías que mejoran métodos de evaluación. Adicionalmente, se puede decir que la aplicación de la TF y un método de evaluación sobre un determinado producto de software generara información particular y diferente a la que se pueda generar al aplicar esta metodología y método sobre otro producto. Las herramientas de usabilidad no son estáticas y deben variar en el tiempo para adecuarse a los desafíos que presenta la evolución tecnológica. Este concepto ha sido tomado del estudio realizado por Petrie, en el que para evaluaciones heurísticas sigan siendo válidas, son ampliadas a través de la aplicación de la TF amplía las heurísticas enfocadas en web altamente interactivas. Los actuales cambios entre el usuario y la interfaz sobre la cual actual plantean nuevos desafíos para el desarrollo de las herramientas de evaluación, las mismas que deben adaptarse para hacerles frente a este reto [6]. Finalmente, entre los temas de interés para futuras investigaciones se encuentran:  Validar alguno de los estudios revisados y sustentar con resultados los postulados, frameworks, heurísticas formulados por tales estudios.  Encontrar el procedimiento adecuado que permita definir qué factores deben ser incluidos en las evaluaciones de usabilidad, a fin de reducir la subjetividad de los métodos de evaluación.  Formular una metodología que permita realizar la evaluación de usabilidad empleando únicamente la TF y comprobar los resultados con estudios de pruebas. 44 REFERENCIAS 1. Valentim, N.M.C. and T. Conte. Improving a usability inspection technique based on quantitative and qualitative analysis. in Proceedings - 28th Brazilian Symposium on Software Engineering, SBES 2014. 2014. 2. Standardization, I.O.f., ISO 9241-11: Ergonomic Requirements for Office Work with Visual Display Terminals (VDTs): Part 11: Guidance on Usability. 1998. 3. Paz, F. and J.A. Pow-Sang, A systematic mapping review of usability evaluation methods for software development process. International Journal of Software Engineering and its Applications, 2016. 10(1): p. 165-178. 4. Hornbæk, K., Dogmas in the assessment of usability evaluation methods. Behaviour & Information Technology, 2010. 29(1): p. 97-111. 5. Elliott, G., E. Jones, and P. Barker, A grounded theory approach to modelling learnability of hypermedia authoring tools. Interacting with Computers, 2002. 14(5): p. 547-574. 6. Petrie, H. and C. Power. What do users really care about? A comparison of usability problems found by users and experts on highly interactive websites. in Conference on Human Factors in Computing Systems - Proceedings. 2012. 7. Giménez, R.C. Aplicación de la teoría fundamentada (grounded theory) al estudio del proceso de creación de empresas. in Decisiones basadas en el conocimiento y en el papel social de la empresa: XX Congreso anual de AEDEM. 2007. Asociación Española de Dirección y Economía de la Empresa (AEDEM). 8. Vivar, C.G., et al., La teoría fundamentada como metodología de investigación cualitativa en enfermería. Index de Enfermería, 2010. 19(4): p. 283-288. 9. Schwandt, T.A., Constructivist, interpretivist approaches to human inquiry. Handbook of qualitative research, 1994. 1: p. 118-137. 10. Glaser, B.G. and A.L. Strauss, The discovery of grounded theory: Strategies for qualitative research. 2006: Transaction publishers. 11. Hoda, R., J. Noble, and S. Marshall, Grounded theory for geeks, in Proceedings of the 18th Conference on Pattern Languages of Programs. 2011, ACM: Portland, Oregon, USA. p. 1-17. 12. Urquhart, C., H. Lehmann, and M.D. Myers, Putting the ‘theory’ back into grounded theory: guidelines for grounded theory studies in information systems. Information Systems Journal, 2010. 20(4): p. 357-381. 13. Ryan, J., Uncovering the hidden voice: can Grounded Theory capture the views of a minority group? Qualitative Research, 2014. 14(5): p. 549-566. 14. Thomas, G. and D. James, Reinventing grounded theory: some questions about theory, ground and discovery. British Educational Research Journal, 2006. 32(6): p. 767-795. 15. Dávila Newman, G., El razonamiento inductivo y deductivo dentro del proceso investigativo en ciencias experimentales y sociales. Laurus, 2006. 12(Ext). 16. Silva, E.L.d. and E.M. Menezes, Metodologia da pesquisa e elaboração de dissertação. 2001. 17. Merriam, S.B., Qualitative Research and Case Study Applications in Education. Revised and Expanded from" Case Study Research in Education.". 1998: ERIC. 18. Charmaz, K., ‘Discovering’chronic illness: using grounded theory. Social science & medicine, 1990. 30(11): p. 1161-1172. 19. Ramalho, R., et al. Literature review and constructivist grounded theory methodology. in Forum Qualitative Sozialforschung/Forum: Qualitative Social Research. 2015. 20. Dantas, C.d.C., et al., Grounded theory - conceptual and operational aspects: a method possible to be applied in nursing research. Revista Latino-Americana de Enfermagem, 2009. 17: p. 573-579. 21. Cuesta Benjumea, C.d.l., La teoría fundamentada como herramienta de análisis. Cultura de los cuidados, año X, nº 20, 2º semestre 2006; pp. 136-140, 2006. 22. Holzinger, A., Rapid prototyping for a virtual medical campus interface. Software, IEEE, 2004. 21(1): p. 92-99. 45 23. Martins, A.I., et al., Usability evaluation methods: A systematic review. Human Factors in Software Development and Design, 2014: p. 250. 24. Fernandez, A., E. Insfran, and S. Abrahão, Usability evaluation methods for the web: A systematic mapping study. Information and Software Technology, 2011. 53(8): p. 789-817. 25. Gray, W.D. and M.C. Salzman, Damaged merchandise? A review of experiments that compare usability evaluation methods. Human-computer interaction, 1998. 13(3): p. 203-261. 26. Hertzum, M. and N.E. Jacobsen, The evaluator effect: A chilling fact about usability evaluation methods. International Journal of Human-Computer Interaction, 2001. 13(4): p. 421-443. 27. Dix, A., Human-computer interaction, in Encyclopedia of database systems. 2009, Springer. p. 1327-1331. 28. Vermeeren, A.P., et al., Usability problem reports for comparative studies: consistency and inspectability. Human–Computer Interaction, 2008. 23(4): p. 329-380. 29. Clemmensen, T., Templates for cross-cultural and culturally specific usability testing: results from field studies and ethnographic interviewing in three countries. Intl. Journal of Human– Computer Interaction, 2011. 27(7): p. 634-669. 30. Hoda, R., J. Noble, and S. Marshall. Using grounded theory to study the human aspects of software engineering. in Human Aspects of Software Engineering. 2010. ACM. 31. Murillo, J., Teoría Fundamentada. Universidad Autónoma de Madrid. Facultad de Formación del Profesorado y Educación. Métodos de Investigación. 32. Kitchenham, B., et al., Systematic literature reviews in software engineering–a tertiary study. Information and Software Technology, 2010. 52(8): p. 792-805. 33. Petticrew, M. and H. Roberts, Systematic reviews in the social sciences: A practical guide. 2008: John Wiley & Sons. 34. Hernández, J., et al., Seminario: generación de Teoría. Teoría fundamentada. La Universidad del Zulia. Puerto Ordaz, Venezuela, 2011. 35. Uri, T., The Strengths and Limitations of Using Situational Analysis Grounded Theory as Research Methodology. Journal of Ethnographic & Qualitative Research, 2015. 10(2): p. 135-151. 36. Ward, K., K.J. Hoare, and M. Gott, Evolving from a positivist to constructionist epistemology while using grounded theory: reflections of a novice researcher. Journal of Research in Nursing, 2015. 20(6): p. 449-462. 37. Azpiazu Carballo, J., Clarke, Adele E. (2005). Situational analysis: grounded theory after postmodern turn. Thousand Oaks, California: Sage Publications. ISBN: 0761930566. 2014. 38. Kitchenham, B.A., D. Budgen, and P. Brereton, Evidence-Based Software engineering and systematic reviews. Vol. 4. 2015: CRC Press. 39. Keele, S., Guidelines for performing systematic literature reviews in software engineering, in Technical report, Ver. 2.3 EBSE Technical Report. EBSE. 2007. 40. Biolchini, J., et al., Systematic review in software engineering. System Engineering and Computer Science Department COPPE/UFRJ, Technical Report ES, 2005. 679(05): p. 45. 41. Kitchenham, B., Procedures for performing systematic reviews. Keele, UK, Keele University, 2004. 33(2004): p. 1-26. 42. Bettany-Saltikov, J., Learning how to undertake a systematic review: part 2. Nursing Standard, 2010. 24(51): p. 47-56. 43. Demeyin, W., Traditional reviews vs. Systematic reviews. Critical appraisal, 2016. 44. Torgerson, C., Systematic reviews. 2003: Bloomsbury Publishing. 45. Bronson, D.E. and T.S. Davis, Finding and evaluating evidence: Systematic reviews and evidence-based practice. 2011: Oxford University Press. 46. Iberoamericano, C.C., traductores. Manual Cochrane de Revisiones Sistemáticas de Intervenciones, versión 5.1. 0 [actualizada en marzo de 2011][Internet]. Barcelona: Centro Cochrane Iberoamericano; 2012. 2011. 46 47. Dybå, T. and T. Dingsøyr, Empirical studies of agile software development: A systematic review. Information and software technology, 2008. 50(9): p. 833-859. 48. Alex Roney, M., A.A. Hajj, and A.A. Abri. Human-Computer Interaction (HCI): An overview. in 2011 IEEE International Conference on Computer Science and Automation Engineering. 2011. 49. Lacalle, A., Funcionalidad no es usabilidad. 2008, Recuperado de http://albertolacalle. com/hci/funcionalidad-usabilidad. htm. 50. Juristo, N., A. Moreno, and M.I. Sanchez-Segura, Guidelines for Eliciting Usability Functionalities. IEEE Transactions on Software Engineering, 2007. 33(11): p. 744-758. 51. Hartson, H.R., T.S. Andre, and R.C. Williges, Criteria For Evaluating Usability Evaluation Methods. International Journal of Human–Computer Interaction, 2001. 13(4): p. 373-410. 52. Issa, T. and P. Isaias, Usability and Human Computer Interaction (HCI), in Sustainable Design: HCI, Usability and Environmental Concerns. 2015, Springer London: London. p. 19- 36. 53. Nielsen, J. and R. Molich, Teaching user interface design based on usability engineering. SIGCHI Bull., 1989. 21(1): p. 45-48. 54. Carrol, J.M., Human-Computer Interaction in the New Millenium. ACM Press and Addison- Wesley, 2002. 55. Rozanski, E. and A. Haake. The many facets of HCI. in Proceedings of the 4th conference on Information technology curriculum. 2003. Lafayette, Indiana, USA: ACM. 56. Seffah, A. and E. Metzker, Adoption-centric usability engineering: systematic deployment, assessment and improvement of usability methods in software engineering. 2008: Springer Science & Business Media. 57. Norman, D.A. and S.W. Draper, User centered system design. Hillsdale, NJ, 1986: p. 1-2. 58. Norman, D., The design of everyday things. 1988: Verlag Franz Vahlen GmbH. 59. Seffah, A., M.C. Desmarais, and E. Metzker, HCI, Usability and Software Engineering Integration: Present and Future, in Human-Centered Software Engineering — Integrating Usability in the Software Development Lifecycle, A. Seffah, J. Gulliksen, and M.C. Desmarais, Editors. 2005, Springer Netherlands: Dordrecht. p. 37-57. 60. Nielsen, J., Usability Engineering. 1993: Morgan Kaufmann Publishers Inc. 358. 61. Nielsen, J., Applying discount usability engineering. IEEE Software, 1995. 12(1): p. 98-100. 62. Holzinger, A., Usability engineering methods for software developers. Communications of the ACM, 2005. 48(1): p. 71-74. 63. Rubin, J. and D. Chisnell, Handbook of usability testing: how to plan, design and conduct effective tests. 2008: John Wiley & Sons. 64. Cortés, A.F., Recopilación de métodos de usabilidad. Sidar. org Febrero, 2000. 65. Hom, J., The usability methods toolbox handbook. http://www.idemployee.id.tue.nl/gwmrauterberg/lecturenotes/UsabilityMethodsToolb oxHandbook.pdf, 1998. 66. Gough, D., S. Oliver, and J. Thomas, An introduction to systematic reviews. 2012: Sage. 67. Siegel, G.E., Capturing academic grey literature—starting at home. Publishing research quarterly, 2004. 20(1): p. 62-69. 68. Grindrod, K.A., M. Li, and A. Gates, Evaluating user perceptions of mobile medication management applications with older adults: A usability study. Journal of Medical Internet Research, 2014. 16(3). 69. Arcs, G. and R. Razali, Cognitive dimensions and grounded theory in learning software modeling. Procedia - Social and Behavioral Sciences, 2009. 1(1): p. 1884-1888. 70. Ahonen, A. and R. Windischhofer. The Web Performance of Different Types of Online Insurance Providers-A Wake Up Call to Traditional Insurance Providers. in Proceedings of the Fifth International Conference on Electronic Business ICEB2005. 2005. 71. Herman, L. Towards effective usability evaluation in Asia: cross-cultural differences. in Proceedings Sixth Australian Conference on Computer-Human Interaction. 1996. 47