PONTIFICIA UNIVERSIDAD CATÓLICA DEL PERÚ ESCUELA DE POSGRADO “ANÁLISIS DE LA CONVERGENCIA DE MODELOS SOBRE LAS COMPARACIONES ENTRE ISO/IEC 12207 Y EL MODELO CMMI-DEV – UNA REVISIÓN SISTEMÁTICA DE LA LITERATURA” Articulo Publicable para optar el grado de Magister en In- formática con Mención en Ingeniería de Software AUTOR JAVIER ALEJANDRO CRISOSTOMO ALMEYDA ASESOR MG. ABRAHAM DAVILA RAMON JURADO DR. JOSE ANTONIO POW SANG PORTILLO MAG. LUIS ALBERTO FLORES GARCIA LIMA – PERU 2016 Dedicatoria A Dios Por haberme permitido lograr mis objetivos, además de su infinito amor y bondad. A mis padres Alejandro y Yolanda Por haberme apoyado en todo momento, por su amor y palabras de ánimo para seguir perseverando en el logo de mis objetivos. A mi esposa Flor, a mis hijos Gabriel y Camila Quienes con su amor y comprensión me motivaron a concluir este artículo. Análisis de la convergencia de modelos sobre las comparaciones entre ISO/IEC 12207 y el modelo CMMI- DEV – Una Revisión Sistemática de la Literatura Javier Crisostomo, Abraham Dávila2, Karim Melendez2, Rossana Janampa2, Luis Flores2 1Escuela de Graduados, Pontificia Universidad Católica del Perú, Lima, Perú javier.crisostomo@pucp.edu.pe 2Departamento de Ingeniería, Pontificia Universidad Católica del Perú, Lima, Perú abraham.davila@pucp.edu.pe, kmelendez@pucp.edu.pe, janampa.rdp@pucp.pe, luis.flores@pucp.edu.pe Abstract. Las organizaciones cada vez más demandan una mejor y eficiente gestión de los procesos de desarrollo de software, pues han comprendido la im- portancia en proporcionar servicios de calidad alineados a sus objetivos opera- cionales y estratégicos. En el contexto de la Industria del Software se tienen a CMMI-DEV como el modelo más popular para la mejora de procesos y a la ISO/IEC 12207 como el estándar para la definición de los procesos en el ciclo de vida del software los cuales son comparados para analizar su cobertura y las ventajas de uno respecto del otro. En este estudio se busca analizar los resulta- dos de las comparaciones (parciales o completas) de las distintas versiones para determinar si estos modelos van evolucionando de manera convergente o no en los procesos técnicos relacionados a la producción de software. Para el estudio se realizó una revisión sistemática de la literatura en las principales bases de da- tos indexadas relacionadas con el tema de estudio. Este estudio ha identificado 9 artículos directamente relacionados a la comparación entre ISO/IEC 12207 y CMMI, en los cuales la técnica más empleada en la comparación de estos mo- delos es el mapping. Keywords: Armonización de Modelos, ISO/IEC 12207, CMM, CMMI, CMMI- DEV 1 Introducción Las organizaciones cada vez demandan una mejor y eficiente gestión de las funciones de Tecnología de la Información (TI) como: desarrollo, seguridad, etc. con el objetivo de brindar productos de alta calidad tanto para clientes internos como externos. [1] . Para lograrlo, deben implementar procesos alineados a sus objetivos operacionales y estratégicos usando propuestas como modelos, estándares o marcos de trabajo (fra- mework) que faciliten su gestión y aseguren los niveles de calidad requeridos [2] Según [2], una buena aproximación a la diversidad de normas, modelos y marcos de referencia existentes es realizada por Gartner Group, y se muestra en la Figura 1. En esta Figura se presentan las principales propuestas existentes agrupadas de acuerdo al ámbito de aplicación y al tipo de uso. Fig. 1. Mapa de los estándares y marcos de trabajo relacionados a TI. [2] Como se observa en la Figura 1 y según [3] existen una amplia variedad de modelos, estándares de la industria y metodologías de calidad que pueden ser tomadas como referencia para la mejora de procesos institucionales, por ejemplo: 1. Modelos para la mejora del manejo de la calidad: ISO 9001 2. Modelos para el manejo de la calidad de software: CMMI, ISO/IEC 12207, y la ISO/IEC 90003, 3. Modelos para el gobierno TI: ITIL, PMBOK y COBIT etc. En los últimos años, según [3], se ha incrementado la integración de diferentes mode- los y las organizaciones han notado que sus negocios y procesos técnicos se pueden alinear con más de un modelo. En esta situación, las organizaciones se enfrentan al problema de coordinar la implantación de múltiples modelos de tal manera que cada modelo logre los beneficios esperados, y al mismo tiempo que los costos y esfuerzos de implantación sean mínimos considerando siempre la perspectiva de la calidad del producto. Como respuesta a este problema, surge la armonización de modelos de calidad del software. De acuerdo a [4] la armonización de modelos de calidad del software puede ser definido como la eliminación de las diferencias e inconsistencias en las activida- des, entradas, salidas o responsables entre los procesos que comparten el mismo obje- tivo con el fin de uniformizarlos o hacerlos compatibles entre sí: Dentro del proceso de revisión previa se han encontrado algunos trabajos dedicados al estudio de métodos o técnicas útiles para la tarea de armonizar diferentes modelos de procesos. Entre los cuales se puede citar los siguientes: o En [5] para la armonización de múltiples estándares y modelos se pro- pone un método basado en ontologías la cual se aplica en la armoniza- ción de COBIT 4.1, Basel II, VAL IT, RISK IT, ISO/IEC 27002, ITIL etc. o En [3] se propone un marco de trabajo llamado HFramework ideado pa- ra dar soporte a la armonización de múltiples modelos. Ya en el contexto de la Industria del Software se tienen a CMMI-DEV como el mode- lo más popular para la mejora de procesos y a la ISO/IEC 12207 como el estándar para la definición de los procesos en el ciclo de vida del software. Por esta razón exis- ten trabajos de investigación que muestran interés en la armonización de ambos, por ejemplo se puede citar los siguientes trabajos: o En [6] se realiza una comparación entre las áreas de proceso de CMMI- DEV v1.2 y los procesos descritos en la ISO/IEC 12207:2008. Y basado en estos resultados se investiga sobre la relación entre CMMI-DEV y la ISO/IEC 15504-7 para identificar el grado de cobertura de los niveles de madurez de CMMI-DEV respecto a la ISO/IEC 15504-7. o En [7] se presenta la armonización, a través de un mapeo, de las prácti- cas de adquisición de software de la ISO/IEC 12007:2008 y CMMI- ACQ. 1.1 Identificar la necesidad de la realización Analizar la evolución de la comparación entre ISO/IEC 12207 y el modelo CMMI- DEV será una contribución para quienes deseen conocer el grado de simili- tud/convergencia que presentan estos dos modelos a lo largo de sus diferentes edicio- nes y/o versiones. Este conocimiento puede ser usado como punto de partida para realizar la implementación de un modelo de calidad teniendo como base el otro, con el fin de minimizar costos y esfuerzos de implementación. En una revisión preliminar del estado del arte se encontraron las siguientes compara- ciones entre el estándar ISO/IEC 12207 y el modelo CMMI. [6] realiza una compara- ción entre las actividades y tareas de ISO/IEC 12207:2008 y las practicas específicas de CMMI-DEV v1.2 usando como método de comparación el "mapeo". Como se puede observar, en la actualidad la versión de CMMI-DEV usada en la comparación ya se encuentra desactualizada. El estudio de [8] realiza una comparación entre la ISO/IEC 12207 y CMMI usando un "mapeo" pero de las prácticas de adquisición de software. [9], presenta varios ejemplos de comparación entre los modelos CMMI v1.2 y los estándares de la familia ISO, como la ISO/IEC 12207, ISO/IEC 15504 etc., usando la técnica de "mapeo". Tabla 1. Elaboración del objetivo de la investigación mediante GQM Campo Valor Objetivo Comparación entre la ISO/IEC 12207 y CMMI-DEV Propósito Análisis de la evolución de los resultados de las comparaciones Foco Armonización de modelos Involucrados Industria de Desarrollo de Software Contexto Ninguno para este caso Considerando lo expresado al inicio de esta sección, y usando la plantilla propuesta por GQM (Goal-Question-Metrics), tal como se muestra en la Tabla 1.1, el presente trabajo tiene como objetivo analizar los resultados de las comparaciones (parciales o completas) de las distintas versiones de la ISO/IEC 12207 y el modelo CMMI, para determinar si estos modelos van evolucionando de manera convergente o no en los procesos técnicos relacionados a la producción de software. 2 Marco de referencia conceptual En esta sección se presentan las propuestas (modelos, estándares y marcos de trabajo) relacionados al desarrollo de software más utilizados en la actualidad en el contexto de la industria de software. 2.1 ISO/IEC 12207 : 2008 ISO/IEC 12207:2008 es un estándar internacional de la ingeniería de software que define los procesos, actividades y tareas que son asociadas con el proceso de ciclo de vida de software desde su concepción hasta su retiro [10]. El estándar tiene el objetivo principal de proporcionar una estructura común para que fabricantes, compradores, proveedores, administradores y técnico involucrados en el desarrollo de software usen un lenguaje común [10]. De acuerdo a [10], la norma ISO/IEC 12207:2008 define siete procesos para el ciclo de vida del software agrupados en procesos del contexto del sistema y los específicos del sistema; Los procesos definidos son los siguientes: • Procesos del contexto del Sistema o Procesos de Acuerdo o Procesos Organizacionales del Proyecto o Procesos de Proyecto o Procesos Técnicos • Procesos Específicos del Software o Procesos de implementación del Software o Procesos del Soporte del Software o Proceso de reutilización del Software 2.2 CMMI® for Development (CMMI-DEV) v1.3 Según [11], los modelos CMMI (Capability Maturity Model Integration) son una colección de mejores prácticas que ayudan a las organizaciones a mejorar sus proce- sos. Estos modelos son desarrollados por equipos conformados por profesionales de la industria, gobierno y Carnegie Mellon® Software Engineering Institute (SEI). De acuerdo a [11], CMMI-DEV v1.3 es un modelo CMMI que consta de mejores prácticas que se aplican a productos y servicios. Estas mejores prácticas tratan las actividades de desarrollo y de mantenimiento que cubren el ciclo de vida del producto desde la concepción a la entrega y el mantenimiento [12]. Según [12] un Área de Proceso es un conjunto de prácticas relacionadas a un área que se ejecutan de manera colectiva para alcanzar un objetivo considerado importante para lograr una mejora significativa en esa área. CMMI-DEV v1.3 contiene 22 áreas de proceso, que incluyen la gestión de proyectos, la gestión de procesos, el desarrollo de software y procesos de soporte para el desarrollo y mantenimiento de software. Todas las áreas de proceso tienen una misma estructura la cual se muestra en la Figura 2.2. Fig. 2. Componentes del modelo CMMI. Basado en [11]. 3 Definición de la RSL La Revisión Sistemática de la Literatura (RSL) según [13] y [14] es una técnica que tiene como objetivo identificar, evaluar críticamente y sintetizar los estudios relevan- tes sobre un tema o pregunta de investigación. Una de las principales motivaciones para la realización de una RSL es obtener nuevos hallazgos y proponer ideas innova- doras para investigaciones posteriores [15]. En el presente trabajo se desarrollará el proceso propuesto por [13] para la realización de una RSL, la cual involucra una serie de actividades iterativas y agrupadas en tres fases: planificar la RSL, realizar la RSL y Reportar la RSL. 3.1 Formular las preguntas de investigación Las preguntas de investigación fueron formuladas teniendo como base el objetivo de investigación propuesto en el punto anterior. En la Tabla 2 se muestran las preguntas y la motivación para cada caso. Tabla 2. Preguntas de investigación y motivación ID Pregunta Motivación PI-1 ¿Existen trabajos de investigación relacionados a la comparación entre ISO/IEC 12207 y CMMI-DEV? Determinar si existen trabajos realizados sobre el tema principal de esta investigación. PI-2 ¿Cuáles han sido los métodos o técnicas empleados en la compara- ción de la ISO/IEC 12207 y CMMI-DEV? Conocer sobre las consideraciones y criterios de la comparación de modelos seguidos por los investi- gadores en la realización de la comparación de modelos. PI-3 ¿Cuáles han sido los elementos usados en la comparación entre la ISO/IEC 12207 y CMMI DEV? Conocer el grado de detalle empleado en la compa- ración de los modelos. PI-4 ¿Cuáles son los criterios de compa- ración adoptados para la compara- ción entre ISO/IEC 12207 y CMMI? Establecer el grado de similitud o diferencia entre los criterios de comparación empleado por los autores. PI-5 ¿Cuál ha sido el grado de cobertura obtenido de la comparación de la ISO/IEC 12207 y CMMI DEV? Conocer el porcentaje de similitud/diferencias que presentan estos modelos. PI-6 ¿Cómo han ido evolucionando los resultados de las comparaciones entre la ISO/IEC 12207 y CMMI DEV? evolución de los resultados de las comparaciones Analizar y determinar el grado de convergencia o similitud entre la ISO/IEC 12207 y en sus diferen- tes versiones. En el presente trabajo se incluye las siguientes preguntas de bibliometría que brindan información acerca del número de publicaciones a través de los años, el impacto con- seguido y la distribución demográfica de las publicaciones encontradas. Tabla 3. Preguntas de bibliometría ID Pregunta Motivación PB-1 ¿Cuál ha sido la evolución crono- lógica de las publicaciones sobre el tema de investigación? Determinar la cantidad de publicaciones sobre el tema de investigación a lo largo de los años. PB-2 ¿De qué países provienen las pu- blicaciones sobre este tema? Lograr determinar la distribución de las publi- caciones a nivel mundial con el fin de identifi- car los países que más aportan en este campo de investigación. PB-3 ¿Cuáles son las fuentes de datos que presentan mayor cantidad de estudios relacionados al tema de investigación? Determinar la cantidad de artículos publicados en las fuentes de datos de mayor relevancia. PB-4 ¿Cuál es el impacto o visibilidad de las publicaciones dentro de la comunidad académica? Determinar el impacto de las publicaciones a través del número de citas obtenidas en trabajos posteriores. 3.2 Definición de la búsqueda Cadena de búsqueda. Para elaborar la cadena de búsqueda se optó por usar PICO [Santos] en un proceso iterativo dónde se hicieron algunos ajustes según los resultados y las BD consultadas a manera de comprobación inicial. A continuación se presenta la aplicación de PICO: Población: Modelos de procesos a ser comprados • Entidad: Modelos • Término principal: ISO/IEC 12207 o Términos alternos: ISO 12207 o Justificante: Se seleccionan estos términos por ser considerados sinónimos a los términos principales. Intervención: Comparación con modelos de madurez CMMI. • Entidad: Modelos de Madurez CMMI • Término principal: CMMI-DEV o Términos alternos: CMM-SW, CMM, CMMI, Modelos de Madurez. o Justificante: La selección obedece al tema principal de los trabajos de inves- tigación a buscar. Comparación: No aplica para este estudio Resultado: Artículos relacionados a la comparación, estudios o medidas de cobertura de modelos de procesos de mejora. • Entidad: Estudios comparativos, Mapeos sistemáticos, Armonización de mo- delos, artículos y trabajos de investigación. • Término principal: Cobertura, Correspondencia, Benchmarking, Mapeo, Armonización, Análisis, Estudio, Medida o Justificante: Son los tipos de trabajos que servirán de apoyo al tema de investigación del presente trabajo. Tipo de diseño: En la RSL no ha sido tomado en cuenta considerando que se buscan experiencias en general para obtener los factores en los casos que sea posible y que ya está cubierto en las secciones previas Idiomas considerados en la definición de la cadena de búsqueda La cadena de búsqueda de la RSL se desarrolló en inglés pues es el idioma más usado en las bases de datos digitales consideradas. Si bien es cierto se han encontrado estu- dios en idioma español, estos finalmente fueron traducidos al idioma inglés para su indexación en las principales bases de datos digitales. Cadena de búsqueda originada por PICO A partir de la Tabla 4 se puede definir la cadena de búsqueda mediante PICO: Tabla 4. Términos en inglés y conectores lógicos a ser usados en la búsqueda Concepto Términos en inglés Población "ISO/IEC 12207" or "ISO 12207" OR "12207" Intervención "CMMI-DEV" or "CMM-SW" or "CMM" or "CMMI" or "MATURITY MODEL" Comparación No Aplica Resultado "COMPAR*" or "MAPP*" or "HARMONIZA*" or "COVER*" or "CORRESPONDEN*" or "BENCHMARK*" or "HOMOGENIZA*" or "INTEGRA*" or "ANALIS*" or "STUD*" or "MEASU*" Estrategia de Búsqueda Población and Intervención and Resultado Tipo de búsqueda (automática, semi-automática, manual) Para el presente estudio se aplicó una búsqueda semiautomática en las bases de datos digitales seleccionadas tanto por su prestigio en el ámbito académico como por la calidad de sus artículos indexados. Para realizar esta búsqueda se usaron las cadenas de búsquedas originadas por PICO. Criterios de selección de estudios. Los estudios obtenidos como resultado de la búsqueda fueron evaluados para deter- minar si eran relevantes o no para este estudio. Los estudios seleccionados fueron obtenidos luego de aplicar los siguientes criterios de inclusión y exclusión: Criterios de Inclusión Los criterios de inclusión considerados son: CI.1. Se aceptará artículos que pertenecen a Librerías Digitales indexadas. CI.2. Se aceptará artículos publicados en idioma inglés. CI.3. Se aceptará artículos elaborados por organizaciones de alto prestigio en la temá- tica como por ejemplo el Software Engineering Institute (SEI) o el CMMI Ins- titute. CI.4. Se aceptará artículos que presenten una comparación parcial o completa entre ISO/IEC 12007 y CMMI en cualquiera de sus versiones. CI.5. Se aceptará artículos que realicen una comparación entre ISO/IEC 12207 y CMMI basados en un método o técnica de armonización de modelos de proce- sos. Criterios de Exclusión Los criterios de exclusión considerados son: CE.1. Se excluyen artículos duplicados. CE.2. Se excluyen artículos que no describan el procedimiento realizado en la compa- ración de la ISO/IEC 12207 y CMMI. CE.3. Se excluyen artículos que son resúmenes de otros artículos. CE.4. Se excluyen artículos cuyo tema principal no sea la comparación, evaluación o mapeo entre la ISO/IEC 12207 y CMMI en cualquiera de sus versiones. CE.5. Se excluyen artículos que no muestren los resultados de la comparación entre la ISO/IEC 12207 y CMMI usando una escala cuantitativa. Fuentes de datos En los estudios de [16] y [14] se indica las siguientes fuentes de datos como las fuen- tes más relevantes en el dominio de la ingeniería de software: IEE Explore, ACM Digital Library, Google Scholar, Citeseer Library, INSPEC, ScienceDirect, EI Com- pendex, Scopus. Tomando como referencia lo anterior y la cantidad de estudios obtenidos en una pri- mera exploración, se seleccionaron las siguientes fuentes de datos: • Scopus (http://www.scopus.com) • Elsevier Science Direct (http://www.sciencedirect.com) • IEEE Xplore (http://ieeexplore.ieee.org) • ACM Digital Library (www.acm.org) • Google Scholar (http://scholar.google.com) • Web of Science (http://www.webofknowledge.com) • Wiley Online Library (http://onlinelibrary.wiley.com) • ProQuest (http://www.proquest.com) Adicionalmente se consideró la siguiente biblioteca especializada en el modelo CMMI y cuyas memorias no están indexadas: • Software Engineering Institute – SEI (http://resources.sei.cmu.edu/library/) La biblioteca digital del SEI publica diferentes trabajos de investigación relaciona- dos a la comparación de los modelos CMMI y otros modelos de calidad. Procedimiento para selección de estudios. Para la selección de estudios se ha considerado un proceso con las siguientes etapas: • Primera etapa.- Se consideraron los artículos obtenidos como resultados de la búsqueda en las fuentes seleccionadas. • Segunda etapa.- En esta etapa se leyeron los títulos de los estudios encontra- dos en cada fuente de datos y se aplicaron los criterios de inclusión y exclu- sión definidos. Los artículos seleccionados en esta etapa fueron consolidados en una única lista para su uso en las siguientes etapas de selección de estu- dios. • Tercera etapa.- De la lista consolidada obtenida de la etapa anterior se realizó una lectura de los títulos de los estudios encontrados y se excluyeron los ar- tículos duplicados. • Cuarta etapa.- Para esta etapa se leyeron los resúmenes de cada artículo y se aplicaron los criterios de inclusión y exclusión definidos anteriormente. En esta etapa se mantuvieron los artículos que causaban dudas para una revisión posterior. • Quinta etapa.- Se realizó una lectura preliminar del contenido de los artículos obtenidos de la etapa previa. Se excluyeron aquellos que no estaban orienta- dos a las preguntas de investigación definidas. Esquema de evaluación de la calidad de estudios. Para realizar la evaluación de la calidad de estudios de los resultados obtenidos de la etapa 4 de la sección 3.3.3, se planteó un esquema de evaluación basado en un cues- tionario con siete criterios de calidad los cuales se encuentran detallados en la Tabla 5. Para la puntuación de cada criterio se estableció el valor de 1: en caso de tener una respuesta afirmativa y 0: en caso de una respuesta negativa. En consecuencia, cada estudio puede tener una calificación entre 0 y 7. Tabla 5. Criterios para la evaluación de la calidad de los estudios Ítem Criterio de calidad del estudio CQ1 ¿El estudio incluye al menos una definición del proceso de comparación/armonización empleado? CQ2 ¿El artículo presenta una comparación entre el estándar ISO/IEC 12207 y alguna versión de CMMI usando un método de comparación/armonización definido? CQ3 ¿Hay una descripción adecuada del método o técnica de comparación empleado en el estudio? CQ4 ¿El estudio describe los elementos del estándar o modelo que fueron empleados en la comparación? CQ5 ¿El estudio presenta una comparación bidireccional entre la ISO/IEC 12207 y alguna versión de CMMI? CQ6 ¿Hay una declaración clara de los resultados obtenidos en el estudio? CQ7 ¿El estudio proporciona una métrica del grado de similitud/diferencias entre la ISO/IEC 12207 y CMM en alguna de sus versiones? Estrategia para la extracción de los datos. Para la extracción de los datos, por cada estudio seleccionado, se realizó una lectura completa con el objeto de extraer los siguientes datos que consideramos relevantes: Tabla 6. Lista de datos considerados para la extracción de datos. Datos Detalle Relevancia Título Título del articulo encontrado General Autor(es) Nombre de los autores General Año Año de Publicación PB-1 Fuente Fuente de procedencia del articulo PB-2 Citas Numero de citas obtenidas en trabajos relacionados al tema del articulo PB-3 Objetivo Objetivo que se pretende conseguir en el articulo PI-1 Descripción Breve descripción del contenido del articulo PI-1 Datos Detalle Relevancia Estándar o modelos de referencia Modelos y Versiones de modelos comparados PI-2 Nombre del Método de Comparación Nombre de la técnica/método de comparación desarrolla- do en el articulo PI-2 Descripción del Mo- delo de Comparación Breve descripción del método de comparación PI-2 Elementos Compara- dos Descripción de los elementos usados para el desarrollo de los estándares o modelos de referencia comparados PI-3 Resultados Resultados y grados de cobertura obtenidos de la compa- ración de modelos PI-4, PI-5 Estos datos serán almacenados usando hojas de cálculo con el fin de llevar un control adecuado de toda la información pertinente a este estudio. Estrategia para la síntesis de los datos. Según [15], la síntesis de datos es una de las tareas más importantes dentro de una revisión sistemática de la literatura y a la que menos atención se le presta. Por esta razón presenta una lista de métodos de síntesis disponibles para ser usados de manera rigurosa en una revisión sistemática de la literatura. Para el presente trabajo y para responder las preguntas de investigación propuestas se realizó una síntesis narrativa basada en la guía para el desarrollo de una síntesis narra- tiva propuesta por [17] considerándose los siguientes elementos del proceso propues- to: • Desarrollar una síntesis preliminar de los resultados encontrados Para este elemento se usaron las siguientes técnicas que han sido descritas por [17] y [18]: 1. Tabulación: Para este fin se usaron los datos obtenidos en la etapa de ex- tracción de datos, se tabularán los datos para mostrar los datos relevantes que son de interés para el presente estudio. 2. Descripción Textual: Usado con el fin de brindar información rápida so- bre los estudios encontrados y sus principales características de interés para el presente trabajo. 3. Agrupamiento: Usado para organizar los estudios encontrados de acuer- do a las técnicas de comparación de modelos encontrados, versiones de modelos usados y nivel de comparación. • Explorar las relaciones dentro y entre los estudios A partir de la síntesis preliminar obtenida en el paso anterior se procedió a explorar las relaciones dentro y entre los estudios empleando las técnicas descritas por [17] y [18]: 1. Representación visual de relación entre las características de los estudios y sus resultados: se utilizó para la representación gráfica de los datos cuantitativos sobre la implementación de comparaciones entre CMMI- DEV y la ISO/IEC 12207. 3.3 Validar el protocolo de la revisión El protocolo de la RSL fue revisado en primer lugar por la investigadora Karin Me- léndez y revisado por un investigador experimentado Abraham Dávila. Producto de las revisiones iniciales se encontraron las siguientes observaciones: • Cadena de búsqueda: se agregaron sinónimos a los términos principales de búsqueda. Esto, con el fin de obtener la mayor cantidad de estudios relacio- nados con el tema de investigación del presente trabajo. • Criterios de Selección de estudios: se agregaron nuevos criterios de inclu- sión/exclusión con el fin de facilitar la tarea de la selección de estudios. • Estrategia para la extracción de datos: Se modificaron los datos a ser extraí- dos de los artículos seleccionados con el propósito de obtener mayor infor- mación relevante al objetivo del presente estudio. 4 Resultados y análisis 4.1 Obtener resultados de la búsqueda A partir de la combinación de términos de la tabla PICO se aplicaron las cadenas de búsqueda en las bases de datos seleccionadas. En cada una de ellas se aplicó la si- guiente cadena de búsqueda: Cadena de búsqueda empleada ALL ( ( "ISO/IEC 12207" OR "ISO 12207" OR "12207" ) AND ( "CMMI-DEV" OR "CMM-SW" OR "CMM" OR "CMMI" OR "MATURITY MODEL" ) AND ( "COMPAR*" OR "MAPP*" OR "HARMONIZA*" OR "COVER*" OR "CORRESPONDEN*" OR "BENCHMARK*" OR "HOMOGENIZA*" OR "INTEGRA*" OR "ANALIS*" OR "STUD*" OR "MEASU*" ) ) Fuente de Da- tos: Scopus Fecha de Búsqueda 2015-Octubre Resultados Obtenidos 255 Cadena de búsqueda empleada ("ISO/IEC 12207" OR "ISO 12207" OR "12207") AND ("CMMI-DEV" OR "CMM- SW" OR "CMM" OR "CMMI" OR "MATURITY MODEL") AND ("COMPAR*" OR "MAPP*" OR "HARMONIZA*" OR "COVER*" OR "CORRESPONDEN*" OR "BENCHMARK*" OR "HOMOGENIZA*" OR "INTEGRA*" OR "ANALIS*" OR "STUD*" OR "MEASU*") Option : Expert Search Refined by: Content Type: Journals and Books All Years Fuente de Da- tos: ScienceDirect Fecha de Búsqueda 2015-Octubre Resultados Obtenidos 98 Cadena de búsqueda empleada ("ISO/IEC 12207" OR "ISO 12207" OR "12207") AND ("CMMI-DEV" OR "CMM- SW" OR "CMM" OR "CMMI" OR "MATURITY MODEL") AND ("COMPAR*" OR "MAPP*" OR "HARMONIZA*" OR "COVER*" OR "CORRESPONDEN*" OR "BENCHMARK*" OR "HOMOGENIZA*" OR "INTEGRA*" OR "ANALIS*" OR "STUD*" OR "MEASU*") Fuente de Da- tos: ACM Digital Li- brary Fecha de Búsqueda 2015-Octubre Resultados Obtenidos 193 Cadena de búsqueda empleada ("ISO/IEC 12207" OR "ISO 12207" OR "12207") AND ("CMMI-DEV" OR "CMM- SW" OR "CMM" OR "CMMI" OR "MATURITY MODEL") AND ("COMPAR*" OR "MAPP*" OR "HARMONIZA*" OR "COVER*" OR "CORRESPONDEN*" OR "BENCHMARK*" OR "HOMOGENIZA*" OR "INTEGRA*" OR "ANALIS*" OR "STUD*" OR "MEASU*") Fuente de Da- tos: Wiley Online Li- brary Fecha de Búsqueda 2015-Octubre Resultados Obtenidos 152 Cadena de búsqueda empleada ("ISO/IEC 12207" OR "ISO 12207" OR "12207") AND ("CMMI-DEV" OR "CMM- SW" OR "CMM" OR "CMMI" OR "MATURITY MODEL") AND ("COMPAR*" OR "MAPP*" OR "HARMONIZA*" OR "COVER*" OR "CORRESPONDEN*" OR "BENCHMARK*" OR "HOMOGENIZA*" OR "INTEGRA*" OR "ANALIS*" OR "STUD*" OR "MEASU*") Fuente de Da- tos: EBSCOhost Fecha de Búsqueda 2015-Octubre Resultados Obtenidos 5 Cadena de búsqueda empleada TS=(ISO/IEC 12207 OR ISO 12207 OR 12207) AND TS=(CMMI-DEV OR CMM- SW OR CMM OR CMMI OR MATURITY MODEL) AND TS=(COMPAR* OR MAPP* OR HARMONIZA* OR COVER* OR CORRESPONDEN* OR BENCHMARK* OR HOMOGENIZA* OR INTEGRA* OR ANALIS* OR STUD* OR MEASU*) Fuente de Da- tos: WebOfScience Fecha de Búsqueda 2015-Octubre Resultados Obtenidos 19 Cadena de búsqueda empleada ("ISO/IEC 12207" OR "ISO 12207" OR 12207) AND (CMMI-DEV OR CMM-SW OR CMM OR CMMI OR "MATURITY MODEL") AND (COMPAR* OR MAPP* OR HARMONIZA* OR COVER* OR CORRESPONDEN* OR BENCHMARK* OR HOMOGENIZ* OR INTEGRA* OR ANALIS* OR STUD* OR MEASU*) Fuente de Da- tos: ProQuest Fecha de Búsqueda 2015-Octubre Resultados Obtenidos 126 Tabla 7. Resultados obtenidos en la aplicación de las cadenas de búsqueda. Fuente de Datos Fecha de Búsqueda Resultados Obtenidos Scopus 2015-Octubre 255 ScienceDirect 2015-Octubre 98 ACM Digital Library 2015-Octubre 193 Wiley Online Library 2015-Octubre 152 EBSCOhost 2015-Octubre 5 WebOfScience 2015-Octubre 19 ProQuest 2015-Octubre 126 Respecto a la cadena de búsqueda aplicada podemos comentar lo siguiente: • Con el objetivo de mejorar la cantidad de artículos obtenidos se usaron co- modines en los términos usados para poder incluir sus variaciones semánti- cas. 4.2 Seleccionar los estudios primarios Para la selección de estudios primarios, los resultados obtenidos en la sección anterior fueron consolidados usando una hoja electrónica para facilitar la aplicación del proce- dimiento descrito en la Sección 3.2.3. La aplicación del procedimiento se detalla a continuación: • Primera etapa.- En esta etapa se consideraron todos los resultados obtenidos de las fuentes de datos seleccionadas sin omitir ningún resultado. • Segunda etapa.- Se revisaron los títulos de los estudios incluidos en la lista obtenida en la etapa anterior y se aplicaron los criterios de inclusión y exclu- sión definidos. • Tercera etapa.- La lista de estudios fue ordenada por título, lo que permitió filtrar los estudios duplicados. • Cuarta etapa.- Para esta etapa se revisaron los resúmenes de cada estudio y fueron excluidos aquellos que no eran relevantes de acuerdo a los criterios de inclusión y exclusión definidos anteriormente. • Quinta etapa.- Se realizó una lectura preliminar del contenido de los artículos obtenidos de la etapa previa. Se excluyeron aquellos que no estaban orienta- dos a las preguntas de investigación definidas. La cantidad de estudios excluidos por etapa luego de aplicar los criterios de inclusión y exclusión se muestran en la Tabla 8. Tabla 8. Estudios primarios seleccionados por etapas. Fuente de Datos 1era Etapa 2da Etapa 3da Etapa 4ta Etapa 5ta Etapa Estudios Seleccionados Estudios Ob- tenidos Estudios no relacionados excluidos Estudios Duplicados excluidos Excluidos después de revisar re- sumen Excluidos después de Revisar Contenido Scopus 255 236 4 4 0 11 ScienceDirect 97 95 0 0 2 0 ACM Digital Library 193 181 6 0 2 4 Wiley Library 152 150 0 0 0 2 EBSCOhost 5 2 2 0 0 1 WebOfScience 19 11 6 0 1 1 ProQuest 126 125 1 0 0 0 Total de Estudios Seleccionados 19 4.3 Evaluar la calidad de los estudios Para evaluar la calidad de cada artículo obtenido como resultado de la ejecución de la cadena de búsqueda, se aplicaron los criterios de evaluación de calidad de estudios definido en 4.2 A continuación se muestran los resultados de la evaluación de calidad de los estudios primarios obtenidos: Tabla 9. Evaluación de la calidad de estudios primarios. Descripción CQ1 CQ2 CQ3 CQ4 CQ5 CQ6 CQ7 Puntaje Total Comparing ISO/IEC 12207 and CMMI-DEV: Towards a mapping of ISO/IEC 15504-7 1 1 1 1 1 1 1 7 Harmonizing improvement technologies: A comparison between CMMI-ACQ and ISO/IEC 12207:2008 1 1 1 1 1 1 1 7 Descripción CQ1 CQ2 CQ3 CQ4 CQ5 CQ6 CQ7 Puntaje Total Harmonizing ISO/IEC 15504 and CMMI 1 0 1 0 0 1 0 3 Harmonizing maturity levels from CMMI-DEV and ISO/IEC 15504 1 0 1 0 0 1 0 3 Leveraging your CMM efforts for IEEE/EIA 12207. 1 1 1 1 1 1 1 7 Mapping software acquisition practices from ISO 12207 and CMMI 1 1 1 1 0 1 0 5 Process Improvement with CMMI v1.2 and ISO Standards, 1 edition 1 0 1 1 0 1 0 4 Definition of a Hybrid Measurement Process for the Models ISO/IEC 15504-ISO/IEC 12207: 2008 and CMMI Dev 1.3 in SMEs 1 1 1 1 1 1 0 6 4.4 Extraer los datos relevantes De acuerdo a [13] una forma de registrar la información relevante obtenida de los estudios primarios es mediante el uso de formularios de extracción de datos. Así mis- mo, la información obtenida de cada estudio debe estar dirigida a responder cada una de las preguntas de investigación y bibliométricas definidas en la Sección 3.1. Para extraer los datos relevantes que ayuden a responder las preguntas de investiga- ción, se usó el formulario definido en la Sección 3.2.5. A continuación se muestran los datos extraídos por cada artículo incluido en la RSL: Dato Detalle Relevancia Título Leveraging your CMM efforts for IEEE/EIA 12207 General Autor(es) JoAn Ferguson; Sarah Sheard General Año 1998 PB-1 País USA PB-2 Fuente EBSCO host PB-3 Citas 25 PB-4 Objetivo Realiza la comparación entre CMM (SW-CMM) v.1.1 y IEEE/EIA 12207 con el objetivo de servir como una guía para cumplir los requisi- tos para implementar IEE/EIA 12207 usando CMM. PI-1 Descripción Brindar una guía que permita a través de una implementación de CMM cumplir con los requisitos exigidos por el estándar ISO/IEC 12207. Para lograr esto los autores realizan una comparación para conocer las simili- tudes y diferencias entre ambos modelos. Se realiza un mapeo directo de los elementos de la 12207 hacia los elementos de CMM. Este mapeo se realizó en diferentes niveles de detalle. PI-1 Dato Detalle Relevancia Estándar o modelos de referencia CMM (SW-CMM) v.1.1 IEEE/EIA 12207 PI-2 Nombre del Método de Comparación [Estrategia de Armoniza- ción de Modelos] Mapping PI-2 Elementos Comparados CMM (SW-CMM) v.1.1: Áreas de procesos principales KPA) EEE/EIA 12207: Procesos PI-3 Criterios Adoptados en la Comparación El criterio empleado por [19] es realizar un mapeo entre los requisitos para implementar IEEE/EIA 12207 que son cubiertos por las Principales Área de Proceso (KPM) de CMM (SW-CMM) v.1.1. PI-4 Nivel de Comparación Alto Nivel PI-5 Resultados Se determinaron los procesos de IEEE/EIA que no son cubiertos por las principales áreas de proceso (KPA) de CMM. Así como los KPA que sirven de soporte para el cumplimiento de la IEEE/EIA 12207. PI-5, PI-6 Dato Detalle Relevancia Título Harmonizing ISO/IEC 15504 and CMMI General Autor(es) T. Rout, A. Tuffley General Año 2007 PB-1 País AUSTRALIA PB-2 Fuente WILEY PB-3 Citas 43 PB-4 Objetivo Analizar la relación entre CMMI y el Modelo de Evaluación de Proce- sos ISO/IEC 15504-2 y el Modelo de Referencia de Procesos descrito en ISO/IEC 12207 AMD 1/2. PI-1 Descripción Se realiza un mapeo completo para establecer el grado de cobertura entre CMMI, ISO/IEC 15504-2 y ISO/IEC 12207 Amd 1/2. Para tal fin el proceso se realiza a bajo nivel usando las Prácticas Genéricas de CMMI y los procesos de ISO/IEC 12207 Amd 1/2. PI-1 Estándar o modelos de referencia ISO/IEC 15504-2 ISO/IEC 12207 Amd 1/2 CMMI PI-2 Nombre del Método de Comparación [Estrategia de Armoniza- ción de Modelos] Mapping PI-2 Elementos Comparados CMMI : Practicas Genéricas (GP) ISO/IEC 12207 Amd 1/2: Áreas de Proceso PI-3 Dato Detalle Relevancia Criterios Adoptados en la Comparación El criterio empleado por [20] es realizar una comparación a bajo nivel usando las Prácticas Genéricas de CMMI y los procesos de ISO/IEC 12207 Amd 1/2 como modelo de procesos de referencia para ISO/IEC 15504-2. PI-4 Nivel de Comparación Bajo Nivel PI-5 Resultados No indica numéricamente el grado general de cobertura como resultado de la comparación. Brinda una lista de los procesos de ISO 12207 Amd 1/2 que no son cubiertos por las Practicas Especificas (SP) de CMMI. Así como, los procesos de ISO 12207 que no son completamente o explícitamente cubiertos por las Áreas de Proceso (PA) de CMMI. PI-5, PI-6 Dato Detalle Relevancia Título Process Improvement with CMMI v1.2 and ISO Standards, 1 edition General Autor(es) B. Mutafelija, H. Stromberg General Año 2008 PB-1 País USA PB-2 Fuente ACM PB-3 Citas 33 PB-4 Objetivo Realizar un mapeo entre CMMI v1.2 y los diferentes estándares ISO. PI-1 Descripción Realiza una comparación bidireccional entre ISO 12207:2008 y CMMI v1.2 para detectar similitudes y diferencias entre ambos modelos y co- nocer el potencial de cada modelo para apoyar un proceso de mejora. PI-1 Estándar o modelos de referencia ISO 12207:2008 CMMI V1.2 PI-2 Nombre del Método de Comparación [Estrategia de Armoniza- ción de Modelos] Mapping PI-2 Elementos Comparados ISO/IEC 12207:2008: Actividades y tareas CMMI v1.2: Practicas Genéricas (GP) y Especificas (SP) por Área de Proceso (PA). PI-3 Criterios Adoptados en la Comparación Los autores [9] para caracterizar el nivel de relación entre los elementos de ISO/IEC 12207 y CMMI usan un factor de confianza basado en una escala numérica, cuyos valores se muestran a continuación: Nivel de Confianza del Mapeo Descripción Comentario 0 Sin Mapeo 30 Débil La sentencia en el estándar ISO no corresponde claramente con alguna práctica CMMI. PI-4 Dato Detalle Relevancia 60 Medio La correspondencia no es com- pleta, pero con alguna interpre- tación CMMI puede satisfacer el requerimiento ISO. 100 Fuerte Existe una fuerte relación entre el requerimiento ISO y la prác- tica CMMI. Nivel de Comparación Bajo Nivel PI-5 Resultados No indica numéricamente el grado general de cobertura como resultado de la comparación. Usando una escala numérica muestra el grado de cobertura existente entre las Practicas Especificas de (SP), Practicas Genéricas (GP) de CMMI v1.2 y las actividades y tareas descritos en el estándar ISO/IEC 12207:2008. PI-5, PI-6 Dato Detalle Relevancia Título Comparing ISO/IEC 12207 and CMMI-DEV: Towards a mapping of ISO/IEC 15504-7 General Autor(es) Maria Teresa Baldassarre, Piattini, Mario, Francisco J. Pino, and Giu- seppe Visaggio General Año 2009 PB-1 País ESPAÑA PB-2 Fuente SCOPUS PB-3 Citas 12 PB-4 Objetivo Identificar el grado de cobertura de los niveles de madurez CMMI-DEV en relación con la norma ISO/IEC 15504-7. PI-1 Descripción Realiza una comparación entre las áreas de proceso de CMMI-DEV y los procesos descritos en la norma ISO/IEC 12207:2008. Basado en estos resultados se investiga la relación entre CMMI-DEV y los mode- los ISO/IEC 15504-7. PI-1 Estándar o modelos de referencia CMMI-DEV v1.2 ISO/IEC 12207:2008 ISO/IEC 15504-7 PI-2 Nombre del Método de Comparación [Estrategia de Armoniza- ción de Modelos] Mapping PI-2 Elementos Comparados ISO/IEC 12207:2008: Actividades y tareas CMMI-DEV v1.2: Practicas especificas PI-3 Criterios Adoptados en la Comparación Para determinar el grado de relación entre los procesos de ISO/IEC 12207:2008 y las áreas de proceso de CMMI se define una escala dis- creta en términos de porcentaje. La escala empleada es la siguiente: PI-4 Dato Detalle Relevancia S: Fuertemente relacionada (86% a 100%) L: Largamente relacionada (51% a 85%) P: Parcialmente relacionada (16% a 50%) W: Débilmente relacionada (1% a 15%) No relacionada (0%) Los valores numéricos son obtenidos de la división del número de prác- ticas específicas (a partir de un área de proceso de CMMI) que están relacionados a las actividades (a partir de un proceso de ISO/IEC 12207:2008) entre el número de prácticas especificas definidas en un Área de Proceso). Nivel de Comparación Bajo Nivel PI-5 Resultados No indica numéricamente el grado general de cobertura como resultado de la comparación. Usando una escala numérica muestra el grado de cobertura existente entre las Practicas Especificas de (SP) de CMMI y las actividades y tareas descritos en el estándar ISO/IEC 12207. PI-5, PI-6 Dato Detalle Relevancia Título Harmonizing improvement technologies: A comparison between CMMI-ACQ and ISO/IEC 12207:2008 General Autor(es) Francisco J. Pino; Maria Teresa Baldassarre; Mario Piattini; Giuseppe Visaggio; Danilo Caivano General Año 2009 PB-1 País ESPAÑA PB-2 Fuente SCOPUS PB-3 Citas 5 PB-4 Objetivo Realizar una comparación entre el estándar ISO/IEC 12207:2008 y el modelo CMMI-ACQ v1.2:2007. PI-1 Descripción Este estudio ofrece información acerca de cuan relacionadas están las practicas descritas en ambos modelos. Además considerando que la comparación es una estrategia específica para la armonización de mode- los, define un proceso sistemático para este propósito teniendo en cuenta ayudar a las organizaciones interesadas en introducir o mejorar sus prácticas para la adquisición de productos y servicios usando estos dos modelos. PI-1 Estándar o modelos de referencia ISO/IEC 12207:2008 CMMI-ACQ v1.2:2007 PI-2 Nombre del Método de Comparación [Estrategia de Armoniza- ción de Modelos] Mapping PI-2 Dato Detalle Relevancia Elementos Comparados ISO/IEC 12207:2008: Actividades y tareas CMMI-ACQ v1.2:2007: Practicas especificas PI-3 Criterios Adoptados en la Comparación Para determinar el grado de relación entre los procesos de ISO/IEC 12207:2008 y las áreas de proceso de CMMI se define una escala dis- creta en términos de porcentaje. La escala empleada es la siguiente: S: Fuertemente relacionada (86% a 100%) L: Largamente relacionada (51% a 85%) P: Parcialmente relacionada (16% a 50%) W: Débilmente relacionada (1% a 15%) No relacionada (0%) Los valores numéricos son obtenidos de la división del número de prác- ticas específicas (a partir de un área de proceso de CMMI) que están relacionados a las actividades (a partir de un proceso de ISO/IEC 12207:2008) entre el número de prácticas especificas definidas en un Área de Proceso). PI-4 Nivel de Comparación Bajo Nivel PI-5 Resultados Grado General de Relación: 72% (28/39) 39: Total de Practicas Especificas de CMMI-ACQ 28: Practicas Especificas relacionadas a una o más tareas o actividades de ISO 12207 PI-5, PI-6 Dato Detalle Relevancia Título Mapping software acquisition practices from ISO 12207 and CMMI General Autor(es) Pino, Francisco J., Maria Teresa Baldassarre, Mario Piattini, Giuseppe Visaggio, and Danilo Caivano General Año 2010 PB-1 País ESPAÑA PB-2 Fuente SCOPUS PB-3 Citas 5 PB-4 Objetivo El objetivo de este estudio es ofrecer información sobre como las practi- cas descritas en ambos modelos están relacionadas. Como objetivo adicional, trata de mostrar que el mapping es una estrategia específica para la armonización de modelos. PI-1 Descripción Realiza la comparación entre CMMI-ACQ y el estándar ISO 12207:2008 se realiza a nivel de rendimiento de procesos, es decir la comparación no involucra metas y prácticas genéricas relacionadas. Para la realización de este mapping de una forma sistemática los autores desarrollaron un proceso para este propósito. PI-1 Estándar o modelos de referencia ISO/IEC 12207:2008 CMMI-ACQ v1.2:2007 PI-2 Dato Detalle Relevancia Nombre del Método de Comparación [Estrategia de Armoniza- ción de Modelos] Mapping PI-2 Elementos Comparados ISO/IEC 12207:2008: Actividades y tareas CMMI-ACQ v1.2:2007: Practicas especificas PI-3 Criterios Adoptados en la Comparación Para determinar el grado de relación entre los procesos de ISO/IEC 12207:2008 y las áreas de proceso de CMMI se define una escala dis- creta en términos de porcentaje. La escala empleada es la siguiente: S: Fuertemente relacionada (86% a 100%) L: Largamente relacionada (51% a 85%) P: Parcialmente relacionada (16% a 50%) W: Débilmente relacionada (1% a 15%) No relacionada (0%) Los valores numéricos son obtenidos de la división del número de prác- ticas específicas (a partir de un área de proceso de CMMI) que están relacionados a las actividades (a partir de un proceso de ISO/IEC 12207:2008) entre el número de prácticas especificas definidas en un Área de Proceso). PI-4 Nivel de Comparación Bajo Nivel PI-5 Resultados Grado General de Relación: 72% (28/39) 39: Total de Practicas Especificas de CMMI-ACQ 28: Practicas Especificas relacionadas a una o más tareas o actividades de ISO 12207 PI-5, PI-6 Dato Detalle Relevancia Título Harmonizing maturity levels from CMMI-DEV and ISO/IEC 15504 General Autor(es) Pino, Francisco J., Maria Teresa Baldassarre, Mario Piattini, and Giu- seppe Visaggio General Año 2010 PB-1 País ESPAÑA PB-2 Fuente WILEY PB-3 Citas 32 PB-4 Objetivo El presente estudio desarrolla una armonización entre los modelos ISO/IEC 15504-7 con el objetivo de obtener información de cuan rela- cionadas están los niveles de madurez descritos en estos dos modelos. PI-1 Descripción EL proceso de comparación se realiza en dos etapas, primero se realiza un mapeo entre los procesos de ISO 12207:2008 y las áreas de proceso de CMMI-DEV, y en una segunda etapa se mapean los procesos de ISO 12207:2008 y ISO 15504-5. PI-1 Estándar o modelos de referencia ISO/IEC 15504-5 ISO/IEC 12207:2008 PI-2 Dato Detalle Relevancia CMMI-DEV V1.2 Nombre del Método de Comparación [Estrategia de Armoniza- ción de Modelos] Mapping PI-2 Elementos Comparados ISO/IEC 12207:2008: Actividades y tareas CMMI-DEV v1.2: Practicas especificas PI-3 Criterios Adoptados en la Comparación Para determinar el grado de relación entre los procesos de ISO/IEC 12207:2008 y las áreas de proceso de CMMI se define una escala dis- creta en términos de porcentaje. La escala empleada es la siguiente: S: Fuertemente relacionada (86% a 100%) L: Largamente relacionada (51% a 85%) P: Parcialmente relacionada (16% a 50%) W: Débilmente relacionada (1% a 15%) No relacionada (0%) Los valores numéricos son obtenidos de la división del número de prác- ticas específicas (a partir de un área de proceso de CMMI) que están relacionados a las actividades (a partir de un proceso de ISO/IEC 12207:2008) entre el número de prácticas especificas definidas en un Área de Proceso). PI-4 Nivel de Comparación Bajo Nivel PI-5 Resultados No indica numéricamente el grado general de cobertura como resultado de la comparación. Usando una escala numérica muestra el grado de cobertura existente entre las Practicas Especificas de (SP) de CMMI y las actividades y tareas descritos en el estándar ISO/IEC 12207. PI-5, PI-6 Dato Detalle Relevancia Título Definition of a Hybrid Measurement Process for the Models ISO/IEC 15504-ISO/IEC 12207: 2008 and CMMI Dev 1.3 in SMEs General Autor(es) Julio Cesar Ruiz, Zurisadai Benjamin Osorio, Jezreel Mejia, Mirna Munoz, Ana Maria Chavez, Beatriz Alejandra Olivares General Año 2011 PB-1 País MEXICO PB-2 Fuente ACM PB-3 Citas 5 PB-4 Objetivo EL objetivo de este estudio es describir una propuesta de un proceso de medición hibrida para ISO/IEC 15504-ISO/IEC 12207:2008 y CMMI DEV 1.3. PI-1 Descripción Este estudio verifica la compatibilidad de los procesos de medida de los modelos CMMI DEV 1.3 y el estándar ISO/IEC 12207:2008 realizando una trazabilidad entre ambos modelos. PI-1 Dato Detalle Relevancia Estándar o modelos de referencia ISO/IEC 15504 ISO/IEC 12207:2008 CMMI Dev 1.3 PI-2 Nombre del Método de Comparación [Estrategia de Armoniza- ción de Modelos] Trazabilidad PI-2 Elementos Comparados ISO/IEC 12207:2008: Resultados CMMI DEV 1.3: Práctica Específica PI-3 Criterios Adoptados en la Comparación El criterio utilizado por [21] es analizar la similaridad entre las descrip- ciones de cada resultado esperado del “Measurement Process” de ISO/IEC 12207:2008 y de cada práctica especifica del proceso de “Measurement and Analysis” de CMMI Dev v1.3. PI-4 Nivel de Comparación Alto Nivel PI-5 Resultados No indica numéricamente el grado de cobertura como resultado de la comparación. Este estudio muestra los resultados de la trazabilidad entre el modelo CMMI y el estándar ISO/IEC 12207:2008. PI-5, PI-6 4.5 Análisis bibliométricos A continuación se presenta el cálculo de los indicadores bibliométricos de los estu- dios seleccionados para la RSL como su evolución cronológica, las fuentes de datos donde fueron publicados, su impacto a nivel académico y su país de procedencia. PB-1. ¿Cuál ha sido la evolución cronológica de las publicaciones sobre el tema de investigación? De los resultados obtenidos y considerados en la RSL se puede apreciar que la publi- cación de la nueva versión del estándar ISO/IEC 12207 en el año 2008 motiva cinco (05) nuevos estudios relacionados a su comparación con CMMI. En cambio la publi- cación de la versión v1.3 de CMMI en el año 2010 solo motivo un trabajo de investi- gación. Tabla 10. Frecuencia por año de estudios publicados Año Porcentaje (%) Frecuencia 1998 13% 1 2007 13% 1 2008 13% 1 2009 25% 2 2010 25% 2 2011 13% 1 Fig. 3. Evolución de los estudios en el tiempo PB-2. ¿Cuáles son las fuentes de datos que presentan mayor cantidad de estudios relacionados al tema de investigación? Para los resultados obtenidos se observa que la mayor cantidad de artículos publi- cados relacionados a la comparación entre el estándar ISO/IEC 12207 y CMMI se da en Scopus, tal como se muestra en la siguiente figura: Fig. 4. Cantidad de publicaciones por fuente de datos PB-3. ¿Cuál es el impacto o visibilidad de las publicaciones dentro de la comunidad académica? Para medir el impacto o la visibilidad de las publicaciones en la comunidad académi- ca usaremos la cantidad de citas obtenidas por los artículos incluidos. De los resulta- dos se observa que el trabajo de [20] es el que cuenta con mayor número de citas, seguido del libro [9]: 0 0.5 1 1.5 2 2.5 1998 2007 2008 2009 2010 2011 Cantidad de articulos publicados por año Frecuencia 0 1 2 3 4 Scopus Wiley ACM EBSCO host Cantidad de artículos por fuente de datos Frecuencia Tabla 11. Cantidad de citas por publicación Título Tipo Citas Harmonizing ISO/IEC 15504 and CMMI Artículo 43 Process Improvement with CMMI v1.2 and ISO Standards, 1 edition Libro 33 Harmonizing maturity levels from CMMI-DEV and ISO/IEC 15504 Artículo 32 Leveraging your CMM efforts for IEEE/EIA 12207 Artículo 25 Comparing ISO/IEC 12207 and CMMI-DEV: Towards a mapping of ISO/IEC 15504-7 Artículo 12 Harmonizing improvement technologies: A comparison between CMMI- ACQ and ISO/IEC 12207:2008 Artículo 5 Mapping software acquisition practices from ISO 12207 and CMMI Artículo 5 Definition of a Hybrid Measurement Process for the Models ISO/IEC 15504-ISO/IEC 12207: 2008 and CMMI Dev 1.3 in SMEs Artículo 5 PB-4 ¿De qué países provienen las publicaciones sobre este tema? En cuanto al país de origen de los trabajos de investigación, la mayor cantidad de ellos proviene de España, seguida de USA. Fig. 5. Distribución de estudios por país de procedencia 4.6 Sintetizar los datos extraídos PI-1. ¿Existen trabajos de investigación relacionados a la comparación entre ISO/IEC 12207 y CMMI-DEV? De acuerdo a los resultados obtenidos se ha encontrado estudios relacionados con la comparación entre ISO/IEC 12207 y CMMI en sus diferentes versiones. Los siguien- tes estudios realizan una comparación entre ambos modelos como objetivo principal de su investigación: 0 1 2 3 4 5 USA AUSTRALIA ESPAÑA MEXICO Publicaciones por país de procedencia Frecuencia 1. [19] realiza la comparación entre CMM (SW-CMM) v.1.1 y IEEE/EIA 12207 con el objetivo de servir como una guía para cumplir los requisitos pa- ra implementar IEE/EIA 12207 usando CMM. 2. [9] realiza una comparación bidireccional entre ISO 12207:2008 y CMMI v1.2 para detectar similitudes y diferencias entre ambos modelos y conocer el potencial de cada modelo para apoyar un proceso de mejora. 3. [6] realiza una comparación entre las áreas de proceso de CMMI-DEV y los procesos descritos en la norma ISO/IEC 12207:2008. Basado en estos resul- tados se investiga la relación entre CMMI-DEV y los modelos ISO/IEC 15504-7, con el objetivo de identificar el grado de cobertura de los niveles de madurez CMMI-DEV en relación con la norma ISO/IEC 15504-7. 4. [22] proporciona información acerca de cuan relacionadas están las practicas descritas en ambos modelos. Con el objetivo de ayudar a las organizaciones interesadas en introducir o mejorar sus prácticas de adquisición de productos y servicios usando estos dos modelos. 5. [8] ofrece información sobre como las prácticas descritas en ambos modelos están relacionadas. 6. [21] verifica la compatibilidad de los procesos de medida de los modelos CMMI DEV 1.3 y el estándar ISO/IEC 12207:2008 realizando una trazabili- dad entre ambos modelos. De acuerdo a [22] los trabajos relacionados con el estándar ISO/IEC 15504-2:2004 involucran a ISO/IEC 12207:2007 porque este es el modelo de procesos de referencia (PRM) sugerido por ISO/IEC 15504. Teniendo en cuenta esto, se incluyeron los si- guientes estudios que presentan una comparación entre ISO/IEC 12207 y CMMI co- mo un paso intermedio en su objetivo de comparar el modelo CMMI y el estándar ISO/IEC 15504: 1. [20] analiza la relación entre CMMI y el Modelo de Evaluación de Procesos ISO/IEC 15504-2 y el Modelo de Referencia de Procesos descrito en ISO/IEC 12207 AMD 1/2. 2. [23] desarrolla una comparación entre los modelos ISO/IEC 15504-7 con el objetivo de obtener información del grado de cobertura de los niveles de ma- durez descritos en ambos modelos. Esta comparación se realiza en dos eta- pas, primero se realiza un mapeo entre los procesos de ISO 12207:2008 y las áreas de proceso de CMMI-DEV, y en una segunda etapa se mapean los pro- cesos de ISO 12207:08 y ISO 15504-5. PI-2. ¿Cuáles han sido las versiones y métodos o técnicas empleados en la compara- ción de la ISO/IEC 12207 y CMMI-DEV? La técnica más empleada en la comparación de los modelos ISO/IEC 12207 y CMMI es el mapping tal como se detalla en los trabajos de [19], [20], [9], [6], [23], [22], [8]. La técnica empleada en el trabajo de [21] es el de trazabilidad. Las versiones de ISO/IEC 12207 y CMMI empleadas en las comparaciones han sido diversas, tal como se muestra en el siguiente cuadro: Tabla 12. Versiones de los estándares empleado en la comparación de ISO 12207 y CMMI Estudio Estándar(es) Empleado(s) Leveraging Your CMM Efforts for IEEE/EIA 12207 CMM (SW-CMM) v.1.1 IEEE/EIA 12207 Harmonizing ISO/IEC 15504 and CMMI CMMI v 1.1 ISO/IEC 15504-2 (2002) ISO/IEC 12207 Amd 1 / 2 (2007) Process Improvement with CMMI® v1.2 and ISO Standards ISO 12207:2008 CMMI v1.2 Comparing ISO/IEC 12207 and CMMI-DEV: towards a map- ping of ISO/IEC 15504-7 CMMI-DEV v 1.2 ISO/IEC 12207 (2008) ISO/IEC 15504-2 (2003) ISO/IEC 15504-5 (2006) ISO/IEC 15504-7 (2008) Harmonizing Maturity Levels From CMMI-DEV and ISO/IEC 15504 Harmonizing Improvement Technologies: A Comparison Be- tween CMMI-ACQ and ISO/IEC 12207:2008 ISO/IEC 12207:2008 CMMI-ACQ v1.2:2007 Mapping Software Acquisition Practices from ISO 12207 and CMMI ISO/IEC 12207:2008 CMMI-ACQ v1.2:2007 Mapping Software Acquisition Practices from ISO 12207 and CMMI ISO/IEC 15504 ISO/IEC 12207:2008 CMMI DEV 1.3 Definition of a Hybrid Measurement Process for the Models ISO/IEC 15504-ISO/IEC 12207: 2008 and CMMI Dev 1.3 in SMEs Adicionalmente, [6], [23], [22], [8] para asegurar la confiabilidad de los resultados obtenidos en las comparaciones realizadas definen un procedimiento y una guía para realizar el mapping paso a paso. Este proceso define dos roles: 1. Ejecutantes 2. Revisores Además de 5 actividades: 1. Análisis de los modelos a comparar 2. Diseño de la comparación 3. Ejecución de la comparación 4. Presentación de los resultados de la comparación. 5. Análisis de los resultados de la comparación. Fig. 6. Diagrama de Actividades desarrollado para el proceso de mapping empleado (Tomado de [23]) PI-3. ¿Cuáles han sido los elementos usados en la comparación entre la ISO/IEC 12207 y CMMI DEV? Los elementos usados en la comparación de ISO/IEC 12207 y CMMI han sido diver- sos dependiendo del criterio y objetivo del investigador. La comparación realizada por [19] usa como elementos de comparación las Áreas de procesos principales (KPA) de CMM (SW-CMM) v.1.1 y los procesos de EEE/EIA 12207. Mientras que [20] emplea las Practicas Genéricas (GP) de CMMI y las Áreas de Proceso de ISO/IEC 12207 Amd 1/2. Dado el nivel de detalle que pretende obtener en su comparación, [9] usa las Actividades y tareas de ISO/IEC 12207:2008 y las Practicas Genéricas (GP) y Especificas (SP) por Área de Proceso (PA) de CMMI v1.2. Las comparaciones a bajo nivel realizadas por [6], [22] , [23], [8] y [23] usan las Actividades y tareas de ISO/IEC 12207:2008 y las Prácticas específicas de CMMI- ACQ v1.2:2007. El trabajo de [21] realiza la trazabilidad entre los resultados espera- dos de “Measurement Process” de ISO/IEC 12207:2008 y las Practica Especificas del Área de Proceso de “Measurement and Analysis” de CMMI DEV 1.3. PI-4. ¿Cuáles son los criterios de comparación adoptados para la comparación entre ISO/IEC 12207 y CMMI? El criterio empleado por [19] es realizar un mapeo entre los requisitos para imple- mentar IEEE/EIA 12207 que son cubiertos por las Principales Áreas de Proceso (KPM) de CMM (SW-CMM) v.1.1. El criterio empleado por [20] es realizar una comparación a bajo nivel usando las Prácticas Genéricas de CMMI y los procesos de ISO/IEC 12207 Amd 1/2 como mo- delo de procesos de referencia para ISO/IEC 15504-2. Los autores [9] para caracterizar el nivel de relación entre los elementos de ISO/IEC 12207 y CMMI usan un factor de confianza basado en una escala numérica, cuyos valores se muestran a continuación: Tabla 13. Criterio de comparación de ISO/IEC 12207 y CMMI usado por [9] Nivel de Confianza del Mapeo Descripción Comentario 0 Sin Mapeo 30 Débil La sentencia en el estándar ISO no corresponde claramente con alguna práctica CMMI. 60 Medio La correspondencia no es completa, pero con alguna interpretación CMMI puede satisfacer el requerimiento ISO. 100 Fuerte Existe una fuerte relación entre el requerimiento ISO y la práctica CMMI. Los trabajos realizados por [6], [23], [22], [8] para determinar el grado de relación entre los procesos de ISO/IEC 12207:2008 y las áreas de proceso de CMMI definen una escala discreta en términos de porcentaje. La escala empleada es la siguiente: S: Fuertemente relacionada (86% a 100%) L: Largamente relacionada (51% a 85%) P: Parcialmente relacionada (16% a 50%) W: Débilmente relacionada (1% a 15%) No relacionada (0%) Los valores numéricos son obtenidos de la división del número de prácticas específi- cas (a partir de un área de proceso de CMMI) que están relacionados a las actividades (a partir de un proceso de ISO/IEC 12207:2008) entre el número de prácticas especí- ficas definidas en un Área de Proceso). El criterio utilizado por [21] es analizar la similaridad entre las descripciones de cada resultado esperado del “Measurement Process” de ISO/IEC 12207:2008 y de cada práctica específica del proceso de “Measurement and Analysis” de CMMI Dev v1.3. PI-5. ¿Cuál ha sido el grado de cobertura obtenido de la comparación de la ISO/IEC 12207 y CMMI en sus diferentes versiones? Dado el objetivo de su investigación, [19] no indica numéricamente el grado de cober- tura entre ambos modelos. Pero como resultado de su comparación a alto nivel en- cuentra que los procesos de Suministro, Operación y Mantenimiento no tienen ningu- na relación con alguna Área de Proceso Principal (KPA) de CMM ya que los mode- los comparados difieren en su alcance. Es decir ISO/IEC 12207 cubre 15 de 18 Áreas de Proceso Principal (KPA) de CMM es decir 83%. Pero brinda una lista detallada de los requerimientos de IEEE/EIA 12207 que no son cubiertos por CMM. A bajo nivel, solo muestra una lista con los requerimientos de IEE/EIA 12207 que no son cubiertos por los elementos de CMM. [20] No indica numéricamente el grado de cobertura como resultado de la compa- ración. Pero determina que las Prácticas Específicas de CMMI están direccionadas en casi todos los procesos de ISO 12207 AMD 1 / 2. Para los procesos que no estén di- reccionados determina el siguiente grado de cobertura: Tabla 14. Cobertura entre ISO/IEC 12207 y CMMI según [20] Procesos ISO 12207 No cubiertos por CMMI Procesos ISO 12207 No cubiertos por Process Dimensión of CMMI (De forma completa o explicita) Procesos ISO 12207 Cubiertos de Forma Débil por CMMI F.1.4 – Operation F.2.9 – Usability F.2.10 – Product Evaluation F.3.1.2 - Organization Management F.3.7 – Domain Engineering F.1.1.3 Supplier Monitoring F.1.1.4 Customer acceptance F.1.2 Supply F.1.5 Maintenance F.3.1.1 Organizational alignment F.3.1.6 – Measurement F.3.4.1 - Human Resource Management F.3.4.3 - Knowledge Management F.3.5 - Asset Management F.3.6 - Reuse Program Management F.2.1 Documentation Process F.3.2 Infrastructure Process En el otro sentido de la comparación, las siguientes Practicas Específicas de CMMI están fuera del alcance de ISO/IEC 12207 1 / 2: • Decision Analysis • Resolution Process El nivel de cobertura entre los procesos de ISO/IEC 12207:2008 y las áreas de proceso de CMMI-DEV v.1.2 según [6], [23] es: Tabla 15. Cobertura entre ISO/IEC 12207 y CMMI-Dev v1.2 Nivel de Cobertura Áreas de Proceso de CMMI-DEV v1.2 Fuerte CM, MA, PMC, PPQA, REQM, SAM, OT, RSKM, VER, CAR Largamente PP, PI, RD, TS, VAL; Parcial DAR, IPM+IPPD, OPD+IPPD, OPF, QPM; Débil OID and OPP En cuanto al nivel de cobertura entre los procesos de ISO/IEC 12207:2008 y las dieciséis Áreas de Proceso de CMMI-ACQ (la cual es parte del framework CMMI), [22], [8] obtienen el siguiente nivel de cobertura: Tabla 16. Cobertura entre ISO 12207 y CMMI-ACQ v1.2 Nivel de Cobertura Áreas de Proceso de CMMI-ACQ v1.2 Fuerte Configuration Management, Measurement and Analysis, Project Mon- itoring and Control, Process and Product Quality Assurance, Re- quirements Management, Organizational Training, Risk Management, and Causal Analysis and Resolution Largamente Project Planning Parcial Decision Analysis and Resolution, Integrated Project Management, Organizational Process Definition, Organizational Process Focus and Quantitative Project Management Débil Organizational Innovation and Deployment, and Organizational Pro- cess Performance Según [21], existe una fuerte cobertura entre el “Measurement Process” de ISO/IEC 12207:2008 y el Área de Proceso de “ Measurement and Analysis” de CMMI Dev v1.3 lo cual concuerda con el resultado obtenido por [6], [23]. PI-6. ¿Cómo han ido evolucionando los resultados de las comparaciones entre la ISO/IEC 12207 y CMMI DEV? Para mostrar la evolución de los resultados de las comparaciones entre la ISO/IEC 12207 y CMMI DEV usamos los resultados de la comparación a alto nivel de los diferentes estudios incluidos para la presente RSL. Para esto determinamos el número de procesos de ISO/IEC 12207 que no son cubiertos en forma alguna por algún Área de Proceso de CMMI, los datos recopilados fueron tabulados en la siguiente tabla: Tabla 17. Cobertura a alto nivel entre los procesos de ISO 12207 y las Áreas de Proceso de CMMI IEEE/EIA 12207 ISO/IEC 12207 Amd 1 / 2 ISO 12207:2008 Procesos No Cubiertos 3 5 6 Procesos Cubiertos 14 35 37 Total Procesos 17 40 43 % Cobertura de CMMI 82% 88% 86% CMM (SW-CMM) v.1.1 CMMI v 1.1 CMMI-DEV v 1.2 Usando los datos de la tabla anterior mostramos gráficamente la convergencia entre ambos modelos en la Figura 7. Fig. 7. Convergencia entre los procesos de ISO 12207 y las Áreas de Proceso de CMMI 4.7 Validar el informe de la revisión. La validación de esta RSL estuvo a cargo de los miembros del equipo de ProCal- ProSer en las fechas señaladas en el Apéndice quienes revisaron la RSL durante sus diferentes etapas. El esquema aplicado fue el de primera revisión mediante un revisor par (Abraham Dávila y Karim Meléndez) y en la segunda revisión se recurrió a un revisor experto (Luis Flores) 5 Conclusiones y Trabajo Futuro Si bien es cierto existen muchos estudios relacionados a la comparación de dos modelos o estándares a lo largo de los años, se han encontrado pocos estudios relacio- nados a la comparación entre CMMI e ISO/IEC 12207. En los estudios encontrados se ha encontrado que el mapping es la técnica más empleada en la armonización de los modelos CMMI y del estándar ISO/IEC 12207 pero el grado de similitud o diferencia obtenida va a depender del nivel de detalle de los elementos usados en la compara- ción. No se encontraron comparaciones detalladas que hayan empleado las últimas versiones del estándar ISO/IEC 12207 y del modelo CMMI. A partir de los estudios obtenidos no se puede precisar el nivel de convergencia de los modelos CMMI y del estándar ISO/IEC 12207 a lo largo de sus diferentes versio- nes debido a lo siguiente: • No usan una escala común de comparación de las similitudes o diferencias entre ambos modelos que permitan reducir la subjetividad en la compara- ción. • Los elementos de comparación y el nivel de detalle de las comparaciones de ambos modelos son diferentes. 82% 88% 86% 40% 60% 80% 100% CMM (SW-CMM) v.1.1 CMMI v 1.1 CMMI-DEV v 1.2 Convergencia de la cobertura de CMMI hacia ISO/IEC 12207 IEEE/EIA 12207 ISO/IEC 12207 Amd 1 / 2 ISO 12207:2008 % de Como trabajo futuro se propone realizar la comparación del estándar ISO/IEC 12207:2008 y CMMI-DEV 1.3 siguiendo el procedimiento propuesto por [6], [7], [8]. Esto, con el fin de contar con un mapeo que use las últimas versiones de los estánda- res y brinde datos adicionales que faciliten el análisis de la convergencia entre ambos modelos. Reconocimientos. Este trabajo ha sido realizado dentro del proyecto ProCal-ProSer financiado por Innóvate Perú bajo el Contrato 210-FINCYT-IA-2013 y parcialmente soportado por el Departamento de Ingeniería y el Grupo de Investigación y Desarrollo de Ingeniería de Software (GIDIS) de la Pontificia Universidad Católica del Perú. Referencias 1. T. Lucio-Nieto, R. Colomo-Palacios, P. Soto-Acosta, S. Popa and A. Amescua-Seco, "Implementing an IT service information management framework: The case of COTEMAR," International Journal of Information Management, pp. 589-594, 2012. 2. L. Morán, A. Pérez, J. Trujillo, D. Bathiely and M. J. González-Simancas, ISO/IEC 20000. Guía completa de aplicación para la gestión de los servicios de tecnologías de la información, España: Asociación Española de Normalización y Certificación, 2009. 3. C. Pardo, F. J. Pino, F. Garcia, M. T. Baldassarre and M. Piattini, "From Chaos to the Systematic Harmonization of Multiple Reference Models: A Harmonization Framework Applied in Two Case Studies.," J. Syst. Softw. 86, 1, pp. 125-143, 2013. 4. H. L. Romero, R. M. Dijkman, P. W. P. J. Grefen and V. A. Weele, "A Literature Review in Process Harmonization: A Conceptual Framework," 2012. 5. C. Pardo, F. J. Pino, F. García, M. Piattini and M. T. Baldassarre, "An ontology for the harmonization of multiple standards and models," Comput. Stand. Interfaces, pp. 48- 59, 2012. 6. M. T. Baldassarre, M. Piattini, F. J. Pino and G. Visaggio, "Comparing ISO/IEC 12207 and CMMI-DEV: towards a mapping of ISO/IEC 15504-7," In Proceedings of the Seventh ICSE conference on Software quality (WOSQ'09), Bernard Wong (Ed.). IEEE Computer Society, Washington, DC, USA, pp. 59-64, 2009. 7. F. J. Pino, M. Baldassarre, M. Piattini, G. Visaggio and D. A Caivano, "Mapping Software Acquisition Practices from ISO 12207 and CMMI," 2010. 8. F. J. Pino, D. Caivano, M. T. Baldassarre, M. Piattini and G. Visaggio, "Mapping Software Acquisition Practices from ISO 12207 and CMMI," Communications in Computer and Information Science, Evaluation of Novel Approaches to Software Engineering, pp. 234-247, 2010. 9. B. Mutafelija and H. Stromberg, "Process Improvement with CMMI® v1.2 and ISO Standards," USA, Auerbach Publications, 2009, pp. 181-194, 321-357. 10. ISO, ISO/IEC 12207:2008 Systems and Software Engineering - Software Life Cycle Processes, www.iso.org, 2008. 11. CMMI Product Team, CMMI for Development, Version 1.3 (CMU/SEI-2010-TR- 033), Pittsburgh, Pennsylvania: Software Engineering Institute, Carnegie Mellon University, 2010. 12. M. B. Chrissis, M. Konrad and S. Shrum, CMMI®, Guía para la Integración de Procesos y la Mejora de Productos, Pearson Educación, 2009. 13. B. Kitchenham and S. Charters, "Guidelines for performing Systematic Literature Reviews in Software Engineering," Staffordshire: EBSE Technical Report EBSE-2007- 01, 2007. 14. Z. Stapić, E. G. López, A. G. Cabot, L. d. M. Ortega and V. Strahonja, "Performing Systematic Literature Review in Software Engineering," Central European Conference on Information and Intelligent Systems, pp. 441-447, 2012. 15. M. G. Piattini Velthuis, M. F. Bocco and J. A. Cruz-Lemus, "Métodos de Investigación en Ingeniería del Software," Ra-Ma Editorial, 2014, pp. 199-246. 16. P. Brereton, B. A. Kitchenham, D. Budgen, M. Turner and M. Khalil, "Lessons from Applying the Systematic Literature Review Process within the Software Engineering Domain," Journal of Systems and Software, Vol.80 Issue 4, pp. 571-583, 2007. 17. J. Popay, A. S. Helen Roberts, L. A. Mark Petticrew, N. B. Mark Rodgers and S. D. Katrina Roen, "Guidance on the Conduct of Narrative Synthesis in Systematic Reviews: A Product from the ESRC Methods Programme Version 1," 2006. 18. M. Rodgers, A. Sowden, M. Petticrew, A. Lisa, H. Roberts, N. Britten and J. Popay, "Testing methodological guidance on the conduct of narrative synthesis in systematic reviews: Effectiveness of interventions to promote smoke alarm ownership and function," pp. 49-73, 2009. 19. J. Ferguson and S. Sheard, "Leveraging Your CMM Efforts for IEEE/EIA 12207," 1998. 20. T. P. Rout and A. Tuffley, "Harmonizing ISO/IEC 15504 and CMMI," Software Process: Improvement and Practice, pp. 361-371, 2007. 21. J. C. Ruiz, Z. B. Osorio, J. Mejia, M. Munoz, A. M. Chavez and B. A. Olivares, "Definition of a Hybrid Measurement Process for the Models ISO/IEC 15504-ISO/IEC 12207: 2008 and CMMI Dev 1.3 in SMEs," in CERMA '11: Proceedings of the 2011 IEEE Electronics, Robotics and Automotive Mechanics Conference, 2011. 22. F. J. Pino, M. T. Baldassarre, M. Piattini, G. Visaggio and D. Caivano, "Harmonizing Improvement Technologies: A Comparison Between CMMI-ACQ and ISO/IEC 12207:2008," 4th International Conference on Evaluation of Novel Approaches to Software Engineering, pp. 177-188, 2009. 23. F. J. Pino, G. Visaggio, M. T. Baldassarre and M. Piattini, "Harmonizing Maturity Levels From CMMI-DEV and ISO/IEC 15504," Journal of Software Maintenance and Evolution: Research and Practice, 2009.