El Modelo de Respuesta Nominal: Aplicación a datos educacionales

Abstract

La presente tesis centra sus esfuerzos en presentar y estudiar el Modelo de Respuesta Nominal o NRM por sus siglas en inglés (Bock, 1972, 1997), en el contexto de la Teoría de Respuesta al ítem (IRT, por sus siglas en inglés). Se realizaron estudios de simulación para determinar la calidad de la recuperación de los parámetros del modelo, bajo la metodología clásica (MML) y bayesiana (MCMC) y finalmente, se aplicó el modelo estudiado en una muestra anónima, aleatoria y representativa de 1641 docentes de la modalidad de Educación Básica Regular de la especialidad de inglés, que fueron expuestos a la sub-prueba de Compresión Lectora del Concurso de Nombramiento 2015. En relación a la simulación, encontramos que el método bayesiano es un buen sustituto de su contraparte clásica, debido a que el mismo recupera de manera similarmente satisfactoria los parámetros de los ítems; sin embargo, la principal desventaja es que fue entre 620 a 14100 veces más lento que los métodos clásicos, pese a que se puso especial énfasis en hacer paralelos los procesos MCMC. En relación a los resultados de la aplicación se tiene que el NRM: (i) facilita la recuperación de una mayor proporción información disponible en los ítems, frente a los modelos de respuestas dicotómicas (Bock, 1972; Thissen, 1976; Levine y Drasgow, 1983; Thissen y Steinberg, 1984), (ii) permite hallar el ordenamiento implícito en datos categóricos inicialmente no ordenados (Samejima, 1988; Bock, 1997) y (iii) brinda información relevante para la valoración de la calidad de un ítem (Thissen et al., 1989), especialmente en dos puntos: (a) les permitía identificar alternativas inservibles o forzadas y (b) les permita identificar alternativas que se podían colapsar, dado que estas alternativas registraban similar temática.

This thesis focuses its e orts on presenting and studying the Nominal Response Model or NRM (Bock, 1972, 1997), in the context of the Item Response Theory (IRT). Simulation studies are carried out to determine the quality of the recovery of the parameters of the model, under the Classic (MML) and Bayesian (MCMC) aproach and nally, the studied model was applied to an random, representative and anonymous sample of 1641 teachers from the Basic Regular Education modality of the english specialty, who were exposed to the Reading-Comprehension sub-test of the \Concurso de Nombramiento 2015". Related to the simulation, we found the bayesian method is a good substitute for the classic counterpart, because it recovers in a similarly satisfactory fashion the parameters of the items; however, the main disadvantage was that the process was between 620 to 14; 100 times slower than the classical approach, despite the special emphasis on making the MCMC processes parrallel. Related to the results of the implementation of the model on real data, the NRM: (i) it facilitates the recovery of a greater proportion of information available in the items, compared to dichotomous response models (Bock, 1972; Thissen, 1976; Levine y Drasgow, 1983; Thissen y Steinberg, 1984), (ii) it allows to nd the implicit order in initially not ordered categorical data (Samejima, 1988; Bock, 1997) and (iii) it provided relevant information for the examination of the quality of an item (Thissen et al., 1989), specially in two fronts: (a) it allowed the identi cation of useless or forced alternatives and (b) it allowed the identi cation of alternatives that could be collapsed, given that these alternatives registered a similar topics.