Análisis de predictividad y sesgo de la prueba de ingreso a la universidad en el desempeño académico en el primer año. Caso de una universidad pública en Perú

Abstract

Este estudio examina la predictividad de las pruebas de admisión en una universidad peruana con relación al desempeño académico al primer año de estudios universitarios para verificar si las pruebas presentan funcionamiento y validez predictiva diferencial. Se utilizó un diseño predictivo comparativo ex post facto con datos preexistentes de los procesos de selección de 2008 (N = 3762) y 2018 (N = 3768). Asimismo, se analizaron los coeficientes de regresión y la correlaciones de los predictores con el promedio de calificaciones del primer año de estudios universitarios. Se halló que en ambos exámenes el puntaje de la prueba no fue un predictor del desempeño al primer año de estudios, explicando el 0.1% de la varianza del desempeño (valores de p = 0.536 y 0.352, respectivamente), mostrando también en los análisis de correlación valores no significativos en la categoría de muy débil (-0.024 y 0.027; p = 0.268 y 0.176); en contraste, el puntaje de secundaria fue un mejor predictor, explicando el 10.1% de la varianza del desempeño académico. Se destacaron desigualdades significativas en los puntajes de las pruebas según tipo de colegio de los postulantes. Se encontró, también, predicción diferencial solo en la prueba 2008 a favor de los candidatos provenientes de colegios privados. No se identificó un patrón en la cantidad y distribución del nivel de dificultad de los ítems por áreas de la prueba y, por otra parte, más del 80% de los ítems de la prueba 2018 (no se tuvo información por ítem de la prueba 2008) estuvieron entre los rangos de mala, inaceptable, y baja discriminación. El presente estudio ha proporcionado evidencia empírica acerca de la escasa predictividad de las pruebas elaboradas por personal no experto y un claro apoyo para la utilización de pruebas estandarizadas que garanticen niveles aceptables de predictividad, y minimicen el sesgo en el acceso.

This study examines the predictive validity of admission tests in a Peruvian university in relation to the first-year university academic performance and to verify if the tests present predictive validity and differential functioning. An ex post facto comparative predictive design was employed with pre-existing data from the selection processes of 2008 (N = 3762) and 2018 (N = 3768). The regression coefficients and the correlations of the predictors with the first-year college grade point average were calculated. It was found that in both exams the test score was not a predictor of performance in the first year of studies, explaining 0.1% of the performance variance (p values = 0.536 y 0.352, respectively), also showing values in the very weak category in the correlation analysis (-0.024 y 0.027; p = 0.268 y 0.176); in contrast, the high school score was a better predictor, explaining 10.1% of the variance of academic performance. Significant inequalities were highlighted in the test scores according to the applicant’s type of school. Differential prediction was also found only in the 2008 test in favor of students from private schools. No pattern was identified in the quantity and distribution of the level of difficulty of the items by areas of the test and, conversely, more than 80% of the items of the 2018 test (there was no information per item of the 2008 test) fell into the categories of bad, unacceptable, and low discrimination. This study provides empirical proof of the almost non-existent predictability of tests constructed by non-experts and strong evidence in favor of the adoption of standardized exams, which ensure adequate levels of predictability as well as minimize access bias.