¿Cómo se elaboran las pruebas?
El proceso de construcción de una prueba es complejo, porque para su diseño se necesita ejecución de tiempo y de recursos tanto físicos como económicos. Conlleva varios pasos, los cuales deben ser organizados de manera sistemática e implica un trabajo interdisciplinario de expertos en el área curricular que se evaluará, así como de expertos en medición.
El proceso inicia con el diseño de la prueba, para empezar se decide qué se desea medir y cómo se medirá. Posteriormente se elabora una tabla de especificaciones que detalla los contenidos, habilidades y destrezas a evaluar. Cuando se ha decidido qué contenidos evaluará la prueba y en qué proporciones, se elaboran las especificaciones de ítems. Posteriormente se contratan redactores de ítems, docentes que imparten el área y que sean expertos en los requerimientos que se establecieron para los ítems y la tabla de especificaciones. Los redactores son capacitados en la elaboración de ítems, luego de que los han elaborado, estos son revisados por expertos en el área. Con los ítems elaborados por los consultores y revisados por los expertos se diagraman instrumentos revisados por el equipo técnico de la Digeduca.
Esta primera versión de la prueba se evalúa a través de una aplicación piloto con el grupo meta, es decir, estudiantes con las mismas características de la muestra o población a quien se destina el instrumento. La aplicación piloto es útil para determinar cuáles son los ítems que funcionan mejor y son seleccionados para conformar la versión final de la prueba. Este análisis se hace de dos formas: la primera de forma cuantitativa y la segunda de forma cualitativa. También se realiza una validación con docentes, también llamada Bookmark, en donde se ratifica el constructo que se pretende evaluar, el referente definido, los contenidos y los ítems realizados por los redactores.
Considerando los resultados de la aplicación piloto con estudiantes, las sugerencias de los docentes y las observaciones de los expertos en el área, se elabora la versión final del instrumento. Esta versión de la prueba se revisa antes y después de la impresión para ser aplicada a nivel nacional.
Para más información sobre la construcción de pruebas estandarizadas, consulte el siguiente enlace: http://bit.ly/compendioPruebas.
A continuación, se muestra el proceso de elaboración de una prueba.
Figura 1. Ciclo de construcción de una prueba estandarizada
Fuente: Quiñonez, A.; Mirón, R.; Afre, G.; Del Valle, M. J.; Carrillo, L. & Reyes, C. (2017). Marco de referencia de las pruebas nacionales. Compendio. Guatemala: Dirección General de Evaluación e Investigación Educativa, Ministerio de Educación.
¿Son válidas las pruebas que elabora la Digeduca?
Sí, porque con base en los análisis cualitativos y cuantitativos, se procede a seleccionar los ítems que ofrecen garantía de proporcionar confiabilidad y validez a la prueba, porque están ajustados a lo que se quiere medir. Las pruebas definitivas se construyen con todos los ítems que reportaron el mejor funcionamiento durante la aplicación piloto.
Los métodos que se utilizan para asegurar la validez son la consulta a expertos, siendo estos docentes y expertos en área curricular a evaluar y además con formación en evaluación externa. Además, se lleva a cabo el análisis factorial de las evaluaciones.
Puede conocer más sobre la validez de las pruebas en estos documentos:
Procedimiento de calificación TRI http://www.mineduc.gob.gt/digeduca/documents/cuadernillosTecnicos/Procedimiento_CalificacionTRI.pdf
Análisis de Rasch http://www.mineduc.gob.gt/digeduca/documents/cuadernillosTecnicos/Analisis_Rasch.pdf
¿Son confiables las pruebas que elabora la Digeduca?
Sí, las mediciones realizadas por la Digeduca son confiables porque:
- La cantidad de preguntas o ítems incluidos en las evaluaciones son suficientes.
- Las preguntas o ítems incluidos en las pruebas han mostrado consistencia con la puntuación total de la prueba y solamente se incluyen aquellos que aportan positivamente a la confiabilidad total de la prueba.
¿Son representativos los resultados de las pruebas que elabora la Digeduca?
Sí, en el caso de las evaluaciones de tercero básico y Graduandos, participan todos los estudiantes que durante ese año se encuentran inscritos en el grado a evaluar. Por esta razón se dice que estas evaluaciones son censales y por lo tanto representan la realidad de todo el país.
En el caso de la evaluación de primaria, esta se realiza a una muestra cuidadosamente seleccionada al azar, pero de manera estratificada, que es representativa a nivel de cada municipio. En la sección de Evaluación de la Primaria Nacional puede encontrar más información sobre cómo se obtiene esta muestra.
Conozca más sobre cómo se selecciona la muestra de la evaluación de primaria aquí:
DIGEDUCA 