Análisis de la dificultad

Conceptualización

La dificultad de un ítem es el grado en que distintos sujetos son capaces de encontrar la alternativa correcta en un test de rendimiento óptimo.

La dificultad se calcula a partir de las puntuaciones observadas ($X$).

En el cálculo directo de las puntuaciones observadas, puedo calcular la puntuación sin correcciones o aplicando una corrección para considerar las respuestas aleatorias. Por lo tanto, se puede calcular tanto la dificultad no corregida como la dificultad corregida.

Por otro lado, la dificultad se calcula de manera distinta en ítems dicotómicos y no dicotómicos.

Pregunta

En una prueba de tres alternativas se han obtenido los siguientes % de respuestas a las tres opciones de un ítem: A = 50%, B = 26% y C = 24%.

Dificultad de ítems dicotómicos

Los ítems dicotómicos son aquellos en los que solo hay dos opciones posibles de puntuación, como una pregunta de verdadero/falso.

Proporción de aciertos

La forma más sencilla de calcular la dificultad es calcular la proporción de personas que han acertado un ítem. La fórmula es:

$$p_i = \frac{\sum_{s=1}^n x_{s_i}}{n} = \frac{A_i}{n}$$

donde:

• $s$: representa cada sujeto.
  • $s_i$: representa cada sujeto que ha acertado.
• $n$: representa la cantidad total de sujetos.
• $A_i$: es la cantidad total de aciertos en un ítem.

La proporción toma valores entre $0$ y $1$, donde:

• $p=0$: Ningún sujeto ha acertado el ítem, lo que representa la máxima dificultad.
• $p=1$: Todos los sujetos han acertado el ítem, lo que representa la mínima dificultad.

Proporción de aciertos corregida

Cuando explico el cálculo directo de las puntuaciones observadas, indico que hay una manera de aplicar una corrección para considerar la probabilidad de que los evaluados acierten ítems al azar. Esto ayuda a evitar que la puntuación esté sobreestimada.

Para calcular la dificultad de un ítem con corrección, utilizo la siguiente fórmula:

$$p_i = \frac{A_i - \frac{E_i}{k-1}}{n}$$

donde:

• $A_i$: Cantidad total de aciertos en un ítem.
• $E_i$: Cantidad total de errores en un ítem.
• $k$: Cantidad total de alternativas.
  • $k-1$: Grados de libertad.
• $n$: Cantidad total de sujetos.

Es decir, es la misma fórmula que la anterior, pero restando $\frac{E_i}{k - 1}$ a la cantidad de aciertos para considerar la probabilidad de acertar por azar.

Dificultad de ítems no-dicotómicos

Los ítems no-dicotómicos son aquellos que no se limitan a dos opciones de puntuación posibles (como correcto/incorrecto o 0/1), y cuya evaluación permite asignar más de dos valores diferentes a las respuestas de los sujetos. Estos ítems son característicos de situaciones donde:

• Existen grados de corrección o diferentes niveles de respuesta: por ejemplo, un ítem puede ser parcialmente correcto, asignándole puntuaciones intermedias (como 0, 1, 2, 3 puntos).
• La naturaleza del ítem permite múltiples opciones válidas, más allá de una única respuesta correcta.

Media

Una manera de calcular la dificultad de un ítem no dicotómico es calcular la media de las puntuaciones de todos los ítems y comparar si el ítem en cuestión tiene puntuaciones menores que esta media:

$$\bar{X} = \frac{\sum_{i=1}^n x_i}{n}$$

Por lo tanto, un ítem será más difícil a medida que su puntuación se aleje más de la media hacia el límite inferior. Dicho de otra manera, esto permite identificar qué ítems son los que reducen más la puntuación final de los sujetos. Así, puedo considerar que estos son los ítems más difíciles.