Análisis de fiabilidad y validez

Conceptualización

La fiabilidad y la validez también se pueden calcular para un ítem concreto, al igual que se puede calcular para el test completo.

La siguiente imagen muestra los intentos de un arquero por disparar en el centro de la diana:

Baja fiabilidad

Baja precisión

Baja validez

Alta fiabilidad

Baja precisión

Baja validez

Alta fiabilidad

Alta precisión

Baja validez

Alta fiabilidad

Alta precisión

Alta validez

En el primer intento, es evidente que el arquero está fallando. Pero está fallando de dos maneras: tiene baja fiabilidad, porque no dispara siempre al mismo sitio, y además no acierta en el centro de la diana, lo que indica baja validez.

En la segunda, el arquero sí dispara de manera consistente, pero no acierta en el centro de la diana. Es decir: tiene alta fiabilidad, pero baja validez. Sin embargo, los disparos podrían estar más cerca entre sí, por lo que tiene baja precisión.

En el tercero, se reduce la distancia entre los disparos. Es decir, aumenta la precisión, pero sigue sin acertar en el centro de la diana.

Finalmente, en el cuarto cuadro, el arquero dispara de forma consistente, los disparos están muy cerca y además acierta en la diana. Es decir: tiene alta fiabilidad, alta precisión y alta validez.

Índice de fiabilidad (IF)

La fiabilidad de un ítem se representa por el índice de fiabilidad ($IF$). A nivel conceptual, es una función que combina dos aspectos:

• la variabilidad en las puntuaciones del ítem
• la correlación entre la puntuación del ítem y la puntuación total del test ($X$)

Por lo tanto, el criterio para medir la fiabilidad es interno; es decir: se utiliza la puntuación observada ($X$) del propio test corregido para determinar la fiabilidad de un ítem. En gran medida, es equivalente a la consistencia interna del test.

La fórmula del $IF$ es distinta para ítems dicotómicos y no-dicotómicos:

En los ítems no-dicotómicos, la fórmula es:

$$IF_i = s_i \times r_{iX}$$

donde:

• $r_{iX}$ es la correlación entre el ítem y la puntuación observada ($X$) total del test
• $s_i$ es la desviación estándar del ítem $i$

En los ítems dicotómicos, la fórmula es es un poco más compleja:

$$IF_i = \sqrt{p_i \times q_i \times r_{iX}}$$

donde:

• $p_i$ es la proporción de aciertos
• $q_i$ es la proporción de errores
• $r_{iX}$ es la correlación entre el ítem y la puntuación total del test

Índice de validez (IV)

La validez de un ítem se representa por el índice de validez ($IV$). A nivel conceptual, es una función que combina dos aspectos:

• la variabilidad en las puntuaciones del ítem
• la correlación entre la puntuación del ítem y un criterio externo ($Y$).

Es decir, es similar, pero utilizando como referencia el criterio externo; como es lógico tratándose de la validez. Es decir, se compara con la puntuación verdadera ($Y$) representada por un criterio externo.

La fórmula del $IV$ es distinta para ítems dicotómicos y no-dicotómicos:

En los ítems no-dicotómicos, la fórmula es:

$$IF_i = s_i \times r_{iY}$$

donde:

• $r_{iX}$ es la correlación entre el ítem y la puntuación verdadera ($Y$) del criterio externo
• $s_i$ es la desviación estándar del ítem $i$

En los ítems dicotómicos, la fórmula es es un poco más compleja:

$$IF_i = \sqrt{p_i \times q_i \times r_{iY}}$$

donde:

• $p_i$ es la proporción de aciertos
• $q_i$ es la proporción de errores
• $r_{iX}$ es la correlación entre el ítem y la puntuación total del test