Análisis de la diferencia de puntuaciones

Después de estimar la puntuación verdadera, ya sea por el método de estimación puntual o el de intervalos, es necesario analizar si la diferencia entre las puntuaciones es significativa.

Para ello, utilizo técnicas estadísticas habituales para comparar medidas entre dos grupos. El procedimiento depende de si comparo medidas independientes o dependientes.

Medidas independientes

Sucede cuando dos sujetos distintos completan un mismo test y quiero comparar si la diferencia entre las puntuaciones es significativa.

Para comparar las puntuaciones independientes, primero defino las medias de las puntuaciones:

• Para las puntuaciones del primer sujeto ($X_{s_1}$): $\bar{x}_{X_{s_1}}$
• Para las puntuaciones del segundo sujeto ($X_{s_2}$): $\bar{x}_{X_{s_2}}$

Si represento la comprobación en términos de hipótesis, son:

• $H_0$: $\bar{x}_{X_{s_1}} = \bar{x}_{X_{s_2}}$, es decir, que las medias de las puntuaciones son iguales.
• $H_A$: $\bar{x}_{X_{s_1}} \neq \bar{x}_{X_{s_2}}$, es decir, que las medias son distintas.

Métodos de comparación

Hay dos maneras de refutar la hipótesis. Es decir, dos maneras para determinar si la diferencia entre las medias es o no es significativa.

Solapamiento del intervalo de confianza

Conceptualmente, este método consiste en calcular los intervalos de confianza de ambas puntuaciones y comprobar si hay solapación entre ambos intervalos de confianza.

Calculo los intervalos de confianza para ambos sujetos:

• Primer sujeto:
  • Límite inferior: $X_{s_1} - |Z_{\alpha/2}| \cdot EEM$
  • Límite superior: $X_{s_1} + |Z_{\alpha/2}| \cdot EEM$
• Segundo sujeto:
  • Límite inferior: $X_{s_2} - |Z_{\alpha/2}| \cdot EEM$
  • Límite superior: $X_{s_2} + |Z_{\alpha/2}| \cdot EEM$

Luego verifico:

• Si hay solapamiento, la diferencia no es significativa (por ejemplo, $[1,5]$ y $[3,7]$). Es decir, no hay diferencias significativas entre las puntuaciones.
• Si no hay solapamiento, La diferencia es significativa (por ejemplo, $[1,5]$ y $[10,15]$).

Contraste mediante puntuación típica (z) y zona crítica

Conceptualmente, este método consiste en calcular un estadístico de contraste llamado puntuación $Z$ a partir de los datos obtenidos en las muestras. Después, compruebo si el valor $Z$ resultante está dentro del intervalo de confianza esperable para una determinado nivel de confianza. Este intervalo se llama "zona crítica".

Para ello, utilizo la fórmula de la puntuación $Z$:

$$z = \frac{\bar{x}_{X_1} - \bar{x}_{X_2}}{\sigma_X \cdot \sqrt{2} \cdot \sqrt{1 - \rho_{XX^{\prime}}}}$$

donde:

• $\bar{x}_{X_1} - \bar{x}_{X_2}$: Diferencia observada entre las medias.
• $\sigma_X$: Desviación estándar de las puntuaciones observadas.
• $\rho_{XX^{\prime}}$: Fiabilidad del test.
• $\sqrt{2}$: Ajuste para comparar dos medidas.

Después, consulto la zona crítica para el nivel de confianza dado. Por ejemplo, para un contraste bilateral con $\alpha = 0.05$, la zona crítica está entre los valores $-1.96$ y $1.96$.

Con esta información, puedo realizar la comproblación:

• Rechazo $H_0$ si $z$ está fuera de la zona crítica:

$$z \leq -z_{\alpha/2} \quad \text{o} \quad z \geq z_{\alpha/2}$$

• Acepto $H_0$ si $z$ está dentro de la zona crítica.

Medidas dependientes

Sucede cuando un mismo sujeto completa dos tests distintos, o el mismo test en momentos diferentes, y quiero comparar si la diferencia entre las puntuaciones es significativa.

Para comparar las puntuaciones dependientes, primero defino las medias:

• Para las puntuaciones del primer test ($X_{t_1}$): $\bar{x}_{X_{t_1}}$
• Para las puntuaciones del segundo test ($X_{t_2}$): $\bar{x}_{X_{t_2}}$

En este caso, no utilizo la notación $s$, sino $t$, porque no comparo sujetos, sino tests.

Puedo representar la comparación en términos de refutación de hipótesis:

• $H_0$: $\bar{x}_{X_{t_1}} = \bar{x}_{X_{t_2}}$, es decir, que las medias son iguales.
• $H_A$: $\bar{x}_{X_{t_1}} \neq \bar{x}_{X_{t_2}}$, es decir, que las medias son distintas.

Métodos de comparación

En este caso, sólo utilizo un método para hacer la comproblación:

Contraste mediante puntuación típica (z) y zona crítica

Conceptualmente, este método consiste en calcular un estadístico de contraste llamado puntuación $Z$ a partir de los datos obtenidos en las muestras. Después, compruebo si el valor $Z$ resultante está dentro del intervalo de confianza esperable para una determinado nivel de confianza. Este intervalo se llama "zona crítica".

La fórmula utilizada para comprobar si la diferencia entre dos medidas dependientes es significativa es:

$$z = \frac{\bar{x}_{X_1} - \bar{x}_{X_2}}{\sigma_X \cdot \sqrt{2 - \rho_{X_1X_2} - \rho_{hh^{\prime}}}}$$

donde:

• $\bar{x}_{X_1} - \bar{x}_{X_2}$: Diferencia observada entre las puntuaciones.
• $\sigma_X$: Desviación estándar de las puntuaciones observadas.
• $\rho_{X_1X_2}$: Correlación entre las medidas del mismo test en diferentes momentos (fiabilidad test-retest).
• $\rho_{hh^{\prime}}$: Correlación entre las subescalas o partes del test (consistencia interna).

Ahora que tengo esta información, hago el contraste:

• Rechazo $H_0$ si $z$ está fuera de la zona crítica:

$$z \leq -z_{\alpha/2} \quad \text{o} \quad z \geq z_{\alpha/2}$$

• Acepto $H_0$ si $z$ está dentro de la zona crítica.