Indicador de cambio fiable

Conceptualización

El Indicador de Cambio Fiable (ICF) es una medida para determinar si el cambio observado en una variable tras una intervención es estadísticamente significativo, es decir, si dicho cambio supera lo que podría esperarse debido al error de medida.

Hay dos indicadores principales para calcular el indicador de cambio fiable: el método de Jacobson y Truax y el método de Speer.

El ICF se calcula dividiendo la diferencia entre las puntuaciones pre y post-test entre el Error Estándar de la Diferencia (EED).

En inglés

El IFC se suele llamar RCI por sus siglas en inglés: Reliable Change Index. Sin embargo, también se le conoce como simplemente Reliable Change (RC).

En el contexto de la psicometría y la fiabilidad de los test, el indicador de cambio fiable se utiliza para evaluar la fiabilidad de un cambio en una variable. Por ejemplo, si un test mide la ansiedad de una persona y se administra dos veces, el indicador de cambio fiable se puede utilizar para evaluar la fiabilidad del cambio en la ansiedad entre las dos administraciones del test.

ICF de Jacobson y Truax

El ICF de Jacobson y Truax utiliza el EED para determinar si el cambio observado entre dos puntuaciones es estadísticamente significativo. Compara el cambio real observado con el error esperado. De esta forma, el ICF permite ver si el cambio entre dos puntuaciones es lo suficientemente grande como para que no se deba al error de medida aleatorio.

El ICF se calcula usando la diferencia entre las puntuaciones post-test y pre-test, dividida entre el Error Estándar de la Diferencia (EED):

$$ICF = \frac{X_{\text{post}} - X_{\text{pre}}}{EED}$$

Este método se basa en la diferencia entre dos mediciones y la varianza del error de medida. En cuando al cálculo del Error Estándar de la Diferencia (EED), se calcula con la fórmula:

$$EED = s \cdot \sqrt{2 \cdot (1 - r_{XX})}$$

Por eso, la fórmula para calcular el ICF se representa de la siguiente manera:

$$ICF = \frac{X_{\text{Post}} - X_{\text{Pre}}}{s_{\text{Pre}} \cdot \sqrt{1 - \rho_{XX^{\prime}}} \cdot \sqrt{2}}$$

• $X_{\text{Post}}$ es la puntuación obtenida tras la intervención o en el segundo momento de medida.
• $X_{\text{Pre}}$: es la puntuación obtenida antes de la intervención o en el primer momento de medida.
• $s_{\text{Pre}}$: es la desviación estándar de las puntuaciones en la muestra previa a la intervención (o en el primer momento).
• $r_{XX^{\prime}}$: coeficiente de fiabilidad del test en el primer momento (pre-test), que puede ser el coeficiente test-retest o cualquier otra medida de fiabilidad adecuada.

La expresión $s_{\text{Pre}} \sqrt{1 - r_{XX^{\prime}}} \cdot \sqrt{2}$ en el denominador ajusta el cambio a la variabilidad esperada debido al error de medida, considerando ambas mediciones.

Puede interpretarse como una prueba de significancia estadística en lugar de un simple indicador. Esto se debe a que el ICF no solo mide el cambio, sino que evalúa si dicho cambio es estadísticamente significativo y fiable, es decir, si es lo suficientemente grande como para atribuirse a una intervención o tratamiento, en lugar de al azar o al error de medida.

En esta prueba, la hipótesis nula ($H_0$) es que no existe cambio significativo, es decir, que el tratamiento no ha sido eficaz.

$$H_0: X_{\text{Post}} = X_{\text{Pre}}$$

Por el contrario, la hipótesis alternativa ($H_1$) es que sí existe un cambio significativo, es decir, que el tratamiento ha sido eficaz.

$$H_1: X_{\text{Post}} \ne X_{\text{Pre}}$$

Por lo tanto, usando un intervalo de confianza del 95%:

• Si $|ICF| \geq 1.96$, el cambio se considera significativo y no atribuible al error de medida. Esto implica que la diferencia en las puntuaciones puede interpretarse como un cambio real en el constructo medido.
• Por el contrario, si $|ICF| < 1.96$, el cambio no se considera fiable y puede deberse al error de medida.

ICF de Speer

El método de Speer para indicar si se produce un cambio fiable fue creado en 1992.

Es otra forma de evaluar la eficacia de un tratamiento o intervención mediante el análisis del cambio en puntuaciones pre y post tratamiento. En lugar de utilizar el coeficiente de fiabilidad del test en el primer momento, se utiliza el coeficiente de fiabilidad del cambio.

Similar al enfoque de Jacobson y Truax, el ICF de Speer utiliza la variabilidad de las puntuaciones pre y post y la fiabilidad del test para evaluar si el cambio observado es estadísticamente significativo y fiable.

Hay dos formas de calcular el ICF de Speer, una que crea un intervalo de confianza basado en un ajuste según la fiabilidad, y otra que calcula el cambio directo estandarizado:

1. La primera fórmula establece un intervalo de confianza para verificar si $X_{\text{Post}}$ cae fuera de una zona esperada basada en $X_{\text{Pre}}$.
2. La segunda fórmula calcula un ratio estandarizado del cambio entre $X_{\text{Post}}$ y $X_{\text{Pre}}$.

Sin embargo, sólo voy a explicar la primera fórmula, ya que es la más comúnmente utilizada y la más sencilla de interpretar.

Intervalo de confianza (±)

Establece un intervalo de confianza alrededor de una puntuación esperada postratamiento para determinar si el cambio es estadísticamente significativo:

$$\text{ICF}_{\text{Speer}} = \begin{bmatrix} r_{XX'} \cdot (X_{\text{Pre}} - \bar{x}_{\text{Pre}}) + \bar{x}_{\text{Pre}} \end{bmatrix} \pm 2 \cdot s_{\text{Pre}} \sqrt{1 - r_{XX'}}$$

Donde:

• $R_{XX^{\prime}}$: es la fiabilidad del test, frecuentemente estimada mediante la correlación test-retest u otra medida de consistencia interna.
• $X_{\text{Pre}}$: es la puntuación individual antes del tratamiento.
• $\bar{X}_{\text{Pre}}$: es la media de las puntuaciones antes del tratamiento.
• $S_{\text{Pre}}$: es la desviación estándar de las puntuaciones pretratamiento.
• El número $2$ representa el factor de 2 desviaciones estándar, correspondiente a un intervalo de confianza del 95%.

La media pretratamiento ($\bar{x}_{\text{Pre}}$) y el peso de fiabilidad ($r_{XX^{\prime}}$) ajustan la puntuación pretratamiento para obtener una estimación esperada.

A su vez, el hecho de que sea un intervalo ($\pm$) permite definir un rango alrededor de esta estimación ajustada.

Esta fórmula calcula un intervalo de confianza alrededor de la puntuación postratamiento esperada. Si la puntuación postratamiento cae fuera de este intervalo, se interpreta como un cambio significativo que sugiere que el tratamiento tuvo un efecto.

En esta prueba, la hipótesis nula es que el tratamiento no ha tenido un efecto significativo.

$$H_0: X_{\text{Post}} = X_{\text{Pre}}$$

La hipótesis alternativa: el tratamiento ha tenido un efecto significativo.

$$H_1: X_{\text{Post}} \neq X_{\text{Pre}}$$

Si la puntuación postratamiento $X_{\text{Post}}$ cae fuera de este intervalo, se considera que el cambio es estadísticamente significativo y que la intervención ha sido fiable.

Cambio directo estandarizado

La segunda fórmula se centra en el cambio estandarizado directo entre las puntuaciones pre y postratamiento:

$$\text{ICF}_{\text{Speer}} = \frac{X_{\text{Post}} - X_{\text{Pre}}}{\sqrt{2 \cdot \left( s_{\text{Pre}} \cdot (1 - r_{XX'}) \right)}}$$

Donde:

• $X_{\text{Post}}$: es la puntuación obtenida después del tratamiento o intervención.
• $X_{\text{Pre}}$: es la puntuación obtenida antes del tratamiento o intervención.
• $s_{\text{Pre}}$: es la desviación estándar de las puntuaciones pre tratamiento.
• $r_{XX^{\prime}}$: es la fiabilidad del test, que puede expresarse como una correlación test-retest o a partir de otras estimaciones de consistencia interna.
• $\sqrt{2}$: representa el ajuste por la diferencia entre dos mediciones independientes.

Al igual que en el indicador de Jacobson y Truax, la hipótesis nula plantea que el cambio observado entre $X_{\text{Pre}}$ y $X_{\text{Post}}$ es atribuible al azar o al error de medida:

$$H_0: X_{\text{Post}} = X_{\text{Pre}}$$

Se determina una zona crítica utilizando un valor $>$ en función del nivel de significancia deseado, similar al ICF de Jacobson y Truax:

$$\text{Zona crítica: } \quad \text{ICF}_{\text{Speer}} \leq z_{\alpha/2} \quad \text{ o } \quad \text{ICF}_{\text{Speer}} \geq z_{1-\alpha/2}$$

Si el valor de $\text{ICF}_{\text{Speer}}$ cae en la zona crítica, se puede concluir que el cambio observado es estadísticamente significativo y fiable, sugiriendo que el tratamiento o intervención tuvo un efecto real en la puntuación del test.