Cálculo de la puntuación

Conceptualización

Calcular la puntuación de los sujetos en un test es lo más obvio y sencillo que se puede hacer en psicometría. Las puntuaciones reflejan el nivel de logro de los sujetos en el test.

Las puntuaciones pueden clasificarse de diferentes maneras en psicometría. Por ejemplo:

• Puntuaciones observadas ($X$): son las que se obtienen directamente de las respuestas de los sujetos en el test. Estas puntuaciones pueden ser afectadas por diversos factores, como el azar, errores de medición, etc.
• Puntuaciones verdaderas ($V$): representan el nivel real del constructo que se está midiendo, libre de errores de medición. En la práctica, las puntuaciones verdaderas no se pueden observar directamente, pero se pueden estimar a partir de las puntuaciones observadas.

Por lo tanto, al calcular las puntuaciones de los sujetos en un test, lo que estoy realmente calculando es la puntuación observada.

Sin embargo, hay otra distinción importante. Las puntuaciones pueden ser:

• Puntuaciones directas: son las obtenidas directamente de las respuestas de los sujetos, sin ningún tipo de corrección o ajuste.
• Puntuaciones indirectas: son las que se obtienen después de aplicar algún tipo de transformación. Por ejemplo, cambiando la escala para situar al individuo en un marco relativo.

Por lo tanto, al calcular las puntuaciones de los sujetos en un test, lo que estoy realmente calculando es la puntuación directa.

Es decir, hablando con propiedad, calcular la puntuación se refiere a calcular la puntuación directa observada de los sujetos en un test.

Dependiendo del tipo de ítems y de si se trata de un test de rendimiento óptimo o de rendimiento típico, utilizo diferentes métodos para calcular la puntuación directa.

Test de rendimiento óptimo

En los test de rendimiento óptimo, existen dos categorías principales de ítems:

1. Ítems dicotómicos: son aquellos en los que solo hay dos opciones posibles de puntuación, típicamente 0 (incorrecto) y 1 (correcto).
   Ejemplo:
   • Una pregunta de verdadero/falso.
   • Una pregunta de opción múltiple con una única respuesta correcta.
2. Ítems no-dicotómicos: abarcan ítems politómicos y otros formatos que no se limitan a dos opciones de puntuación. Dentro de esta categoría se encuentran:
   • Ítems politómicos: estos ítems permiten más de dos respuestas posibles, y cada opción puede tener un valor distinto. Por ejemplo, una pregunta de un examen podría asignar valores entre 0 y 3 puntos.
   • Otros ítems no-dicotómicos: como los de respuesta graduada, jerarquizada, o con puntuaciones continuas, que también pueden estar presentes en ciertos tests de rendimiento óptimo.

Ítems no-dicotómicos

La puntuación directa observada en los ítems no-dicotómicos se puede expresar de distintas maneras.

Puntuación total (X)

La puntuación total de un sujeto en un test ($X_s$) se obtiene sumando los puntajes de cada ítem respondido por el sujeto. La fórmula para calcular la puntuación directa es:

$$X_s = \sum_{i=1}^{n} u_{si}$$

donde:

• $X_s$: untuación total obtenida por el sujeto.
• $u_{si}$: puntuación del sujeto $s$ en el ítem $i$.
• $n$: número total de ítems en el test.

Proporción de aciertos (p)

La proporción de aciertos ($p$) mide el porcentaje de respuestas correctas sobre el total de ítems. Se calcula dividiendo la suma de las puntuaciones individuales de cada ítem por el número total de ítems:

$$p = \frac{\sum_{i=1}^{n} u_i}{n}$$

donde:

• $p$: Proporción de aciertos.
• $\sum_{i=1}^{n} u_i$: Suma de las puntuaciones de los ítems respondidos correctamente.
• $n$: Número total de ítems en el test.

Por ejemplo, supongamos que un test de rendimiento tiene ítems que pueden ser puntuados entre 0 y 3 puntos. Si un sujeto obtiene las siguientes puntuaciones en 4 ítems:

• Ítem 1: 2 puntos
• Ítem 2: 3 puntos
• Ítem 3: 1 punto
• Ítem 4: 3 puntos

La puntuación directa del sujeto ($X_s$) sería:

$$X_s = 2 + 3 + 1 + 3 = 9$$

Y si el número total de ítems ($n$) es 4, la proporción de aciertos ($p$) sería:

$$p = \frac{9}{4} = 2.25$$

Este cálculo permite evaluar el rendimiento del sujeto de manera directa y también en relación a los valores máximos y mínimos que puede obtener en el test.

Ítems dicotómicos

La puntuación directa observada en los ítems dicotómicos se puede expresar de distintas maneras.

Los ítems dicotómicos son aquellos en los que cada ítem solo puede ser puntuado con dos valores: 0 (incorrecto) o 1 (correcto). Por ejemplo, en una pregunta de un examen de elección múltiple.

Tipos de respuesta

Gulliksen (1950) identifica cuatro tipos de respuesta a un ítem dicotómico en un test:

• Aciertos (A): Respuestas correctas a los ítems.
• Errores (E): Respuestas incorrectas a los ítems.
• Omisiones (O): Ítems que no han sido contestados pero están seguidos de otros contestados.
• No intentados (NI): Ítems que no han sido contestados y no están seguidos de respuestas contestadas.

En los ítems dicotómicos, es importante considerar la posibilidad de que los evaluados respondan al azar. El azar puede influir en la puntuación de los evaluados, especialmente si no tienen conocimiento sobre el tema evaluado.

Puntuación total corregida (X_c)

Para evitar que la puntuación esté sesgada por los evaluados que aciertan ítems al azar, utilizo una corrección basada en la probabilidad de acertar al azar. La fórmula para calcular la puntuación corregida es:

La puntuación corregida, $X_c$, se calcula utilizando la siguiente fórmula:

$$X_c = A - \frac{E}{k - 1}$$

donde:

• $A$: Número de aciertos (respuestas correctas).
• $E$: Número de errores (respuestas incorrectas).
• $k$: Número de alternativas en cada ítem.
  • $k-1$ representa los grados de libertad

Esta fórmula ajusta la puntuación para descontar los aciertos que podrían haberse obtenido por azar.

Proporción de aciertos corregida (p_c)

La proporción de aciertos corregida, $p_c$, ajusta la proporción de respuestas correctas teniendo en cuenta los aciertos debidos al azar:

Para calcular la proporción de aciertos corregida, $p_c$, se utiliza la siguiente fórmula:

$$p_c = \frac{A - \frac{E}{k - 1}}{n}$$

donde:

• $n$: número total de ítems en el test.
• $A$: Aciertos (respuestas correctas).
• $E$: Errores (respuestas incorrectas).
• $k$: Número de alternativas en el ítem.
• $n$: Número de ítems en el test.

Esta proporción representa el ajuste de la puntuación teniendo en cuenta la corrección por adivinación, dividiendo la puntuación corregida por el número total de ítems. Es una medida ajustada de la efectividad del sujeto en el test, considerando el posible efecto del azar en las respuestas.

Críticas a la corrección de la adivinación

La corrección de puntuaciones en tests de opción múltiple para contrarrestar el efecto de la adivinación presenta ciertas críticas. Aquí se destacan dos situaciones en las que se cuestiona su efectividad.

• Caso 1: Responder al azar
  Si el sujeto responde al azar, la corrección aplicada en promedio compensa lo que se ganaría por responder de esta forma. La fórmula es la siguiente:

  $$X_c = A - \frac{E}{k - 1}$$

  Donde:

  • $A$ es el número de aciertos.
  • $E$ es el número de errores.
  • $k$ es el número de alternativas por ítem.

  En este caso, si un sujeto tiene 5 aciertos y 2 errores en un test con 3 opciones, la puntuación corregida sería:

  $$X_c = 5 - \frac{2}{3 - 1} = 5 - 1 = 4$$

  Así, el proceso de corrección ajusta el puntaje en promedio para evitar la ventaja de responder al azar.

• Caso 2: Responder sin adivinar, descartando opciones
  Si el sujeto no responde completamente al azar y es capaz de descartar una de las alternativas incorrectas, la corrección aplicada puede resultar insuficiente, ya que elimina menos del promedio de lo que se ganaría por adivinación total. En este caso, si un sujeto descarta una alternativa y se reduce el número de opciones efectivas a 2, la fórmula sería:

  $$X_c = A - \frac{E}{k}$$

  Siguiendo el mismo ejemplo de 5 aciertos y 2 errores, pero ajustando a la probabilidad revisada, la puntuación corregida sería:

  $$X_c = 5 - \frac{2}{3} = 5 - 0.67 = 4.33$$

La crítica radica en que la corrección estándar presupone que el sujeto responde completamente al azar cuando falla, lo cual no siempre es el caso. Si los evaluados utilizan estrategias para descartar alternativas, la corrección por adivinación podría no ajustar adecuadamente las puntuaciones, generando valores que no reflejan de manera precisa el conocimiento real del evaluado.

Por ejemplo, una de las consecuencias es que penaliza a las personas que asumen menos riesgos. Es decir: si un evaluado no está seguro de la respuesta y aún así responde gracias a que puede descartar opciones o encontrar pistas, su puntuación será mayor que si no hubiera respondido.

Test de rendimiento típico

En los tests de rendimiento típico, que son generalmente graduados, no existen respuestas correctas o incorrectas. Cada opción refleja el grado de acuerdo o desacuerdo del sujeto evaluado. Por ejemplo:

Muy en desacuerdo	Bastante en desacuerdo	Neutral	Bastante de acuerdo	Muy de acuerdo
1	2	3	4	5

Sin embargo, algunos investigadores prefieren asignare el valor $0$ a la opción neutral, lo que permite calcular la puntuación total de manera más sencilla.

Muy en desacuerdo	Bastante en desacuerdo	Neutral	Bastante de acuerdo	Muy de acuerdo
2	1	0	-1	-2

Por eso, no tiene mucho sentido calcular proporciones de aciertos. En su defecto, para calcular la puntuación directa observadz sólo de utiliza la puntuación total.

Puntuación total

La puntuación directa de una persona ($X_s$) en este tipo de ítems se calcula sumando las puntuaciones asignadas a cada respuesta seleccionada en los ítems. La fórmula general es:

$$X_s = \sum_{i=1}^{n} u_{si}$$

Donde:

• $X_s$: puntuación total del sujeto.
• $u_{si}$: puntuación de la respuesta seleccionada en el ítem $i$.
• $n$: número total de ítems.

Inversión de ítems

En muchos tests, los investigadores incluyen ítems indirectos, también llamados inversos, donde el valor más alto indica menor acuerdo.

Muy en desacuerdo	Bastante en desacuerdo	Neutral	Bastante de acuerdo	Muy de acuerdo
5	4	3	2	1
-2	-1	0	1	2

Estos ítems deben recodificarse para mantener la coherencia en el cálculo de la puntuación total. Esto asegura que todas las puntuaciones reflejen adecuadamente la dirección deseada del constructo medido, permitiendo una comparación homogénea entre ítems directos e indirectos.

Ítems indirectos

Es muy mala idea llamarlos "ítems indirectos" porque se confunden con el concepto de indirecto en el cálculo de la puntuación. Es mejor llamarlos "ítems inversos" o "ítems revertidos".