Informe de fiabilidad y baremos

Datos de la actividad

• Asignatura: 14GPSI_10_C_2024-25_Psicometría
• Actividad: UC 6. Evidencias de validez y Baremos
• Alumnos:
  • Jahir Falon
  • Taig Mac Carthy (72516712N)
• Profesor: Ana Hernández Dorado

Validez referida al criterio

Además de los 12 ítems de rasgo, en la construcción del test se han incluído 4 ítems de criterio que miden el rendimiento académico. Estos ítems eran:

Enunciado	Mide	Rango
Nota en la asignatura 'Memoria'	Criterio (Rendimiento académico)	Del 1 al 10
Nota en la asignatura 'Estadística'	Criterio (Rendimiento académico)	Del 1 al 10
Nota en la asignatura 'Psicofisiología'	Criterio (Rendimiento académico)	Del 1 al 10
Nota en la asignatura 'Psicología Social'	Criterio (Rendimiento académico)	Del 1 al 10

En esencia, se espera que la puntuación del test (variable independiente o predictora) se relacione positivamente con la variable criterio (rendimiento académico). Las hipótesis planteadas son:

• $H_0$: $\beta=0$ (el test no predice la nota).
• $H_1$: $\beta \neq 0$ (el test sí predice la nota).

Ítems similares se han utilizado en estudios previos para evaluar la relación entre Conscientiousness y el rendimiento académico, como el reciente trabajo de Rodrigues (2024)¹. En este estudio, se pidió a los estudiantes que reportasen sus notas en diferentes asignaturas, precisamente de la misma forma que se ha hecho en este test.

Conscientiousness es un rasgo de personalidad que ha demostrado tener una fuerte relación con el éxito en diferentes áreas de la vida, incluyendo el académico. John y Srivastava (1999)² subrayan que conscientiousness es un predictor clave del comportamiento organizado y el logro de metas. De forma más concreta, Roberts et al. (2009)³ sostienen que conscientiousness predice el éxito académico.

En general, la literatura que relaciona conscientiousness con el rendimiento académico es consistente en señalar que las personas con puntuaciones altas en conscientiousness tienden a tener un mejor rendimiento académico.

En el ya mencionado estudio de Rodrigues (2024)¹, se encontró una correlación de Pearson de 0.228, con un p-value <0.01. Por lo tanto, cabría esperar que en el análisis de validez referida al criterio de nuestro test, se encontrase una correlación similar.

Análisis

Para evaluar la validez referida al criterio, hemos realizado un análisis de regresión lineal. En suma, los datos sugieren que el test tiene ubuena validez de criterio: a medida que aumentan las puntuaciones en conscientiousness, aumenta también el rendimiento académico. Esto concuerda con la teoría y con la hipótesis planteada.

De forma más detallada, los resultados obtenidos son los siguientes:

Correlaciones

La correlación entre la puntuación total del test y el criterio es $.836$, muy alta; y estadísticamente significativa ($p < .001$). Esto ya sugiere una fuerte relación positiva: a mayor puntuación en el test, mayor puntuación en el criterio. Conceptualmente, se confirma la hipótesis de que las personas más concienzudas (puntajes altos en el test) tienden a obtener mejor rendimiento (criterio más alto).

	Total_Criterio	Total_Test
Pearson Correlation
└─ Total_Criterio	1.000	0.836
└─ Total_Test	0.836	1.000
Sig. (1-tailed)
└─ Total_Criterio	.	<.001
└─ Total_Test	0.000	.
N
└─ Total_Criterio	100	100
└─ Total_Test	100	100

Resumen del modelo

$R^2 = .699$ indica que casi el 70% de la variabilidad en el criterio puede ser explicada por la puntuación total del test. Es un porcentaje muy alto, lo que refuerza la idea de que el test es un muy buen predictor del criterio.

Model	R	R Square	Adjusted R Square	Std. Error of the Estimate
1	.836ᵃ	.699	.696	1.688

• a. Predictors: (Constant), Total_Test

El Std. Error of the Estimate ($1.688$) es la desviación típica de los errores de la regresión. Un valor moderado indica que las predicciones no se alejan demasiado de las puntuaciones reales en el criterio.

Analisis de varianza (ANOVA)

El modelo de regresión es estadísticamente significativo ($p < .001$).

$$F(1, 98) = 227.326, p < .001$$

En otras palabras, la pendiente no es cero y Total_Test predice de forma relevante el Total_Criterio.

Model		Sum of Squares	df	Mean Square	F	Sig.
1	Regression	647.971	1	647.971	227.326	<.001ᵇ
	Residual	279.339	98	2.850
	Total	927.310	99

• a. Dependent Variable: Total_Criterio
• b. Predictors: (Constant), Total_Test

Con estos valores, se puede rechazar la hipótesis nula de que la variable no explique el criterio.

Coeficientes

De la tabla de coeficientes, se puede extraer que la ecuación de regresión es la siguiente:

\text{Criterio} = 14.287 + 0.383 \times \text{Total_Test}

donde:

• El intercepto o constante ($14.287$) es la puntuación pronosticada en el criterio cuando la variable Total_Test vale $0$.
• La pendiente ($0.383$) indica que, por cada punto que aumenta Total_Test, el criterio subiría en 0.383 puntos, en promedio.

Por otro lado, el valor p ($< .001$) y el intervalo de confianza $[0.333, 0.434]$ confirman que esta pendiente es significativa y positiva.

Por otro lado, se puede extraer también la ecuación en puntuaciones estandarizadas. La columna Beta (Standardized Coefficients) representa la pendiente en de la ecuación de regresión en puntuaciones típicas (z-scores). Eso significa que por cada +1 desviación típica en 'Total_Test', el criterio aumenta $0.836$ desviaciones típicas. Dicho de otro modo, la ecuación en puntuaciones estandarizadas sería aproximadamente:

Z_{\text{Criterio}} = 0.836 \times Z_{\text{Total_Test}}

Model		Unstandardized Coefficients		Standardized Coefficients			95.0% Confidence Interval for B
		B	Std. Error	Beta	t	Sig.	Lower Bound	Upper Bound
1	(Constant)	14.287	0.884	—	16.161	<.001	12.532	16.041
	Total_Test	0.383	0.025	0.836	15.077	<.001	0.333	0.434

• a. Dependent Variable: Total_Criterio

Validez interna

Para analizar la validez de la estructura interna de la prueba, realizamos un Análisis Factorial Exploratorio (AFE). El propósito es confirmar cuántas dimensiones subyacen en los ítems finales.

Al construir el test, explicamos que los componentes de conscientiousness que se evalúan y los ítems que los representan son:

• Responsabilidad: se mide con ítems 1, 5 y 7
• Orden: se mide con ítems 2, 4, 8 y 10
• Autodisciplina: se mide con ítems 3, 9 y 11
• Persistencia: se mide con ítems 6 y 12

Análisis

Como se muestra a contiuación, se obtienen 4 factores que explican $~60$ de la varianza total. Cada factor agrupa ítems que, en gran medida, concuerdan con las subdimensiones teóricas de conscientiousness planteadas (responsabilidad, orden, autodisciplina y persistencia).

Las correlaciones entre factores son moderadas o bajas, lo que sugiere que cada factor mide un componente específico, si bien todos pertenecen a un marco general (conscientiousness).

En cuando a la bondad de ajuste, el modelo no es perfecto según la Chi-Cuadrado, pero es frecuente en tests de personalidad.

Por lo tanto, sería aceptable puntuar la prueba total como un solo factor, así como usar 4 subescalas separadas para cada faceta.

KMO y Bartlett's Test

El valor de KMO es de $0.644$. En la práctica, $> 0.60$ suele considerarse aceptable para proseguir con el AFE. Por lo tanto, la muestra es adecuada para realizar un AFE.

Por otro lado, el test de esfericidad de Bartlett muestra que la matriz de correlaciones no es una matriz identidad, por lo que existen suficientes correlaciones significativas para que el análisis factorial tenga sentido.

Kaiser-Meyer-Olkin Measure of Sampling Adequacy	0.644
Bartlett's Test of Sphericity
└─ Approx. Chi-Square	520.693
└─ df	66
└─ Sig.	<.001

Estos resultados justifican la realización de un AFE: hay suficientes correlaciones entre los ítems y un tamaño muestral razonable.

Bondad de ajuste

El resultado de $\Chi^2(24) = 70.669, p < .001$ indica que el modelo factorial no es perfecto en términos estadísticos; pero es relativamente común en psicología que el test de bondad de ajuste rechace la hipótesis de ajuste perfecto. Se considera aceptable si las cargas son interpretables y las comunalidades suficientes.

Chi-Square	df	Sig.
70.669	24	0.000

Gráfico de sedimentación

El gráfico de sedimentación muestra dos cosas interesantes:

• Hay un factor que tiene un gran poder explicativo
• Hay un codo en el factor 4

Esto sugiere que la estructura interna de la prueba se compone de 4 factores, aunque el primer factor es el que tiene un mayor poder explicativo. Esto se puede ver mejor en la tabla de varianza total explicada.

Varianza total explicada

Aparecen 4 factores con autovalores por encima de 1.

• Factor 1 = 3.968 (33.07 % de varianza inicial)
• Factor 2 = 1.727 (14.39 %)
• Factor 3 = 1.612 (13.44 %)
• Factor 4 = 1.307 (10.89 %)

Sumando estos 4 primeros, se llega a $~71.79$ de varianza acumulada, aunque tras la extracción y rotación la varianza explicada suele bajar algo ($~59.54$).

Factor	Initial Eigenvalues (Total)	% of Variance	Cumulative %	Extraction Sums of Squared Loadings (Total)	% of Variance	Cumulative %	Rotation Sums of Squared Loadingsᵃ (Total)
1	3.968	33.071	33.071	2.841	23.673	23.673	2.938
2	1.727	14.393	47.463	2.043	17.027	40.700	2.269
3	1.612	13.435	60.899	1.119	9.324	50.024	2.022
4	1.307	10.892	71.791	1.142	9.514	59.538	1.233
5	0.854	7.114	78.905
6	0.717	5.976	84.881
7	0.446	3.716	88.597
8	0.389	3.244	91.841
9	0.370	3.084	94.925
10	0.277	2.305	97.230
11	0.215	1.790	99.020
12	0.118	0.980	100.000

• Extraction Method: Maximum Likelihood
• a. When factors are correlated, sums of squared loadings cannot be added to obtain a total variance.

Comunalidades

En la tabla Communalities (initial vs. extraction), se observa que la mayoría están entre $0.40$ y $0.70$, lo que indica que los factores consiguen explicar de forma moderada la varianza de cada ítem.

Por ejemplo, Item_3_r tiene una comunalidad final muy alta ($0.999$).

Item_12 y Item_9_r rondan $0.40-0.45$, algo más bajo pero todavía aceptable.

Item	Initial	Extraction
Item_1	0.600	0.726
Item_2	0.477	0.438
Item_3_r	0.802	0.999
Item_4	0.667	0.686
Item_5_r	0.548	0.417
Item_6	0.485	0.472
Item_7_r	0.587	0.592
Item_8	0.492	0.597
Item_9_r	0.553	0.453
Item_10	0.470	0.707
Item_11_r	0.560	0.619
Item_12	0.403	0.439

• Extraction Method: Maximum Likelihood
• a. One or more communality estimates greater than 1 were encountered during iterations. The resulting solution should be interpreted with caution.

En general, los ítems se explican de manera aceptable por los 4 factores extraídos. No se observan comunalidades demasiado bajas (por debajo de $0.20$) que sugieran eliminar ítems, aunque alguno es más discreto ($~0.417$).

Matrices Factoriales

Analizando tanto la Pattern Matrix como la Structure Matrix, se pueden observar patrones más concretos.

• Factor 1: saturan, por ejemplo, Item_3_r (0.961), Item_5_r (0.608), Item_7_r (0.730), Item_9_r (0.496).
• Factor 2: saturan Item_1 (0.821), Item_2 (0.656), Item_4 (0.569).
• Factor 3: destaca Item_10 (0.859).
• Factor 4: saturan Item_6 (0.626) y Item_8 (0.513).

Con esto, se puede inferir que el Factor 1 quizá refleje “Autodisciplina” o “Falta de Procrastinación”. El Factor 2 parece agrupar ítems de “Responsabilidad/Orden” (Item_1, 2, 4). El Factor 3 parece estar muy marcado por el Item_10 (posiblemente “Planificación” o “Persistencia”).

Structure Matrix

Item	1	2	3	4
Item_1	0.258	0.805	0.018	0.227
Item_2	0.158	0.657	0.169	-0.082
Item_3_r	0.952	0.156	0.435	-0.195
Item_4	0.507	0.701	0.486	-0.139
Item_5_r	0.633	0.196	0.227	0.160
Item_6	0.177	0.270	0.089	0.621
Item_7_r	0.699	0.261	0.022	0.270
Item_8	0.446	-0.024	0.444	0.508
Item_9_r	0.549	0.320	0.298	-0.314
Item_10	0.244	0.099	0.837	-0.028
Item_11_r	0.398	0.404	0.467	-0.525
Item_12	0.212	0.468	0.550	0.005

Pattern Matrix

Item	1	2	3	4
Item_1	0.070	0.821	-0.157	0.224
Item_2	-0.032	0.656	0.041	-0.069
Item_3_r	0.961	-0.141	0.136	-0.242
Item_4	0.267	0.569	0.275	-0.128
Item_5_r	0.608	0.023	0.033	0.128
Item_6	0.052	0.252	0.062	0.626
Item_7_r	0.730	0.108	-0.223	0.215
Item_8	0.338	-0.193	0.408	0.513
Item_9_r	0.496	0.161	0.082	-0.335
Item_10	-0.016	-0.071	0.859	0.028
Item_11_r	0.258	0.265	0.295	-0.516
Item_12	-0.056	0.383	0.493	0.046

• Extraction Method: Maximum Likelihood
• Rotation Method: Oblimin with Kaiser Normalization

Correlación entre factores

Los factores no están fuertemente correlacionados; las correlaciones rondan $.20-.33$ (Factor 1 con Factor 2 y 3), y valores muy bajos con Factor 4. Esto implica que cada factor mide algo relativamente diferenciado dentro del constructo general, pero siguen existiendo relaciones moderadas (lógico si todas son facetas de “Conscientiousness”).

Factor	1	2	3	4
1	1.000	0.276	0.325	0.056
2	0.276	1.000	0.204	-0.014
3	0.325	0.204	1.000	-0.065
4	0.056	-0.014	-0.065	1.000

• Extraction Method: Maximum Likelihood
• Rotation Method: Oblimin with Kaiser Normalization

Las subdimensiones están relacionadas pero no tan intensamente como para colapsarlas en un único factor. Al no superar .30-.35, podríamos plantear un factor de segundo orden, pero no sería necesario.

Baremos

El Test C12 es un test de rendimiento típico, en oposición a ser de rendimiento óptimo. Eso significa que para interpretar las puntuaciones, es necesario compararlas con una muestra normativa, ya que las puntuaciones no tienen significado inherente.

Gracias a los percentiles y las puntuaciones típicas ($z$ y $T$) obtenidos durante la validación, podemos comparar cualquier puntuación individual con la distribución de la muestra de 100 participantes, y asignar significado a las puntuaciones.

En base a los datos obtenidos, proponemos los siguientes rangos:

• Contientiousness bajo: entre 12 y 30 puntos.
• Conscientiousness medio: entre 30 y 37 puntos.
• Conscientiousness alto: entre 37 y 60 puntos.

Estos valores se basan en los percentiles obtenidos en la muestra. Por ejemplo, una puntuación de 33 puntos se sitúa en el percentil 50, lo que significa que está en la media de la muestra.

Aunque teóricamente el valor mínimo obtenible es 12, y el máximo 60, en la práctica, todas las puntuaciones se encuentran entre 19 y 56 puntos.

Puntuación directa	Percentil	Puntuación $z$	Puntuación $T$
19	1.0	-2.27	27
20	2.0	-2.12	29
26	9.0	-1.22	38
27	10.0	-1.07	39
28	14.0	-0.92	41
29	20.0	-0.77	42
30	33.0	-0.62	44
31	44.0	-0.48	45
32	47.0	-0.33	47
33	50.0	-0.18	48
34	56.0	-0.03	50
35	65.0	0.13	51
36	74.0	0.28	53
37	77.0	0.43	54
38	80.0	0.58	56
39	81.0	0.73	57
40	86.0	0.88	59
41	88.0	1.03	60
42	89.0	1.18	62
43	95.0	1.33	63
44	96.0	1.48	65
55	99.0	3.12	81
56	100.0	3.27	83

Esta tabla incluye los percentiles, las puntuaciones $z$ y las puntuaciones $T$ para cada puntuación directa en una muestra de 100 participantes.

Referencias bibliográficas

Footnotes

1. Rodrigues, J., Rose, R., & Hewig, J. (2024)._ The Relation of Big Five Personality Traits on Academic Performance, Well-Being and Home Study Satisfaction in Corona Times_. European journal of investigation in health, psychology and education, 14(2), 368-384. ↩ ↩²

2. In M. R. Leary & R. H. Hoyle (Eds.), Handbook of individual differences in social behavior (pp. 369-381). Guilford Press. ↩

3. John, O. P., & Srivastava, S. (1999). The Big Five trait taxonomy: History, measurement, and theoretical perspectives. In L. A. Pervin & O. P. John (Eds.), Handbook of personality: Theory and research (pp. 102-138). Guilford Press. ↩