el proceso de análisis cuantitativo con jamovi: potencia ... · existe isomorfismo entre las...
TRANSCRIPT
El proceso de análisis
cuantitativo con Jamovi:
potencia, simplicidad y rapidez
TERCERA SESIÓN
Análisis psicométrico
Medición Psicológica
Cómo se han venido midiendo los atributos
psicológicos ... Un poco de historia
MODELOS DE MEDICIÓN
Clásico
(Campbell, 1938) pusoen DUDA la medición enPsicología.
- Medición Derivada yFundamental
Esto a causa que no existe ISOMORFISMO
entre las operaciones de medida y las magnitudes de la propiedad a medir.
Representacional
Dentro de este modelo medir significa usar el sistema numérico para
dar a conocer relaciones empíricas aunque no exista isomorfismo.
Niveles de medición:
- Nominal
- Ordinal
- Intervalo
- Razón
¿Qué modelo se
usa en Psicología?
Qué solemos medir en Psicología
Actitudes
Inteligencia
Personalidad
Intereses
Habilidades
Motivación
Aptitudes
Autoeficacia
Estos constructos se agrupan en dos tipos
de test:
A) Ejecución máxima
B) Ejecución típica
La medición de los psicológico
Test referido a la norma Test referido al criterio
-¿Grupo normativo?
-¿Cómo se encuentra el
evaluado con respecto al grupo?
-¿Ejemplos?
- No existe un grupo normativo para
hacer comparaciones. ¿Entonces en qué
se basan estas mediciones?
- ¿Ejemplos?
Teoría clásica de los Test
¿Qué es la TCT?
◉ Antes de entender la Teoría Clásica de los Test, entendamos el Modelo lineal
◉ El Modelo Lineal/Clásico fue creado por Spearman donde planteaba distinguir entre la puntuación verdadera y la puntuación observada (lo que vemos en el test).
◉ El objetivo del modelo lineal es encontrar las diferencias entre las puntuaciones mencionadas, es decir, el error, y corregir su efecto, obteniendo así una medición que refleje realmente lo medido.
Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)
Error
Sistemático
Aleatorio
Se debe a un error del mismo
proceso. Puede evitarse.
Ejm. Ruido en el lugar, malas
instrucciones del test.
Siempre se encuentra presente.
Propio de la medición. Este es el
error que el modelo clásico intenta
controlar su efecto.
¿Qué es la TCT?
◉ La Teoría clásica de los Test es el armazón teórico del modelo clásico.
◉ Incluye supuestos/especificaciones que deben cumplir todos los test.
Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)
Supuestos de la TCT
◉ Modelo lineal: X=V+E
◉ El valor esperado del error de medida es igual a 0.
◉ Los errores y las puntuaciones verdaderas de la misma prueba son independientes.
◉ Los errores de una prueba y de otra son independientes.
◉ Los errores de una prueba y las puntuaciones verdaderas de otra son independientes.
Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)
Análisis de ítems
Dificultad
◉ La dificultad es un índice que indica la proporción de personas que lo contestan correctamente.
◉ Pruebas dicotómicas.
◉ ID = A/N
◉ Mientras más se acerca a 1, más fácil es.
Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)
Clasificación Índice de dificultad
Muy fácil 0.75 a 0.99
Fácil 0.55 a 0.74
Intermedio 0.45 a 0.54
Difícil 0.25 a 0.44
Muy difícil 0.05 a 0.24
Escurra :v
Nota: El índice de dificultad solo existe en las pruebas de
rendimiento máximo. En la ejecución típica, equivaldría a
la media, la cual solo expresaría una tendencia de
respuesta en los ítems.
Ejemplo 1: En una escala de Actitudes hacia la Coca
Cola, 70 personas de 100 marcaron que sí les gusta el
sabor. Esto no quiere decir que haya una dificultad de 0.7,
sino esta es la tendencia de la muestra a responder a ese
ítem.
También en un test de ejecución típica, la media puede
expresar cuánto rasgo sería necesario para tener una
determinada puntuación en el ítem.
Ejemplo 2: Tenemos una prueba que mide la agresividad.
Tenemos el ítem: Suelo pelearme; y el otro, Discuto con la
gente. Las respuestas que van desde nunca a siempre son de 1
a 3. La media del primero es 1.75, la media del segundo es de
2.00.
Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)
¿Qué pasaría si una persona obtiene una
puntuación alta en el primero?
Discriminación
◉ Entendemos como discriminación,conocido en la TCT como poderdiscriminativo, como la capacidad de unítem de distinguir entre las personas quetienen un buen rendimiento en el test,respecto a las que lo tienen malo.
◉ Se recomienda mayor o igual a 0.20 y lodeseable es que sea mayor o igual a 0.30
◉ Se obtiene a través del ítem-test correlacióncorregida.
Fiabilidad estadística
FIABILIDAD
◉ ¿Es el test a quien denominamos confiable?
◉ ¿Por qué las puntuaciones de un test deben serconfiables? ¿Qué pasaría si no fuese así?
◉ ¿Qué es la fiabilidad?
◉ ¿Se puede calcular la fiabilidad? ¿Cómo?
FIABILIDAD
Antes de definir a la fiabilidad recordemos un poco sobre la
Teoría Clásica de los Test (TCT):
Donde:
Xi : Puntuación observada
Vi : Puntuación verdadera
Ei : Error de medida
Cuando medimos variables o atributos psicológicos, estos no
están exentos a un error en la medición. Entonces se puede
decir que la fiabilidad es qué tanto error (Aleatorio) existe en
una medición.
Xi =Vi + Ei
FIABILIDAD
Un psicólogo decide aplicar el mismo instrumento de
medida en varias oportunidades a un grupo de sujetos, en
los resultados obtenidos se observa que las puntuaciones
varían considerablemente. Este suceso nos llevaría a
pensar que las puntuaciones no son estables.
Entonces la fiabilidad es, además, la
consistencia de las puntuaciones obtenidas
mediante una prueba y/o medición.
CÁLCULO DE LA FIABILIDAD (TCT)
Existen principalmente:
1) Fiabilidad como equivalencia y como
estabilidad de las medidas
2) Fiabilidad como Consistencia interna
Formas paralelas
Test - Retest
División del test en dos
mitades
Covariación entre los ítems
FIABILIDAD POR CONSISTENCIA INTERNA
◉ Covariación entre ítems
◉ Coeficiente α (Cronbach, 1951)
Es el valor que estima la consistencia entre los elementos que componen la prueba.
Interpretación del coeficiente alfa de Cronbach
* Referencia tomada de Vellis (2012)
Rango del coeficiente de fiabilidad
Para fines de investigación: Se suele aceptar entre 0.70 y 0.80
Para tomar decisiones que impliquen el futuro de una persona se suele aceptar de 0.90 en adelante.
3
Haz click
en casi
todo.
Validez psicométrica
Historia del concepto de validez
Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)
La validez era la
capacidad para
predecir un criterio y el
análisis de contenido
del test a través de
jueces (subjetivismo)
1989
La validación de
constructo suponía
apoyarse en una
red nomológica.
Tres tipos de validez:
Validez referida a un criterio
(v. Concurrente y
predictiva), validez de
contenido y validez de
constructo.
Carácter unitario de la validez y
se rechazan las tres categorías.
Tipos de evidencia y no tipos de
validez.
Dos nuevos tipos de evidencia:
Basadas en el proceso de
respuesta, basados en las
consecuencias sociales del
proceso de aplicación del test.
19901950
Validez
◉ La fiabilidad nos dice si medimos con poco o mucho error, pero no nos dice qué estamos midiendo. Para eso está la validez.
◉ La validez va a aportar a la interpretación de las puntuaciones del test, (no del test en sí).
◉ No existen tipos de validez, solo fuentes de evidencias.
◉ Se define por Sireci y Faulkner-Bond (2014) como el grado en que el contenido del test (el dominio) es congruente con el uso de las puntuaciones.
Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)
Evidencias de validez
E. Basadas en el contenido del test
E. Basadas en la relación con otras
variables
E. Basadas en los procesos de
respuesta a los ítems.
E. Basadas en la estructura interna
del test
E. Basadas en las consecuencias de la aplicación del
test
Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)
E. Basada en el contenido
- Definición del dominio: Qué tan adecuado ha sido la definiciónoperacional del constructo. Revisión de áreas, sub-áreas, objetivosdel test y niveles cognitivos que requieran los ítems (comprensión,aplicación y análisis).
- Representación del dominio: Qué tanto el test representa de maneracorrecta el constructo en cuestión.
Sireci y Faulkner-Bond (2014)
E. Basada en el contenido
- Relevancia del dominio: Qué tan relevante es cada ítem para elconstructo.
- Procedimientos apropiados para la construcción de ítems: Qué tanbueno fue el control de calidad cuando el test se fue construyendo, silos ítems están redactados correctamente y revisión del análisis deítems para que el test solo tenga los mejores.
Sireci y Faulkner-Bond (2014)
E. Basada en la relación con otras variables
Busca principalmente el siguiente objetivo:
Establecer si las relaciones observadas entre laspuntuaciones en el test y otras variables externas relevantesson consistentes con la interpretación propuesta para laspuntuaciones.
¿Cómo estar seguro de qué he obtenidoevidencia de validez basado en la relación conotras variables?
E. Basada en la relación con otras variables
Pongamos un ejemplo:
La escala X (que mide el grado de evitación a situaciones aversivas) debe proporcionar puntuaciones relacionadas de forma directa con neuroticismo e inversas con estabilidad emocional. Si las relaciones observadas (luego de la aplicación de las pruebas) son consonantes con el modelo teórico que está detrás del test, entonces hemos obtenido evidencia favorable.
E. Basada en la relación con otras variables
En esta evidencia de validez se habla de variables externasrelevantes, estas pueden ser:
Otra medida del mismo constructo usando otro test.
Medida de un constructo diferente, pero con un modeloteórico compartido para los dos constructos.
Algún tipo de variable criterio que se pretenda predecira partir de las puntuaciones del test.
E. Basada en la relación con otras variables
Encontramos 2 tipos de evidencia:
E. Convergente
• Relaciones previsibles entre puntuaciones del test y otros constructos similares.
E. Discriminante
• Relaciones previsibles entre puntuaciones del test y otros constructos diferentes.
E. Basada en la relación con otras variables
Encontramos 2 tipos de evidencia:
E. Convergente
• Relaciones previsibles entre puntuaciones del test y otros constructos similares.
E. Discriminante
• Relaciones previsibles entre puntuaciones del test y otros constructos diferentes.
¿Qué tipo de evidenciaabunda en la literaturapsicológica?
¿Cómo se ha venido analizando tanto la validez convergente y divergente?
Campbell y Fiske (1959) proponen un diseño paraanalizar la validez convergente y discriminantemediante un estudio llamado “Matriz multirrasgo-multimétodo” (MRMM).
Estos autores sostienen que cuando laspuntuaciones de dos instrumentoscovarían puede deberse a quecomparten un constructo común o aque comparten un método deevaluación.
El objetivo de estudiar una matrizMRMM es evaluar los efectos de lavarianza atribuida al constructo deinterés y la varianza del método(varianza atribuible al método demedida específico).
E. Basada en la relación con otras variables
Evidencia sobre la relación entre el test y algúncriterio relevante
Imaginemos una prueba construidapara la medida del constructo X. Esteconstructo X puede o no estarrelacionado con otra variable de interésY. A esta variable Y se le suele llamarcriterio o variable criterio.
Pongamos un ejemplo:
E. Basada en la relación con otras variables
En la evidencia sobre la relación entre el test y algún criteriorelevante, es importante tener en cuenta lo siguiente:
Se indican el grado en que las puntuaciones en el test sirven para pronosticar con precisión las puntuaciones en el criterio.
Hay que tener en cuenta que el coeficiente de validez no es unapropiedad del test, sino que habrá un coeficiente específico en cadauna de las muestras obtenidas y para los diferentes criterios que sepuedan establecer.
E. Basada en la relación con otras variables
Entonces para obtener validez referida al criterio se deben seguir
los siguientes pasos:
A. Identificar el criterio y la forma adecuada de medirlo.B. Elegir una muestra apropiada.C. Obtener las medidas tanto del test como el del criterio.D. Determinar el grado de relación (correlación de las puntuaciones
obtenidas).
Importante: En función del tipo de escala de medida utilizado tanto para las
puntuaciones del test como del criterio, utilizaremos un tipo u otro de coeficiente para la medida de la correlación.
E. Basada en los procesos de respuesta
Obtener información a partirde las inferencias realizadasde las puntuacionesobtenidas.
Analizando los procesos derespuesta
Existe un modeloexplicativo que habla sobrelos procesos de respuesta.
Nota: Esta evidencia de validez corresponde al proceso de la construcción del instrumento.
E. Basada en los procesos de respuesta
Características:
❑ Es tipo de evidencia de validez no solo miden las respuestas del sujeto a los
ítems, sino que se consideran los pasos intermedios ejecutados para obtener
dichas respuestas.
❑ El conocimiento sobre los componentes requeridos para la respuesta correcta
de los ítems no sólo es importante para la obtención de evidencias de validez.
❑ Permite una información diagnóstica mucho más completa, pues es posible
conocer los componentes en los que los examinados tienen dominio y aquellos
en los que presentan dificultades.
E. Basada en los procesos de respuesta
Importante: Por proceso de respuesta se entiende al conjunto de conductas y/o operacionesmentales que se necesitan para responder a un ítem.
E. Basada en los procesos de respuesta
Factores que pueden afectar a los procesos de respuesta
Factores relacionados a los ítems
• Contenido de los ítems
• Redacción de los ítems
Factores relacionados a la respuesta de los
ítems
• Número de alternativas
• Instrucciones a seguir
Factores relacionados con los participantes
• Capacidad lectora
• Estado emocional
• Capacidad intelectual
Embretson (2002):
Representación de constructo
La autora plantea el siguiente procedimiento para realizar un test de razonamiento abstracto usando el enfoque cognitivo:
▪ Especificar los objetivos de la medición
▪ Modelo de procesamiento
▪ Generar ítems
▪ Evaluar empíricamente las previsiones del modelo sobre el rendimiento de los participantes en los ítems
E. Basada en los procesos de respuesta
Conjunto de procesos, estrategias yestructuras de conocimientos que estánimplícitos en la resolución de ítems
Los aportes de la Psicología Cognitiva son fundamentales para la construcción de pruebas, además permite elaborar ítems con diferente demanda cognitiva (dificultad)
E. Basada en las consecuencias de la aplicación del test
¿Por qué o para qué aplicamos pruebas psicológicas?
Es importante saber que la aplicación de los test pueden llevar a consecuencias sociales que
son diferentes a los objetivos para los cuales fue creado el test.
Organizacional Educativo Clínica Comunitaria
Edición de Standars (AERA, APA Y NCME, 1999) reconoce la necesidad de reportar evidencias sobre la validez consecuencial.
E. Basada en las consecuencias de la aplicación del test
¿Estás evaluaciones podrían traer consecuencias?
Negativa: Los centros educativos enseñen solo los contenidos que evalúan la prueba PISA.
Positiva: Los resultados sirvan para que los docentes busquen la forma de mejorar el proceso instruccional.
¿Mide nuestro test un constructo coherente o se
trata simplemente de un conjunto de ítems no
relacionados?
DimensionalidadFuncionamiento
diferencial de los ítems
Análisis Factorial
A. F. Exploratorio
A. F. Confirmatorio
Técnica estadística multivariante que sirve para estudiar las dimensiones que subyacen a las
relaciones entre varias variables
A. de Componentes
Principales
¿Cuándo emplear Análisis Factorial y cuándo Componentes
Principales?
Si el análisis pretende
Identificar el número y composición de los factores comunes (variables
latentes) necesarios para explicar la varianza común del conjunto de ítems
analizados
Análisis Factorial Exploratorio
Identificar el número y composición de componentes necesario para resumirlas puntuaciones observadas en un
conjunto grande de variables observadas
Análisis de Componentes Principales(Lloret-Segura, Ferreres-
Taver, Hernández-Baeza
y Tomás-Marco, 2014)
Análisis Factorial Exploratorio
◉ Trata de establecer una estructura subyacente entre las variables del análisis, a partir de estructuras de correlación entre ellas.
◉ Permite reemplazar un gran número de indicadores de escaso significado teórico, por un número menor de variables conceptualmente significativas.
(Méndez y Rondón, 2012)
Análisis Factorial Exploratorio
Los factores se constituyen a través de la evidencia empírica
Se explora la relación que existe entre los
ítems
Hay ítems que guardan relación considerable entre unos mismos
Se establece qué tanto se relaciona un ítem con otro:
matriz de correlaciones
Los ítems “interactúan” a través de
correlaciones
Y habrá otros ítems con los que no pasa esto
Se agrupan los ítems que guardan relación
entre sí
Formación de factores
Análisis Factorial Exploratorio
1. Selección de variables
2. Índices de adecuación
muestral
3. Elección del número de
factores
4. Rotación de los factores
para simplificación
de la interpretación
5. Resultados adicionales
Pasos
1. Selección de las variables
Selección de las
variables a analizar
Variables
seleccionadas
2. Índices de adecuación muestral
A. Medida Kaiser-Meyer-Olkin deadecuación de muestreo (KMO test):relaciona los coeficientes decorrelación observados entre lasvariables y los coeficientes decorrelación parcial entre las variables(0 < KMO < 1).
Valor adecuado: KMO > 0.70
B. Prueba de esfericidad de Bartlett:evalúa la aplicabilidad del AF de lasvariables estudiadas.
- Si Sig. (p-valor) < 0.05 no rechazamos H0 (hipótesis nula) -> se puede aplicar el análisis factorial.
- Si Sig. (p-valor) > 0.05 rechazamos H0 ->
no se puede aplicar el análisis factorial.
Marcar las casillas de los
índices de adecuación
muestral.
A. Método de análisis paralelo
3. Elección del número de factores
B. Criterio de Kaiser-Guttman
Basado en el autovalor
Autovalor > 1
C. Forzar número de factores
B. Criterio de Kaiser-Guttman
A. Método de análisis paralelo
C. Forzar el número de factores
4. Rotación de los factores para simplificación de la interpretación
A. Ortogonales
Cuando los factores son ortogonales, es decir, no correlacionan entre sí.
Ej: Varimax, Promax, Quartimax.
B. Oblicuas
Cuando los factores no son ortogonales, es decir, correlacionan entre sí.
Ej: Oblimin, Simplimax.
“La selección del "mejor" criterio de rotación debe hacerla el investigador, [… y debe seleccionar] como "mejor"
criterio de rotación, aquel que ofrece la solución factorial más simple y más informativa”
(Lloret-Segura, Ferreres-Taver, Hernández-Baeza y Tomás-Marco, 2014)
4. Rotación de los factores para simplificación de la interpretación
No mostrar cargas factoriales
espurias, menores a 0.3.
5. Resultados adicionales
B. Gráfico de sedimentación
También llamado scree plot. Contra: puede llegar a ser subjetivo
Análisis Factorial Confirmatorio
Existe una estructura definida detrás de los
ítems (teoría, antecedentes, etc.)
Se busca contrastar los datos o poner a prueba
un modelo teórico
La variabilidad de los puntajes de cada ítem
se debe a factores
Se le conoce como error, a la parte no explicada por los
factores existentes
Cierta parte de esa variabilidad es explicada
por el mismo ítem
Se aplica El AFC y se obtiene índices de ajustes globales
Cargas factoriales de los ítems permiten saber qué tanto se relacionan estos
con los factores
Revisar las cargas factoriales permite
descartar ítems irrelevantes.
Formación de factores
Ajuste de la matriz de covarianzas real a la matriz de covarianzas teóricos
Matriz de
los
datos
reales
Matriz de
los
datos
teóricos
Residuos= +
Referencias bibliográficas
Abad, F., Olea, J., Ponsoda, V., y García, C. (2011), Medición en ciencias sociales y de la salud. Madrid,
España: Síntesis.
Meneses, J., Barrios, M., Bonillo, A., Cosculluela, A., Lozano, L., Turbany, J., y Valero, S. (2013).
Psicometría. Barcelona: Uoc.
Santisteban, C. (2009). Principios de psicometría. España: Síntesis.
Sireci, S., y Faulkner-Bond, M. (2014), Validity evidence based on test content, Psicothema, 26 (1), 100-107.
Tornimbeni, S., Pérez, E., y Olaz, F. (2008). Introducción a la psicometría. Buenos Aires: Paidós.