validez ucv 2013
TRANSCRIPT
LA VALIDEZ
Un aspecto psicométrico
JOSE LIVIA SEGOVIA
DEFINICION
• Los instrumentos tenían como propósito
operacionalizar constructos, o sea, medir
determinados atributos.
• La validez tiene que ver con poder
determinar si el instrumento está midiendo
realmente el atributo que dice medir
DEFINICION
• Poner en evidencia que una prueba mida
lo que realmente pretende medir.
• Anastasi y Urbina (1998) la validez de un
instrumento de medición hace referencia a
lo que miden y que tan bien lo hacen, si
hemos construido una prueba de
depresión, hay que demostrar realmente
que mide ese constructo
• Kaplan y Saccuzzo (2006) la
concordancia entre la puntuación
o medida de un test y la cualidad
que se cree que está midiendo
• Muñiz (2005) define la validez
como el demostrar que las
inferencias realizadas por un test
fiable son correctas. Se
considera que una prueba puede
ser confiable, sin ser valida, pero
no puede ser valida sin ser
confiable
• Lo que se valida no es la prueba sino las
puntuaciones de la prueba, siendo el
problema de investigación: ¿Es válido el uso
o la interpretación de las puntuaciones de
esta prueba?,
• La validez no se sintetiza en un sólo índice
numérico, es acumulativa: evidencia teórica,
estadística, empírica y conceptual del uso de
las puntuaciones, por tanto es un proceso
continuo y dinámico.
• El aspecto teórico
juega un rol
importante, ya que
constituye la guía
tanto del
desarrollo de un
test como de su
proceso de
validación.
Polit y Hungler (1995/1997),
• “no es común encontrar pruebas sólidas que
sustenten la validez de la mayor parte de las
mediciones de carácter psicológico”.
• Esto se debe a que mientras la confiabilidad
sería esencialmente una cuestión empírica; la
validez incluye más elementos teóricos, ya que
la validación persigue la explicación, con todas
las complicaciones que esto implica.
Samuel J. Messick
• Messick (1980) indica que
ha habido muchos términos
para referirse a los tipos de
validez: convergente,
discriminante, factorial,
sustantiva, estructural,
externa, de población, de
tarea, temporal, ecológica
aparente, intrínseca, por
definición, lógica.
(1931-1998)
• Ante esta situación la APA (1954) publicó un manual con
recomendaciones técnicas para el uso y diagnóstico con tests
psicológicos, indicando tres tipos de validez: Contenido, criterio y
constructo, para más adelante establecerse una integración de las
tres formas, unificándose en el concepto de validez de constructo,
que comprende diferentes clases de validez, tal como lo expresa
Messick (1980) «la validez de constructo es el concepto unificador
que integra las consideraciones de validez de contenido y de criterio
en un marco común para probar hipótesis acerca de relaciones
teóricamente relevantes» (p. 1015). Para Weinberg, (2003. En
Muñiz, 2005) ha considerado que la validación de un test es un
caso particular de la contraestación de hipótesis científicas, pero no
existe un método científico claro y universal.
Technical
Recommendations
for Psychological
Tests and Diagnostic
Techniques,
1954 by APA
The second document, Technical
Recommendations for Achievement
Tests, • Prepared by two
committees, one
representing AERA and
a second committee
representing the National
Council on Measurement
Used in Education
(NCMUE), and was
published in 1955.
• In 1966, the Standards
for Educational and
Psychological Testing was
published jointly by AERA,
APA, and NCME, and
replaced the first two
documents. The 1966
version of the Standards
has undergone revisions in
1974, 1985, and 1999.
Standards for Educational and
Psychological Testing
http://ncme.org/
Primer periodo
• : Denominada operacional, la cual tenía
una visión pragmática que ponía énfasis
en la validez externa, la cual queda
reflejada en la definición de Guilford
(1946) «Un test es válido para aquello con
lo que correlaciona» (p. 429), lo cual
también queda establecida por Gulliksen
(1950) cuando señala que el problema de
la validez se reduce a la correlación entre
el test y el criterio a predecir
Segundo periodo:
• Denominado teórico, por el énfasis en la
verificación de la teoría psicológica. Se da
importancia a la validez de constructo,
como elemento unificador que cubre
aspectos de contenido y de relaciones con
otras variables, tal como, lo demuestra la
apreciación de Cronbach (1984) «.Toda
validación es validación de constructo» (p.
126).
Tercer periodo
• Denominada contextual, donde el objetivo sería
dotar a los tests de respaldo tanto científicos
como éticos. Se incorpora al aspecto teórico el
contexto externo (consecuencias sociales y
éticas). Por lo expuesto, recae en el evaluador
todo el peso del test, ya que es él, quien al
usarlo tiene que interpretarlo y deberá
reconocer los probables factores que pueden
sesgar en cada situación particular,
generándose un aspecto ético como
interpretativo
Messick (1989, 1995) establece los criterios a considerar en la
validez:
• De contenido: relevancia y representatividad del test
• Sustantivo: Criterios teóricos de la consistencia observada de las
respuestas.
• De estructura: configuración interna del test y dimensionalidad
• Generalización: grado en que las inferencias hechas a partir del test
se pueden generalizar a otras poblaciones, situaciones o tareas.
Este aspecto es importante en la adaptación y/o traducción de tests
de una cultura a otra.
• Externo: relaciones del test con otros tests y constructos.
• Consecuencial: consecuencias éticas y sociales del test. Evaluación
del sesgo del test.
• , perspectiva que quedó reflejada en
cuatro tipos de validez: contenido,
predictiva, concurrente y de constructo
(APA, 1954), y que las publicaciones de
1966 y 1974 (APA, AERA, NCME, 1966;
1974) agruparon en tres, uniendo para
ello la validez predictiva y concurrente en
la validez de criterio.
• se puede clasificar la validez en fuentes
de evidencia interna (análisis
individualizado de los ítems) y fuentes de
evidencia externa(análisis del test en
conjunto (Elosua, 2003)
• Señala Muñiz (2005) “… si bien la noción de
una validez unitaria es muy sugerente
teóricamente, hasta la fecha no ha mostrado
una gran utilidad práctica. Los constructores y
usuarios de los tests reclaman reglas más
específicas que les permitan alegar datos que
les ayuden a validar sus inferencias. Las tres
vías clásicas para la recogida de datos, a saber,
la validez de contenido, de criterio y de
constructo siguen siendo feraces,..” (p. 4).
CONSTRUCTO
• Observación
• Teoría-hipotesis-constructo(conceptos)
• Un concepto expresa una abstracción formada
por generalizaciones sustraídas de casos
particulares. “Peso” “Masa”, “energía”, y fuerza”
son conceptos usados por los científicos físicos.
“aprovechamiento”. “Inteligencia”, “agresividad”,
“conformidad” y “honestidad”, todos son
conceptos que se emplean para expresar
variedades de la conducta humana.
Un constructo
• Es un concepto. Sin embargo, tienen un
sentido adicional, el de haber sido
inventado o adoptado de manera
deliberada y consciente para un propósito
científico especial. “Inteligencia”, es un
concepto, una abstracción de la
observación de conductas consideradas
como supuestamente inteligentes o no
inteligentes
Validez de constructo
• Es importante siempre que se diseña una
prueba psicológica para medir algún
atributo o alguna cualidad (constructo) que
se supone poseen las personas. Estos
estudios tratan de responder la pregunta
¿Que constructo mide?, ¿Hasta qué punto
mide bien la prueba psicológica ese
constructo? Así pues, se enfoca la
atención en el constructo, en la
característica de lo que se está midiendo.
Procedimientos para evaluar la
validez de constructo
• Análisis factorial
• Diferenciación entre grupos,
• Correlaciones con otras medidas del
constructo,
• Las Matrices multimétodo-multirasgo
Validez de
constructo • Correlaciones con
otros test
• Análisis factorial
• Efectos inducidos
experimentalmente
• En la teoria clasica de los test la validez
esta centrada en la correlación del test
con el criterio a predecir
• Cronbach y Meehl(1955) Validez de
constructo RIGUROSIDAD DEL
CONSTRUCTO MEDIDO
• Análisis de los contenido, correlaciones
test criterio y la entidad de los constructos
• Validez como planteamiento unitario
Messick(80,88,89)
• Validez consecuencial
según Kaiser:
1 >= KMO >= 0.9 muy bueno
0.9 >= KMO >= 0.8 meritorio
0.8 >= KMO >= 0.7 mediano
0.7 >= KMO >= 0.6 mediocre
0.6 >= KMO > 0.5 bajo
KMO <= 0.5 inaceptable
KMO and Bartlett's Test
,597
219,312
78
,000
Kaiser-Meyer-Olkin Measure of Sampling
Adequacy.
Approx. Chi-Square
df
Sig.
Bartlett's Test of
Sphericity
Rotated Component Matrixa
,664 -,150 3,253E-02 -,404
,145 7,335E-02 ,827 ,166
,311 4,783E-02 8,163E-02 ,774
,607 6,227E-02 ,189 ,274
,143 ,895 5,236E-02 ,124
,356 ,582 ,454 -,325
-7,44E-02 ,172 ,894 -5,94E-02
-,217 ,707 ,148 -3,86E-04
-,139 ,660 6,432E-02 ,504
,538 ,480 ,280 -,249
,452 ,190 ,328 ,222
,784 -1,55E-02 -6,55E-02 ,139
,806 -7,67E-02 -8,09E-03 7,409E-02
M1
M2
M3
M4
M5
M6
M7
M8
M9
M10
M11
M12
M13
1 2 3 4
Component
Extraction Method: Principal Component Analysis.
Rotation Method: Varimax with Kaiser Normalization.
Rotation converged in 7 iterations.a.
Jose Livia 2008
3. VALIDEZ DE CONTENIDO
• Especificar correctamente el dominio de
contenido, ya sea a nivel de procesos,
conocimientos o de conductas.
• Es importante en tests de conocimientos.
Validez
Validez de Criterio:Se establece la validez comparándolo con algún criterio
externo. Es un criterio estándar con el que se juzga la validez de un
instrumento.
– Cuando el criterio se fija en el presente se llama validez concurrente.
Cuando el criterio se fija en el futuro se llama validez predictiva.
RESULTADO DE LAS PRUEBAS
POSITIVO
NEGATIVO
CON ENFERMEDAD SIN ENFERMEDAD
Sensibilidad = Especificidad =
P O B L A C I O N
VP
VP + FN VN + FP
VN
Enfermedad Positiva
Prueba Positiva
= Verdadero Positivo (VP)
Enfermedad Positiva
Prueba Negativa
= Falso Negativo (FN)
Enfermedad Negativa
Prueba Positiva
= Falso Positivo (FP)
Enfermedad Negativa
Prueba Negativa
= Verdadero Negativo
(VN)