Universidad Arturo Michelena

Escuela de Psicología

Cátedra de Técnicas Psicométricas I

Lic. Miguel Bastidas

Fecha: Abril 2015

MÉTODOS

PRÁCTICOS

PARA ESTIMAR LA

CONFIABILIDAD

TEST- RETEST Aplicar el mismo instrumento por segunda ocasión. Rtt= correlación entre los resultados de la misma persona en 2 aplicaciones de la prueba. • Muestra el grado en el que los resultados de una prueba pueden generalizarse en otras

ocasiones. • > rtt, < susceptible son los resultados a cambios fortuitos. Intervalo= corto de tiempo; depende de la variable que se pretende medir y de los sujetos examinados (Etapas evolutivas). Mide= Estabilidad temporal del PV- Predice el comportamiento futuro. 𝒔𝒆

𝟐 • Fluctuaciones aleatorias (largo alcance) = reducirse espuriamente. • Memoria (Corto alcance) = incrementarse espuriamente. • Varianza verdadera • Efectos de aplicación • Adivinación • Falta de acuerdo entre los calificadores o evaluadores.

TEST- RETEST Desventajas • Rtt restringido a cambios al azar de corto alcance • Practica produce grados de mejora • Efectos de la memoria: intervalos corto, mayor recuerdo, resultados no independientes, rtt

elevada y falsa.

Varianza Verdadera tratada como Varianza de error • Varianza resultante de las fluctuaciones de los PV. El resultado será una subestimación de la

rtt del test y sobreestimación de los errores.

Varianza de error tratada como varianza verdadera • Varianza resultante de la memoria tratada como varianza verdadera. El resultado será una

sobreestimación de la rtt del test y subestimación de los errores. Si los factores de la aplicación del test afectan las ejecuciones de los individuos en una ocasión dada, sin aparecer sistemáticamente en la ocasión del re-test, este efecto dará una 𝑠𝑒

2. Si uno de los factores de la aplicación del test, se repite sistemáticamente, el resultado puede ser una 𝑆𝑉

2 ilusoria (efecto de la memoria).

TEST -PARALELOS Se construyen 2 test tratando de satisfacer lo mejor posible las condiciones de estricto paralelismo. El rtt es llamado coeficiente de equivalencia. Rtt= correlación entre las puntuaciones de las 2 formas. Correlación entre las 2 versiones. Intervalo= corto o largo. Si hay tiempo entre las aplicaciones rtt por cambios en el PV. Mide= estabilidad temporal y consistencia de las respuestas a las diferentes muestra de ítems. Información sobre el Paralelismo y equivalencia= n° de reactivos, = forma de expresarse, = contenido, = alcance y dificultad. Ventaja • Facilita la aplicación de la misma prueba al mismo Ss. • No afecta memoria. • Recomendada en test de velocidad Desventaja • Efecto del primer test sobre el segundo el uso de formas alternas reduce pero no elimina

el efecto de la práctica. • Difícil construcción de un test equivalente grado en el que la naturaleza de la prueba

cambia con la repetición.

PP T-RT PPT

Mayor Menor

rtt

TEST -PARALELOS 𝒔𝒆

𝟐 = • Aplicación • Adivinación • Calificación

• Fluctuaciones (corto intervalo)

• + fluctuaciones en el desempeño (da información de la equivalencia, paralelismo y estabilidad temporal)

• - efecto de la memoria, no fluctuaciones del PV.

• Fluctuaciones (Largo Intervalo) • + Fluctuaciones temporales (información equivalencia y paralelismo) • + No efecto de la memoria • + información de la respuesta de los sujetos a los diferentes reactivos • - fluctuaciones del PV • Costosas en tiempo y dinero.

• Muestreo de contenido= en que medida los resultados de la prueba dependen de los

factores específicos de la selección de reactivos particulares.

DIVISIÓN POR MITADES Mediante diversos procedimientos es posible obtener una medida de rtt a partir de una única aplicación de la prueba ya que al dividirla en mitades equivalentes. Se obtienen 2 puntuaciones de cada persona. rtt= se obtienen mitades paralelas de una misma prueba y se calcula la correlación entre ellas. Se dividen en: Pares e impares- División intencionada. Cada mitad debe ser equivalente en contenido y dificultad. Afectada por la cantidad de ítems > ítems, > rtt Mide= coeficiente de precisión Información= paralelismo – equivalencia entre las pruebas (= contenido, = dificultad) Ventaja • Eficiente en cuanto a costo y tiempo Desventaja • No da información de la estabilidad temporal.

DIVISIÓN POR MITADES Formula Spearman- Brown

𝑟𝑡𝑡 =2𝑥𝑟𝑡𝑡

1+𝑟𝑡𝑡 corrección del rtt

• Cuando se aplica el coeficiente de división por mitades, la formula requiere que se duplique

la longitud o tamaño de la prueba (+ ítems)

• Procedimiento para estimar el coeficiente de precisión de un test. • Los ítems deben ser homogéneos. Cada ítem debe medir la misma clase de puntaje

verdadero. contenido.

𝑟𝑡𝑡𝑛 = 𝑛 𝑥 𝑟𝑡𝑡

1 + 𝑛 − 1 𝑥 𝑟𝑡𝑡

KUDER-RICHARDSON Un test se encuentra conformado por tantos test paralelos como ítems tenga. Cada ítem es tratado como un test paralelo. • Supone que todos los ítems tienen = X y S

• Rtt= la correlación entre 1 ítem y su ítem paralelo da la rtt de 1 solo ítem.

• Spearman Brown= se usa para estimar la rtt de un test compuesto de n ítems. Característica • Coeficiente de consistencia interna • Da la mejor rtt expresada como test paralelos al azar • Proporción de la 𝑠𝑣

2 determinada por el tamaño de los términos de covarianza para un n° dado de ítems.

• > homogéneos, > rtt • Requiere de 1 sola aplicación • Cada ítem = frecuencia correcta e intercorrelación con otros ítems.

• 𝒔𝒆

𝟐= • Muestreo de contenido • heterogeneidad

Desventaja Inadecuado para pruebas de velocidad

ALFA DE CROMBACH Confiabilidad por CONSISTENCIA INTERNA DE LA PRUEBA Cronbach (1951) la magnitud en que los ítems de un test están correlacionados calculando el promedio de las correlaciones entre los reactivos que forman un instrumento (citado en Oviedo y Campo, 2005). Magnusson (2005) reporta que éste índice se refiere al grado en que los diferentes ítems de un instrumento covarían estadísticamente e indica cómo se relacionan entre sí. Asimismo, Cervantes (2005) comenta que permite observar la intercorrelación entre los distintos componentes de un instrumento, es decir, la estimación de la equivalencia de los reactivos entre sí. Los valores de este coeficiente varían entre 0 a 1, siendo los valores más cercanos a 1 indicadores de un alto grado de consistencia interna (Magnusson, 2011). El cálculo de este coeficiente proporciona información sobre qué reactivo se comporta de manera inconsistente y produce un valor más bajo de confiabilidad que el que se esperaría si se eliminara del test (Aragón, 2011).

ALFA DE CROMBACH Oviedo y Campo (2005) Interpretación valor mínimo aceptable = 0,70. Menor = baja consistencia. Valor máximo aceptable = 0,90. Mayor =Sobreestimación. Aceptable = 0,80-0,90. 𝑺𝒆

𝟐 = • Adivinación • Aplicación • Velocidad • Cantidad de ítem • El muestreo de contenido • La heterogeneidad de la conducta muestreada. • < homogeneidad < consistencia entre reactivo.

• Oviedo y Campo (2005) representa una propiedad inherente del patrón de respuesta de

alguna población estudiada, no es un rasgo de una escala en sí misma por lo que puede variar en función al grupo al que se le aplique el instrumento.

ALFA DE CROMBACH Rtt= correlación entre todos los ítems del test o el promedio de todas las posibles divisiones por mitades. Se toma cada ítem como un test paralelo. • Se calcula la rtt entre ítems. • Si rtt es alto no se garantiza que sea homogéneos. Mide= Homogeneidad de los ítems o consistencia interna del test. • Promedio de rxy de todos los ítems • Es mas estable que el K-R • La heterogeneidad es mala o buena dependiendo del constructo.

• Heterogéneo CI- Personalidad • Homogéneo Calculo-Parcial

Consideraciones Importantes • Es indicador de la unidimensionalidad del test, pero se requiere verificar la estructura

factorial de la prueba. • Practicidad 1 sola aplicación.

Homogeneidad de la muestra

• Anastasi y Urbina (1998) señalan que una de las fuentes de varianza de error de la confiabilidad es la heterogeneidad del área muestreada. • A mayor heterogeneidad, menor rtt • A mayor homogeneidad, mayor rtt

• Si un test mide diversos constructos psicológicos o aspectos del

comportamiento menor será su rtt • Si un test mide un solo constructo psicológico o aspecto del comportamiento

mayor será su rtt

CONFIABILIDAD ENTRE JUECES Grado de acuerdo o consistencia que existe entre dos o mas evaluadores. Rxy= coeficiente de correlación entre las puntuaciones asignadas por cada experto. • Kappa • Theta Interpretación= Proporciona información del error como resultado de la calificación de la prueba. • Significancia estadística <0,10 o 0,05 𝑺𝒆

𝟐 = • Aplicación • Adivinación • Subjetividad

Kappa Interpretación-Grado de acuerdo

<0 Pobre Acuerdo

0,01-0,2 Escaso acuerdo

0,21-0,4 Acuerdo justo

0,4-0,6 Acuerdo Moderado

0,61-0,80 Acuerdo considerable

0,81-0,99 Acuerdo casí perfecto

1 Acuerdo Perfecto

De acuerdo a Viera y Garrett (2005), a través del estadístico Kappa, se

puede medir la confiabilidad entre observadores en situaciones donde dos jueces

independientes están evaluando el mismo instrumento. En la tabla 1 se puede

apreciar la interpretación estandarizada de este índice estadístico. Los autores

reportan que se puede utilizar un Kappa por encima de 0,57.

Interpretación

• Mínimo= 0,60 • Investigación= 0,70-0,80 • Toma de decisiones >0,90.