TALLER ANÀLISIS DE FIABILIDAD ENTRE OBSERVADORES POR MEDIO DE KAPPA DE COHEN.

1.- dos evaluadores independientes, valoraron si los ítemes de un instrumento eran o no adecuados en cuanto a su contenido. Trabaje con el archivo Kappa1. Verifique si ìtem a item hay o no acuerdo, si el item es o no adecuado, y finalmente estime si hay o no acuerdo en la observación (use kappa de Cohen).

Tabla de contingencia evaluador1 * evaluador2

Recuento

evaluador2 Total

no corresponde corresponde

evaluador1no corresponde 4 2 6

corresponde 1 4 5

Total 5 6 11

Medidas simétricas

Valor Error típ. asint.a T aproximadab Sig. aproximada

Medida de acuerdo Kappa ,459 ,262 1,548 ,122

N de casos válidos 11

a. Asumiendo la hipótesis alternativa.

b. Empleando el error típico asintótico basado en la hipótesis nula.

Desarrollo: A) Del total de ítem en 8 hay acuerdoB) El número de ítem en los que hay acuerdo es mas de la mitad del total de ítemsC) Hay un acuerdo estadísticamente significativo

2.- dos profesores evaluaron a un alumno su examen de tesis, cada uno de ellos completó una pauta de evaluación consistente en 16 de ítemes politómicos (donde 1= insuficiente, 2=regular, 3=suficiente), calcule kappa de cohen y señale si la observación es o no adecuada. (use archivo kappa2)

Tabla de contingencia evalua1 * evalua2

Recuento

evalua2 Total

insuficiente regular adecuado

evalua1

insuficiente 2 0 0 2

regular 0 9 2 11

adecuado 0 0 3 3

Total 2 9 5 16

Medidas simétricas

Valor Error típ. asint.a T aproximadab Sig. aproximada

Medida de acuerdo Kappa ,768 ,152 4,183 ,000

N de casos válidos 16

a. Asumiendo la hipótesis alternativa.

b. Empleando el error típico asintótico basado en la hipótesis nula.

La observación sí es adecuada y se presenta un acuerdo altamente significativo.