validez y confiabilidad de instrumentos profesor jorge fabres campos
TRANSCRIPT
Validez y Confiabilidad de Validez y Confiabilidad de InstrumentosInstrumentos
Profesor Jorge Fabres Campos
REQUISITOS DEL INSTRUMENTO DE MEDICIÓN
Es un proceso Es un proceso metodológico que metodológico que
intentaintenta
Controlar sesgosControlar sesgos
Controlar variables Controlar variables confusasconfusas
Generar el mejor Generar el mejor proceso estándarproceso estándar
Interpretar de mejor modo los
procedimientos realizados
¿Validación?
VALIDEZVALIDEZ
La validez, se refiere al grado en que un instrumento La validez, se refiere al grado en que un instrumento realmente mide la variable que pretende medir. realmente mide la variable que pretende medir.
Validez TotalValidez Total
Validez de ContenidoValidez de Contenido
Validez de CriterioValidez de Criterio
Validez de ConstructoValidez de Constructo
Validez de ContenidoValidez de Contenido
Se refiere al grado en que un instrumento refleja un dominio Se refiere al grado en que un instrumento refleja un dominio específico de contenido de lo que se mide. específico de contenido de lo que se mide.
Es el grado en que la medición representa el concepto medido. Es el grado en que la medición representa el concepto medido.
Un instrumento de medición debe tener representados a todos Un instrumento de medición debe tener representados a todos los items del dominio de contenido de las variables a medir.los items del dominio de contenido de las variables a medir.
Validez de CriterioValidez de Criterio
La validez de criterio establece la validez de un instrumento de La validez de criterio establece la validez de un instrumento de medición comparándola con algún criterio externo. medición comparándola con algún criterio externo.
Este criterio es estándar con el que se juzga la validez del Este criterio es estándar con el que se juzga la validez del instrumento . instrumento .
Entre los resultados del instrumento de la medición se Entre los resultados del instrumento de la medición se relaciona más al criterio, la validez del criterio será mayor. relaciona más al criterio, la validez del criterio será mayor.
Validez de ConstructoValidez de Constructo
Es posiblemente la más importante sobre todo desde Es posiblemente la más importante sobre todo desde una perspectiva científica y se refiere al grado en que una perspectiva científica y se refiere al grado en que una medición se relacione consistentemente con otras una medición se relacione consistentemente con otras mediciones de acuerdo con hipótesis derivadas mediciones de acuerdo con hipótesis derivadas teóricamente y que conciernen a los conceptos que teóricamente y que conciernen a los conceptos que están siendo medidos.están siendo medidos.
Relación teórica entre conceptos y el marco Relación teórica entre conceptos y el marco teóricoteórico
Se relacionan ambos conceptos y se analizaSe relacionan ambos conceptos y se analiza
Interpretación de la evidencia empíricaInterpretación de la evidencia empírica
Etapas de la Validez de Constructo
El proceso de validación de un constructo está vinculado con la teoría.
No es posible llevar a cabo una validación de constructo, a menos que exista un marco teórico que soporte a la variable en relación con otras variables
Factores que afectan la confiabilidad y Factores que afectan la confiabilidad y validezvalidezFactores que afectan la confiabilidad y Factores que afectan la confiabilidad y validezvalidez
Improvisación.
Instrumentos no contextualizados.
Instrumento inadecuado a las personas a las que se le aplica.
Condiciones en que se aplica el instrumento
Formas de Medición de ConfiabilidadFormas de Medición de Confiabilidad
Medida de estabilidad (confiabilidad por test-retest)
Un mismo instrumento de medición es aplicado dos o más veces a un mismo grupo de personas, después de un período de tiempo
Si la correlación entre los dos resultados de las diferentes aplicaciones es altamente positiva, el instrumento se considera confiable.
Se determina mediante el cálculo de coeficiente de correlación de Pearson
Métodos de forma alternativa o paralelas:
Este procedimiento analiza dos o más versiones equivalente de instrumentos.
Las versiones son similares en contenido, instrucciones, duración y otras características
Las versiones, son administradas a un mismo grupo de personas dentro de un periodo de tiempo relativamente corto.
El instrumento es confiable si la correlación entre los resultados de amplias administraciones e significativamente positiva.
Los patrones de respuesta debe variar poco entre las aplicaciones
Método de mitades partidas:
Requiere solo una aplicación de la medición
El conjunto total de itemes es dividido en dos mitades y la puntuación o resultados de ambas son comparados.
Si el instrumento es confiable las puntuaciones de ambas mitades deben estar fuertemente correlacionadas.
Un instrumento con baja puntuación en una mitad tendrá que mostrar también una baja puntuación en la otra mitad.
Criterio de Confiabilidad Coeficiente alfa de Cronbach
Requiere de una sola administración del instrumento.
Produce valores que oscilan entre cero (0) y uno (1).
Aplicable a escala de varios valores posibles.
Su fórmula determina el grado de consistencia y precisión
Escala de valores
-1 a 0: No es confiable0,01 a 0,49: Baja confiabilidad0,5 a 0,75: Moderada confiabilidad0,76 a 0,89: Fuerte confiabilidad0,9 a 1: Alta confiabilidad
Valor del coeficiente Cronbach para determinar la confiabilidad del instrumento, resultado de confiabilidad que puede ser expresado en %.
K :Número de ítems de la prueba
:Es la varianza de los ítems
:Varianza de la prueba total
Se entiende por experto tanto al individuo en sí como a un grupo de personas u organizaciones capaces de ofrecer valoraciones conclusivas de un problema en cuestión y hacer recomendaciones respecto a sus momentos fundamentales con un máximo de competencia.
JUICIO DE EXPERTOS
ETAPAS DEL MÉTODO DE EVALUACIÓN DE EXPERTOS
• Elaboración del objetivo
• Selección de los expertos
• Elaboración del cuestionario o guía.
• Elección de la metodología.
• Ejecución de la metodología.
• Procesamiento de la información
Criterios para la selección de los expertos
• Competencia
• Disposición a participar en el proceso
• Capacidad de análisis
• Capacidad de Autocrítica
• Efectividad de su actividad profesional.
Competencias de un ExpertoCompetencias de un Experto
La competencia de un experto esta dada por el nivel de calificación en una determinada rama o disciplina de la ciencia o el arte y se encuentra determinada por
la actividad científico-investigativa y profesional del especialista
el nivel y profundidad de conocimientos de los logros de la ciencia y la técnica en el mundo
la comprensión del problema que se investiga
las perspectivas de su desarrollo.
MÉTODOS PARA DETERMINAR LA COMPETENCIA DE UN EXPERTO
Autovaloración
Coeficiente de competencia K
Efectividad de la actividad profesional
El coeficiente de competencia k
La competencia de los expertos se determina por el coeficiente K, el cual se calcula de acuerdo con la opinión del candidato sobre su nivel de conocimiento acerca del problema que se esta resolviendo y con las fuentes que le permiten argumentar sus criterios.
El experto deberá marcar una cruz en la casilla que estime pertinente
Kc 7 (0.1) 0.7 para una pregunta determinada de la encuesta.
El Kc de cada experto se calcula promediando los valores de cada pregunta.
El valor 0 indica absoluto desconocimiento de la problemática que se evalúaEl valor 1 indica pleno conocimiento de la referida problemática..
0 1 2 3 4 5 6 7 8 9
x
El coeficiente K se calcula de la siguiente manera
Kc KaK --------------------
2
Ka:
Es el coeficiente de argumentación o fundamentación de los criterios del experto determinado como resultado de la suma de los puntos alcanzados a partir de una tabla patrón.
¿Cuál es la calidad de los instrumentos que aplicamos?
¿De qué forma pueden ser más confiables y válidos en una institución educativa?