principios de la evaluación del aprendizaje

Principios de la evaluación del

aprendizaje

Dr. José Antonio Ruy-Díaz Reynoso

Noviembre 2013

¿Qué es la evaluación?

• Es una “biopsia” de conocimientos y habilidades.

Competencia clínica

Preguntas críticas en la evaluación del aprendizaje

• ¿Porqué estoy evaluando?

• ¿Qué voy a evaluar?

• ¿Cómo lo voy a evaluar?

¿Cómo están funcionando mis evaluaciones?

¿Porqué estoy evaluando?

• El propósito de mi evaluación es:

¿Formativo?

¿Sumativo? Graduación / certificación

Retroalimentación Intra-curso/intra-entrenamiento

Resultados del aprendizaje en Medicina

6

Harden RM, Crosby JR & Davis MH (1999a). An introduction to outcome-based education.

Medical Teacher 21(2): 7-14

Modelo de competencia clínica

HACE

DEMUESTRA CÓMO

SABE CÓMO

SABE

Comportamiento = habilidades +

actitud

Cognición = conocimiento

AU

TEN

TIC

IDA

D P

RO

FESI

ON

AL

Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S67.

8

Harden RM, Crosby JR & Davis MH (1999a). An introduction to outcome-based education. Medical

Teacher 21(2): 7-14

Preguntas críticas


¿Qué voy a evaluar?

¿Cómo lo voy a evaluar?


Formatos de pruebas

HACE

DEMUESTRA CÓMO

SABE CÓMO

SABE

Desempeño / evaluación

práctica

Evaluación escrita / por computadora

AU

TEN

TIC

IDA

D P

RO

FESI

ON

AL

Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S67.

Formatos de pruebas

Evaluación basada en el contexto (clínico)opción múltiple, preguntas estructuradas, rúbricas

HACE

DEMUESTRA CÓMO

SABE CÓMO

SABE

Evaluación del desempeño en vivo

EST, mini-cex, 360°, portafolio

Evaluación del desempeño in vitroOSCE

Pruebas fácticasopción múltiple, preguntas estructuradas,

12

Shumway JM & Harden RM (2003). AMEE Education Guide No 25: The assessment of learning outcomes

for the competent and reflective physician. Medical Teacher 25(6): 569-584

Preguntas críticas


¿Qué voy a evaluar?

¿Cómo lo voy a evaluar?



• ¿Son válidas?

• ¿Son confiables?

• ¿Están logrando lo que se supone deben lograr?

• Para responder a estas preguntas, debemos considerar las características de los instrumentos de evaluación…

14

Características de los instrumentos de evaluación

• Validez (V)

• Confiabilidad (C)

• Impacto educativo (I)

• Aceptabilidad (A)

• Costo (C)

15

Validez

¿La prueba mide lo que se intenta medir?

• Interpretar la evidencia para la validez de la prueba en un sentido significativo en cuanto a su:

1. Contenido

2. Proceso de respuesta

3. Estructura interna

4. Relación con otras variables

5. Consecuencias

16

Validez1. Contenido: Blueprinting

2. Proceso de respuesta: papel o electrónico, ámbito de error

3. Estructura interna: No. de reactivos, formato, sistema de calificación, confiabilidad, características de los reactivos, psicométrica, estandarización

4. Relación con otras variables: correlación entre secciones diferentes de la prueba, otras pruebas

5. Consecuencias: si reprueban (efecto en los estudiantes/institucion; o si aprueban (efecto en los estándares profesionales)

17

Estos aspectos deben ser cubiertos para responder a la pregunta ¿Cómo están funcionando mis evaluaciones? = asegurar la calidad de la evaluación.

Confiabilidad

• Reproducibilidad del resultado entre calificadores, preguntas, casos ocasiones

• Capacidad de diferenciar consistentemente entre los buenos y malos estudiantes

• Puede medirse por Coeficiente alfa de Cronbach

• La confiabilidad es un aspecto de la validez

18

S. Downing: Reliability: on the reproducibility of assessment data;

Medical Education 2004; 38: 1006–1012

Impacto educativo

Es la relación entre la evaluación y el aprendizaje

19

Curriculum Evaluación

Profesor Alumno

Principios de la evaluación

• No existe una evaluación perfecta

• Siempre se requiere transigencia

• Depende del contexto de la evaluación

• La calidad de la evaluación es una función de:

1. El diseño general del programa de evaluación

2. La calidad de los instrumentos individuales

3. Recopilar y analizar evidencia de la validez

20

¿Cómo diseñar un programa de evaluación?

• Clarificar el propósito de la evaluación

• Decidir los dominios que se examinarán

• Seleccionar herramientas de evaluación adecuadas

• Proyectar cada prueba (asegurar un muestreo suficiente mapeado con los resultados del aprendizaje)

• Establecer la calificación de pase

• Decidir la estructura interna

• Decidir las consecuencias de la evaluación

• Evalúe la psicométrica de sus exámenes

22

Dominio de la competencia

Conocimiento y aplicación del conocimiento

(el médico como estudiante y científico)

Habilidades de la comunicación y clínicas

(el médico como practicante)

Desarrollo personal y profesional

(el médico como profesional)

Tipos de evaluación• Opción múltiple

• preguntas estructuradas • Rúbricas

OSCE

• Portafolio• Prueba de desempeño

• Evaluación en el sitio de trabajo

• 360º

Ciclos Básicos (teórico)Prueba escrita

Rúbrica /lista de cotejo OSCE

• Evaluación del profesionalismo

• Portafolio• EST

• Lista de cotejo/rúbricas

Ciclos Clínicos (Práctica)Prueba escrita

Rubrica/lista de cotejoOSCE


• Rúbricas

Internado (formativo)Prueba escrita incluyendo

habilidades de prescripción OSCE: blueprinting vs.

competencias


• Rúbricas

23

Esta presentación está disponible en:

http://es.slideshare.net/FCS_Anahuac

@FCS_Anahuacfacebook.com/fcsanahuac

http://fcsanahuac.com

http://es.slideshare.net/FCS_Anahuac

http://facebook.com/fcsanahuac

http://fcsanahuac.com