antecedentes: · web view6 fueron responsables en la conducción de su estación (conocían los...
TRANSCRIPT
ANTECEDENTES:
O.S.T.E: implementación de un método de Evaluación Objetiva de Habilidades Docentes
Dr. Jesús Ibarra-Jiménez, C.P. Mónica del Ángel-Reyes, Dr. Ismael D. Piedra-Noriega, Lic. Astrid López-Nieves, e Ing. Jorge A. González-Lopez
Departamento de Desarrollo Académico - DCS y Área de Pediatría del Departamento de Ciencias Clínicas de la División Ciencias de la Salud, RZMM, Tec de Monterrey
Introducción
La evaluación es la guía del aprendizaje. Hay muchas personas que no están de acuerdo con este enunciado y que piensan que el currículum es la clave en cualquier tipo de curso clínico. La realidad es que los alumnos se sienten sobrecargados con el trabajo y tienden a estudiar aquellas partes del curso que son evaluadas. Para promover el aprendizaje, la evaluación debe ser formativa – los alumnos deben aprender de sus exámenes y deben recibir una retroalimentación que sirva para aumentar sus conocimientos y sus habilidades. Visto en sentido pragmático, la evaluación es el principal motor que guía al currículum y que expande el horizonte profesional. Si queremos formar a un profesionista con conocimientos, habilidades, actitudes y valores, ¿cómo hacemos para evaluar sus habilidades y actitudes?
La Evaluación Objetiva de Competencias Docentes (“OSTE”, Objective Structured Teaching Examination) es un instrumento de evaluación que fue descrito por Dunnington y DaRosa (1998), en el que se aplica un examen con múltiples estaciones para evaluar a los médicos residentes, alumnos de posgrado, sobre diversos objetivos de su programa “Residentes como maestros”. El objetivo del OSTE es medir competencias docentes a través de estaciones que duran 10 minutos cada una y que incluyen diversos retos, tales como: prueba para dar retroalimentación constructiva; enseñanza de nudos quirúrgicos; crítica de la video grabación de un médico que conduce el paso de visita al lado del enfermo, etcétera. Otros autores utilizan alumnos estandarizados para evaluar las habilidades docentes., En forma parecida a como ocurre en un OSCE con los pacientes, los alumnos estandarizados son personas entrenadas previamente para simular un escenario que involucra a un alumno y a un profesor. El estudiante aprende a responder a preguntas o a hacer comentarios que hace el maestro, aprende cómo comportarse y qué preguntas plantear. Los estudiantes estandarizados también pueden ser entrenados para dar retroalimentación constructiva a los maestros. Algunos estudiantes estandarizados son utilizados para propósitos de evaluación y otros como parte de una estrategia de enseñanza.
El objetivo de este trabajo es compartir el diseño e implementación del OSTE en la materia Educación Médica I de los programas de posgrado en medicina de la Escuela de Graduados en Medicina (EGRAM) en el ITESM, para demostrar que es posible medir competencias docentes en forma objetiva.
Metodología
La Evaluación Objetiva de Competencias Docentes (OSTE) en el curso de Educación Médica I tuvo participantes, estaciones, procesos y formatos. Educación Médica I es un curso común a todos los programas de posgrado en medicina, se lleva a cabo en primer semestre y tiene como objetivo general el desarrollo de competencias docentes en los médicos residentes, para ser capaces de enseñar a estudiantes de pregrado, pacientes y familiares. Es un curso rediseñado que utiliza el aprendizaje colaborativo y el aprendizaje basado en proyectos y que se apoya en el uso de la plataforma tecnológica Blackboard.
Participantes. Actuaron profesores, alumnos estandarizados, médicos residentes evaluados, coordinadores y asistentes. Se involucró a 4 profesores de planta y 6 de cátedra representando a 6 especialidades diferentes quienes fungieron como evaluadores. Participaron 9 alumnos voluntarios de medicina de cuarto a octavo semestre, que fueron estandarizados respecto a un rol previamente elaborado que habrían de actuar. Se evaluó a 15 médicos residentes de primer semestre: 3 de Pediatría, 2 de Gineco-obstetricia, 4 de Cirugía, 1 de Anestesiología, 1 de Radiología, 3 de Medicina Interna y 1 de Oftalmología. Las actividades fueron coordinadas por un profesor de planta y un profesor de cátedra. Se contó con el apoyo de dos asistentes de docencia y una secretaria.
Estaciones. Se diseñaron 8 estaciones, cada una con un objetivo, instrucciones, rol del residente, rol del alumno, rol del profesor, indicadores de desempeño y formatos de evaluación (ver Anexo 2). Estos fueron los nombres de las estaciones. Estación 1: Terranova – Introducción a la rotación; Estación 2: Dominus - Elaboración de una presentación; Estación 3: Expressio - Exposición de un tema breve; Estación 1: Sapius A – Técnicas didácticas 1; Estación 5: Assessus – Revisión de una nota de evolución; Estación 6: Sapius B - Técnicas didácticas 2; Estación 7: Procedere - Enseñanza de un procedimiento; y Estación 8: Sapius C– Osler el modelo. Cuatro estaciones (1, 3, 5 y 7) presentaron retos prácticos para demostrar competencias complejas que requerían demostrar conocimientos, habilidades y actitudes y cuatro estaciones (2, 4, 6 y 8) presentaron retos cognoscitivos que midieron predominantemente conceptos.
Procesos. A) Invitación de maestros evaluadores: los maestros fueron invitados tres semanas antes y recibieron capacitación respecto a objetivos, funciones y procedimientos, en una sesión de 90 minutos una semana antes. B) Estandarización de alumnos: los alumnos estandarizados fueron capacitados cinco días antes. C) Preparación previa de espacios físicos: se dispusieron siete aulas pequeñas de 9 m2 y un aula grande de 20 m2, además de dos pasillos entre las aulas. D) Retroalimentación. Se solicitó a los maestros evaluadores y alumnos estandarizados que brindaran retroalimentación inmediata a los médicos residentes evaluados.
Formatos. Se diseñaron 8 formas de evaluación, una para cada estación; cuatro con criterios de observación de conductas docentes claramente señalados que presentaban opciones para calificar tipo Si/No/No aplica y un espacio para hacer comentarios (ver Anexo 3). Se elaboró una forma de evaluación al evento de aplicación del OSTE, que midió el desempeño de los coordinadores, los maestros evaluadores y los alumnos estandarizados, la estructura y organización del OSTE, y el apoyo brindado por el departamento organizador; mediante el uso de una escala de Likert (ver Anexo 4).
Estadística. Se calcularon promedios y desviación estándar.
Resultados
Evaluación OSCE. El rango de calificaciones de los médicos residentes fue de 71 a 88, con un promedio grupal de 73.5. La estación con la más alta calificación fue la número 8 (promedio 8.5), que consistió en la elaboración de un breve ensayo sobre la vida académica de Sir William Osler y la estación con la más baja calificación fue la número 1 (promedio 5.9) que consistió en la explicación al alumno de los objetivos y actividades de aprendizaje al inicio de la rotación clínica (Tabla 1).
Tabla 1. Calificación de indicadores acertados en cada estación y promedio global para cada uno de los alumnos. Máximo por estación: 10 puntos; máximo en el OSTE: 80 puntos.
Calificación parcial de cada estación
Alumnos
Estación 1
Estación 2
Estación 3
Estación 4
Estación 5
Estación 6
Estación 7
Estación 8
Suma
Calificación global
Alumno 1
5
6
6
9
9
7.5
7
8
57.5
72
Alumno 2
5
6
8
8.5
9
7
10
10
63.5
79
Alumno 3
6
5
9
9.5
9
8
8
8.5
63
79
Alumno 4
3
6
4
9
10
8.5
9
10
59.5
74
Alumno 5
6
8
9
8.5
8
5
8
8
60.5
76
Alumno 6
4
8
6
10
9
9
7
10
63
79
Alumno 7
6
9
7
10
10
10
8
10
70
88
Alumno 8
6
6
7
10
10
8
8
9
64
80
Alumno 9
8
6
8
7.5
10
8
8
9
64.5
81
Alumno 10
4
6
7
9
6
7.5
10
9
58.5
73
Alumno 11
8
7
10
8.5
10
6
9
9
67.5
84
Alumno 12
8
6
8
7.5
9
7
7
8
60.5
76
Alumno 13
9
7
7
9
8
8
9
9.5
66.5
83
Alumno 14
10
7
6
8.5
8
8
8
10
65.5
82
Alumno 15
6
5
8
7
6
8.5
8
8
56.5
71
Promedio
5.9
6.1
6.9
8.2
8.2
7.3
7.8
8.5
58.8
73.5
DE
2.5
2.0
2.3
2.4
2.5
2.3
2.3
2.4
16.1
20.1
Evaluación al OSTE. Se aplicó una encuesta al final del evento, para conocer la opinión de todos los participantes, la cual fue contestada por 34 de 40 personas (índice de respuesta 85%). Los resultados fueron muy satisfactorios, con un promedio global de 1.3 en escala de 1 a 5 (1 = totalmente de acuerdo, 5 = totalmente en desacuerdo). La calificación promedio otorgada por los subgrupos fue: residentes evaluados, 1.4; maestros evaluadores,1.3; y alumnos estandarizados, 1.1. Solamente se identificaron dos áreas de oportunidad, una con relación a lo reducido del espacio físico y la otra respecto a que el tiempo para la resolución de algunas estaciones fue escaso.
Los coordinadores, en la opinión tanto de los residentes evaluados, los profesores evaluadores como los alumnos estandarizados, fueron responsables al dirigir el evento (promedio 1.3, escala 1 = totalmente de acuerdo a 5 = totalmente en desacuerdo), mostraron buena disposición hacia el grupo (promedio 1.1), fomentaron el desarrollo de habilidades establecidas en la misión (promedio 1.3), promovieron actitudes establecidas en la misión (promedio 1.3) y en general facilitaron en forma excelente su participación en el desarrollo del evento (promedio 1.2).
Los maestros evaluadores y alumnos estandarizados fueron responsables en la conducción de su estación (promedio 1.2), mostraron buena disposición hacia los demás (promedio 1.1), fomentaron el desarrollo de habilidades establecidas en la misión (promedio 1.2), promovieron actitudes establecidas en la misión (promedio 1.2) y en general facilitaron en forma excelente la participación (promedio 1.3)
La estructura y organización del OSCE permitió que el aprendizaje adquirido pudiera ayudar a incorporar ideas innovadoras en su desempeño (promedio 1.1); tuvo un contenido, organización y presentación del material que permitió que se cumplieran los objetivos del evento (promedio 1.4); tuvo un horario y duración apropiada (promedio 1.5); conservó un nivel de dificultad apropiado (promedio 1.2) y en general fue bien organizado (promedio 1.2).
El departamento organizador aportó personal que mostró rapidez de atención, buena actitud y capacidad para brindar orientación (promedio 1.2) y, en general, el servicio fue excelente (promedio 1.3). Sin embargo, no todos estuvieron totalmente de acuerdo con que las instalaciones en donde se llevó a cabo el OSTE fueron apropiadas (promedio 1.6).
Análisis
Recientemente se festejó en Portugal el cumplimiento de tres décadas desde que en 1972 Harden y Gleeson inventaron en Escocia un examen para medir competencias clínicas de los médicos en formación, al que llamaron O.S.C.E. (Objective Structured Clinical Examination) . El “osqui”, como todo mundo lo llama, ya es considerado el estándar de oro para medir las competencias clínicas, o conjuntos complejos de conocimientos, habilidades y actitudes. Muchas escuelas de medicina utilizan el O.S.C.E. en Estados Unidos, Canadá, Europa, Japón y en muchos otros países, como parte esencial de la evaluación en sus programas de pregrado y de posgrado. Por ejemplo, para el año 2000, era utilizado por 97 de 120 (81%) escuelas de medicina en los Estados Unidos de Norteamérica y por las 10 (100%) escuelas existentes en Canadá. En la XIX Reunión de Intercambio de Experiencias en Estudios sobre Educación, Ibarra y Cols. reportaron el uso del O.S.C.E. en el Tec de Monterrey y destacaron su valor para medir no solo conocimientos, sino también habilidades y actitudes. Aún y cuando los exámenes escritos son más fáciles de hacer y menos costosos, sus resultados no necesariamente reflejan cambios conductuales (Anexo 7). El uso de estándares psicométricos para evaluar el desempeño clínico de los alumnos a través de métodos estructurados objetivos se encuentra bien establecido.
En el año 2001 se formalizó la creación de la Escuela de Graduados en Medicina (EGRAM) del Tec de Monterrey, en la División Ciencias de la Salud del Campus Monterrey y se arrancó con doce programas de especialidades rediseñados que resultaron de una amplia revisión curricular, la cual fue autorizada por Vicerrectoría Académica y que recientemente fue presentado en la Conferencia Anual de la Asociación para la Educación Médica de Europa. En su diseño, todos los posgrados incorporaron la materia Educación Médica I, para apoyar el desarrollo de competencias docentes en los futuros médicos especialistas, por la tradición que existe de enseñar unos a otros en forma piramidal; los residentes de años avanzados a los residentes principiantes, estos a los estudiantes de medicina avanzados en pregrado y estos a los estudiantes de medicina novatos. De la misma manera, todos sabemos que el medico es un constante educador de los individuos a los que atiende como pacientes y para lo cual necesita desarrollar habilidades específicas que son características en un docente; tales como identificar las necesidades de aprendizaje, declarar objetivos, diseñar actividades para aprender, asesorar al que aprende a cuidar su salud y evaluar si se cumplieron los objetivos previamente trazados. El objetivo general del curso Educación Médica I es obtener los conocimientos teóricos que permitan sustentar el desarrollo y la mejora de las competencias docentes que los residentes requieren aplicar en el contexto clínico.
En nuestro trabajo hemos demostrado que es posible diseñar estaciones para medir competencias docentes de manera objetiva y que la retroalimentación inmediata resulta muy útil para propósitos formativos. Sin embargo, este tipo de actividades requiere una gran cantidad de tiempo y esfuerzo, que hace cuestionable el que sea práctico de llevar a cabo en gran escala. Los maestros que participaron en esta evaluación son parte de un grupo de profesores muy motivados. El uso de alumnos estandarizados en actividades de capacitación docente ha sido bien descrito. Todos nuestros residentes evaluados, profesores evaluadores y alumnos estandarizados calificaron positivamente nuestro primer evento de aplicación del OSTE.
En conclusión, el diseño y la implementación de la evaluación objetiva de habilidades docentes es un proceso complejo pero muy gratificante. El éxito depende de una buena planeación, fuerte apoyo, participación de los profesores, un equipo comprometido y trabajador y de alumnos estandarizados que estén bien entrenados.
Capitalización
Consideramos que esta experiencia de OSTE es valiosa tanto para la materia Educación Médica I, como para el resto de las materias prácticas de los posgrados en Medicina, en su modalidad equivalente de OSCE. Para otras carreras del Tecnológico, creemos que se puede considerar la posibilidad de que equipos de maestros exploren la idea de incorporar la evaluación objetiva y estandarizada de competencias profesionales para tener, además de instrumentos de evaluación de tipo sumativo, instrumentos que sirvan desde el punto de vista formativo.
Reconocimiento
La aplicación de esta edición del examen OSTE fue posible gracias a la generosa participación de los siguientes maestros y alumnos: Maestros. Dr. Francisco Lozano Lee; Dr. Manuel Pérez; Dr. Luis Espinoza; Dr. Jorge Ávalos; Dr. Manuel de la Maza; Dr. Rubén Darío Rodríguez ; Dr. Ricardo Treviño; Dr. Felícitos Leal; Dr. José Antonio Díaz. Alumnos. Laura M. Fernández Sierra, Misu Sansón, Teresa García R., Pilar González, David Montemayor Treviño, Mauricio Alvarez, Ma. Cecilia Ramírez Assad, Benjamín Lozano y Cynthia Mendoza.
Anexo 1. Diagrama y flujo por las estaciones
Diagrama y Flujo por Estaciones
Sección A (Aulas 104)
Sección A (Aulas 104)
Sección B (Aulas 105 y 111)
Sección B (Aulas 105 y 111)
R
M
A
Residente
Maestro evaluador
Alumno estandarizado
Coordinador
C
1
2
3
4
5
6
7
8
R
R
R
R
R
R
R
R
A
A
A
A
M
M
M
M
C
Entrada
1
2
3
4
5
6
7
8
R
R
R
R
R
R
R
R
A
A
A
A
M
M
M
M
C
Entrada
10’ por estación
Video y fotografía
Aula 111
Anexo 2. Ejemplo. Estación 1: Terranova – Introducción a la rotación
Objetivo. El médico residente demostrará que conoce cuáles son los objetivos académicos para un alumno de pregrado que pasa por su servicio.
Escenario. Se trata de la primera semana de clases de un estudiante de medicina en la rotación por el servicio al que pertenece el residente. Llega un alumno sin experiencia, con muchas dudas, con inseguridad. En el departamento hay un exceso de trabajo, pero en ese momento de la guardia hay tiempo para platicar.
Rol del Residente. Es la primera semana de clases del estudiante que rota por tu servicio. El no tiene experiencia previa en tu área, tiene muchas dudas y se muestra inseguro. Ha habido mucho trabajo y apenas tienes tiempo para hacer lo indispensable. Explícale cuáles son los objetivos académicos, procedimientos y actividades que debe realizar, en un tiempo de 8 minutos.
Rol del Alumno. Eres un estudiante de quinto año en tu primer día de rotación por el servicio. No sabes cuáles son los objetivos, los procedimientos ni las actividades que se supone debes desempeñar. Acudes con tu residente para informarte.
Rol del Profesor Evaluador. Observa la interacción entre el médico residente y el estudiante durante 8 minutos. Verifica que el médico residente muestre conductas docentes que tengan que ver con la llegada de un nuevo alumno al departamento. Utiliza los siguientes indicadores de desempeño (entre paréntesis se presentan las respuestas del alumno estandarizado). Dedica 2 minutos para dar retroalimentación.
Anexo 3. Formato de evaluación. Indicadores de desempeño de la Estación 1.
Nombre del alumno evaluado:Fecha:
Indicador
Sí
No
NV
1. El residente inicia con una pregunta abierta para saber cuáles son las dudas (“no se cuáles son los objetivos para mi, ni qué tengo que hacer”)
2. El residente pregunta qué es lo que el alumno espera (“quiero aprender todo lo de tu departamento”. Dime qué debo saber).
3. Pregunta qué habilidades quiere adquirir (“quiero que me enseñes cómo se hacen las cosas aquí”. Dime qué es lo que se hace).
4. Explica cuáles conocimientos aprenderá el alumno bajo su responsabilidad.
5. Comunica qué habilidades adquirirá el alumno mientras esté a su lado.
6. Señala qué actitudes debe mostrar el alumno cuando esté bajo su responsabilidad.
7. Comunica qué criterios tomará en cuenta para evaluarlo.
8. Presenta cuáles serán las actividades diarias en el servicio.
9. Menciona horarios y calendario que tienen que ver con su área de responsabilidad.
10. Pregunta al alumno si tiene alguna duda y da oportunidad para responder. (“dime un poco más sobre.....”)
Total
Comentarios o sugerencias:
¿Se brindó retroalimentación? (Si (No. Existió algún problema: (Si (No. ¿Cuál?
Nombre del evaluador:Firma:
Anexo 4. Instrumento de evaluación al evento OSTE.
Con la finalidad de brindar un mejor servicio, tu opinión y comentarios son muy importantes. Mucho te agradeceremos dediques unos minutos para contestar esta encuesta. Utiliza una escala de 1 a 5, en la que el 1 = totalmente de acuerdo, 5 = totalmente en desacuerdo y NA = No aplica
Fecha de aplicación:________________ Participé como: ( Alumno que fue evaluado ( Estudiante estandarizado ( Profesor evaluador ( Coordinador ( Otra función:
Sobre los coordinadores
Total Acuerdo
Total Desacuerdo
No Aplica
1
2
3
4
5
NA
1. Fueron responsables al dirigir el evento (presentaron objetivos, actividades, iniciaron y terminaron a tiempo, etc.)
(
(
(
(
(
(
2. Mostraron buena disposición hacia el grupo (trato respetuoso, comunicación cortés, atención a dudas)
(
(
(
(
(
(
3. Fomentaron el desarrollo de habilidades establecidas en la misión (trabajo en equipo, innovación, buena comunicación, etc.)
(
(
(
(
(
(
4. Promovieron actitudes establecidas en la misión (honestidad, responsabilidad, respeto, cultura de trabajo, cultura de calidad, etc.)
(
(
(
(
(
(
5. En conclusión, los coordinadores facilitaron en forma excelente mi participación en el desarrollo del evento
(
(
(
(
(
(
Comentarios y sugerencias para mejorar el desempeño de los coordinadores
Sobre los maestros evaluadores y los alumnos estandarizados
Total Acuerdo
Total Desacuerdo
No Aplica
1
2
3
4
5
NA
6. Fueron responsables en la conducción de su estación (conocían los objetivos, el contenido, la actividad)
(
(
(
(
(
(
7. Mostraron buena disposición hacia los demás (trato respetuoso, comunicación cortés, atención a dudas)
(
(
(
(
(
(
8. Fomentaron el desarrollo de habilidades establecidas en la misión (trabajo en equipo, innovación, buena comunicación, etc.)
(
(
(
(
(
(
9. Promovieron actitudes establecidas en la misión (honestidad, responsabilidad, respeto, cultura de trabajo, cultura de calidad, etc.)
(
(
(
(
(
(
10. En conclusión, los maestros y alumnos facilitaron en forma excelente mi participación en el desarrollo del evento
(
(
(
(
(
(
Comentarios y sugerencias para mejorar el desempeño de los maestros evaluadores y los alumnos estandarizados:
Sobre la estructura y organización del OSTE
Total Acuerdo
Total Desacuerdo
No Aplica
1
2
3
4
5
NA
11. El aprendizaje adquirido me puede ayudar a incorporar ideas innovadoras en mi desempeño.
(
(
(
(
(
(
12. El contenido, la organización y la presentación del material permite que se cumplan los objetivos del evento.
(
(
(
(
(
(
13. El horario y la duración del OSTE fueron apropiados.
(
(
(
(
(
(
14. El nivel de dificultad del OSTE fue apropiado (ni demasiado difícil ni demasiado fácil).
(
(
(
(
(
(
15. En general, el OSTE fue bien organizado
(
(
(
(
(
(
Comentarios y sugerencias para mejorar la estructura y organización del OSTE:
Acerca del departamento organizador (DDA-DCS)
Total Acuerdo
Total Desacuerdo
No Aplica
1
2
3
4
5
NA
16. El personal de DDA-DCS mostró rapidez de atención, buena actitud y capacidad para orientarme con referencia al OSTE.
(
(
(
(
(
(
17. Las instalaciones en donde se llevó a cabo el OSTE son apropiadas.
(
(
(
(
(
(
18. El general el servicio proporcionado por DDA – DCS es excelente
(
(
(
(
(
(
Comentarios y sugerencias para mejorar el servicio que ofrece DDA-DCS:
Anexo 5. Fotos de varios momentos en la aplicación de la Evaluación Objetiva de Habilidades Docentes
1. Instrucción inicial. Coordinadores explican la logística a realizar durante el examen O.S.T.E.
2. Alumno estandarizado, previamente entrenado para presentar un problema de enseñanza – aprendizaje en forma similar a todos los residentes.
3. Maestro evaluador, utiliza inventarios de verificación de conductas docentes previamente estandarizados.
4. Residente retroalimenta a alumno en presencia del maestro evaluador.
5. Estación 1. Introducción a la rotación. Residente explica.
6. Estación 8. Enseñanza de un procedimiento, Residente instruye a alumno como realizar un procedimiento.
Anexo 6. Resultados de la evaluación al OSTE aplicado en la materia Educación Médica I.
Número de Respuestas: 34 (13 Residentes,12 Maestros y 9 Estudiantes estandarizados)
Promedio
Res
Mae
Est
Tot
Sobre los coordinadores
n=13
n=12
n=9
N=34
1
Fueron responsables al dirigir el evento (presentaron objetivos, actividades, iniciaron y terminaron a tiempo, etc.)
1.3
1.5
1.1
1.3
2
Mostraron buena disposición hacia el grupo (trato respetuoso, comunicación cortés, atención a dudas)
1.0
1.3
1.0
1.1
3
Fomentaron el desarrollo de habilidades establecidas en la misión (trabajo en equipo, innovación, buena comunicación, etc.)
1.5
1.5
1.0
1.3
4
Promovieron actitudes establecidas en la misión (honestidad, responsabilidad, respeto, cultura de trabajo, cultura de calidad, etc.)
1.6
1.3
1.0
1.3
5
En conclusión, los coordinadores facilitaron en forma excelente mi participación en el desarrollo del evento
1.2
1.5
1.0
1.2
Sobre los maestros evaluadores y los alumnos estandarizados
6
Fueron responsables en la conducción de su estación (conocían los objetivos, el contenido, la actividad)
1.1
1.4
1.1
1.2
7
Mostraron buena disposición hacia los demás (trato respetuoso, comunicación cortés, atención a dudas)
1.2
1.2
1.1
1.1
8
Fomentaron el desarrollo de habilidades establecidas en la misión (trabajo en equipo, innovación, buena comunicación, etc.)
1.2
1.3
1.0
1.2
9
Promovieron actitudes establecidas en la misión (honestidad, responsabilidad, respeto, cultura de trabajo, cultura de calidad, etc.)
1.1
1.5
1.0
1.2
10
En conclusión, los maestros y alumnos facilitaron en forma excelente mi participación en el desarrollo del evento
1.2
1.4
1.0
1.2
Sobre la estructura y organización del OSTE
11
El aprendizaje adquirido me puede ayudar a incorporar ideas innovadoras en mi desempeño.
1.5
0.8
1.0
1.1
12
El contenido, la organización y la presentación del material permite que se cumplan los objetivos del evento.
1.6
1.3
1.2
1.4
13
El horario y la duración del OSTE fueron apropiados.
1.8
1.4
1.4
1.5
14
El nivel de dificultad del OSTE fue apropiado (ni demasiado difícil ni demasiado fácil).
1.4
1.0
1.3
1.2
15
En general, el OSTE fue bien organizado
1.3
1.0
1.2
1.2
Acerca del departamento organizador (DDA-DCS)
16
El personal de DDA-DCS mostró rapidez de atención, buena actitud y capacidad para orientarme con referencia al OSTE.
1.4
1.1
1.0
1.2
17
Las instalaciones en donde se llevó a cabo el OSTE son apropiadas.
2.2
1.7
1.1
1.6
18
El general el servicio proporcionado por DDA – DCS es excelente
1.7
1.1
1.0
1.3
Promedio
1.4
1.3
1.1
1.3
Desviación Estandar
0.3
0.2
0.1
0.1
Anexo 7. Marco de referencia para evaluar habilidades, competencias o desempeño clínico
La pirámide de Miller
La Pirámide de Miller
Marco de Referencia para Evaluar
Habilidades/Competencia/Desempleño Clínico
SABE
(Conocimientos)
SABE COMO
(Competencia)
MUESTRA
COMO
(Desempeño)
HACE
(Acciónreal)
Adaptado de: MillerGeorge. TheAssessmentofClinical
Skills/Competence/Performance. AcademicMedicine.
65:S63. 1990
Ibarra
Ibarra
• Piedra
• Piedra
• Tovar
• Tovar
• Lopez
• Lopez
Métodos apropiados para evaluar diversos tipos de elementos, según la pirámide de Miller
Para escalar la pirámide
SABE
(Conocimientos)
Exámenesobjetivos:
Opciónmúltiple, ensayos, orales…
SABE COMO
(Competencia)
Exámenesen contexto(Clínico):
Opciónmúltiple, ensayos, orales
MUESTRA
COMO
(Desempeño)
Examendel desempeño“in vitro” :
OSCE
OSCE, Examencon pacienteestandarizado
HACE
(Acciónreal)
Examendel desempeñoreal :
Pacienteencubierto, Video, Auditorías
Adaptado de: Ceesvan
derVleutenPlenary
Ottawa in Africa
Conference. Feb 2000
Ibarra
Ibarra
• Piedra
• Piedra
• Tovar
• Tovar
• Lopez
• Lopez
Fuentes
Imagen � SEQ Imagen \* ARABIC �0�. Diagrama y flujo entre las estaciones.
� EMBED PowerPoint.Slide.8 ���
� Profesor de planta de Pediatría, Depto. Ciencias Clínicas; Director de Desarrollo Académico, DCS, RZMM, Tec de Monterrey.
� Departamento de Desarrollo Académico, DCS, RZMM, Tec de Monterrey.
� Profesor de cátedra de Pediatría, Depto. Ciencias Clínicas; DCS, RZMM, Tec de Monterrey.
� Asistente, Depto. Desarrollo Académico; DCS, RZMM, Tec de Monterrey; alumna de Maestría.
� Asistente, Depto. Desarrollo Académico; DCS, RZMM, Tec de Monterrey; alumno de Maestría.
� . Wass V, CV der Vleuten, J Shatzer y R Jones (2001). Assessment of clinical competence. The Lancet. 357: 945 – 49.
� . Friedman Ben-David M (2000). The role of assessment in expanding professional horizons. Medical Teacher. 22(5): 472 – 477.
� Dunnington, G.L., & DaRosa, D.A. (1998). A prospective randomized trial of a residents as teachers training program. Academic Medicine, 73, (6), 696 – 700.
� Gelula, M.H. (1998). Using standardized students to improve junior faculty teaching. Academic Medicine, 73, (5), 611 – 612.
� Simpson, D.E., Lawrence, S.L., Grosenick, D.J., Krogull, S.R. & Wescot, M.E. (1992). Using standardized ambulatory teaching situations for faculty development. Teaching and Learning in Medicine, 4 (1), 58 – 61.
� Prislin MD, Fitzpatrick C, M Giglio et al. (1998) Initial experience with a multi – station objective structured teaching skills evaluation. Academic Medicine 73:116 – 1118.
� . Barón-Maldonado Margarita, G Buckley, M Davis y Cols. Clebration of the OSCE. Full-Day Workshop PCW1. Association for Medical Education in Europe Conference 2002, Lisbon, Portugal 29th August – 1st September 2002.
�.Harden, RM y FA Gleeson (1979). Assessment of medical competence using an objective structured clinical examination (OSCE), Medical Education, 13, pp. 41 - 45
�.Anderson M Brownell. A Snapshot of Medical Students’ Education at the Beginning of the 21st Century: Reports from 130 Schools. Academic Medicine Septiembre 2000.
�. Ibarra-Jiménez, Jesús; ID Piedra-Noriega; R Tovar-González y Cols. Desarrollando el O.S.C.E: Aplicación de un método de Evaluación Clínica Objetiva con apoyo de video, en alumnos de Medicina. XIX Reunión de Intercambio de Experiencias en Estudios sobre Educación Año 2001. Campus Monterrey, ITESM. Diciembre de 2001.
� . Van der Vleuten CPM, Swanson DB. Assessment of clinical skills with standardized patients: state of the art. Teach Learn Med. 1990; 2: 58-76
� Cruz Solís, Hilda Catalina. Vicerrectoría Académica, Sistema Tec de Monterrey. Correo del Sistema No. 579: Actualización de 11 programas de Especialidades Médicas, planes 2002. Fecha: 6 de febrero de 2002.
� Ibarra, Jesús; MA Jiménez, VM Uscanga y MM Hernández. Evolultion or revolution of graduate curriculum design and teacher training at Monterrey Tech with the aid of cyberspace. Short Presentation 2J6. Association for Medical Education in Europe Conference 2002, Lisbon, Portugal 29th August – 1st September 2002.
� Simpson DE, Lawrence JL, Krogoll SR. Using standardized ambulatory teaching situations for faculty development. Teach Learn Med. 1992; 4: 58-61.
Página 1
Diagrama y Flujo por Estaciones
Sección A (Aulas 104)
Sección A (Aulas 104)
Sección B (Aulas 105 y 111)
Sección B (Aulas 105 y 111)
R
M
A
Residente
Maestro evaluador
Alumno estandarizado
Coordinador
C
1
2
3
4
5
6
7
8
R
R
R
R
R
R
R
R
A
A
A
A
M
M
M
M
C
Entrada
1
2
3
4
5
6
7
8
R
R
R
R
R
R
R
R
A
A
A
A
M
M
M
M
C
Entrada
10’ por estación
Video y fotografía
Aula 111
Diagrama y Flujo por Estaciones
Sección A (Aulas 104)
Sección B (Aulas 105 y 111)
R
M
A
Residente
Maestro evaluador
Alumno estandarizado
Coordinador
C
1
2
3
4
5
6
7
8
R
R
R
R
R
R
R
R
A
A
A
A
M
M
M
M
C
Entrada
1
2
3
4
5
6
7
8
R
R
R
R
R
R
R
R
A
A
A
A
M
M
M
M
C
Entrada
10’ por estación
Video y fotografía
Aula 111