Universidad Nacional Autónoma de MéxicoUniversidad Nacional Autónoma de MéxicoFacultad de MedicinaFacultad de Medicina

Secretaría de Educación MédicaSecretaría de Educación Médica

El Examen El Examen

ProfesionalProfesional

TeóricoTeóricoAgosto de 2008Agosto de 2008

Opción B de titulaciónOpción B de titulación

Titulación mediante examen general de conocimientos

Comprenderá la aprobación de un examen escrito, que consistirá en una exploración general de los conocimientos del estudiante, de su capacidad para aplicarlos y de su criterio profesional. Podrá efectuarse en una o varias sesiones. La normatividad que regule esta opción será determinada por el Consejo Técnico de la Facultad. Será requisito aprobar este examen antes de realizar el Servicio Social.

Secretaría de Educación Médica

Examen Profesional – 2008

Downing SM, Haladyna TM. Eds.Downing SM, Haladyna TM. Eds.

Lawrence Erlbaum Associates . 2006Lawrence Erlbaum Associates . 2006

Reporte Técnico del Examen

1. Plan global

2. Definición de contenido

3. Especificaciones de la prueba

4. Desarrollo de los ítemes

5. Diseño y ensamblaje del examen

6. Producción del examen

Reporte Técnico del Examen

7. Administración del examen

8. Calificación de las respuestas al examen

9. Puntuación de pase

10. Reporte de los resultados del examen

11. Banco de reactivos

12. Reporte técnico del examen

Desarrollo del examen

¿Arte o ciencia?

Etapa más importante = DISEÑO!DISEÑO!

Decisiones importantes: Filosofía del examen Propósito del examen (uso de resultados) Estrategia de validez del examen Especificaciones del examen

Especificaciones del Examen

Definición operacional completa de las características del examen:Tipo de formato del examen

Número, tipo y formato de ítemes

Sistema de clasificación cognitiva

Reglas de calificación

Interpretación (norma vs. criterio)

Tabla de especificaciones (“blueprint”)

Continuo de evidencia de validez relacionada al contenido

Más subjetivo Más objetivo

Juicio delelaborador del examen

Revisión deinformación

existente

• Libros de texto•Currículo

•Estándares•Descripciones de cursos

Trabajos deinvestigación

• Estudios del currículo•Análisis de trabajo

Tabla de especificacionesTabla de especificaciones

Es una herramienta que se prepara para cada materia o asignatura

que se va a evaluar y tiene como función guiar la elaboración de

los reactivos del examen. Consiste en una matriz de doble entrada

que contiene los siguientes elementos:

Contenidos:Contenidos: son los temas y subtemas de la asignatura a

evaluar.

Objetivos de aprendizaje:Objetivos de aprendizaje: es lo que se espera que los alumnos

aprendan; se definen con anterioridad en el perfil de referencia y

corresponden a cada contenido.

Niveles cognoscitivos:Niveles cognoscitivos: nos permiten determinar qué tipo de proceso mental debe realizar el individuo para responder el reactivo. La clasificación más conocida es la de Bloom, sin embargo, dada su complejidad para implementarlos, en la práctica sólo se emplearán los siguientes tres niveles:

a) Conocimiento, en éste el proceso mental que hace el individuo es básicamente activar la memoria, es un reconocimiento de conceptos, hechos, fórmulas o eventos;

b) Comprensión, en este nivel el sujeto interpreta, entiende, relaciona y traduce en otros términos los conceptos que en un principio pudieron ser sólo una evocación;

c) Aplicación, aquí el individuo realiza abstracciones con la finalidad de ejecutar o resolver problemas en contextos diferentes.

Para la elaboración de los instrumentos, se considerará que la mayor proporción de reactivos recaerán en los dos últimos niveles (al menos el 66.6% de ellos)

Tabla de especificacionesTabla de especificaciones

Peso específico:Peso específico: es la importancia relativa (ponderación) que

tiene un contenido respecto a la totalidad de los temas que se van

a evaluar; se determina de acuerdo con la trascendencia que tenga

dentro del contexto de la disciplina.

La estructura del examen:La estructura del examen: indica cómo está conformado, esto

es, cuáles son las asignaturas que se van a evaluar y el número de

reactivos que se destinarán a cada una de ellas en función de la

importancia que tenga de acuerdo con la tabla de especificaciones.

Para definirla se tiene que considerar la extensión adecuada del

examen.

Tabla de especificacionesTabla de especificaciones

Listar los contenidos a evaluarListar los contenidos a evaluar• Establecer la jerarquía de los contenidos (temas y subtemas).

Paso 1Paso 1

Paso 2Paso 2

Definir los objetivos de aprendizaje de cada contenidoDefinir los objetivos de aprendizaje de cada contenido• Los objetivos de aprendizaje deberán aportar la información

suficiente que indique el conocimiento que se espera del estudiante

en ese tema.• Servirán para la elaboración de los reactivos de acuerdo con el nivel

cognitivo.• Inician con verbos en infinitivo.• Todos los contenidos deberán tener al menos un objetivo de

aprendizaje.• En un mismo objetivo no se debe evaluar más de una tarea.• Deberán ser específicos, es decir, no utilizar palabras ambiguas.

Tabla de especificacionesTabla de especificaciones

Content area Specification Levels

Recall Application Problem solving

Total

1. Clinical Decision making in medicine 1 2 1 4

2. Uncertainty and probability in medicine 1 3 0 4

3. Bayes’ theorem 1 2 1 4

4. Principles of Evidence Based Medicine 1 2 1 4

5. Reflective medical practice 1 1 0 2

6. Clinicians’ information needs 1 1 0 2

7. Clinical questions 1 1 0 2

8. Sources of biomedical information 2 4 2 8

9. The Cochrane Collaboration 2 2 0 4

10. Search strategies to find the best medical scientific evidence

1 2 1 4

11. Critical appraisal of the medical literature: Users’ Guides to the Medical Literature

1 2 1 4

12. How to appraise an article about therapy 2 4 2 8

13. How to appraise an article about a diagnostic test, the Rational Clinical Examination Series

2 4 2 8

14. How to appraise a Systematic Review or Meta-analysis

2 4 2 8

15. Clinical practice guidelines 1 2 1 4

TOTAL 20 (28.6%)

36(51.4%)

14(20%)

70

Content area #of items on test R-A-PS %

1. Clinical Decision making in medicine 1.1 List and define the main difficulties for objective decision

making in medicine as defined by Eddy 1.2 Describe the components of a decision in medicine as defined by

Eddy 1.3 Apply the concepts of anatomy of a decision as defined by Eddy

in the analysis of a clinical problem

8 questions

25% recall50% application25% problem Solving

2. Uncertainty and probability in medicine 2.1 Define the concepts of uncertainty, probability and odds 2.2 Understand the relevance of uncertainty in clinical practice 2.3 Understand the limitations of personal experience in the

estimation of probability, as related to diagnosis 2.4 Define the heuristics used in medicine (representativeness,

availability, anchor and adjustment) and list the cognitive errors a clinician can make when misapplying them

2.5 Apply the concepts of heuristics in new clinical problems, and discuss the effects of their inappropriate use

8 questions

25% recall75% application