¿cómo valorar objetivamente las¿cómo valorar ... - sefh · comparación de medias: pares:...
TRANSCRIPT
HACIA UN NUEVO MODELO DE EVALUACIÓN DEL RESIDENTE DE FARMACIA HOSPITALARIA
¿Cómo valorar objetivamente las¿Cómo valorar objetivamente las competencias?
Francisco José Farfán SedanoGrupo Tutores Comunidad de Madrid / Grupo Tutores SEFH
INDICE
Objetivo1 Objetivo
Material y métodos2
1
Resultados3
Discusión4
¿Cómo valorar objetivamente las competencias?
INDICE
Objetivo1 Objetivo
Material y métodos2
1
Resultados3
2
Discusión
3
4
¿Cómo valorar objetivamente las competencias?
1. Objetivo
Reevaluar a los residentes de 2012-2013 con el nuevod l d t i l lt d lmodelo de competencias y comparar el resultado con el
obtenido en la evaluación anual con la Ficha 1.
Valorar la aplicabilidad de las nuevas fichas deEvaluación por Competencias (EPC).
Conocer las impresiones de los tutores/evaluadores.
¿Cómo valorar objetivamente las competencias?
INDICE
Objetivo1 Objetivo
Material y métodos2
1
Resultados3
Discusión
3
4
¿Cómo valorar objetivamente las competencias?
2. Material y métodos
Recogida de datos
4 Áreas
¿Cómo valorar objetivamente las competencias?
2. Material y métodos
Recogida de datos
Básicas
¿Cómo valorar objetivamente las competencias?
2. Material y métodos
Recogida de datos
AF
¿Cómo valorar objetivamente las competencias?
2. Material y métodos
Recogida de datos
¿Cómo valorar objetivamente las competencias?
2. Material y métodos
Resultados calificación:
• Ficha 1• EPC
• Fichas Encuesta
Evaluación por Competencias.
• Anexos (Criterios evaluación).
• Examen.• Encuesta.
¿Cómo valorar objetivamente las competencias?
2. Material y métodos
Recogida de datos y tratamiento datos
FICHA 1 Peso en evaluación Peso en evaluaciónFicha EPCFICHA 1 Peso en evaluación
CONOCIMIENTOS / HABILIDADES
ACTITUDES
0, 7
0, 3
Peso en evaluación
CONOCIMIENTOS
HABILIDADES
0, 3
0, 4
Ficha EPC
ACTITUDES 0, 3
Recogida de información retrospectiva
CONOCIMIENTOS / HABILIDADES
ACTITUDES
0, 7
0, 3retrospectiva
Recálculo para poder comparar con Ficha 1.
¿Cómo valorar objetivamente las competencias?
2. Material y métodos
Recogida de datos. Encuestas
PREGUNTAS
¿Consideras que el modelo de evaluación de competencias es adecuado para¿Consideras que el modelo de evaluación de competencias es adecuado para los FIR?
¿Las competencias evaluadas en el modelo te han parecido adecuadas?
¿Las competencias evaluadas en el modelo te han parecido ( fi i t / h / )?(suficientes/muchas/pocas)?
¿Te parece adecuado evaluar los conocimientos con un examen?
¿Has utilizado alguna herramienta objetiva de evaluación de las habilidades?
¿Has utilizado alguna herramienta objetiva de evaluación de las actitudes?, Si es así¿Has utilizado alguna herramienta objetiva de evaluación de las actitudes?, Si es así indícala.
¿Consideras que el modelo de competencias mejora la actual Ficha 1?
Has tenido dificultades para evaluar las competencias si es así indícalasHas tenido dificultades para evaluar las competencias, si es así indícalas.
¿Cómo valorar objetivamente las competencias?
2. Material y métodos
Análisis de datos
Análisis descriptivo por Área y por residente.
Evaluación método
Prueba t para muestras emparejadas: Comparación de medias:
Pares:Ficha1- Evaluación por Competencias
• Conocimientos/Habilidades• Actitudes• Calificación global
Encuestas:
Análisis descriptivo.
Encuestas:
¿Cómo valorar objetivamente las competencias?
INDICE
Objetivo1 Objetivo
Material y métodos2
1
Resultados3
2
Discusión4
¿Cómo valorar objetivamente las competencias?
3. Resultados
Hospitales y evaluaciones
HOSPITALES Hospitales participantes: 18.Hospitales que respondieron a la prueba piloto: 14
EVALUACIONESNúmero de residentes evaluados: 75 residentesPor Área:
• A3: 20 residentes• A4: 20 residentes• A9: 19 residentes• B1: 16 residentes• B1: 16 residentes
¿Cómo valorar objetivamente las competencias?
3. Resultados
Dispersión de datos por Área evaluada
Habilidades y Conocimientos.
2,68
2,32
2,80
2,06
2,80
2,5
Evaluación por Competencias (EPC)Ficha 1
2,48
1,78
2,06
lific
ació
n
-23% -17% -11% -29%Cal
Elaboración Validación PEX G. Riesgo
¿Cómo valorar objetivamente las competencias?
3. Resultados
Dispersión de datos por Área evaluada
Actitudes.
2 83 2 802,78
2,5
2,83 2,802, 40
2,61
2,63Evaluación por Competencias (EPC)Ficha 1
1,93
lific
ació
n
-10% -8% -6% -28%
Cal
Elaboración Validación PEX G. Riesgo
¿Cómo valorar objetivamente las competencias?
3. Resultados
Dispersión de datos por Área evaluada
Calificación global (Habilidades+Conocimientos+Actitudes)
2,16
2,672,8 2,86
2,55
2,562,37
Evaluación por Competencias (EPC)Ficha 1
1,83
lific
ació
n
-19% -15% -6% -29%
Cal
Elaboración Validación PEX G. Riesgo
¿Cómo valorar objetivamente las competencias?
3. Resultados
Comparación entre métodos
ÁREA A3. ELABORACIÓN Y CONTROL DE FORMAS FARMACÉUTICAS
*Prueba t para muestras emparejadas
N=20Ficha 1 EPC Diferencia
de medias SE
95% Intervalo de confianza para la diferencia
Significación bilateralMedia SD Media SD Inferior Superior
Total Evaluación 2 55 0 45 2 34 0 37 0 21 0 08 0 05 0 37 0 012Total Evaluación 2,55 0,45 2,34 0,37 0,21 0,08 0,05 0,37 0,012
Conocimientos y Habilidades 2,53 0,46 2,27 0,09 0,26 0,08 0,09 0,42 0,004
Actitudes 2,60 0,42 2,48 0,38 0,12 0,07 -0,03 0,27 0,277
Se detectan diferencias estadísticamente significativas en la evaluación total y laSe detectan diferencias estadísticamente significativas en la evaluación total y la evaluación de los conocimientos/habilidades entre ambos métodos.
¿Cómo valorar objetivamente las competencias?
3. Resultados
Comparación entre métodos
ÁREA A4. VALIDACIÓN DE LA PRESCRIPCIÓN Y DISPENSACIÓN
*Prueba t para muestras emparejadas
N=20Ficha 1 EPC Diferencia
de medias SE
95% Intervalo de confianza para la diferencia
Significación bilateralMedia SD Media SD Inferior Superior
Total Evaluación 2 66 0 39 2 35 0 31 0 31 0 06 0 18 0 45 0 000Total Evaluación 2,66 0,39 2,35 0,31 0,31 0,06 0,18 0,45 0,000
Conocimientos y Habilidades 2,64 0,42 2,27 0,34 0,37 0,07 0,23 0,452 0,000
Actitudes 2,71 0,38 2,53 0,31 0,17 0,08 0,01 0,33 0,036
Se detectan diferencias estadísticamente significativas en la evaluación total, laSe detectan diferencias estadísticamente significativas en la evaluación total, laevaluación de los conocimientos/habilidades y evaluación de actitudes entre ambosmétodos.
¿Cómo valorar objetivamente las competencias?
3. Resultados
Comparación entre métodos
ÁREA A9. ATENCIÓN FARMACÉUTICA A PACIENTES EXTERNOS
*Prueba t para muestras emparejadas
N=19Ficha 1 EPC Diferencia
de medias SE
95% Intervalo de confianza para la diferencia
Significación bilateralMedia SD Media SD Inferior Superior
Total Evaluación 2 70 0 30 2 39 0 39 0 31 0 04 0 22 0 40 0 000Total Evaluación 2,70 0,30 2,39 0,39 0,31 0,04 0,22 0,40 0,000
Conocimientos y Habilidades 2,71 0,32 2,35 0,36 0,36 0,05 0,25 0,46 0,000
Actitudes 2,69 0,35 2,48 0,50 0,21 0,09 0,02 0,40 0,032
Se detectan diferencias estadísticamente significativas en la evaluación total y laSe detectan diferencias estadísticamente significativas en la evaluación total y laevaluación de los conocimientos/habilidades y evaluación de actitudes entre ambosmétodos.
¿Cómo valorar objetivamente las competencias?
3. Resultados
Comparación entre métodos
ÁREA B1. GESTIÓN DEL RIESGO
*Prueba t para muestras emparejadas
N=5Ficha 1 EPC Diferencia
de medias SE
95% Intervalo de confianza para la diferencia
Significación bilateralMedia SD Media SD Inferior Superior
Total Evaluación 2 48 0 45 1 86 0 28 0 62 0 14 0 22 1 01 0 012Total Evaluación 2,48 0,45 1,86 0,28 0,62 0,14 0,22 1,01 0,012
Conocimientos y Habilidades 2,42 0,52 1,91 0,51 0,50 0,20 -0,06 1,05 0,069
Actitudes 2,65 0,30 1,72 0,48 0,92 0,28 0,15 1,68 0,029
Calificación por EPC: 16 residentes. Tres no evalúan.Limitación: Sólo 5 residentes presentaron datos de evaluación en la Ficha 1 y porLimitación: Sólo 5 residentes presentaron datos de evaluación en la Ficha 1 y por Evaluación por Competencias, por tanto es una muestra muy pequeña para sacar conclusiones.
¿Cómo valorar objetivamente las competencias?
3. Resultados
Evaluación global por cada residente evaluado
Diferencias entre resultado global por método.
3
ifica
ción
2
Cal
1
Elaboración Validación PEX Gestión Riesgo
Calificación por EPC
Calificación por Ficha 1 Residentes con mayor Calificación por EPC que en Ficha 1.
Sólo evaluados por EPC.
Misma calificación.
Elaboración Validación PEX Gestión Riesgo
3. Resultados
Evaluación global por cada residente evaluado
Diferencias entre resultado global por método.
3
ifica
ción
2
Cal
1Se excluyeron los residentes que no presentaban datos en la evaluación de la Ficha1.(11)
El 80 % (51) de los residentes presentan calificaciones inferiores en laE l ió C t i l bt id l Fi h 1
Elaboración Validación PEX Gestión Riesgo
Evaluación por Competencias que en la obtenida en la Ficha 1.El 14% (9) obtienen una calificación superior a la obtenida en la Ficha 1.Igual calificación: 6%(4)
Calificación por EPC
Calificación por Ficha 1
Sólo evaluados por EPC.
Misma calificación.
Elaboración Validación PEX Gestión RiesgoResidentes con mayor Calificación por EPC que en Ficha 1.
3. Resultados
Resultado encuestas
PREGUNTAS RESPUESTAS
¿Consideras que el modelo de evaluación de competencias es adecuado para los FIR?
Sí: 100%
L competencias evaluadas l d l t h id adecuadas? Sí: 100%
N=56
¿Las competencias evaluadas en el modelo te han parecido adecuadas? Sí: 100%
¿Las competencias evaluadas en el modelo te han parecido (suficientes/muchas/pocas)?
• Pocas: 7,8%• Suficientes: 86,3%• Muchas: 5,9%
¿Te parece adecuado evaluar los conocimientos con un examen? Sí: 82,6%
¿Has utilizado alguna herramienta objetiva de evaluación de las habilidades? •Ninguna: 40%•Caso práctico: 10%•Actividad supervisada: 41%•Otros: 9%•Otros: 9%
¿Has utilizado alguna herramienta objetiva de evaluación de las actitudes?, Si es así indícala.
No: 96%
C id l modelo de competencias mejora la actual Ficha 1? Sí: 100%¿Consideras que el modelo de competencias mejora la actual Ficha 1? Sí: 100%
Has tenido dificultades para evaluar las competencias, si es así indícalas. No: 71,2%Sí: 28,8%: Fundamentalmente comprensión de habilidades.
¿Cómo valorar objetivamente las competencias?
3. Resultados
Limitaciones
N=56
Sesgo por desconocimientodesconocimiento
Desconocimiento de lasFICHAS EPC al realizar larotación y la evaluación:rotación y la evaluación:• Conocer el contenido dela rotación y el sistemad l ió j á lde evalaución mejorará elresultado.
¿Cómo valorar objetivamente las competencias?
3. Resultados
Limitaciones
N=56
Sesgo por desconocimiento
Exámenesdesconocimiento
Son de carácter general yligados al contenido de las
Desconocimiento de lasFICHAS EPC al realizar larotación y la evaluación: ligados al contenido de las
nuevas fichas:•Cada tutor deberá hacer supropio examen
rotación y la evaluación:• Conocer el contenido dela rotación y el sistemad l ió j á l propio examen.de evalaución mejorará elresultado.
¿Cómo valorar objetivamente las competencias?
INDICE
Objetivo1 Objetivo
Material y métodos2
1
Resultados3
2
Discusión
3
4
¿Cómo valorar objetivamente las competencias?
4. Discusión4. Discusión
Las diferencias de calificaciones son menores entodas las áreastodas las áreas.
¿Cómo valorar objetivamente las competencias?
4. Discusión4. Discusión
Las diferencias de calificaciones son menores entodas las áreas.
Protocolizar y orientar la evaluación.
todas las áreas.
¿Cómo valorar objetivamente las competencias?
4. Discusión4. Discusión
Las diferencias de calificaciones son menores entodas las áreas.
Protocolizar y orientar la evaluación.
todas las áreas.
Requiere mayor tiempo y mayor compromiso.
¿Cómo valorar objetivamente las competencias?
4. Discusión4. Discusión
Las diferencias de calificaciones son menores entodas las áreas.
Protocolizar y orientar la evaluación.
todas las áreas.
Requiere mayor tiempo y mayor compromiso.
Menor variabilidad en las calificaciones de losresidentesresidentes.
¿Cómo valorar objetivamente las competencias?
4. Discusión4. Discusión
Las diferencias de calificaciones son menores entodas las áreas.
Protocolizar y orientar la evaluación.
todas las áreas.
Requiere mayor tiempo y mayor compromiso.
Menor variabilidad en las calificaciones de losresidentes
Rotaciones transversales.
residentes.
¿Cómo valorar objetivamente las competencias?
4. Discusión4. Discusión
Las diferencias de calificaciones son menores entodas las áreas.
Protocolizar y orientar la evaluación.
todas las áreas.
Requiere mayor tiempo y mayor compromiso.
Menor variabilidad en las calificaciones de losresidentes
Rotaciones transversales.
residentes.
Evaluación de actitudes: Complicada y tiene mayorcomponente subjetivo (falta de herramientasimplantadas).
¿Cómo valorar objetivamente las competencias?
Muchas gracias por su atención
Francisco José Farfán SedanoGrupo Tutores Comunidad de MadridGrupo Tutores SEFH
¿Cómo valorar objetivamente las competencias?