evaluación de programas educativos
Post on 13-Apr-2017
159 Views
Preview:
TRANSCRIPT
EVALUCIÓN DE PROGRAMAS EDUCATIVOS: Guía 29 de la AMME (An Internacional Association For Medical Education)*DIRECCIÓN DEL MÓDULO:PEDIATRÍACOORDINACIÓN ACADÉMICA: ERWIN H HERNÁNDEZSEMINARIO PERMANENTE DE EDUCACIÓN MÉDICA (SPEM) , FACULTAD DE MEDIC INA, UNIVERSIDAD DE LA SABANA.NOVIEMBRE Y DIC IEMBRE DE 2016
*Sacado y adaptado de: Goldie J. AMME Education Guide n° 29: Evaluating educational programmes. Medical Teacher, 2006; 28(3): 210-24
INTEGRANTES*1. MARIA CECILIA PAREDES
2. IVON ANDREA PAREDES
3. MARIA BELEN TOVAR
4. MARIA JOSE MALDONADO
5. SERGIO AGUDELO PEREZ
6. FABIO RODRIGUEZ MORALES Pediatría*
TABLA DE CONTENIDO1. Introducción
2. Definición
3. Historia de la evaluación
4. Planificación e implementación de la evaluación de un programa1. Propósito de la evaluación2. Áreas de actuación3. Interrogantes4. Ética5. Elección de las preguntas6. 5 componentes de la teoría de la evaluación7. El diseño de la evaluación8. La teoría de la evaluación9. Enfoques de evaluación de los programas
5. Interpretando los resultados
6. Difusión de resultados
7. Conclusiones
Pediatría*
INTRODUCCIÓNEvaluación: Fundamental en la implementación y desarrollo de actividades educativas en:Programas nacionalesCurrículo de un programa en particularTrabajo del profesor con sus estudiantesObjetivo de la guía: Ofrecer un marco de referencia para realizar las evaluaciones.
DEFINICIÓN Qué es una evaluación?
“Es el acto de realizar un juicio de valor de algo” (Collins English Dictionary, 1994). -Proceso sistemático para determinar en qué proporción se han alcanzando los objetivos de aprendizaje.
-Varía de acuerdo a los objetivos, puntos de vista y creencias de las personas que la realizan y el contexto en el que se aplica.
-El término se utiliza para medir el desempeño de cada estudiante así como la efectividad de un curso o programa de enseñanza.
HISTORIA DE LA EVALUACIÓN
Evaluación social planificada desde año 2200 AC, en China, en actividades de selección de personal.
Teorías y prácticas modernas de evaluación surgieron en los campos de: Educación (Tyler, 1935), Psicología Social (Lewin, 1948) y Sociología(Lazarfield, 1955).
Estímulo para su desarrollo: -Crecimiento económico posterior a Segunda Guerra Mundial, con un incremento en inversión en programas sociales que requerían de una evaluación apropiada.
-Creciente número de graduados en ciencias sociales con interés en: Análisis de políticas, investigación en estadísticas y experimentos de campo.
HISTORIA DE LA EVALUACIÓN
Tyler(1949), Bloom(1956), Taba(1962): Ampliaron el modelo tradicional de evaluación individual a los estudiantes, desarrollando un modelo curricular con objetivos y metas de aprendizaje, organización de contenidos y sistemas de evaluación formal de la calidad de los programas.
Cronbach(1963): La evaluación debe hacer énfasis en el cumplimiento de objetivos de un programa, más que en la comparación entre los diferentes programas.
En década de los 70s: Rápido crecimiento en el campo de la evaluación educativa y desde entonces se han propuesto muchos modelos formales de evaluación, con el objetivo de promover la toma de decisiones para transformar programas deficientes en altamente efectivos.
PLANIFICACIÓN E IMPLEMENTACIÓN DE LA EVALUACIÓN DE UN PROGRAMA
PASOS A
SEGUIR
1.TOMANDO LA DECISION DE EVALUAR
EL PROGRAMA 2.
DEFINIENDO EL PAPEL DEL EVALUADOR
3. ETICA DE LA EVALUACION
4. ESCOGIENDO LA PREGUNTA
5. DISEÑANDO
LA EVALUACIÓN
6. ESCOGIENDO
EL DISEÑO APROPIADO
7. ENFOQUES PARA LA
EVALUACIÓN
PROPOSITO DE LA EVALUACIÓN
RAZONES PARA LA EVALUACIÓNDeterminar la eficacia de los programaDocumentar que los objetivos del programa se han dado a conocerProporcionar información sobre la prestación de servicios que serán de utilidad para los usuarios del programaCapacidad del staff del programa de hacer cambios que mejoren la efectividad del programa
Muraskin 1998
AREAS DE ACTUACION DE EVALUACIÓN
Evaluación para la gestión de Proyectos
Evaluación para dar continuidad al
programa
Evaluación para la eficiencia de los
programas
Evaluación de la responsabilidad del
programa
Evaluación para el desarrollo y difusión del programa
INTERROGANTES Costos del proceso Evaluadores internos vs externos Participación de diferentes disciplinas
- Psicología- Estadística- Sociología- Filosofía- Política- Economía
Papel del evaluador Su responsabilidad en el planteamiento de objetivos y metodología de la evaluación
Responsabilidad ética Potencial posición de poder sobre el programa evaluado o las personas evaluadas
ETICA DE LA EVALUACIÓN DE PROGRAMAS
FALACIAS
1. Clientelismo Hacer lo que el cliente solicite o lo que lo beneficiará
2. Contractualismo: Pensar que el evaluador está obligado a cumplir el contrato escrito al pie de la letra, incluso si el hacerlo es perjudicial para el bien público.
3. Metodologicalismo: creencia que el utilizar métodos de investigación aceptables aseguran el comportamiento ético del evaluador.
4. Relativismo: falacia de que a los datos obtenidos de diferentes participantes se les debe dar el mismo peso para evitar sesgos.
5. Pluralismo / Elitismo: error de permitir prioridad a participantes con mayor prestigio o poder.
House (1995)
ESTANDARES ÉTICOS EN LA EVALUACIÓN DE UN PROGRAMA
Orientación de servicio: servir no sólo los intereses de los individuos o grupos que patrocinan la evaluación, sino también las necesidades de aprendizaje de los participantes del programa, la comunidad y la sociedad en general.
Acuerdos formales: procedimientos técnicamente adecuados como seguimiento de protocolo, permitir acceso a la información, mostrar limitaciones
Respeto a los derechos de los participantes: consentimiento informado, confidencialidad, respeto a la dignidad humana
Evaluación completa y justa: mostrar fortalezas y debilidades
Divulgación de los resultados: responsabilidad del evaluador para servir no sólo a su cliente o patrocinador, sino también al público en general que se beneficia tanto del programa como de su evaluación exacta
Declaración de conflicto de intereses
Responsabilidad fiscal
Worthen et al. (1997
ELECCIÓN DE LAS PREGUNTAS
1. Población objeto a evaluar.
2. Intereses aprendizaje.
3. Papel del evaluador no como JUEZ sino como CONOCEDOR experto del tema.
4. Decidir preguntas generales y especificas para realizar evaluación global.
5. Diferentes tipos de preguntas en diferentes contextos.
SHADISH ET AL. (1991) CINCO COMPONENTES DE LA TEORÍA DE LA EVALUACIÓN
1. PREGUNTAS SOBRE PROGRAMACION SOCIAL
2. PREGUNTAS SOBRE LA UTILIDAD DEL PROCESO DE EVALUACIÓN
3. PREGUNTAS SOBRE LA CONSTRUCCION DEL CONOCIMIENTO
4. PREGUNTAS SOBRE LA VALORACION
5. PREGUNTAS SOBRE LA PRACTICA DE LA EVALUACION
1. PREGUNTAS SOBRE PROGRAMACIÓN SOCIAL
¿Cuál es el problema? ¿Qué tan grande es el problema? ¿Para quien es un problema? ¿El problema es lo suficientemente importante como para gastar su tiempo y recursos de evaluación al estudiarlo?
¿Que tanto cambiaria el transcurso normal de las cosas realizar una intervención ?
2. PREGUNTAS SOBRE LA UTILIDAD DEL PROCESO DE EVALUACIÓN
¿Cuál es la utilidad de la evaluación ? Si se quiere desarrollar un instrumento de evaluación, ¿ha identificado los usuarios potenciales?
¿ El interés sobre lo que se quiere producir es duradero o transitorio ? ¿ Como se deben comunicar los resultados? : ¿Informes periódicos o Resumen ejecutivo?
3. PREGUNTAS SOBRE LA CONSTRUCCIÓN DEL CONOCIMIENTO
¿Qué herramientas va a usar para la construccion del conocimiento? ¿Va a usar un conjunto de normas cientificas tradicionales? ¿Esta seguro que lo que va a construir es conocimiento? ¿Qué tipo de conocimiento se va a generar ? ¿Es util para la poblacion en la que se va a producir ?
¿Qué tipo de conocimiento es mas importante de evaluar? ¿Se puede producir el conocimiento necesario, en el nivel deseado de certeza, en el tiempo disponible?
¿Conoce las metodologías disponibles para tal fin ?
4. PREGUNTAS SOBRE LA VALORACIÓN
¿Cómo prodria la intervencion lograr el fin ? ¿Tiene potenciales efectos negativos ? ¿Hay otras intervenciones con las que se podria comparar? ¿Cómo se mediria el desempeño del programa? ¿Al finalizar la intervencion como va a presentar los resulatdos y como los priorizaría?
5. PREGUNTAS SOBRE LA PRACTICA DE LA EVALUACIÓN
¿Por qué se inicio la evalucion? ¿Sí se justifica la inversion en la evaluación? ¿Para que efectos podría servir la evaluación? ¿Puede influir en mejorar o cambiar el programa?
¿Proporciona informacion util? ¿Cuál es su papel en la evaluacion? ¿Metodólogo? ¿Evaluador? ¿Educador? ¿Cliente?
¿De donde se pueden obtener las preguntas? ¿Fuentes internas o externas? ¿Qué metodología utilizaría?
EL DISEÑO DE LA EVALUACIÓN
formativa-sumativa
formal - informal
Caso particular - generalización
El producto-proceso
descriptivo – crítico
Pre-ordenada - sensible
holístico-analítica
interna-externa
LA TEORÍA DE LA EVALUACIÓN:
Ayudar a saber:◦ cuándo, dónde y por qué algunos métodos se pueden aplicar y otros
no. ◦ Se puede sugerir secuencias en las que se podrían aplicar los métodos.◦ Las formas en el que los diferentes métodos se pueden combinar.◦ Tipos de preguntas contestadas mejor o peor por un método concreto.◦ Beneficios que se pueden esperar de algunos métodos en comparación
con otros.
REGLA PARA LA ELECCIÓN DE LOS DISEÑOS DE EVALUACIÓN:
'' El evaluador debe elegir el mejor diseño posible,
teniendo en cuenta la funcionalidad y viabilidad del los recursos disponibles y la
experiencia del evaluador ''
ENFOQUES DE EVALUACIÓN DE LOS PROGRAMAS
Se han desarrollado diferentes modelos de evaluación.
La elección del modelo por el evaluador es libre y depende del objetivo o de lo que se busque .
Todos tienen ciertas características: ◦ Incluyen unas listas de chequeo exhaustivas◦ Cada enfoque de evaluación incluye hipótesis de evaluación y diferentes énfasis de aspectos a evaluar
dependiendo de las prioridades y preferencias de cada autor.◦ Pocas vienen con instrucciones detalladas de aplicación paso a paso◦ Muy pocas son útiles fuera de los escenarios y circunstancias en las que fueron desarrolladas.
Estos modelos de evaluación se pueden categorizar en 3 dimensiones:◦ Metodologías◦ Valores◦ Usos
CATEGORÍAS USADAS PARA LA CLASIFICACIÓN DE LOS MÉTODOS DE EVALUACIÓN. WORTHEN (1997):
1. Enfoque orientado a los objetivos: en donde el foco son objetivos específicos2. Enfoque orientado a la gestión: se centra en identificar y reunir información para
tomar decisiones de gerenciales3. Enfoque orientado al consumidor: centra en desarrollar información para evaluar
los “productos” que se orientan al consumidor como servicios o productos competitivos.
4. Enfoque orientado a la experticia: depende de la aplicación directa de la experticia profesional
5. Enfoque orientado al adversario: se planea con puntos de vista opuestos de diferentes evaluadores
6. Enfoque orientado al participante: en donde se incluyen a los participantes como centro de la evaluación con valores, criterios y necesidades.
DIMENSIÓN DE HOUSE’S (UTILITARIA A INTUICIONISTA PLURALISTA)
En donde el enfoque de evaluación utilitaria determina el valor al evaluar el impacto global de un programa en los afectados, mientras que el enfoque intuicionista pluralista está basado en la idea de que el valor depende del impacto del programa en cada individuo que está inmerso o impactado por el programa.Colocar el programa a lo largo de esta dimensión es arbitrario y durante el desarrollo del programa en sus diferentes fases puede estar en diferentes categorías.
*Copia original de: Goldie J. AMME Education Guide n° 29: Evaluating educational programmes. Medical Teacher, 2006; 28(3): 210-24
NECESIDADES, CARACTERÍSTICAS, FORTALEZAS Y LIMITACIONES DE CADA ENFOQUE: PARA AYUDAR A ELEGIR QUE CATEGORÍA DE EVALUACIÓN ESCOGER
*Copia original de: Goldie J. AMME Education Guide n° 29: Evaluating educational programmes. Medical Teacher, 2006; 28(3): 210-24
Estos enfoques se pueden adoptar o adaptar e incluso muchos evaluadores de los programas los usan sin una adherencia estricta a un modelo.
*Copia original de: Goldie J. AMME Education Guide n° 29: Evaluating educational programmes. Medical Teacher, 2006; 28(3): 210-24
INTERPRETANDO LOS RESULTADOS
Interpretación de los datos
◦ Analizar◦ Confiabilidad ◦ Validez
Métodos cualitativos o cuantitativos
◦ Explicar y divulgar los resultados
El reconocimiento de los componentes sociales y la confiabilidad de las metodologías de la evaluación, ha llevado a métodos para examinar críticamente preguntas de evaluación, a través de:
◦ Comentarios de expertos ◦ Supervisión de la aplicación de las evaluaciones ◦ Análisis secundarios de los datos recogidos◦ Comentarios en informes finales por parte del personal del programa
evaluado, entre otros
Metaevaluaciones: todas las evaluaciones pueden ser evaluadas y los datos pueden ayudar a determinar que tan buenas son esas evaluaciones.
Scriven (1980) desarrolló una lista de verificación de la evaluación que guía a los evaluadores, incluye 19 factores dentro de los cuales podemos destacar:◦ Qué se va a evaluar?◦ Quién está encargando de la evaluación◦ Antecedentes y contexto del evaluado y de la evaluación◦ Recursos disponibles para la evaluación◦ Qué efectos tiene la evaluación en el evaluado?◦ Costos ◦ Meta evaluación: Los resultados del meta-evaluación deben ser usados formativamente, pero también
puede serincorporado en el informe o transmitido al cliente
DIFUSIÓN DE RESULTADOS
◦ Cómo y a quién se van a reportar los resultados?◦ Cómo se divulgarán los resultados: verbal, escrito?◦ Los resultados se divulgarán sólo en la unidad o externamente?
◦ Los resultados deben ser presentados adecuadamente. Hawkridge (1979) identificó tres posibles barreras en la difusión exitosa:
DIFUSIÓN DE RESULTADOS3. Pensar que métodos de investigación
cualitativa son menos potentes
que las investigaciones cuantitativas.
2. Los resultados
pueden amenazar intereses creados
1. Traducción de los resultados en un lenguaje que el público pueda
comprender
Adicionalmente tener en cuenta la ética de reporte de los resultados: a quién y para quién estoy divulgando los resultados
INFLUIR EN LA TOMA DE DECISIONES: UN RETO DE LAS EVALUACIONES. COLES Y GRANT (1985), SUGIEREN LOS SIGUIENTES CAMINOS EN LOS CUALES LOS EVALUADORES PUEDEN AFECTAR LAS DECISIONES EDUCATIVAS:
◦ Permitir la participación de las personas interesadas◦ Educar a las personas a aceptar los resultados de la evaluación◦ Establecimiento de canales de comunicación apropiados◦ Proporcionar protección experimental para cualquier desarrollo, asignar
recursos suficientes y hacer seguimiento de su progreso◦ Designar un agente de cambio◦ Lograr un cambio natural mediante la evaluación, promoviendo la innovación
CONCLUSIONES La Evaluación surgió como una ciencia aplicada en los últimos 40 años. Importante tener en cuenta las responsabilidades éticas y limitaciones técnicas de los evaluadores.
Se recomiendan los nuevos métodos y técnicas que sirven de ayuda en el proceso de realizar las evaluaciones.
Se debe establecer la validez y confiabilidad de los datos obtenidos y unificar los diferentes enfoques cuanti y cualitativo usados en la misma evaluación.
Socializar los resultados de una forma adecuada y comprensible. Considerar el contexto político cuando se intenta influir en la toma de decisiones.
top related