expo dti

20/06/2012 16:48:26 EQUIPO IV 1

Expositores:

Claudia Ceballos

Plácida Díaz

Eliana Fermín

Douglas García

República Bolivariana de Venezuela

Ministerio de la Defensa

Universidad Nacional Experimental Politécnica de la Fuerza

Armada Nacional

Decanato de Investigación y Postgrado

Diseño Tecnológico Instruccional

La Evaluación

“Proceso sistemático implícito e integrante del diseño de la instrucción, que se aplica en todas las fases de éste con el fin de corregir los procedimientos para la toma de decisiones y orientadas a mejorar la práctica didáctica”

20/06/2012 16:48:26 2EQUIPO IV

Características de la Evaluación

• Proceso sistemático de compilación de información

• Organiza los elementos de la información

• Sistematiza las fases

• Temporaliza secuencias

• Provee recursos

• Sirve para construir y seleccionar instrumentos

20/06/2012 16:48:26 EQUIPO IV 3

Características de la Evaluación

• Es Flexible

• Ha de valorarse la información una vez compilada sistemáticamente

• Está orientada a la toma de decisiones

• Orientada a la mejora de la práctica

20/06/2012 16:48:26 EQUIPO IV 4

Dimensiones de la Evaluación

20/06/2012 16:48:26 EQUIPO IV 5

La Evaluación

Modelo ¿Cómo?

Evaluador ¿Quién?

Instrumento ¿Con qué?

Momento¿Cuándo?

Finalidad ¿Para qué?

Objeto El qué?

Dimensiones de la EvaluaciónObjeto

• Contexto

• Necesidades

• Objetivos

• Contenidos

• Instituciones

20/06/2012 16:48:26 EQUIPO IV 6

• Profesores

• Alumnos

• Metodología

• Recursos

Dimensiones de la EvaluaciónFinalidad

20/06/2012 16:48:26 EQUIPO IV 7

Dimensiones de la EvaluaciónMomento

20/06/2012 16:48:26 EQUIPO IV 8

Dimensiones de la Evaluación Instrumentos

20/06/2012 16:48:26 EQUIPO IV 9

Instrumentos de evaluación

Observación

Entrevistas

Cuestionarios

Test

Pruebas objetivas

Escalas

Validez

Fiabilidad

Pruebas objetivas

Dimensiones de la Evaluación Evaluador

• Profesores

• Alumnos

• Equipo directivo

• Usuario

• Experto

• Autoevaluación

• Heteroevaluación

• Interna-externa

20/06/2012 16:48:27 EQUIPO IV 10

REFERENTES

• Coherencia con las finalidades definidas por la política de formación

• Adecuación a las necesidades formativas del contexto inmediato

• Adecuación a los participantes (necesidades, expectativas, intereses)

20/06/2012 16:48:27 EQUIPO IV 11

Dimensiones de la Evaluación Modelos

20/06/2012 16:48:27 EQUIPO IV 12

Experimental

Naturalista

Basado en la demanda

Basado en Costos

Toma de decisiones

Verificacion de logros

Cuantitativa

Cualitativa

Modelos de la Evaluación

• Modelo Objetivista

Consideran que la evaluación es: la determinación del valor o mérito de un programa. Los criterios de evaluación, son el grado de productividad y el nivel de eficiencia del programa

• Modelo de Tyler

Está orientado a la toma de decisiones

20/06/2012 16:48:27 EQUIPO IV 13


• Modelo Cronbach:

Uno de los aspectos claves determinante en la evaluación es su función política.

20/06/2012 16:48:27 EQUIPO IV 14


• Modelo de Stuflebeam (C.I.P.P)

La evaluación es un proceso mediante el cual se proporciona información útil para la toma de decisiones.

20/06/2012 16:48:27 EQUIPO IV 15


• Modelo Scriven

El modelo sin referencia a objetivos surge como una fuerte oposición al modelo basado en objetivos, Scriven propone que el evaluador desconozca deliberadamente los objetivos del programa.

20/06/2012 16:48:27 EQUIPO IV 16


• Modelos subjetivistas

La evaluación es concebida como la comprensión y valoración de los procesos y resultados de un programa educativo.

• Modelo Stake

Este modelo incluía el estudio de los antecedentes del proceso y los juicios previos sobre el mismo, además de los resultados

20/06/2012 16:48:27 EQUIPO IV 17


• Parlett y Hamilton

Estos autores proponen un modelo de evaluación queimplica el estudio intensivo de un programaeducativo como un todo, con sus fundamentos,evaluación, estrategias de aplicación, logros ydificultades en el contexto escolar o ambiente deaprendizaje. Sus propósitos eran resaltarproblemas, cuestiones y características principalesdel programa

20/06/2012 16:48:27 EQUIPO IV 18


20/06/2012 16:48:27 EQUIPO IV 19

• Mc Donald

Según el autor los evaluadores no sólo viven en el mundo de la política evaluativa, sino que influye de hecho en sus cambiantes relaciones de poder. La evaluación proporciona información que sirve a intereses y valores personales.


• Modelo crítico

Desde esta perspectiva, la evaluación de un programa, es un proceso de recogida de información que fomenta la reflexión crítica de los procesos y conduce a la toma de decisiones pertinentes de cada situación específica.

20/06/2012 16:48:27 EQUIPO IV 20

20/06/2012 16:48:27 EQUIPO IV 21

El programa y su evaluación

• ¿ Qué es un programa?

Según Gairín (1993) es cualquier propuestaestructurada para producir cambios en laspersonas que se exponen a ellos.

20/06/2012 16:48:27 EQUIPO IV 22


• Evaluación de un programa

Proceso continuo, sistemático y multidimensional derecogida de información relevante, válida y fiableque permite tomar decisiones sobre el valor omérito del mismo para mejorar su funcionamiento.

RELACIÓN ENTRE EL NIVEL DE PLANIFICACIÓN Y EVALUACIÓN DE UN PROGRAMA

20/06/2012 16:48:27 EQUIPO IV 23

INFORME INICIAL

DIAGNÓSTICA

CONTEXTO

NECESIDADES

VIABILIDAD

DESTINATARIOS

DISEÑO

PROGRAMA

PROYECTO

INFORME DE PROGRESO

FORMATIVA

REALIZACIÓN

DESARROLLO

RESULTADOS

GESTIÓN

EVALUACIÓN

DESARROLLO

PROGRAMA

INICIAL

REALIDAD

NECESIDAD DE CAMBIO

CONTINUA

INFORME FINALSUMATIVA

RESULTADOSPRODUCTOS

IMPACTOCOSTES

FINAL / DIFERIDA

RESULTADOS= REALIDAD NUEVA

20/06/2012 16:48:27 EQUIPO IV 24


Secuencia conceptual, estructural y operativa de la elaboración de programas

de formación. Gairín (1993).

Secuencias estructural

JUSTIFICACIÓN

DISEÑO

Objetivos

Acciones

Recursos

Responsables

Evaluación

Temporalización

OPERATIVA

Espacios

Tiempos

Profesorado

Secuencia conceptual

EVALUACIÓN DIAGNÓSTICA

Contexto socio-cultural

Política de la institución

Política de formación

EVALUACIÓN-PLANIFICACIÓN

Elaboración del programa

EVALUACIÓN- PROCESO

Desarrollo del programa

EVALUACIÓN-RESULTADOS

Evaluación del programa

Secuencia operativaDEFINIR:

Finalidades

Grupo destinatario

Grupo autonomía

DETECTAR NECESIDADES

Instrumentalización

Configurar grupo de incidencia

ESTRUCTURAR

Configurar grupo

Establecer mecanismos de seguimiento y control

ESTATBLECER

Receptores

Información

Núcleos de decisión

20/06/2012 16:48:27 EQUIPO IV 25


20/06/2012 16:48:27 EQUIPO IV 26

Proceso de evaluación de programasFASE

FASE PROPÓSITO ACTIVIDAD QUE IMPLICA

1. FORMULACIÓN DE LA EVALUACIÓN

Identificación y precisión de la naturaleza de la evaluación.

Definir la audiencia.Determinar el propósito.Identificar los aspectos relevantes.

2. VALORACIÓN DE LA EVALUABILIDAD

Análisis a priori de la credibilidad y utilidad de la evaluación que se va a efectuar.Reordenación de la misma.

Listado de los componentes básicos: objetivos, resultados y efectos.Elección de los más relevantes.Análisis crítico de la posibilidad de analizarlos a través del estudio evaluativo.

3. PLANIFICACIÓN DE LA EVALUACIÓN

Implementación de la evaluación. Elección del modelo.Determinación de la metodología.

4. EJECUSIÓN DE LA EVALUACIÓN

Ejecución del proceso evaluativo. Elaboración del diseño.Recogida de la información.Análisis e interpretación de la información.

5. UTILIZACIÓN DE LA EVALUACIÓN

Toma de decisiones a partir de las conclusiones elaboradas en el informe evaluativo y otros aspectos a considerar.

Informe de evaluación.Toma de decisiones.

6.METAEVALUACIÓN Evaluación de la evaluación. Elección de los criterios referenciales evaluativos.Análisis y valoración efectuada en base a dichosobjetivos.

El proceso de evaluación a partir de Mateo (1994).

20/06/2012 16:48:27 EQUIPO IV 27

IDEA DEL PROYECTO

TRABAJO DE CAMPOTRABAJO INTERNO

R

E

F

L

E

X

I

Ó

N

E

N

E

Q

U

I

P

O

INFORME FINAL

PRESENTACIÓN

NEGOCIACIÓN

RECOLECCIÓN DE LA INFORMACIÓN

AMPLIACIÓN Y CONTRASTACIÓN

DISEÑO

DOCUMENTACIÓNPRESENTACIÓN

COMPROMISO

ANÁLISIS DE DOCUMENTOS E INSTRUMENTALIZACIÓN

ANÁLISIS DE LAINFORMACIÓN

SISTEMATIZACIÓNORGANIZACIÓN

ÚLTIMA PUESTA EN COMÚN

Ideograma de flujo en evaluación de Programas. Tomado de Jiménez, 1996

20/06/2012 16:48:27 EQUIPO IV 28

Instrumentalización en la evaluación de programas

OBJETO INDICADORES REFERENTES CRITERIOS

Cuestiones de evaluación¿Los objetivos definidos son relevantes con la política de formación?• ¿Los objetivos formulados son suficientes para satisfacer las necesidades de losdestinatarios?• ¿La selección de contenidos es pertinente con el contexto?• ¿La metodología permite la participación activa?• ¿La duración de las sesiones se adecua a las necesidades del contexto?• ¿Las prácticas realizadas satisfacen las necesidades de los participantes?• ¿Nivel de los objetivos logrados?• ¿Satisfacción de las expectativas de los participantes?• ¿Nivel de cambio producido en la práctica profesional?• ¿Suficiencia del presupuesto asignado?

InstrumentoAbierto /Cerrado

InstrumentoExtenso/ Limitado

20/06/2012 16:48:27 EQUIPO V 29

EVALUACIÓN

CONTENIDO

NECESIDADES

OBJETIVOS, CONTENIDOS

INSTITUCIONES

PROFESORES, ALUMNOS

METODOLOGÍA

RECURSOSEXPERIMENTAL,

NATURALISTA

BASADO EN DEMANDA, BASADO EN COSTOS

TOMA DE DECISIONES, VERIFICACIÓN DE LOGROS

CUANTITATIVA, CUALITATIVA

PROFESORES

ALUMNOS

EQUIPO DIRECTIVO

USUARIO

EXPERTO. AUTOEVAUACIÓN

HETEROEVALUACIÓN

INTERNA-EXTERNAOBSERVACIÓN

ENTREVISTAS

CUESTIONARIOS, TESTS

PRUEBAS OBJETIVAS

ESCALAS, VALIDEZ

FIABILIDAD, PERTINENCIA

INICIAL

CONTINUA

FINAL

DIFERIDA

DIAGNÓSTICA

FORMATIVA

SUMATIVA

OBJETO ¿QUÉ?

MODELO ¿CÓMO?

FINALIDAD ¿PARA QUÉ?

MOMENTO ¿CUÁNDO?

INSTRUMENTO ¿CON QUÉ?

EVALUADOR ¿QUIÉN?

REFERENTE

•Coherencia con las finalidades

definidas por la política de formación

•Adecuación a las necesidades

formativas del contexto

inmediato.•Adecuación a determinados

principios psicopedagógicos

.•Adecuación a los

participantes (necesidades, expectativas, interese

s)

20/06/2012 16:48:27 EQUIPO IV 30

Generales

• Teórico-Conceptuales• Sustantivas (plan de evaluación)• Metodológicas (validez, fiabilidad y

pertinencia)

Específicas

• Diseño-implementación del programa (objetivos, cronogramas, monitoreo)

• Diseño de Evaluación (contexto, destinatarios, responsables)

• Desarrollo de la Evaluación (Informe parcializado, normas de evaluación)

• El evaluador como problema• Los destinatarios y su participación

(conflictos institucionales, clima organizacional)

Problemáticas de los programas de Evaluación

Según Santos (1993), se presentan cuando se evalúa:

• Unilateralmente

• Sólo lo explícito u observable

• Negativamente

• Descontextualizadamente

• En forma esterotipada

• Para controlar

• Sólo en forma Interna

• Incoherentemente

• Competitivamente

• Apartado de la ética

• Sin realizar paraevaluación, metaevaluación y/o autoevaluación

• Se realiza distemporalmente

20/06/2012 16:48:27 EQUIPO IV 31

Patologías generales de la Evaluación

• Elogiar a quien la realiza.

• Tener una visión sesgada del proceso.

• Hacer evaluaciones diferentes en cuanto al rigor para eventos de similarimportancia.

• Convertirla en instrumento de dominio.

• Encargarla a equipos y/o personas subjetivas o sin independencia en latoma de decisiones.

• Omitir o falsificar resultados por conveniencia.

• Atribuir los malos resultados a los usuarios y no al programa.

• Descalificar la evaluación si los resultados no favorecen el evaluador.

20/06/2012 16:48:27 EQUIPO IV 32

Abusos en la Evaluación

20/06/2012 16:48:27 Grupo V 33

• Estudio del diseño del programa.

• Comprobación del proceso de implementación-desarrollo del programa.

• Disponer de un plan preciso, claro y negociado sobre la evaluación y suproceso.

• Complementar evaluación interna con la externa.

• Operar desde enfoques paradigmáticos no exclusivistas, sino más biencomplementarios.

• Considerar las normas de evaluación.

Algunas alternativas para la superación de las dificultades problemáticas en el

proceso de evaluación

20/06/2012 16:48:27 EQUIPO IV 34

NORMAS DE EVALUACIÓN

Joint Committee on Standards for Educational Evaluation (2010)

UTILIDAD

Credibilidad del evaluador

Atención a las audiencias

Fines negociados

Valores explícitos

Información relevantes

Procesos y productos significativos

Oportuna y adecuada comunicación y

presentación de los informes

Preocupación por las consecuencias y la

influencia

VIABILIDAD

Gestión de proyectos

Procedimientos prácticos

Viabilidad contextual

Uso de recursos

LEGITIMIDAD

Orientación de confianza e integradora

Acuerdos formales

Derechos humanos y respeto

Claridad y equidad

Transparencia y divulgación

Conflicto de intereses

Responsabilidad fiscal

PRECISIÓN

Conclusiones y decisiones justificadas

Información válida

Información fiable

Descripciones explicitas del programa y del

contexto

Gestión de la información

Razonamiento explícito de la evaluación

Comunicación y presentación de los

informes

expo dti

Technology