pasos en la planificación de una evaluación

PONTIFICIA UNIVERSIDAD CATOLICA DE PUERTO RICORECINTO DE PONCE

PROGRAMA DE ESTUDIOS GRADUADOS

LA EVALUACIÓNLibro: “Research and Evaluation in Education and

Psychology” Mentens, D. 2010

Presentado Por:Yanira Lugo

Milagros OrtolazaHugo A. Adames

Las siguientes fichas bibliográficas fueron utilizadas en esta presentación:Gallaudet University. (n.d.). The Gallaudet University. Retrieved septiembre 11,

2012, from gallaudet.edu: http://www.gallaudet.edu

Jackson, W. &. (2010, junio 27). Educacionporsiempre's Blog 2010. Retrieved septiembre 11, 2012, from educacionporiempre.wordpress.com: http://educacionporsiempre.wordpress.com

Ohio State University. (2009, diciembre 27). The Ohio State University. Retrieved septiembre 11, 2012, from ehe.ocu.edu: http://ehe.osu.edu

Popham, W. (1993). Educational Evaluation. Estados Unidos de América: Allyn and Bacon.

Springer publications. (n.d.). Google books. Retrieved septiembre 11, 2012, from books.google.com: http://books.google.com.pr

Mertens, D.M. (2010) Research and Evaluation in Education and Psycology, SAEG Publication Inc. Estados Unidos de América.

La evaluación

Es un proceso de investigación que se utiliza para recopilar y sintetizar la evidencia esta culmina con

las conclusiones sobre el estado de las cosas, el valor, mérito, importancia o calidad de un

programa, productos, personas, política, propuesto o plan.

Las conclusiones formuladas en las evaluaciones abarcan tantos aspectos de carácter empírico y también de aspecto normativo. Es el valor lo que distingue a la evaluación de otros tipos de investigaciones, como la investigación de ciencia básica, epidemiología clínica, el periodismo, o de votación pública.

Los términos mérito y valor usados en esta

definición de evaluación, necesitan ser clasificadas. Según la Encyclopedia of Evaluation (Mathison, 2005) se definen como:

El mérito

Es la calidad absoluta o relativa de algo, ya sea en general o con respecto a un criterio particular.

Para determinar el mérito de aquello que se va a evaluar con respecto a un determinado criterio, es necesario recopilar datos pertinentes de realización y atribuir valor a la misma.

El valor

Es el resultado de una evaluación y se refiere al valor de aquello que se está evaluando en un contexto particular. El valor de un evaluando requiere una comprensión completo del contexto particular, así como las cualidades y atributos del evaluando.

Scriven, 2009 extiende esta distinción con el siguiente ejemplo: "sí, es genial (es decir, de alta calidad / mérito) un coche, pero valía la pena lo que cuesta, tanto monetarios como no monetarios.

Michael Patton, 2008, hace una distinción de mérito y valor:". Mérito se refiere al valor intrínseco de un programa, por ejemplo, lo efectivo que es en satisfacer las necesidades de aquellos a los que se destina.

En las comunidades internacionales de desarrollo, se hace una distinción entre el supervisión y evaluación. The United Nations Development Program (2002, p.6) proporciona las siguientes definiciones en las evaluaciones realizadas en el desarrollo internacional:

La supervisión

Es una función continua que tiene como objetivo primordial ofrecer a las partes interesadas en gestión y principal de una intervención en curso los primeros indicios de progreso, o la falta de ella, en el logro de resultados. Una intervención en curso podría ser un proyecto, programa u otro tipo de apoyo a un resultado”

La evaluación

Es un ejercicio selectivo que intenta evaluar de manera sistemática y objetiva los progresos hacia el logro y de un resultado. La evaluación no es un evento único, sino un ejercicio que implica evaluaciones de diferente alcance y profundidad en respuesta a las necesidades de conocimiento evaluativo y el aprendizaje durante el esfuerzo para lograr un resultado.

Definiciones alternativas sobre el proceso de evaluación

(Hadley y Mitchel,l 1995) Definen la evaluación como "investigación aplicada

realizada para realizar o apoyar decisiones respecto a uno o más programas de servicio“.

(M. Q. Patton, 2008) Señala que las evaluaciones se pueden utilizar para

reducir la incertidumbre sobre las decisiones, tales como la disponibilidad de recursos y el clima político. Puede utilizar la siguiente lista de preguntas para procesar el contenido de las diversas definiciones y sus implicaciones para la práctica.

Definición de términos en el lenguaje de evaluación

Cuando los evaluadores hablan sobre el evaluando o el

objeto de la evaluación, están hablando de qué es lo que va a ser evaluado. Esto puede incluir un programa social o educativo, un producto, una política o personal.

Por ejemplo, se incluyen programas de enriquecimiento para adolescentes sordos, dotados; drogas y programas de abuso de alcohol para las personas sin hogar, los programas y la gestión de residuos de alto nivel radiactivo.

Evaluaciones formativas Se llevan a cabo principalmente a los efectos de

mejorar el programa. Por lo general, las evaluaciones formativas se llevan a cabo durante el desarrollo y ejecución del programa y se comunicó en el personal. De esta forma pueden utilizar la información para mejorar el programa.

Evaluaciones sumativasEs la fusión de un programa. Por lo general, esto se

hace en un programa que se ha estabilizado y con frecuencia se reporta a una agencia externa.

Los evaluadores internos trabajan dentro de la organización que opera el programa, los evaluadores externos son 'expertos' traídos de fuera de la organización con el propósito exclusivo de llevar a cabo o asistir en la evaluación. Los evaluadores deben responder a las preocupaciones e intereses de los miembros selectos de la configuración que se evalúa.

Historia de la evaluación

Paradigmas educativos

Origen de la evaluación

• 1800: el gobierno de Estados unidos le pide a evaluadores externos programas públicos

• 1960: la firma de la Acta para los Head Starts y las escuelas Primarias y Secundarias

Interpretación de Mertens del árbol de Alkin presentado en forma tabloide

Ramas Paradigma evaluativo

Uso Pragmático

Método Postpositivista

Valorización Constructivista y Transformativo

Paradigma postpositivista

• Enfoque basado en objetivos:

– Ralph Tyler: Modelo de Evaluación basado en objetivos

– Malcom Provus: modelo de discrepancias

– Donald Campbell: Modelo quasi experimental

Paradigma postpositivista 2

• Enfoque basado en la toma de desiciones:

– Daniel Stufflebeam: Modelo CIPP (Contexto, Insumo, Proceso, Producto)

• Enfoque Basado en la teoría

– Chen & Rosi: basado en los trabajos de D. Campbell

Paradigma postpositivista 3

• Resumen del modelo basado en la teoría

– a. desarrollar la teoría en la cual está basado el programa

– b. obtener información sobre el programa y su teoría subyacente a través de investigaciones previas, examinando las teorías implícitas en aquellos que trabajan en el programa y observando el programa en operación

– c. el evaluador trabaja junto con los sostenedores del programa para la redacción de preguntas y métodos de evaluación

Paradigma constructivista• Modelo de cuarta generación de Guba & Lincoln:

– 1era generación: evaluación basada en medidas: se examina el aprendizaje de los estudiantes

– 2da generación: enfoque basado en el alcance de los objetivos (Tyler)

– 3era generación: modelos basados en la toma de decisiones

– 4ta generación: constructivista, evaluación heurística

Paradigma constructivista 2• Modelo de evaluación responsiva de Stake:

– La evaluación responsiva de Stake se basa en comparar un valor observado con un standard. El standard debe ser definido por las expectativas y criterios que varias personas tengan acerca del programa y los valores observados deben estar basados en aquellos que realmente alberga el programa. El trabajo del evaluador es determinar cuáles son los valores del programa que se observan con referencias útiles acerca de la satisfacción o insatisfacción de personas seleccionadas.

Paradigma pragmático• Modelos de enfoque pragmático:

– El modelo de la cultura organizacional de Preskill & Torres

• el interés de los miembros de una organización en explorar issues críticos usando la lógica de la evaluación

• el envolvimiento de los miembros de la organización en el proceso evaluativo

• el crecimiento de los miembros de la organización tanto a nivel personal como profesional

• la creación en las organizaciones de una cultura que acostumbre a utilizar la información para llevar a cabo procesos de mejora en los programas

Paradigma pragmático 2– Modelo de evaluación de programas enfocada en la

utilización por M.Q. Patton • la utilidad de la evaluación debe determinarse desde el

principio• el valor de los hallazgos dependerá del uso que se le den• el evaluador tiene que facilitar la planificación e

implantación de las evaluaciones para motivar la utilización de los hallazgos

– Modelo de evaluación del mundo real por Bamberger• Busca crear un modelo de evaluación que cumpla con los

requisitos de las agencias y a su vez ser responsivo a las complejidades culturales en el contexto educativo.

Paradigma transformativo

• Los ocho modelos más importantes son:

– Evaluación inclusiva (Mertens, 2003): Los miembros de la comunidad que serán afectados por los resultados de la evaluación serán incluídos en las decisiones metodológicas.

– Evaluación de deliberación democrática (Hilliard, 1984; House & Howe, 2000; McDonald & Kushner, 2005)

Paradigma transformativo 2• la partidas relevantes• los intereses relevantes • el diálogo

– Empowerment evaluation (Fetterman & Wandersman, 2004). Consiste en utilizar conceptos técnicas y hallazgos de la investigación con el fin de lograr la autodeterminación.

– Evaluación desarrollativa: (Stockdill, Duhon-Sells, Olson & Patton, 1992; Patton, 1994). Se define como la evaluación que apoya los programas y el desarrollo organizacional para guiar la adaptación a realidades emergentes y dinámicas desde una perspectiva de sistemas complejos y envuelve cambiar el modo del programa en sí como parte de la innovación y respuesta a las condiciones y entendimientos cambiantes.

Paradigma transformativo 3– Evaluación feminista: (Seigart & Brisolaras, 2002) Se

basa en juicios de mérito, la aplicación de los métodos de las ciencias sociales para determinar efectividad, y el logro de las metas de los programas así como herramientas relacionadas a la justicia social para los oprimidos, especialmente aunque no exclusivamente las mujeres.

– Evaluación transformativa: La meta principal es proveer información para mejorar o monitorear el progreso del proyecto. Los participantes son co-planificadores con las siguientes funciones:

Paradigma transformativo 3– Hood, Hopson & Frierson (2005) desarrollaron el modelo

evaluativo de acercamiento cultural en lo cual lo primordial es atender el contexto cultural e histórico en el cual se sitúan los programas así como las perspectivas críticas de los miembros de la comunidad.

– Los modelos de índole post colonial e indígenas los cuales fueron desarrollados por miembros de las comunidades post coloniales e indígenas, reflejando las raíces culturales de los indios americanos. (Le France& Crazy Bull, 2009) los Maori en Nueva Zelanda (Cram, 2009; Moewaka Barnes, Mc Creanor, Edwards & Borrel, 2009; L.T. Smith, 2005) y los afroamericanos (Chilisa, 2009). Ellos especifican como un persona no indígena necesita proceder cuando trabaja con grupos indígenas, así como guiar el trabajo evaluativo basándose en los valores y tradiciones de la comunidad.

Paradigma transformativo 4

• discutir las preguntas de evaluación que necesitan realizarse para determinar si el proyecto está progresando

• ayudar a definir e identificar fuentes de dates requeridos para contestar las preguntas de evaluación

• se envuelven en la recolección y análisis de datos y la preparación del reporte final.

Pasos en la Planificación de una Evaluación

Enfocando la evaluación:

• Descripción de lo que será evaluado•Propósito de la evaluación •Participantes en la evaluación•Restricciones y oportunidades asociadas con la evaluación•Preguntas de evaluación•Selección de un modelo de evaluación

Etapa de enfoqueDurante esta etapa, el evaluador necesita determinar lo

que esta siendo evaluado, el propósito de la evaluación, los participantes en la evaluación y las restricciones bajo las cuales la misma se lleva a cabo.

- Generalmente, este primer contacto es iniciado por el director del programa, el creador de la política, o el fundador del grupo.

- El evaluador puede ganar valiosa información realizando las preguntas correctas.

Descripción del evaluando

• Determinar el estatus de lo que será evaluado• Realizar cuestionamientos como los siguientes

para el comienzo de la evaluación:- ¿Existe una descripción escrita sobre lo que será

evaluado?- ¿Cuál es el estatus? Nuevo o maduro? Está

desarrollado? Cuánto tiempo ha existido el programa?

- ¿En que contexto se utilizará la función del evaluando?

- ¿A quién está dirigido a servir el evaluando?

- ¿Qué se supone que haga el evaluando?- ¿Qué recursos se están proveyendo al

evaluando? (financiamiento, tiempo, equipo, materiales, etc.)

- ¿Cuáles son los procesos que conforman al evaluando?

- ¿Qué resultados (outputs) se esperan?- ¿Por qué quiere evaluarlo?- ¿Qué descripción del evaluando esta disponible

para usted al comienzo de la evaluación?- ¿Qué descripción del evaluando resulta

necesaria para la comprensión del programa?

Distinciones del propósito de la Evaluación( M. Q. Patton, 2008)

Algunas preguntas para determinar los propósitos de la evaluación

Áreas de cambio comunitario (Paulo Freire, 1971)

Identificación de los participantes• El evaluador debe formular las preguntas adecuadas

que le permitan reconocer todas personas que serán afectadas por el programa.

Posibles participantes en evaluacionesPosibles participantes en evaluaciones

• Patrocinadores y fundadores• Gobiernos y asesores• Representantes de agencias federales y estatales• Creadores de pólizas• Administradores• Miembros del equipo (staff) - maestros

regulares, de educación especial, panel de recursos, psicólogos)

• Recibidores de servicios ( clientes, estudiantes, etc.)

• No recibidores

Restricciones de la Evaluación

Sugerencias relacionadas con las restricciones en la evaluación:

• El evaluador debe considerar quienes rechazan o apoyan el programa.

• Asegurarse de que exista un conocimiento formalizado sobre quienes necesitan ser informados.

• Reconocer que las personas pueden “moverse dentro y fuera "de los programas. Por lo tanto, los conocimientos de esas personas varían.

• Es necesario orientar a los nuevos participantes sobre el proceso, el propósito y la evaluación.

• Preparar una síntesis sobre su conocimiento actual del programa, en términos del evaluando, propósito de la evaluación, stekeholders y restricciones.

Preguntas en la evaluación

• DescriptivasSon aquellas que dicen lo que el programa es y lo

que hace.Ejemplo:- ¿Qué actividades apoya el programa?

• De implantación Son aquellas que dicen cómo y en que medida las

actividades que se pretendían implantar fueron implantadas, y si están dirigidas a una población o problemas en especifico.

Ejemplo:- ¿Las actividades están en concordancia con el

propósito de la ley y las regulaciones de implantación?

• De impactoSon aquellas que indican los efectos del

programa.Ejemplo:- ¿El programa está alcanzando sus propósitos o

finalidades?

Selección de un modelo de evaluación• Existen 2 opciones para escoger un modelo:- Escoger un modelo que se adapte a su punto de vista.- Escoger un modelo que responda a las necesidades del

cliente.

• Cuando escoja el modelo, busque uno que se ajuste a las necesidades de la evaluación y a su punto de vista.

• Si el cliente esta abierto a un nuevo enfoque sobre la evaluación, intente orientarlo al respecto.

Planificación de la evaluación • La recolección de datos responde a las siguientes

preguntas:1.¿Qué estrategias de recolección de datos se van

a usar?2.¿Quién va a recoger los datos?3.¿Cuál va a ser la muestra?4.¿Cuándo y cómo se recopilará la información?5.¿Cómo regresará la información al evaluador?

Análisis, interpretación y uso de los datos• La estrategia para analizar, interpretar y usar los

datos, dependerá del tipo de modelo que se utilice:

Ejemplo 1:En un modelo constructivista o transformativo, se

interactuará más con los participantes de la evaluación a la hora de analizar, interpretar y usar los datos que en un modelo post-positivista, en el cual el evaluador preferirá pasar lo mas desapercibido posible para no afectar el recogido de información.

Dirección de la evaluación• Se debe realizar un plan escrito sobre el

personal y presupuesto requerido.• La meta-evaluación es la evaluación sobre el

proceso de evaluación. Se debe llevar a cabo en 3 instancias:

- Una vez concluida la planificación preliminar- Durante la implantación- Después que haya sido completada la

evaluación

Normas para la evaluación crítica de las evaluaciones

Las normas de evaluación de programas

(denominados anteriormente y en lo sucesivo referido como las normas) fueron desarrolladas por un comité conjunto que se inició con el esfuerzo de tres organizaciones: la American Educational Research Association (AERA), la American Psychologycal asociation (APA), y el Consejo Nacional de Medición de la Educación.

Los representantes de estas tres organizaciones se unieron a los miembros de 12 organizaciones profesionales. Para desarrollar un conjunto de normas que orientan la evaluación de los programas educativos y de capacitación, proyectos y materiales en una variedad de entornos.

Las normas no han sido adoptados como estándares oficiales para cualquiera de estas organizaciones. Sin embargo, sí ofrecen un marco amplio para examinar la calidad de la evaluación.

Los estándares están organizados de acuerdo a cinco atributos principales de las evaluaciones:

Cada uno de los atributos principales se define por norma correspondiente a ese atributo. Lineamientos y casos ilustrativos se incluyen en el texto del programa de evaluación estándar en sí.

Los casos ilustrativos se extrae de una variedad de entornos educativos, incluidas las escuelas, las universidades, la médica y el campo de la salud, el negocio militar y la industria, el gobierno y la ley.

Utilidad U1- Credibilidad del Evaluador

U2- Atención a las partes interesadasU3 -Propósitos negociadosU4- Valores explícitosU5- Información RelevanteU6- Procesos y Productos significativosU7- Comunicación oportuna, adecuada y presentación de informesU8 -La preocupación por la influencia y consecuencias

Factibilidad

F1 -Procedimientos prácticosF2 -Viabilidad contextual F3 -Uso de RecursosF4 -Gestión de proyectos

Propiedad P1 -Orientación Sensible e inclusiva

P2 -Acuerdos FormalesP3 -Derechos Humanos y RespetoP4 -Claridad y equilibrioP5 -Transparencia y DivulgaciónP6 -Conflictos de InterésP7 -Responsabilidad Fiscal

Precisión

A1- Conclusiones y Decisiones Confiables A2- Información válida A3- Información confiable A4 -Evaluando explicito y descripciones contextualesA5- Métodos Cuantitativos y CualitativosA6 -Diseño y Análisis

A7 -Razonamiento y evaluación explícitaA8- Comunicación válida y presentación de informes

Meta evaluación

M1- PropósitosM2- Estándares de CalidadM3- Documentación

Mertens (2009) y Kirkhart (2005) reconocen que las

preocupaciones sobre la diversidad y multiculturalismo tiene consecuencias generalizadas sobre la calidad del trabajo de evaluación. Kirkhart propuso una consideración específica de lo que ella denomina "validez multicultural", que definió como "el vehículo para la organización de las preocupaciones sobre el pluralismo y la diversidad en la evaluación, y como una manera de reflexionar sobre los límites culturales de nuestro trabajo" (1995).

Se describen tres tipos de validez tradicionalmente discutidos en el proceso de investigación, pero se dirige a ellos desde el punto de vista de la validez multicultural.

A continuación, identifica las amenazas específicamente relevantes para la validez multicultural. Los tipos tradicionales de validez se definen y analizan a continuación:

1. Validez Metodológica- se refiere a la validez o fiabilidad de acuerdos garantizados por nuestros métodos de investigación, particularmente con referencia a los instrumentos de medición, procedimientos, y la lógica de la investigación.

2. Validez Interpersonal-se refiere a la validez o fiabilidad de acuerdos que emanan de las interacciones personales.

3. Consecuencia de validez- se refiere a la solidez de cambio ejerce sobre los sistemas de evaluación y la medida en que esos cambios son sólo.

Amenazas especificas para la validez multicultural

1. Se necesita tiempo para reflexionar la perspectiva multicultural profundamente.

2. La sofisticación cultural tiene que ser demostrada en el desarrollo cognitivo, afectivo y dimensiones de habilidad.

3. El evaluador debe evitar la arrogancia cultural que se refleja en compromisos cognitivos prematuros a un entendimiento cultural en particular, así como a cualquier modelo de evaluación.

La ética y la evaluación: los principios rectores

1. Investigación Sistemática 2. Competencias

3. Integridad / honestidad 4.El respeto de las personas5.Responsabilidades para el bienestar general y público

ConclusionesA la luz de la información expuesta, se derivan los siguientes puntos

importantes:

• El proceso evaluativo se enfatiza en la recolección de datos, tanto de carácter empírico como normativo, siendo el valor lo que la distingue de otros tipos de investigaciones.

• El evaluador debe tener un conocimiento claro sobre quienes son los participantes, las restricciones y los objetivos que se persiguen alcanzar para lograr a conclusiones precisas sobre el programa que esta siendo evaluado.

• Es importante que el evaluador realice los cuestionamientos adecuados durante la evaluación para poder obtener conclusiones fiables una vez finalizado el proceso.

Referencia

Mertens, D. (2010). Research and Evaluation in Educaction and Psychology. Thousand Oaks, CA: SAGE Publications, Inc.