tema 1 evaluacion educativa-1

04/05/2015

1

Evaluación aplicada a contextos

educativos

Prof. Rubén Palomo Seldas

Dpto. Psicología Evolutiva y de la Educación

[email protected]

Despacho 2124

Tutorías martes y jueves 13:00 a 14:30

Programa

Tema 1- La evaluación educativa: concepto, contextos de evaluación y finalidades. Tema 2- Evaluación psicopedagógica: Instrumentos, tipos de informes, asesoramiento a docentes. Tema 3- Evaluación de centros educativos: Evaluaciones externas e internas. Procesos de los centros. Clima escolar.

TEMA 1.

LA EVALUACIÓN

EDUCATIVA

HISTORIA

Antecedentes remotos (2000 a.c.-1900)

China 2000ac; Grecia s.V; Jesuitas 1599; Juan Huarte de San Juan, 1575; Luis Vives;

Revolución Industrial (s. XIX) y la mejora de los sistemas educativos

Inspectores escolares

Avances en los campo de la medición (Fetchner, Wunt, Galton, Binet)

Mann (1845) pruebas de rendimiento

Rice, primera evaluación formal (1895-1905)

mailto:[email protected]

04/05/2015

2

HISTORIA

Antecedentes remotos (2000a.c.-1900)

Etapa de la eficiencia y de los tests (1901-1929)

Influencia del positivismo del circulo de Viena

Desarrollo de métodos estadísticos

Evaluación de expertos: evaluación eficiente

Desarrollo de tests psicológicos y tests escolares

Etapa Tyler (1930-1945)

Docimologia Francesa

Tyler: hacia la verdadera evaluación educativa

nuevo concepto de CV (objetivos/ actividades/ organización/

evaluación) y de la evaluación

J.Dewey, Movimiento de Educación Progresista (EEUU)

Estudio de los 8 años (Smith y Tyler, 1942)

HISTORIA

Antecedentes remotos (2000a.c.-1900)

Etapa de la eficiencia y de los tests (1901-1929)

Etapa Tyler (1930-1945)

Inocencia (1946-1957)

Se reduce el interés por la educación, aunque ésta se expande

Avances metodológicos y técnicos (tests y taxonomías de

objetivos)

Expansión (1958-1972)

Gran inversión en educación

“Accountability”

1958, EEUU: fondos para evaluar los programas renovados de mates y ciencias

Reflexión sobre las prácticas educativas

Cronbach (1963) Scriven (1967) Glaser (1963)

HISTORIA

Profesionalización (1973-actualidad)

La evaluación como campo diferenciado (de la investigación educativa) y profesionalizado

Proliferación de publicaciones y aparición de revistas especializadas

Ámbito especifico: investigación evaluativa

Cursos especializados diferenciados de metodóloga

Asociaciones profesionales

Orientación de la evaluación a la toma de decisiones

Se multiplican los modelos de evaluación

Expansión de la evaluación de programas entre países

occidentales

Pluralidad de perspectivas, modelos y métodos

Evaluaciones que informen sobre los logros pero también sobre los aspectos del programa que funcionan y los que no

Van mas allá de los resultados

CONCEPTO

Varia en función de las posiciones ideológicas y metodológicas

imperantes en cada momento.

Ligado a los cambios educativos.

Clasificación de las definiciones de evaluación en función de los aspectos a los que hacen referencia:

1- LOGROS de los alumnos

Tyler (1950, 1970): “Proceso para determinar en qué

medida los objetivos educativos han sido alcanzados”

Lafourcade (1977): “Etapa del proceso educacional que tiene

por fin controlar de modo sistemático en qué medida se han logrado los resultados previstos en los objetivos que se

hubieran especificado con antelación”

Gronlund (1985): “Proceso sistemático de recopilar, analizar e

interpretar información para determinar el grado en que los alumnos han logrado los objetivos instructivos”

04/05/2015

3

CONCEPTO

2- Determinación del MÉRITO (capacidad del programa de lograr los que pretende) o VALOR (capacidad del programa para responder a las necesidades)

Suchman (1967): “Proceso de emitir juicios de valor”

Stufflebeam y Skinkfield (1987): “Proceso sistemático, planificado, dirigido y realizado con el fin de ayudar un grupo de clientes a juzgar y/o perfeccionar el valor y/o mérito de algún objeto”

Mateo (1998): “Proceso de recogida de información orientado a la emisión de juicios de mérito o de valor respeto de algún sujeto, objeto o intervención con relevancia educativa”

3- Basadas en la información para la TOMA DE DECISIONES

Cronbach (1963) “Proceso de recopilación y utilización de la información para tomar decisiones”

Tenbrinck (1984): “Proceso de obtener información y usarla para formar juicios que a su vez se utilizarán en la toma de decisiones”

De Miguel (2000): “Proceso sistemático de búsqueda de evidencias para formular juicios de valor que orienten la toma de decisiones”

CONCEPTO 4- Subrayan la importancia de la METODOLOGÍA

Berk (1981): “Es la aplicación del método científico para recoger la información

fiable y válida necesaria para tomar decisiones sobre un programa educativo”

Ruttman (1984): “Es la utilización del método científico con la intención de

tomar decisiones sobre la implantación de un programa y medir sus resultados”

García Llamas (1995): “Proceso de identificación, recolección y tratamiento de datos para obtener una información que justifique una

determinada decisión”

5- AGLUTINAN aspectos anteriores

Pérez Juste (1995, 2000): “La valoración a partir de criterios y referencias pre-especificados, de la información técnicamente diseñada y sistemáticamente recogida y organizada, sobre cuantos factores relevantes integran los procesos

educativos para facilitar la toma de decisiones de mejora”

Casanova (1995): “Recogida de información rigurosa y sistemática para

obtener datos válidos y fiables acerca de una situación con objeto de formar y emitir un juicio de valor con respecto a ella. Estas valoraciones permitirán tomar decisiones consecuentes en orden a

corregir la situación evaluada”

Bordas Alsina (1999): “ Detectar cómo es una realidad educativa –alumno,

grupo, clase, centro, planificación curricular, sistemas educativo..- sea desde una perspectiva cualitativa, cuantitativa o mixta, con el fin de tomar decisiones”

EVALUACIÓN: CONCEPTO

INTEGRACIÓN DE LAS DEFINICIONES ANTERIORES

“La evaluación es el proceso de identificación,

recogida y análisis de información relevante –

que podrá ser cuantitativa o cualitativa- de manera

sistemática, rigurosa, planificada, dirigida, objetiva,

creíble, fiable y válida para emitir juicios de valor

basados en criterios y referencias

preestablecidos para determinar el valor y el

mérito del objeto educativo en cuestión, a fin de

tomar decisiones que ayuden a optimizar el

mencionado objeto”

Lukas y Santiago (2009)

Evolución del concepto de evaluación

Centrada en el alumno

Puntual A lo largo del proceso

Estática Dinámica

Evaluación participativa Evaluación profesional

Holística

Control Perfeccionamiento,

mejora y aprendizaje FINALIDAD

OBJETO

MOMENTO

CONCEPCIÓN

RESPONSABILIDAD

Certificar OBJETIVO Instrumento de mejora

04/05/2015

4

DEFINICIÓN

La evaluación es la actividad para:

Obtener información sobre las dimensiones más relevantes de un objeto

Determinar la valoración de su mérito y de su

valor

Contribuir a mejorar su funcionamiento y sus

resultados

Medir

Valorar

Decidir

REFERENTES PARA LA VALORACIÓN

Objetivos de la educación

Aprender a conocer y a hacer

Aprender a convivir

Aprender a ser

Competencias … la capacidad de aplicar conocimientos y destrezas en

materiales clave y de analizar, razonar y transmitir ideas con

eficacia al tiempo que se plantean, resuelven e interpretan problemas en situaciones diferentes (OCDE, 2005, p.1)


COMPETENCIAS CLAVE DEL PROYECTO DeSeCo

Interactuar en grupos socialmente heterogéneos Relacionarse bien con otros

Cooperar

Manejar y resolver conflictos

Actuar con autonomía Comprender, considerar y poder actuar en la sociedad o el

mundo global

Elaborar y desarrollar proyectos y planes de vida

Defender y afirmar derechos, necesidades, intereses, límites…

Usar herramientas interactivamente Lenguaje, símbolos y textos

Conocimiento e información

Tecnología


COMPETENCIAS (U.E.) Comunicarse en la lengua materna

Comunicarse en lenguas extranjeras

Competencia matemática y competencias en básicas en ciencia y tecnología

Competencia digital

Aprender a aprender

Competencias sociales y cívicas

Sentido de la iniciativa y espíritu de empresa

Conciencia y expresión culturales

Recomendaciones del Parlamento Europeo y del consejo de 18 de dic. de 2006 sobre las competencias clave para el aprendizaje permanente.

04/05/2015

5

Preámbulos

LOE (2006) “Las sociedades actuales conceden gran importancia a

la educación que reciben sus jóvenes, en la convicción de que de ella dependen tanto el bienestar individual como el colectivo. La educación es el medio más adecuado para construir su personalidad, desarrollar al máximo sus capacidades, conformar su propia identidad personal y configurar su comprensión de la realidad, integrando la dimensión cognoscitiva, la afectiva y la axiológica. Para la sociedad, la educación es el medio de transmitir y, al mismo tiempo, de renovar la cultura y el acervo de conocimientos y valores que la sustentan, de extraer las máximas posibilidades de sus fuentes de riqueza, de fomentar la convivencia democrática y el respeto a las diferencias individuales, de promover la solidaridad y evitar la discriminación, con el objetivo fundamental de lograr la necesaria cohesión social. Además, la educación es el medio más adecuado para garantizar el ejercicio de la ciudadanía democrática, responsable, libre y crítica, que resulta indispensable para la constitución de sociedades avanzadas, dinámicas y justas. Por ese motivo, una buena educación es la mayor riqueza y el principal recurso de un país y de sus ciudadanos.”

LOMCE (2013) “La educación es el motor que

promueve la competitividad de la economía y las cotas de

prosperidad de un país; su nivel educativo determina su capacidad

de competir con éxito en la arena internacional y de afrontar los desafíos que se

planteen en el futuro. Mejorar el nivel de los ciudadanos en el ámbito educativo supone abrirles

las puertas a puestos de trabajo de alta cualificación, lo que representa una apuesta por

el crecimiento económico y por conseguir ventajas competitivas en el mercado

global.”


Objetivos de la educación

Aprender a conocer y a hacer. Competencias

Aprender a convivir

Aprender a ser. Educación moral y cívica

Factores de la calidad de la educación

Contexto sociocultural

Profesorado

Currículum

Evaluación

Participación

Liderazgo

Recursos disponibles

COMPONENTES DE LA EVALUACIÓN

1- FINALIDAD

2- OBJETO

3- INFORMACIÓN

4- AGENTE

5- MOMENTO

6- VALORACIÓN

7- INFORME


FINALIDAD

Función formativa: utilización de la evaluación como medio para mejorar el objeto evaluado. Se realiza paralelamente a la actividad evaluada.

Función sumativa: carácter de control, de certificación de resultados. Valora procesos o productos finalizados.

https://www.youtube.com/watch?v=_cPRQnAYd1k

04/05/2015

6

COMPONENTES DE LA EVALUACIÓN FINALIDAD

FORMATIVA

Evalúa procesos

Elemento interno del p.

enseñanza-aprendizaje

Objetivo de mejora

Medidas inmediatas

SUMATIVA

Evalúa productos

Evaluación puntual al final

del proceso

Objetivo: determinar el grado de cumplimiento de

los objetivos y valorar + ó

– el producto

Medias a medio-largo plazo


OBJETO Categorías Unidades evaluadas

Actores de la educación

Alumnado

Profesorado

Organizaciones Educación formal

Instituciones educativas: Centros de Infantil, Primaria y

Secundaria

Educación no formal

Elementos formales de

materialización de la

intervención educativa

Diseños curriculares y proyectos educativos

Programas

Educativos

De educación para el trabajo

Socioeducativos

Materiales educativos

(Adaptado de Jornet, 2001) en Lukas y Santiago 2009

ÁMBITOS

Alumnos

Profesorado

Centros

Programas

Sistema educativo

POLITICAS EDUCATIVAS

ESCUELA

PROGRAMAS

PROFES.

ALUMNOS

ÁMBITOS

Alumnos

El proceso de enseñanza-aprendizaje y la evaluación

Conocimientos, procedimientos y actitudes… y competencias

Evaluación tradicional

Evaluación alternativa

Evaluación de ejecución

Evaluación autentica

Proceso de evaluación

04/05/2015

7

ÁMBITOS

Profesorado Evaluación sistemática de la actuación profesional

y/o cualificaciones de una persona en relación a un cometido profesional y algún fin institucional defendible

Necesidad de llegar a acuerdos con los profesores.

Propósitos de la valuación

Orientada a los resultados

Orientada a la mejora

Qué evaluar: conocimiento de la materia; competencias instruccionales; competencias evaluativas; profesionalidad

Fases: Ideación / Desarrollo / Implementación / Metaevaluación

ÁMBITOS Programas Objetivo de la evaluación de programas: Valorar si el

programa ha, está o va a generar los efectos esperados, señalando los puntos fuertes y débiles del mismo en tres “momentos”:

Antes de la implementación del programa

Durante su desarrollo como fuente de mejora continua

Después de la finalización para analizar la efectividad

La evaluación ofrece información sobre el valor… intrínseco, instrumental, comparativo, de idealización y/o

de decisión … del programa

Finalidad: Eficacia, valoración por parte de los

implicados, eficiencia, eficiencia

Criterios de valoración de programas: eficacia,

eficiencia, basados en los participantes, juicio experto de profesionales, calidad total

COMPONENTES NECESARIOS EN LOS PROCESOS DE EVALUACIÓN DE CENTROS

Amplio consenso en valorar diferentes componentes: Modelo CIPP (Stufflebean y Shinkfield, 1987)

Contexto

Proceso Producto Output

Entrada Input

Mejora de

escuelas

• Nivel de contexto: contexto sociocultural, tamaño, diagrama de flujo sobre promoción y repetición, personal,…

• Nivel de entrada: datos iniciales de los alumnos, tendencias con respecto a los cambios realizados en años anteriores,…

• Nivel de procesos: procesos de centro (conocimiento del funcionamiento

del centro, valoración del equipo directivo, participación, comunicación, liderazgo, clima de trabajo…) y procesos de aula (planificación de la enseñanza, innovación en la evaluación, amplitud de contenidos,

capacidad de mantener ambientes de trabajo ordenados, atención a la diversidad…).

• Nivel de producto: resultados de los alumnos, actitudes, valores, valoración del centro escolar por parte de alumnos, padres y profesores,…

ÁMBITOS Sistema Educativo

Finalidades de la evaluación del Sistema Educativo:

Mejorar su calidad

Ofrecer información para tomar decisiones

Contribuir al debate social sobre educación

Funciones

Diagnóstica Toma de decisiones

Rendición de cuentas Comparación

Control / acreditación Función prospectiva

Calidad como: relevancia, equidad, eficacia, eficiencia

04/05/2015

8


INFORMACIÓN

Fuentes de información:

Personas, documentos o entidades que proporcionan datos necesarios para la evaluación

Instrumentalización:

Estrategias, técnicas e instrumentos necesarios para recoger la información

Tratamiento de la información:

Análisis de la información recogida

OBTENCIÓN DE LA INFORMACIÓN

Observación

Entrevista

Cuestionarios

Pruebas de aprendizaje

Pruebas estandarizadas

Otros sistemas


AGENTES EVALUADORES

Evaluación del alumnado: Heteroevaluación: una persona evalúa a otra Autoevaluación: una persona se evalúa a sí misma Coevaluación: evaluación mutua de un trabajo

realizado entre varios

Evaluación de programas o de centros: EXTERNA: agentes externos al programa o centro INTERNA / Autoevaluación: los propios evaluados

evalúan. En programas sociales, en la evaluación interna,

los agentes son miembros de la misma entidad pero no implicados en el programa

Mixta: combinación de agentes

Evaluación INTERNA VENTAJAS Legitimidad conferida al

proceso Mejor comunicación Mayor capacidad de

dinamizar la vida del centro

Relación más estrecha con las decisiones de mejora que se puedan adoptar

Mayor conocimiento y comprensión del objeto de evaluación y del contexto

Mayor aceptación de los evaluados

INCONVENIENTES

Falta de tiempo

La falta de distancia emocional y el compromiso puede convertir el proceso evaluador en autojustificación

Menor objetividad y credibilidad

Falta de contraste externo

https://www.youtube.com/watch?v=gArBnJL-kg8

04/05/2015

9

Evaluación EXTERNA

VENTAJAS

Mayor tiempo de dedicación a la evaluación

Mayor rigor (especialización técnica)

Mayor credibilidad de los resultados

Imparcialidad de las opiniones

Establecer una referencia externa en las valoraciones

Mayor independencia

INCONVENIENTES

Dificultades para entrar en la vida del centro

Mayor rechazo por parte de la comunidad escolar

Sesgo informativo


MOMENTO Está determinado por el objeto evaluado y el propósito de la

evaluación

1. INICIAL Rendimiento de alumnos o procesos de enseñanza-

aprendizaje: detectar situación inicial para actuar consecuentemente.

Programas: realizada en la fase de diseño para: Comprobar la pertinencia del programa;

Coherencia y congruencia interna: Evaluar la organización, examinar la viabilidad y coherencia entre medios, recursos y objetivos; objetivos generales, específicos y metas; diagnostico y proposiciones

Rentabilidad económica de la acciones para alcanzar los objetivos propuestos

2. PROCESUAL: detectar en qué medida se están cumpliendo el programa en función de la propuesta inicial. Sirve para reorientar, corregir, subsanar el propio proceso

3. FINAL: se pretender establecer la congruencia entre los objetivos alcanzados y los planteados. Tener en cuenta los resultados no esperados, y señalar la relación entre los resultados obtenidos y la influencia del programa en la consecución de esos resultados. Eficacia potencial, eficiencia y efectividad real.

Diagnóstica

Formativa

Sumativa


VALORACIÓN (I) Supone la emisión de un juicio de valor. Se necesita referentes

(criterios de evaluación) que permitan valorar la calidad del objeto evaluado. Aspectos necesarios:

1. Selección de CRITERIOS: en ellos nos apoyaremos para

decidir el éxito o no del programa.

La idoneidad o suficiencia

La pertinencia o propiedad

La eficiencia o rendimiento

La eficacia y la efectividad

La coherencia o congruencia

La conformidad o legalidad

La vigencia o actualidad

La oportunidad o sincronía

La aceptación o satisfacción

El impacto

Varían en función de los objetivos de la evaluación.


VALORACIÓN (II) 2. Desarrollo de INDICADORES: realización observable de

los criterios. Aspectos específicos sobre los que recoger la información. Datos cuantitativos o cualitativos recogidos

sistemáticamente.

3. Establecimiento de ESTÁNDARES: sirven como términos

de comparación que delimitan la consecución o no del éxito y el grado de consecución.

Evaluación normativa o relativa: el estándar o

referente es el grupo de referencia.

Evaluación criterial o absoluta: el referente son los

criterios de calidad o excelencia previamente establecida.

Evaluación personalizada, ideográfica,

idiosincrásica o de progreso: el referente es el

propio objeto evaluado

04/05/2015

10


INFORME

Describe los resultados favorables y desfavorables del objeto evaluado.

Muy importante saber:

Quién o quiénes son los interlocutores de ese informe,

A quién va dirigido (audiencias),

Qué uso se va a hacer de él

Factores políticos y contextuales que puedan dificultar la utilización del informe.


INFORME

Apartados habituales del informe: I. Introducción: origen, motivos, finalidad, contexto y

limitaciones de evaluación,…

II. Objeto y finalidad de la evaluación: definición del

objeto, criterios, parámetros y estándares

III. Diseño del modelo de evaluación: proceso seguido,

descripción del modelo, instrumentos y técnicas de recogida de información, información recogida,

descripción del análisis...

IV. Resultados: resultados obtenidos e interpretación.

V. Conclusiones: respuestas a las preguntas de la

evaluación, puntos fuertes y puntos débiles.

VI. Recomendaciones: sugerencias de mejora

VII.Anexos: resumen del informe, instrumentos, datos brutos, muestras de observaciones,…

FASES DE LA EVALUACIÓN 1. Finalidad y alcance

• Clarificar el origen y la necesidad de la evaluación

• Valorar la viabilidad de la evaluación

• Formar el equipo de evaluación

• Determinar la finalidad y el objeto de la evaluación

• Decidir la naturaleza de la evaluación

2. Planificar

• Especificar preguntas a las que la evaluación responderá y criterios de evaluación

• Planificar la recogida de la información

• Seleccionar / crear instrumentos de evaluación

3. Tratamiento de la información

• Analizar la información cuantitativa y cualitativa

• Interpretar la información

4. Informe y discusión

• Devolver y contrastar la información

• Elaborar el informe

• Difundir los resultados

5. Meta-evaluación

• Utilidad de la evaluación

• Viabilidad de la evaluación

tema 1 evaluacion educativa-1

Documents