Un esquema de seguimiento y Un esquema de seguimiento y evaluación para un programa evaluación para un programa

educativo apoyado por TICs en educativo apoyado por TICs en colegioscolegios

Patricio RodríguezPatricio RodríguezIngeniero Civil de Industrias PUCIngeniero Civil de Industrias PUC

Magister y Doctor en Ciencias de la Ingeniería PUCMagister y Doctor en Ciencias de la Ingeniería PUC

Definición del problemaDefinición del problema

Definición del problemaDefinición del problema

∙ La integración de TICs en educación ha dejado de lado el seguimiento y evaluación de los proyectos

∙ Este seguimiento todavía está pobremente entendido como proceso

∙ Se carece de información que permita aprender de la experiencia y retroalimentar las políticas públicas de TIC en educación

Seguimiento y Evaluación

Seguimiento y EvaluaciónObjetivosObjetivos

1. Medir la fidelidad de la implementación e intervención de acuerdo al diseño original del programa

2. Evaluar los resultados del programa

3. Entregar información para la toma de decisiones durante la intervención

∙ Indicadores: qué medir– Entrada: condiciones básicas

– Proceso: evolución de la integración de las TICs

– Intervención: cumplimiento del plan de la intervención

– Adopción: desarrollo competencias

– Resultados: impacto directo

∙ Instrumentos de evaluación: con qué medir

∙ Plan de seguimiento y evaluación: cada cuánto medir

Seguimiento y EvaluaciónModelamientoModelamiento

Intervención

Tiempo

Resultado esperado indicador

Niv

el d

el in

dic

ad

or

Implementación

Plan de seguimiento del indicador de adopción

Evaluación 1 Evaluación 2 Evaluación 3

Desviación Del plan

Se requierenAcciones remediales

(evolución esperadade acuerdo a experiencia)

Indicador de adopción

Evolución sin acciones remediales

Acciones remediales realizadas

(evolución actual)Indicador de adopción

Seguimiento y EvaluaciónModelamientoModelamiento

Caso Eduinnova

Alumno

3

Grupo 3

Alum

no

2

Alu

mn

o 1

4

6

654

5

Grupo 1

Grupo 3

Grupo 2

¡Correcta!

Caso EduinnovaPrograma educativoPrograma educativo

∙ Entrada:– Competencias TICs de los profesores

– Infraestructura TIC del colegio

– Supervisión y soporte técnico

– Liderazgo e involucramiento del director del colegio

– Tiempo empleado por profesores en reuniones

Caso EduinnovaEjemplosEjemplos indicadores (i)indicadores (i)

Caso EduinnovaEjemplosEjemplos indicadores (ii)indicadores (ii)

∙ Proceso - Intervención:– Capacitación de profesores en estructurar las clases

usando TICs

– Seminario de MCSCL para profesores

– Seminario de integración de la tecnología en la sala de clases

– Capacitación de profesores en el desarrollo de sus propios contenidos para las actividades MCSCL

– Observaciones y apoyo a la primera clase de cada profesor usando PDAs

Caso EduinnovaEjemplosEjemplos indicadores (ii)indicadores (ii)

∙ Proceso – Adopción:– Competencias tecnológicas de los profesores

– Integración curricular de las TICs

– Manejo de la tecnología dentro de la clase

– Habilidades pedagógicas en el aprendizaje colaborativo

∙ Pauta de observación para “habilidades pedagógicas en el aprendizaje colaborativo” basada en rúbricas (5):

1. Supervisión de los grupos

2. Entrega de retroalimentación de resultados

3. Finalización de la actividad MCSCL

4. Integración de la actividad colaborativa dentro de la clase

5. Apoyo a las discusiones de los grupos:

– Nivel básico: el profesor no entrega apoyo a los grupos o sólo a unos pocos

– Nivel medio: el profesor resuelve preguntas o temas directamente sin motivar a los alumnos a pensar o debatir por si mismos

– Nivel avanzado: el profesor entrega apoyo dando ejemplos o integrando los contenidos cubiertos en clases anteriores y motivando a los alumnos a debatir

Caso EduinnovaEjemplos de instrumentos de evaluaciónEjemplos de instrumentos de evaluación

Semanas

Etapa I Etapa II Etapa III Etapa IV

0

50

0 36

25

6 20 36

Intervención

75

100

Implementación

7-8 10-11 18 28 24

Uso autónomo de los profesores

% l

og

ro

90

30

3

95

70

Manejo de la tecnologíaDentro de la sala de clases

Habilidades pedagógicas en

el aprendizaje colaborativo

60

30

Caso EduinnovaPlan de seguimientoPlan de seguimiento

Caso EduinnovaEjemplo indicadores Ejemplo indicadores resultadosresultados

∙ Al final de los dos años de intervención:– “Manejo de la tecnología (…)” > 90%

– “Habilidades pedagógicas (…)” > 95%

∙ Tamaño del efecto: (mejora) > 0,25

= 0,41

= 0,32 = 0,56

Resultados en aprendizaje de Física (II medio) 2005-2006

Improvement

13,1740 13,59522 274

7,6675 13,28071 130

8,7505 14,45062 87

10,9323 13,87602 491

GroupEG

ICG

ECG

Total

Mean Std. Deviat ion N

Improvement

14,7279 12,84712 198

9,1256 14,70617 76

7,6675 13,28071 130

8,7505 14,45062 87

10,9323 13,87602 491

GroupEG-High

EG-Medium

ICG

ECG

Total

Mean Std. Deviat ion N

Nivel de adopción del profesorReportado por esquema S+E

Caso EduinnovaValidación S+EValidación S+E

= 0,45

Conclusiones & Trabajo Futuro

Conclusiones & Trabajo FuturoConclusiones (i)Conclusiones (i)

∙ Se requiere explicitar claramente las prácticas pedagógicas con TICs para desarrollar métricas

∙ En programa estudiado, existe una relación entre adopción y los resultados en el aprendizaje:

– El sistema de S+E mide lo que pretende

– Existen 4 dimensiones críticas de adopción:

– Competencias tecnológicas de los profesores

– Integración curricular de las TICs

– Manejo de la tecnología dentro de la clase

– Habilidades pedagógicas en el aprendizaje colaborativo

Conclusiones & Trabajo Futuro Conclusiones (ii)Conclusiones (ii)

∙ Un sistema S+E permite introducir modificaciones en general y en particular a la intervención para mejorar su efectividad

∙ Para ser eficaz, hay que incluir los procesos que produzcan sustentabilidad

∙ Esos procesos tienen un costo necesario para producir la efectividad y que no se puede obviar

Conclusiones & Trabajo Futuro Trabajo futuroTrabajo futuro

∙ Estudiar la correlación entre los indicadores de adopción e intervención para eliminar los redundantes, disminuyendo los costos de medición

∙ Calcular beneficio marginal de mejorar la adopción de los profesores y el logro de los estudiantes: nivel óptimo para su capacitación y entrenamiento

∙ Desarrollo de un sistema de información que apoye el esquema de S+E para retroalimentación en línea

Un esquema de seguimiento y Un esquema de seguimiento y evaluación para un programa evaluación para un programa

educativo apoyado por TICs en educativo apoyado por TICs en colegioscolegios

Patricio RodríguezPatricio RodríguezIngeniero Civil de Industrias PUCIngeniero Civil de Industrias PUC

Magister y Doctor en Ciencias de la Ingeniería PUCMagister y Doctor en Ciencias de la Ingeniería PUC