Las pruebas de diagnóstico y las nuevas políticas Las pruebas de diagnóstico y las nuevas políticas educativaseducativas
Análisis de resultados en los centros de SecundariaAnálisis de resultados en los centros de Secundaria
Sevilla, 7 de junio de 2010
F. Javier Merchán Iglesias
Las pruebas de diagnóstico y las nuevas políticas educativas
Análisis de resultados en los centros de Secundaria
Las pruebas de diagnóstico en su contexto
Siempre ha habido evaluaciones y pruebas
Generalización y nuevo significado: las pruebas de diagnóstico como instrumento de la política educativa
El “Estado evaluador”: la evaluación para el mantenimiento del sistema, la evaluación como estrategia de cambio
Las pruebas de diagnóstico y las nuevas políticas educativas
Análisis de resultados en los centros de Secundaria
TESIS 1ªLas dos caras de las pruebas de diagnóstico: evaluación y
controlEvaluar para conocer y mejorar
(AGAEVE) El sistema educativo ¿siempre en crisis? La evaluación como estrategia de cambio: diagnóstico, conocimiento,
actuaciones para mejorar. La evaluación (o pruebas) como medición de resultados: ¿realmente aporta
conocimiento para la mejora de la educación?
Las pruebas de diagnóstico y las nuevas políticas educativas
Análisis de resultados en los centros de Secundaria
TESIS 2ª
Las dos caras de las pruebas de diagnóstico: evaluación y control parte del dispositivo de las nuevas políticas
educativas
“Como la evaluación es tan importante, se dice, les vamos a evaluar a ustedes”
(M. A. Santos Guerra) Redefinen el sentido de la educación Aplican nuevos mecanismos de control sobre el sistema. Establecen una nueva relación entre el estado y los centros escolares.
La política educativa: de la reforma pedagógica a la gestión empresarial de le escuela
Su puesta en marcha
En el contexto de la “modernización conservadora”: Tatcher, Balir, Bush, Clinton, Bush y Obama.
El papel de los organismos internacionales: OCDE, PISA, Tratado y Estrategia de Lisboa.
En España: Planes de Autoevaluación y gestión de calidad, LOCE, LOE, LEA, Programa de calidad y Estrategia para la mejora de la competitividad en Andalucía.
La política educativa: de la reforma pedagógica a la gestión empresarial de le escuela
Bases y principios teóricos
La educación como inversión en capital humano.
La perspectiva de las escuelas eficaces: el “efecto escuela”.
La gestión empresarial como modelo de eficacia.
La gestión eficaz del servicio público
La política educativa: de la reforma pedagógica a la gestión empresarial de le escuela
Un dispositivo para el cambio y el control de la educación Elementos del dispositivo
La mejora de la educación se define como logro de resultados cuantificables.
El logro se traduce en empleabilidad: lo importante no son los conocimientos sino las competencias.
Los centros escolares deben adaptarse a las formas de gestión empresarial
Rendición de cuentas e incentivos.
La política educativa: de la reforma pedagógica a la gestión empresarial de le escuela
Un dispositivo para el cambio y el control de la educaciónElementos del dispositivo (II)
La dinámica de la evaluación y la autoevaluación como estrategias de mejora.
Discurso de la autonomía de los centros y mayor control del estado: el dispositivo como mando a distancia (definición y fijación de objetivos, evaluación de resultados, atribución de responsabilidad a los centros y profesores)
El papel de los órganos intermedios: el director-gerente y las agencias.
La política educativa: de la reforma pedagógica a la gestión empresarial de le escuela
El papel de las pruebas de diagnóstico en el dispositivo
Un referente “científico” y objetivo del éxito y del fracaso: aportan legitimidad
Inciden sobre el contenido y el método de la enseñanza.
Activan los procesos de autoevaluación, emplazando a los centros a formular propuestas de mejora.
Las pruebas de diagnóstico en Andalucía: legislación, contenido, aplicación y uso
El marco legislativo
LOCE, 2002 (art. 97); LOE, 2006 (art. 144); Orden de 28 de Junio de 2006; LEA, diciembre 2006; Orden de 27 de Octubre de 2009.
Contenido Sobre competencias básicas:
Competencia en comunicación lingüística. Competencia de razonamiento matemático. Competencia en el conocimiento y la interacción con el
mundo físico y natural (2008).
Las pruebas de diagnóstico en Andalucía: legislación, contenido, aplicación y uso
Aplicación
Evaluación interna (corregida por los docentes) y externa (con pruebas confeccionadas por la Administración
Uso (explícito e implícito)
Análisis, reflexión y propuestas de mejora del rendimiento del alumnado.
Valoración del efecto de las medidas adoptadas.
Control de los contenidos y métodos de enseñanza
La mejora es un problema de los centros y los docentes
Apoyo de la política educativa
Las pruebas de diagnóstico en Andalucía: análisis de resultados
DATOS QUE SE UTILIZAN:
-Valor promedio de cada centro en las tres pruebas (2006, 2007 y 2008).
-Índice Socieconómico y Cultural (ISC).
-Valor promedio de cada centro en Comunicación lingüística, 2008.
-Valor promedio de cada centro en Com. Lingüística, detrayendo el ISC.
-Valor esperable en la competencia Comunicación lingüística en 2008.
-Diferencia entre valor esperable y valor obtenido.
Las pruebas de diagnóstico en Andalucía: análisis de resultados
CATEGORÍAS DEL ANÁLISIS:
Centros que obtienen, como media, una puntuación inferior o superior a la media (500).
Valores positivos o negativos en la relación entre el valor esperable y el valor obtenido en competencia lingüística.
Progresión en los resultados de las tres pruebas analizadas.
Las pruebas de diagnóstico en Andalucía: análisis de resultados
VARIABLES ANALIZADAS:
Contexto socieconómico y cultural.
Número de Programas educativos
Plan de Lectura y Biblioteca.
Tipo de enseñanza que imparten los centros (con o sin Bachillerato).
Planes de Autoevaluación y Mejora (PAM)
Las pruebas de diagnóstico en Andalucía: análisis de resultados
COMENTARIO ACLARATORIO SOBRE INFORMES OFICIALES
¿QUÉ VARIABLES SE ANALIZAN? ¿FACTORES DE EFICACIA?
Actitudes y comportamientos del alumnado: género, idoneidad, autoconcepto como estudiante, expectativas académicas, afición por el colegio y tiempo dedicado al estudio
Hábitos del alumnado en lectura y uso de tecnologías
Contexto familiar: perfil familiar –nivel educativo de los padres, estatus ocupacional-, importancia de
la lectura en las familias
Contexto escolar nivel económico de las familias, servicio de biblioteca y clima de convivencia en el
centro
Evolución del porcentaje de centros con puntuación superior a 500
56% 55%51%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
2006 2007 2008
Porcentaje de centros públicos según ISC
35%28%
21%16%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1
ISC Bajo
ISC Medio.Bajo
ISC Medio-Alto
ISC Alto
Centros con puntuación superior a 500, según ISC
10%14%
20%
56%
12% 11%
19%
58%
8% 8%
22%
62%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
ISC Bajo ISC Medio Bajo ISC Medio-Alto ISC Alto
2006
2007
2008
Centros públicos con puntuación superior a 500, según ISC
20%26%
21%
32%
25%21% 21%
33%
16% 15%
29%
40%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
ISC Bajo ISC Medio Bajo ISC Medio-Alto ISC Alto
2006
2007
2008
Centros públicos con puntuación superior a 500 en relación a su grupo ISC
23%
37%42%
85%
26% 27%
35%
78%
13% 14%
41%
78%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
ISC Bajo ISC Medio.Bajo ISC Medio-Alto ISC Alto
2006
2007
2008
Resultados en Comunicación lingüística sin detraer ISC
47%
53%
Porcentajes de centros con PTsuperior a 500
Porcentajes de centros con PTinferior a 500
Resultados en Comunicación lingüistica detrayendo ISC
39%
61%
Igual o mayor 500
Menor de 500
16%
45%
20%
33%
43%35%
89%
40%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Bajo Medio-Bajo Medio-Alto Alto
Porcentaje de centros con puntuación superior a 500 en C. lingüistica, con y sin ISC
Porcentajes de centros con PTsuperior a 500
Porcentajes de centros con PTsuperior a 500, detraido ISC
16%
44%
16%
29% 30%
19%
64%
18%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Bajo Medio-Bajo Medio-Alto Alto
Porcentaje de centros públicos Comunicación superior a 500 con y sin ISC
Porcentajes de centros con PTsuperior a 500
Porcentajes de centros con PTsuperior a 500, detraido ISC
Diferencia en la PT Comunicación, con y sin ISC
-160
-110
-60
-10
40
90
140
-2 -1,5 -1 -0,5 0 0,5 1 1,5 2
Diferencia resultados con y sin ISC. Comunicación 2008. Centros públicos
-1,75
-1,25
-0,75
-0,25
0,25
0,75
1,25
1,75
-140 -90 -40 10 60 110
ISC
Diferencia entre valor esperable y resultados 2008 en relación ISC. Centros públicos
-1,5
-1
-0,5
0
0,5
1
1,5
-120 -105 -90 -75 -60 -45 -30 -15 0 15 30 45 60 75 90 105 120
Centros públicos con diferencia positiva entre Valor esperable y valor obtenido
79%
63%
32%
7%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Bajo
Medio-Bajo
Medio-Alto
Alto
Centros con puntuación superior a 500 en las tres pruebas, según grupo ISC
76,59%
15,95%
4,25% 3,19%
Alto
Medio-Alto
Medio-Bajo
Bajo
Centros públicos con puntuación superior a 500 en las tres pruebas, según grupo ISC
62,50%20,83%
12,50%4,16%
Alto
Medio-Alto
Medio-Bajo
Bajo
Resultados e ISC 2006
300
350
400
450
500
550
600
650
-2 -1,5 -1 -0,5 0 0,5 1 1,5 2
Puntuación
ISC
Resultados e ISC, 2007
300
350
400
450
500
550
600
650
-2 -1,5 -1 -0,5 0 0,5 1 1,5 2
ISCn
Punt
uaci
ón
Resultados e ISC 2008
300
350
400
450
500
550
600
650
-2 -1,5 -1 -0,5 0 0,5 1 1,5 2
Puntuación
ISC
16,50%
83,50%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Centros públicos
Progresan
No progresan
Centros públicos que progresan según ISC. Porcentaje sobre el total
35%
24%
14%
27%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Bajo
Medio-Bajo
Medio-alto
Alto
Centros públicos que progresan según ISC. Porcentaje sobre el total de su grupo
16% 14% 11%
29%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Bajo
Medio-Bajo
Medio-alto
Alto
Resultados 2008 y Programas
0
1
2
3
4
5
6
7
8
9
10
300 350 400 450 500 550 600 650
Puntuación
Núm
ero
de P
rogr
amas
43%37% 37% 34%
28%32%
0%
20%
40%
60%
80%
Más de 5002006
Más de5002007
Más de 5002008
Centros con y sin PLB. Porcentaje con puntuación total superior a la media
Centros con PLB
Centros sin PLB
26,50% 28,57%
0,00%
10,00%
20,00%
30,00%
40,00%
50,00%
60,00%
Centros con y sin PLB. Porcentaje que supera la media en competencia lingüistica (2008)
Centros con PLB
Centros sin PLB
Centros con PLB
Centros sin PLB
22%
11,50%
0%
10%
20%
30%
40%
Porcentaje de centros con y sin PLB que progresa en las tres pruebas realizadas (2006, 7 y 8)
Centros con PLB
Centros sin PLB
ISC según tipo de enseñanza
49%
25%
13% 11%
26% 29% 26%19%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
ISC Bajo ISC Medio-Bajo ISC Medio-Alto ISC Alto
Centro sin Bachillerato
Centros con Bachillerato
Porcentaje de centros con puntuación superior a la media
37% 39%
24%
42% 40%34%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3
Pruebas 2006, 2007 y 2008
Centro sin Bachillerato
Centros con Bachillerato
Porcentaje de centros que progresan en los tres años
17%15%
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
50%
1
Centro sin Bachillerato
Centros con Bachillerato
Porcentaje de centros con diferencia positiva entre valor esperable y valor obtenido
55% 52%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Centro sin Bachillerato
Centros con Bachillerato
Centros con PAM porcentaje que alcanza más de 500 en las tres pruebas
0% 0% 0%
100%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Bajo
Medio-bajo
Medio-alto
Alto
Centros sin PAM. Porcentaje que alcanza más de 500 en las tres pruebas
15%
5%0%
80%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Bajo
Medio-bajo
Medio-alto
Alto
Centros con PAM que progresan en las tres pruebas, según ISC
28,57%
14,28%
0%
57%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
ISC B ISC MB ISC MA ISC A
Centros sin PAM que progresan en las tres pruebas, según ISC
42%
21%
10,52%
26,30%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
ISC B ISC MB ISC MA ISC A
Las pruebas de diagnóstico en Andalucía: análisis de resultados
Conclusiones sobre los resultadosConclusiones sobre los resultados
Los resultados coinciden con las evaluaciones.
La variable fundamental es el ISC, los demás factores no influyen significativamente.
En algunas competencias el género es un factor relevante.
No se produce mejoría significativa. No hay datos empíricos que avalen la bondad del dispositivo-
Las pruebas de diagnóstico y las nuevas políticas educativas
ALGUNAS CONCLUSIONES SOBRE EL DISPOSITIVO: RAZONES ALGUNAS CONCLUSIONES SOBRE EL DISPOSITIVO: RAZONES DE SU APLIACIÓNDE SU APLIACIÓN
No hay evidencias de que el dispositivo de cambio produzca mejores resultados, ni más equidad.
De los resultados no se desprenden políticas ni propuestas de mejora Su vigencia y aplicación obedece a razones de rentabilidad política:
Legitiman las decisiones previas y las revisten de cientificidad, calidad, etc. Traslada la responsabilidad a los centros y profesores. Control sobre el contenido de la enseñanza en el aula-
Las pruebas de diagnóstico y las nuevas políticas educativas
ALGUNAS CONCLUSIONES: LOS DAÑOS COLATERALES (I)ALGUNAS CONCLUSIONES: LOS DAÑOS COLATERALES (I)
-Aumenta las diferencias entre centros y alumnos con buenos y malos resultados.
-Los profesores tienden abandonar a los alumnos con más dificultades.
-Desmoraliza a los docentes que trabajan con alumnos con más dificultades.
-Desprofesionaliza a los docentes: agentes externos de un mecanismo en el que poco tienen que decir.
-Devalúa el significado de la educación.
Las pruebas de diagnóstico y las nuevas políticas educativas
ALGUNAS CONCLUSIONES: LOS DAÑOS COLATERALES (II)ALGUNAS CONCLUSIONES: LOS DAÑOS COLATERALES (II)
-Minusvalora los conocimientos no evaluados.
-Orienta la investigación educativa.
-Promueve comportamientos tramposos: Falsear los resultados Sesgar los estudios Bajar los niveles