APORTES DE LAS EVALUACIONES DE LOGROS A LOS INDICADORES
DE LA CALIDAD DE LA EDUCACIÓN
Isabel Fernandes C.Subdirección Académica
Medellín, junio 26 de 2009
CONTENIDO
1. Resultados y algunos indicadores de la educación
2. Qué dicen los sistemas de evaluación de los aprendizajes
3. Principales usos de los resultados
4. Limitaciones
RESULTADOS ALGUNOS INDICADORES
Acceso y permanencia
• Tasas de cobertura bruta y neta• Población por fuera del sistema educativo• Tasas de deserción• Tasas de culminación de grados o niveles
Calidad • Calificaciones en las evaluaciones escolares• Resultados en pruebas externas
Pertinencia • Porcentaje de absorción en educación terciaria• Porcentaje de egresados por modalidad• Proporción de profesionales con doctorado por número de habitantes• Número de grupos de investigación de alto nivel por áreas• Número de patentes• Porcentaje de absorción en el mercado laboral
Resultados e indicadores de la educación
Qué dicen los sistemas de evaluación de aprendizajes
• Realizan valoraciones a partir de criterios comunes �comparabilidad
• Dan transparencia a los resultados de la educación �fortalezas y debilidades de los estudiantes – planes de mejoramiento
• Dan información sobre el acceso al conocimiento y las capacidades de los estudiantes, más allá de la cantidad de años de estudio, así como sobre los factores que inciden en sus resultados � toma de decisiones
• Permiten conocer los avances en el tiempo• Permiten evaluar el impacto de programas y políticas
Características de las evaluaciones
Qué evalúan Conocimientos, competencias, dominios cognitivos de los estudiantes: qué saben y qué saben hacer
Áreas evaluadas
Básicas, esenciales para los aprendizajes a lo largo de la vida: lenguaje, matemáticas y cienciasTambién se evalúan áreas curriculares, ciudadanas, cívica
Población Estudiantes de educación básica y media � particularmente grados o edades que corresponden a la finalización de ciclosEducación superior � estudiantes de últimos semestres
Cobertura Censal o muestral, según los objetivos del estudio
Tipos de resultados
Puntajes promedio, niveles de logro, categorías de rendimiento• Pruebas con referencia a criterio
• Pruebas con referencia a la norma
Información de contexto
Cuestionarios para estudiantes, padres de familia, docentes, directivos escolares y gestores
1968 – Creación ICFES (SNP)
2011
PISASERCE
2009
2008
2007
2012
2006
2005
2002
2001
1999
1991
1995
1997
PISA SABER
SABER
SABER
SABER
SABER
SABER
PISA *
ICCS
TIMSS
PIRLS
PIRLSTERCE
CIVED
PERCE
TIMSS
Colombia en estudios internacionales
Usos de los resultados
Diagnóstico • Niveles de logro alcanzados vs. niveles esperados
Comparación con otros
• Con respecto al promedio nacional (o internacional)• Otros establecimientos educativos• Otras entidades territoriales• Otros países
Evolución • Avances / retrocesos en un determinado período
Estudios • Calificación según nivel socioeconómico• Factores asociados a los resultados• Comparaciones entre resultados de dos o más evaluaciones• Predicciones sobre desempeños futuros
DIAGNÓSTICO
Fuente: Secretaría de Educación de Medellín
0102030405060708090
100
Porc
enta
je
Esperado 5,0 95,0 75,0 55,0
Mi institución 14,3 85,7 39,0 10,4
Municipio 14,6 85,4 44,8 13,4
Nivel A Nivel B Nivel C Nivel D
Resultados de un establecimiento educativo oficial de Medellín. SABER, matemáticas, quinto grado
Muchos estudiantes no logran resolver problemas matemáticos sencillos. Además, tienen dificultades para resolver problemas que presentan la información en desorden. Muy pocos resuelven problemas más complejos que requieren descubrir cuál es la estrategia para su solución.
COMPARACIONES CON OTROS
SABER – Lenguaje – quinto grado
Fuente: MEN
A
Medellín Colombia
Nivel B
Nivel C
Nivel D
4%
11%
32%
54%
8%
7%
32%
53%
Estos estudiantes ni siquiera logran comprender
el sentido literal de los textos.
Estos estudiantes pueden reconocer las intenciones de los textos y hacer inferencias
sobre los mismos.
SABER – Lenguaje – noveno grado
Fuente: MEN
A
Medellín Colombia
Nivel C
Nivel D
Nivel E
6%6%
32%
Nivel F
20%
33%
6%
20%
37%
4%
Estos estudiantes ni siquiera logran comprender
el sentido literal de los textos.
Estos estudiantes son capaces de realizar una lectura crítica, es
decir, asumir una posición argumentada sobre el contenido de
los textos.
35%
SABER – Matemáticas – quinto grado
Fuente: MEN
A
Medellín Colombia
Nivel B
Nivel C
Nivel D
15%
31%
10%
31%
23%
41%
13%
34%
Estos estudiantes ni siquiera logran resolver problemas sencillos que tienen toda la información explícita en el
enunciado.
Estos estudiantes pueden resolver problemas
matemáticos complejos, que requieren combinar
operaciones.
SABER – Matemáticas – noveno grado
Fuente: MEN
A
Medellín Colombia
Nivel C
Nivel D
Nivel E7%
Nivel F
24%
2%
24%
1%
Estos estudiantes pueden resolver problemas complejos
que requieren definir estrategias y metas para
solucionarlos.
23%
40%
10%
27%
41%
Estos estudiantes solamente pueden resolver problemas
sencillos, que abarcan solamente uno de los tópicos
de las matemáticas.
Calidad – SABER – Ciencias – quinto grado
Fuente: MEN
A
Medellín Colombia
Nivel B
Nivel C
Nivel D
10%
31%
23%
25% 34%
11%
40%
24%
Estos estudiantes no pueden hacer descripciones ni relacionar fenómenos de
su entorno inmediato.
Estos estudiantes realizan clasificaciones y establecen relaciones entre fenómenos del mundo que nos rodea.
SABER – Ciencias – noveno grado
Fuente: MEN
A
Medellín Colombia
Nivel C
Nivel D
Nivel E
Nivel F
10%
25%
9%
25%
37%
25%
4%
v
38%
v23%
5%Estos estudiantes realizan
descripciones y clasificaciones sencillas de los fenómenos naturales.
Estos estudiantes pueden relacionar fenómenos físicos,
químicos y biológicos.
Niveles 5 y 6
Nivel 4
Nivel 3
Nivel 2
Nivel 1
Nivel 0
Colombia OCDE8%
25%
24%
16%
19%
7%
2%
11%
27%
34%
26%
0%
Estos alumnos a menudo confunden características claves
de una investigación científica, aplican información
incorrecta y mezclan creencias personales con hechos para
apoyar una postura…
PISA 2006 - Niveles de desempeño en cienciasEstos alumnos pueden, de forma
consistente, identificar, explicar y aplicar su conocimiento científico, enlazar
fuentes de información y explicaciones diferentes y emplear la evidencia que emerge de esas fuentes para justificar sus decisiones, asί como demostrar un razonamiento científico avanzado en
situaciones desconocidas…
Fuente: OECD
22252523282318
1821
2729
2225282121148
3
9
1525
28 30 36
14141354
95
111927
113 1
4
814
ArgColBraUruChiOECDCan
Nivel 1 Nivel < 1 Nivel 2 Nivel 3 Nivel 4 Nivel 5
45%
55%
Colombia
El puntaje promedio en lectura es menor que el de ciencias (385) pero los niveles de desempeño muestran un mayor porcentaje de estudiantes en los niveles medios y superiores.
36%
64%
58%
42%
PISA 2006 - Lectura. Niveles de desempeño (América y OECD)
Fuente: OECD
75% 50% 25% 0% 25% 50% 75% 100%
Cuba
Costa Rica
Uruguay
Nuevo León
México
Chile
Argentina
Colombia
Brasil
El Salvador
Perú
Paraguay
Nicaragua
Guatemala
Ecuador
Panamá
R. Dominicana
Promedio países
Total ALyC
I Debajo de I II III IV
SERCE 2006 - Niveles de desempeño (Matemáticas 6o)
SextoNivel I (309,64)
13%
Reconocen hechos, conceptos, relaciones y propiedades
en los distintos dominios, con excepción del variacional.
Resuelven problemas simples de estructura aditiva en el
dominio numérico.
Nivel II (413,58)
48%
Reconocen hechos, conceptos, propiedades y relaciones
en los distintos dominios conceptuales.
Resuelven problemas que requieren estrategias simples,
con información relevante explícita y que involucran una
o dos de las cuatro operaciones básicas.
Nivel III (514,31)
33%
Resuelven problemas que involucran el uso de
conceptos, relaciones y propiedades de mayor nivel
cognitivo. Pueden interpretar información de distintas
representaciones.
Nivel IV (624,60)
5,5%Resuelven problemas complejos, con información no
explícita y que requieren el uso de relaciones y
conexiones entre diferentes conceptos.
EVOLUCIÓN
Fuente: ICFES
Examen de Estado. Promedios en lenguaje, 2000 - 2008. Medellín y Colombia
35
40
45
50
55
60
65
70
2000 2001 2002 2003 2004 2005 2006 2007 2008
Año
Pro
med
io
MEDELLÍN COLOMBIA Lineal (MEDELLÍN) Lineal (COLOMBIA)
Fuente: ICFES
Examen de Estado. Promedios en matemáticas, 2000 - 2008. Medellín y Colombia
35
40
45
50
55
60
65
70
2000 2001 2002 2003 2004 2005 2006 2007 2008
Año
Pro
med
io
MEDELLÍN COLOMBIA Lineal (MEDELLÍN) Lineal (COLOMBIA)
TIMSS. Porcentaje de estudiantes colombianos de 8º grado según niveles de desempeño, 1995 y 2007
61
70
41
51
28
21
37
32
9
7
18
14
2
2
3
3
0
0
1
0
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
2007
1995
2007
1995
Mat
emát
ica
Cie
nci
as
Po
rcen
taje
No alcanza el mínimo Bajo (400) Medio (475) Alto (550) Avanzado (625)
Fuente: IEA
ESTUDIOS
1% 3%
12%
21%
87%
77%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
Niveles Altos Nivel Medio Niveles Bajos
Porcentaje de planteles del nivel socioeconómico más bajo según desempeño (QUINTIL 1 clasificación ICFES)
2002 2007
Fuente: ICFES
27
Los países sobre la línea tuvieron puntajes más altos que su nivel de ingreso hubiese predicho
Los países por debajo de la línea tuvieron puntajes más bajos que su
nivel de ingreso hubiese predicho
SERCE 2006. Relación entre producto interno bruto per cápita y puntaje promedio en matemática, 6º
Fuente: PREAL / UNESCO
Factores asociados - estudiante
VARIABLE BIBLIOGRAFÍA INTERNACIONAL
BIBLIOGRAFÍA COLOMBIANA
Ingresos / situación socioeconómica + +
Educación de los padres + +
Desarrollo del niño en la primera infancia + +
Recursos educativos del hogar +
Género (mujer) + para lectura- para matemáticas
Continuidad en la escuela a la que asiste +
Ausentismo -
Distancia de viaje a la escuela -
Trabajo infantil -
Fuente: Banco Mundial
Factores asociados - escuela
VARIABLE BIBLIOGRAFÍA INTERNACIONAL
BIBLIOGRAFÍA COLOMBIANA
Calidad de los profesores + +
Métodos de enseñanza + +
Duración de la jornada escolar + +
Número de horas de clase +
Infraestructura +
Materiales escolares y libros de texto + para el nivel básico de los países en desarrollo
+
Clima escolar + +
Grupo de compañeros (educación de las madres de compañeros)
+
Fuente: Banco Mundial
Factores asociados - sistemaVARIABLE BIBLIOGRAFÍA
INTERNACIONALBIBLIOGRAFÍA COLOMBIANA
Centralización + para el programa de estudios,
evaluaciones y presupuesto
Descentralización + para pedagogía, decisiones sobre
personal y recursos
Elección de la escuela /competencia
+ +
Prestación privada +
Responsabilización / incentivos + +
Participación paterna / comunitaria +
Fuente: Banco Mundial
En lenguaje, los estudiantes colombianos pueden:
• Leer comprensivamente textos cortos (leyendas, relatos históricos, afiches, recetas, mapas)
• Localizar información clara dentro de un texto• Identificar palabras y expresiones que tienen el mismo
significado• Realizar inferencias sencillas a partir de los contenidos
de los textos• Identificar los elementos del texto: quién lo narra, la
secuencia de los hechos, por qué ocurre algo
Análisis comparados
…pero deben mejorar significativamente en:
• Leer comprensivamente textos complejos (ensayos, crónicas periodísticas, poemas)
• Localizar información implícita en los textos y realizar inferencias
• Establecer relaciones entre la información contenida en dos o más textos (comparar, identificar puntos de vista distintos)
• Integrar información de varios textos con su conocimiento propio, y aplicarla a diferentes situaciones de su vida
• Evaluar críticamente los contenidos de los textos, construir hipótesis y establecer puntos de vista propios y argumentados sobre diferentes temas
Análisis comparados
En matemáticas, las fortalezas son:
• Resolver problemas sencillos, donde toda la información está explícita en el enunciado y las preguntas están claramente definidas
• Resolver problemas simples con números naturales, fraccionarios y decimales
• Identificar e interpretar información contenida en tablas y gráficos
• Reconocer figuras geométricas de uso frecuente y sus propiedades
• Hacer interpretaciones literales de los resultados de los problemas matemáticos
Y es necesario mejorar la capacidad para:
• Resolver problemas complejos que requieren combinar datos y desarrollar estrategias de manejo de la información
• Hacer generalizaciones a partir de una determinada secuencia de datos
• Resolver problemas que requieran el manejo de conceptos geométricos (propiedades de figuras geométricas, ángulos, paralelismo, perpendicularidad)
• Hacer interpretaciones argumentadas sobre los hallazgos y comunicar los resultados
En ciencias naturales, se han identificado capacidades para:
• Referirse a un hecho científico tangible, aplicable en un contexto simple y claro y usarlo para explicar o predecir un resultado
• Comparar, ordenar e interpretar información presentada en textos, cuadros, tablas y gráficos
• Reconocer relaciones de causalidad• Clasificar los seres vivos de acuerdo con un
criterio• Analizar resultados de experimentos sencillos y
sacar conclusiones a partir de ellos
Pero son notorias las debilidades para:
• Plantear interrogantes científicos relevantes• Relacionar más de un concepto científico para
explicar o predecir un resultado• Identificar y explicar diferencias y semejanzas entre
conjuntos de datos y sacar conclusiones basadas en la evidencia
• Utilizar conocimientos científicos que requieren un alto grado de abstracción y transferirlos a otros tipos de situaciones
• Identificar las variables que se deben medir y alterar en una investigación
Algunas limitaciones
• Las pruebas estandarizadas no evalúan la totalidad de procesos y aprendizajes escolares
• Adicionalmente, los formatos “de papel y lápiz” y preguntas de selección múltiple excluyen dimensiones importantes (escritura, por ejemplo)
• Los resultados no son medidas absolutas de las capacidades de los estudiantes
• La calidad de la educación no se reduce a los resultados en las pruebas
• Riesgo de restringir los procesos de enseñanza a la “preparación para las pruebas”
No obstante:
• Los resultados de estas evaluaciones son buenos predictores de desempeños futuros, por lo que es importante cuidar estos indicadores y mejorarlos permanentemente
• Esta es una comprensión creciente en iniciativas como:– Ciudades cómo vamos– Educación compromiso de todos– Laboratorio de la Calidad de la Educación de Medellín– Informes de Progreso Educativo (PREAL)
• También son valoradas positivamente por los diferentes segmentos de usuarios de resultados
Mejores ingresos...
Mejora de perspectivas del alumnado de 19 años, en educación postsecundaria, en relación a la
competencia lectora a la edad de 15 años (Canadá)
0
2
4
6
8
10
12
14
16
18
20
Level 2 Level 3 Level 4 Level 5
14,0%
54,0%
18,0%14,0%12,3%
56,7%
25,7%
5,3%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Total acuerdo Acuerdo Desacuerdo Total desacuerdo
El examen de Estado es importante para evaluar la calidad del sistema educativo
SED - Coord. Calid. Colegios - Coord. Acad.
Encuesta de usos y percepciones sobre examen de Estado
10,0%
64,0%
24,0%
2,0%
18,0%
66,9%
13,4%
1,7%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Total acuerdo Acuerdo Desacuerdo Total desacuerdo
Los contenidos del examen de Estado son pertinentes
SED - Coord. Calid. Colegios - Coord. Acad.
Encuesta de usos y percepciones sobre examen de Estado
14,3%
67,3%
16,3%
2,0%
24,3%
65,1%
9,5%
1,2%
15,9%
60,6%
21,8%
1,8%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Total acuerdo Acuerdo Desacuerdo Total desacuerdo
El examen de Estado evalúa competencias
SED - Coord. Calid. Colegios - Coord. Acad. Estud. 1er sem.
Encuesta de usos y percepciones sobre examen de Estado
16,3%
57,1%
20,4%
6,1%
15,7%
59,9%
20,9%
3,5%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Total acuerdo Acuerdo Desacuerdo Total desacuerdo
Los resultados del examen de Estado sirven para que los colegios diseñen currículos y planes de estudio
SED - Coord. Calid. Colegios - Coord. Acad.
Encuesta de usos y percepciones sobre examen de Estado
26,5%
59,2%
10,2%
4,1%
16,3%
64,0%
17,4%
2,3%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Total acuerdo Acuerdo Desacuerdo Total desacuerdo
Los resultados del examen de Estado sirven para que los colegios definan su estrategia de evaluación
SED - Coord. Calid. Colegios - Coord. Acad.
Encuesta de usos y percepciones sobre examen de Estado
40,0%
52,0%
4,0% 4,0%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Total acuerdo Acuerdo Desacuerdo Total desacuerdo
Los resultados del examen de Estado sirven para que las secretarías de educación diseñen programas de mejoramiento
Encuesta de usos y percepciones sobre examen de Estado
88,6% 86,4% 84,7% 83,1% 82,3%79,4% 78,4% 78,2%
64,5%
55,2% 54,1%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Porcentaje de estudiantes que consideran que lo que se preguntó en el examen de Estado fue enseñado en el
colegio
Segmento: estudiantes que presentaron el examen de Estado el 21 de septiembre de 2008
Encuesta de usos y percepciones sobre examen de Estado
“Los resultados que constituyen exigencias para el mercado de trabajo y los resultados que lo son para el desempeño ciudadano tienden a converger y coinciden en muchos aspectos”.
CEPAL – UNESCO (1992). Educación y conocimiento: eje de la
transformación productiva con equidad. Santiago de Chile, Naciones Unidas.