el sentido de las evaluaciones internacionales. inee
TRANSCRIPT
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD#pisa @educainee INEE_MECD
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
El sentido de las evaluaciones internacionales en el Sistema Educativo
@educainee INEE_MECD
Madrid 28, 29 y 30 de noviembre de 2014
II JORNADAS NACIONALES DE ORIENTACIÓN
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
¿QUÉ ES EL INEE?
● El Instituto Nacional de Evaluación Educativa es el organismo responsable dela evaluación del sistema educativo en el MECD.
● Sus funciones son:
Coordinación de las políticas de evaluación general del Sistema Educativo.
Coordinación de la participación del Estado español en las evaluaciones internacionales.
Elaboración del Sistema Estatal de Indicadores de la Educación.
Participación en la elaboración de los indicadores internacionales de la educación.
Revista de Educación: publicación científica del MECD para la difusión de los avances en la investigación y en la innovación educativa.
Boletín EducaINEE: resumen de los temas educativos relevantes.
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD#pisa @educainee INEE_MECD
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
Estudiosinternacionales
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Evaluaciones muestrales, cíclicas, a gran
escala
Cuadernillo de prueba + cuestionarios de
contexto
Rigor metodológico:
• Marco teórico: Qué evaluar, elaboración de
ítems, distribución de ítems y cuadernillos…
• Selección de la muestra
• Traducción de materiales, aplicación,
corrección, limpieza de datos…
• Análisis TRI de las respuestas Dificultad de
los ítems y puntuación lograda por los
alumnos
Informes internacionales comparativos
RASGOS COMUNES DE LOS ESTUDIOS DE EVALUACIÓN
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
LO DESEABLE DE UN SISTEMA EDUCATIVO
EVALUACIONES EDUCATIVAS
Currículo
Competencias
y habilidades
para la vida
Evaluación
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN
Currículo
Competencias y
habilidades
para la vida
Evaluación
EVALUACIONES EDUCATIVAS
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
El MARCO DE LA EVALUACIÓN
+
Currículo-Conocimientosqué se espera que los estudiantes
hayan aprendido
TIMSS, PIRLS, TIMSS Advanced
Competenciascon qué éxito los estudiantes pueden
extrapolar lo que han aprendido y aplicar sus conocimientos y
habilidades en nuevos contextos
PISA, EECL, ECES
Contexto
Todos los estudios y TALIS
¿Qué evaluar?
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Estímulo
Ítem
Pilotaje
Aplicación principal
Explotación de datos
Tipo respuesta:• Elección múltiple• Cerrada• Abierta construida• Abierta
MATRIZ ESPECIFICACIONES
PROCESO DE CONSTRUCCIÓN DE PRUEBAS
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
ANÁLISIS DE LA COMPETENCIA
Niveles cognitivos(Niveles de complejidad en la resolución de la tarea)
Ponderación
ProcesosDimensiones/Dominios Proceso I Proceso II Proceso III
Dominio 1 Descriptores Descriptores Descriptores %
Dominio 2 Descriptores Descriptores Descriptores %
Dominio 3 Descriptores Descriptores Descriptores %
Ponderación % % %
Competencia
Dimensiones/Dominios
Áreas temáticasTemas de contenido
Contextos
Nivel de dificultadDescriptores:
Formulaciones sintéticas de las
competencias/capacidades que medirán los ítems
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
TIMSS. CONTENIDOSN
úm
ero
s
Números naturales
•Demostrar el conocimiento del valor de la posición, incluyendo el reconocimiento y la escritura de números en forma expandida; y la representación de números naturales utilizando texto, diagramas o símbolos.
•Comparar, ordenar y redondear números naturales.
•Calcular (+,-,x,÷) con números naturales.
•Resolver problemas contextualizados, incluyendo los que implican medidas, uso de monedas y proporciones simples.
Fracciones y decimales
•Reconocer las fracciones como parte de un natural, de un conjunto, o en posiciones de líneas numéricas, y representarlas usando números, modelos o palabras.
•Identificar fracciones simples equivalentes, compararlas y ordenarlas, sumarlas y restarlas, incluidas las dadas en problemas.
•Demostrar el conocimiento del valor de la posición de un decimal incluyendo la representación de decimales usando números, palabras o modelos; compararlos, ordenarlos y redondearlos; sumarlos y restarlos.
Expresiones, ecuaciones simples y relaciones
•Encontrar el número o símbolo que falta en un enunciado numérico.
•Identificar y escribir expresiones o enunciados numéricos que representan problemas con incógnitas.
•Identificar y utilizar relaciones en patrones bien definidos.
Form
as y
med
icio
nes
ge
om
étri
cas
Puntos, líneas y ángulos
•Medir y estimar longitudes.
•Identificar y dibujar líneas paralelas y perpendiculares.
•Identificar, comparar y dibujar distintos tipos de ángulos.
•Utilizar sistemas de coordenadas no formales para localizar puntos en un plano.
Formas bi y tridimensionales
•Usar propiedades elementales para describir y comparar formas geométricas bi y tridimensionales comunes, incluyendo simetría lineal y rotacional.
•Relacionar formas tridimensionales con sus representaciones bidimensionales.
•Calcular perímetros de polígonos; áreas de cuadrados y rectángulos; y estimar áreas y volúmenes de figuras geométricas cubriendo con una forma dada o rellenando con cubos.
Rep
rese
nta
ció
n d
e d
ato
s
Leer, interpretar y representar
•Leer, comparar y representar datos de tablas, pictogramas, gráficos de barras, gráficos de líneas y gráficos de porciones.
•Utilizar información de representaciones de datos para contestar a preguntas que van más allá de la lectura directa de los datos representados.
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
TIMSS. PROCESOS COGNITIVOS.
Conocer
• Recordar
• Reconocer
• Clasificar / ordenar
• Calcular
• Recuperar
• Medir
Aplicar
• Determinar
• Representar
• Implementar
Razonar
• Analizar
• Integrar
• Evaluar
• Sacar conclusiones
• Generalizar
• Justificar
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
EJEMPLO DE CONSTRUCCIÓN DE PRUEBAS
El sentido de las evaluaciones internacionales
en el Sistema Educativo
X. Conocer Y. Aplicar Z. Razonar
a. Números a.X.1. Demostrar el conocimiento del valor de la
posición de números naturales, incluyendo el
reconocimiento y la escritura de números en forma
expandida.
a.X.2. Comparar, ordenar y redondear números
naturales.
a.X.3. Calcular (+,-,x,÷) con números naturales.
a.X.4. Reconocer las fracciones como parte de un
natural, de un conjunto, o en posiciones de líneas
numéricas.
a.X.5. Identificar fracciones simples equivalentes,
compararlas y ordenarlas, sumarlas y restarlas,
incluidas las dadas en problemas.
a.X.6. Comparar, ordenar y redondear decimales;
sumarlos y restarlos.
a.Y.1. Representar números naturales
utilizando texto, diagramas o símbolos.
a.Y.2. Representar fracciones usando
números, modelos o palabras.
a.Y.3. Demostrar el conocimiento del valor
de la posición de un decimal incluyendo la
representación de decimales usando
números, palabras o modelos.
a.Y.4. Encontrar el número o símbolo que
falta en un enunciado numérico.
a.Z.1. Resolver problemas
contextualizados, incluyendo los que
implican medidas, uso de monedas y
proporciones simples.
a.Z.2. Identificar y escribir expresiones o
enunciados numéricos que representan
problemas con incógnitas.
a.Z.3. Identificar y utilizar relaciones
en patrones bien definidos.
b. Formas y
mediciones
geométricas
b.X.1. Medir y estimar longitudes.
b.X.2. Identificar líneas paralelas y perpendiculares.
b.X.3. Identificar y comparar distintos tipos de
ángulos.
b.X.4. Calcular perímetros de polígonos; áreas de
cuadrados y rectángulos; y estimar áreas y
volúmenes de figuras geométricas cubriendo con
una forma dada o rellenando con cubos.
b.Y.1. Dibujar líneas paralelas y
perpendiculares.
b.Y.2. Dibujar distintos tipos de ángulos.
b.Y.3. Utilizar sistemas de coordenadas no
formales para localizar puntos en un plano.
b.Y.4. Usar propiedades elementales para
describir y comparar formas geométricas bi
y tridimensionales comunes, incluyendo
simetría lineal y rotacional.
b.Z.1. Relacionar formas
tridimensionales con sus
representaciones bidimensionales
c.
Representación
de datos
c.X.1. Leer y comparar datos de tablas, pictogramas,
gráficos de barras, gráficos de líneas y gráficos de
porciones.
c.Y.1. Representar datos en tablas,
pictogramas, gráficos de barras, gráficos de
líneas y gráficos de porciones
c.Z.1. Utilizar información de
representaciones de datos para
contestar a preguntas que van más
allá de la lectura directa de los datos
representados
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
MARCO TEÓRICO DEL ESTUDIO TIMSS
MATEMÁTICAS
Números50 %
Formas y mediciones geométricas35%
Representación de datos15%
Conocer – 40% 20% 14% 6%
Aplicar – 40% 20% 14% 6%
Razonar – 20% 10% 7% 3%
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Recursos abiertos y disponibles
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
PISA 2012
Programa para la Evaluación
Internacional de los Alumnos
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
PISA Programme for International Student Assessment
Programa para la Evaluación Internacional de Estudiantes
Periodicidad Cada tres años
Organización OCDE (Organización para Cooperación y Desarrollo Económico)
Edad/Nivel educativo 15 años (cumplen 16 años en el año en el que se realiza la aplicación)
Último año aplicación 2012
Cuestionarios de
contexto
Alumno y centro. En 2015 se introducirán los de profesores y padres.
Otras informaciones Competencias evaluadas: matemáticas, lectura y ciencias. Cada edición
se dedica especial atención a una de ellas. En 2012 ha incluido
resolución de problemas y competencia financiera.
En 2012, además de la aplicación en papel, se ha evaluado matemáticas
y lectura en ordenador. La aplicación de 2015 se hará íntegramente en
por ordenador.
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Escala de rendimiento
6
5
4
3
2
1
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Esta escala permite describir lo
que cada estudiante puede hacer
en cada uno de los niveles de
rendimiento en resolución de
problemas, a partir del análisis de
las tareas requeridas
Escala de rendimiento
6
5
4
3
2
1
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
PISA resolución problemas: el nivel educativo de los padres
Nivel educativo alto: al menos uno de
los padres tiene estudios universitarios o
similares
Nivel educativo medio: al menos uno
de los padres tiene estudios de
educación secundaria postobligatoria
Nivel educativo bajo: padres con
estudios de secundaria obligatoria o
inferiores
La diferencia en el rendimiento en resolución de problemas de los alumnos en función del nivel educativo de los padres es menor en España (43 puntos) que en la OCDE (69 puntos).
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD20
PISA MatemáticasEquidad. Influencia el nivel socio-económico y cultural
El ESCS de los países participantes varía desde -1,48, en Turquíahasta 0,48 en Noruega.
El valor de este índice en España es (-0,18).
Elevar una décima el valor medio del ESCS incrementaría la puntuación en matemáticas en 3,9 puntos. En España, la influencia del ESCS en la puntuación es menor (3,4 puntos).
Incremento en el rendimiento de los
alumnos en matemáticas ocasionado por un
aumento de una décima en el ESCS
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Chile
Israel
HungríaRepública Eslovaca
Portugal Luxemburgo
Francia Nueva Zelanda
Alemania
Turquía
Grecia
España
Reino UnidoRepública Checa
DinamarcaEsloveniaIrlanda
Austria
Bélgica
Países Bajos
Suiza
Polonia
Estados Unidos
Estonia
Finlandia
Japón
Suecia
Australia
Canadá
Islandia
Noruega
México
Corea
Italia
380
400
420
440
460
480
500
520
540
560
580
051015202530
Pu
ntu
ació
n m
edia
Porcentaje de la varianza del rendimiento explicada por el índice socioeconómico y cultural
Relación entre el rendimiento y el ESCS por encima delpromedio OCDE
Relación entre el rendimiento y el ESCS nosignificatiuvamente diferente al promedio OCDE
Relación entre el rendimiento y el ESCS por debajo delpromedio OCDE
Pro
me
dio
OC
DE
Promedio OCDE
El sentido de las evaluaciones internacionales en el Sistema Educativo
Calidad y equidad del sistema educativo español (PISA matemáticas)El rendimiento del alumnado y la varianza explicada por el ESCS
España 2003España 2012
Menos calidad:
El rendimiento del alumnado español es significativamente inferior a la media de la OCDE.
Algo menos de equidad:
El impacto del entorno socioeconómico y cultural en España es algo mayor que en la OCDE en su conjunto.
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Relación entre la autonomía de los centros en el currículo*, la evaluación y el rendimiento
Elementos de reflexión para la mejoraAUTONOMÍA DE LOS CENTROS EDUCATIVOS
EEUU
Polonia
Nueva Zelanda
Grecia
Reino Unido
Estonia
Finlandia
República Eslovaca
Luxemburgo
Alemania
Austria
República Checa
Francia
Japón
TurquíaSuecia
Hungría
Australia
Israel
Canadá
Irlanda
Chile
Bélgica
Países Bajos
España Dinamarca
Suiza
Islandia
Eslovenia
Portugal
Noruega
México
Corea
Italia
420
440
460
480
500
520
540
560
-1,5 -1 -0,5 0 0,5 1 1,5
Re
nd
imie
nto
en
mat
em
átic
as
Índice de la responsabilidad de las escuelas sobre el currículo y la evaluación
Una mayor autonomía de los centros en el currículo y evaluación parece estar asociada a mejores resultados
educativos
* La autonomía de los centros se estima a partir de las respuestas de los directores de los centros educativos a los cuestionarios
de contexto en PISA
y = 27,83x + 495,17R² = 0,34
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Se observa una clara tendencia hacía el uso de los resultados académicos para comparar los centros educativos con la media nacional en la OCDE.
En la OCDE se llevan a cabo más prácticas de monitorización de la actividad docente que en España.
EVALUACIONES EXTERNAS Y ESTANDARIZADAS
Elementos de reflexión para la mejora
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD27
ABSENTISMO ESCOLAR NO JUSTIFICADO
En España el 28% de los alumnosdeclaran haber faltado a 1 o más díasde clase sin justificar en las dossemanas previas al estudio.
En la OCDE este porcentaje essignificativamente inferior, un 15%.
Actitudes de los alumnos hacia el centro educativo
85
72
12
24
2
3
1
1
Promedio OCDE
España
Porcentaje de alumnos que ha faltado a días enteros de clase en las últimas 2 semanas
Nunca Una o dos veces 3 o 4 veces 5 o más veces
Faltar a clase tienemucha influencia en elrendimiento
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Actitudes de los alumnos hacia el centro educativo
•El sentido de pertenencia evalúa el grado de satisfacción de los alumnos con el centro educativo y en qué medida este se aproxima a su ideal.•La relación profesor-alumno mide la percepción de los alumnos acerca de la dedicación y el interés de los profesores hacia los estudiantes.•Por último, el clima de disciplina escolar mide la percepción que los alumnos tienen en cuanto al orden y la atención en la clase de matemáticas.
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Motivación intrínseca para aprender matemáticas
-0.19-0.19-0.19-0.19
-0.14-0.14-0.14-0.14
-0.03-0.03-0.03-0.03
0000
-0.05-0.05-0.05-0.05
-0.05-0.05-0.05-0.05
0.060.060.060.06
0.10.10.10.1
-0.32-0.32-0.32-0.32
-0.23-0.23-0.23-0.23
-0.12-0.12-0.12-0.12
-0.11-0.11-0.11-0.11
Todos Chico Chica
Índice
-0.4 -0.3 -0.2 -0.1 0.0 0.1 0.2 -0.4 -0.3 -0.2 -0.1 0.0 0.1 0.2 -0.4 -0.3 -0.2 -0.1 0.0 0.1 0.2
OCDE UE España Rioja
Me interesan las cosas que aprendo en matemáticas
Estudio matemáticas porque me gusta
Estoy deseando tener clase de matemáticas
Me gusta leer libros sobre matemáticas
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Motivación extrínseca para aprender matemáticas
-0.08-0.08-0.08-0.08
-0.02-0.02-0.02-0.02
-0.08-0.08-0.08-0.08
0000
0.030.030.030.03
0.060.060.060.06
0.020.020.020.02
0.090.090.090.09
-0.18-0.18-0.18-0.18
-0.11-0.11-0.11-0.11
-0.17-0.17-0.17-0.17
-0.1-0.1-0.1-0.1
Todos Chico Chica
Índice
-0.25 -0.15 -0.05 0.05 0.15 0.25-0.25 -0.15 -0.05 0.05 0.15 0.25-0.25 -0.15 -0.05 0.05 0.15 0.25
OCDE UE España Rioja
Aprenderé muchas cosas en matemáticas que me ayudarán a conseguir trabajo
Las matemáticas las necesito para lo que quiero estudiar más adelante
Me merece la pena estudiar matemáticas porque tendré mejores perspectivas en mi carrera
profesional
Merece la pena hacer un esfuerzo porque me ayudará en el trabajo que haré más adelante
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Ansiedad hacia las matemáticas •Las alumnas de la OCDE
muestran índices de ansiedad
superiores a la media
•Los alumnos de la OCDE
muestran índices de ansiedad
inferiores a la media
Me preocupo cuando pienso que sacaré malas notas en matemáticas
Me siento incapaz cuando hago un problema de matemáticas
Me pongo muy nervioso al hacer problemas de matemáticas
Me pongo muy tenso cuando tengo que hacer deberes de matemáticas
A menudo me preocupo pensando que tendré dificultades en las clases de matemáticas
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
PISA resolución de problemas: diferencias entre chicos y chicas
478
503
476
497
460
470
480
490
500
510
España OCDE
Chicos ChicasEn España las diferencias entre el rendimiento en función del sexo en resolución de problemas no son significativas.
Los 6 puntos de diferencia en el conjunto de la OCDE suponen una diferencia significativa.
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
478
503
476
497
460
470
480
490
500
510
España OCDE
Chicos Chicas
PISA resolución problemas: diferencias entre chicos y chicas
Mientras que en las áreas de evaluación enla prueba en papel se observabandiferencias significativas
a favor de los chicos (matemáticas)a favor de las chicas (lectura)
216
-29
7
-50
-30
-10
10
30
50
70
Resolución deproblemas
Matemáticas Lectura Ciencias
Diferencia de puntuaciones entre chicos y chicas
En España las diferencias entre el rendimiento en función del sexo en resolución de problemas no son significativas.
Los 6 puntos de diferencia en el conjunto de la OCDE suponen una diferencia significativa.
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
PISA resolución problemas: la condición de inmigranteEn muchos países los alumnos de origen inmigrante presentan rendimientos más bajos las
competencias evaluadas que los hijos de nativos.
En España la brecha entre alumnos inmigrantes y nativos alcanza 39 puntos, en la OCDE 36 puntos.
0%
15%
10%
10%
9%7%
3%
1%0%
0%
2%
4%
6%
8%
10%
12%
14%
16%
Corea del Sur
Francia
España
OCDE
EsloveniaItalia
Finlandia
Chile
Polonia
Proporción de alumnado inmigrante
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
PISA resolución problemas: la condición de inmigranteEn muchos países los hijos de inmigrantes presentan mayor riesgo de obtener rendimientos bajos en
educación que los hijos de nativos.
En España la brecha entre alumnos inmigrantes y nativos alcanza 39 puntos, en la OCDE 36 puntos.
0%
15%
10%
10%
9%7%
3%
1%0%
0%
2%
4%
6%
8%
10%
12%
14%
16%
Corea del Sur
Francia
España
OCDE
EsloveniaItalia
Finlandia
Chile
Polonia
% del alumnado inmigrante
39
5753 52
0
10
20
30
40
50
60
70
Resolución deproblemas
Matemáticas Lectura Ciencias
En España la diferencia observada en resolución de problemas es inferior a la observada en matemáticas, lectura y ciencias.
En la mayoría de los países la diferencia es similar a la de matemáticas y lectura e inferior a la de ciencias.
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
PISA resolución de problemas: la repetición de curso
Los alumnos de España que no repiten curso (511) obtienen una puntuación similar a la de la OCDE (512).
La diferencia de puntuación entre los alumnos que no han repetido y los que han repetido dos cursos es de 133 puntos para el conjunto de países de la OCDE y 141 en España.
511 512
423447
370 379
250
300
350
400
450
500
550
España OCDE
Rendimiento del alumnado en resolución de problemas en función de la repetición
del curso
Sin repetición Repetición 1 curso Repetición 2 cursos
España OCDE
1ª repetición 62% 49%
2ª repetición 38% 51%
Disminución de puntuaciones atribuida a la repetición del cursoEn España, la primera repetición penaliza más que la segunda, vinculándose el 62% de la disminución de la puntuación a la primera repetición.
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
PIRLS-TIMSS
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Evaluar la comprensión lectora (PIRLS) y el rendimiento en matemáticasy ciencias (TIMSS) tras cuatro años de escolarización obligatoria (4º deEducación Primaria en España)
¿Qué evaluar? Contenidos curriculares comunes en todos los países participantes en la evaluación
Obtener información comparada entre los distintos países participantesy medir las tendencias entre ciclos.
Proporcionar información sobre:El contexto de aprendizaje: alumno, familia y centro escolar.Las actitudes de los alumnos hacia la lectura, las matemáticas y las
ciencias.El uso que hacen los alumnos del tiempo libre.Factores que favorecen el entorno de aprendizaje y la eficacia de la
escuela (recursos, métodos, clima, etc.)
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
La obtención de resultados representativos y fiables, y la distribución por niveles
requiere gran número de ítems
Distribución de cuadernillos por bloques (Balanced Incomplete Block - BIB)
L1 L2
Cuadernillo 1
L2 L3
Cuadernillo 2
L3 L4
Cuadernillo 3
L4 I1
Cuadernillo 4
I1 I2
Cuadernillo 5
I2 I3
Cuadernillo 6
I3 I4
Cuadernillo 7
I4 L1
Cuadernillo 8
L1 I1
Cuadernillo 9
I2 L2
Cuadernillo 10
L3 I3
Cuadernillo 11
I4 L4
Cuadernillo 12
L5 I5
CuadernilloLECTURAS
L5 I5
CuadernilloPREGUNTASPIRLS
• Textos literarios: L1 a L5
• Textos informativos: I1 a I5
• Cuadernillo “Lecturas”: triple frecuencia
• Seis textos (3+3) de anclaje para medir
tendencias
MO1
MO2
Cuadernillo 1
CO1CO2
Cuadernillo 2
CO2
CO3
MO2
MO3
Cuadernillo 3
MO3
MO4
CO3
CO4
Cuadernillo 4
CO4
CO5
MO4
MO5
Cuadernillo 5
MO5
MO6
CO5
CO6
Cuadernillo 6
CO6
CO7
MO6
MO7
Cuadernillo 7
MO7
MO8
CO7
CO8
Cuadernillo 8
CO8
CO9
MO8
MO9
Cuadernillo 9
MO9
M10
CO9
C10
Cuadernillo 10
C10
C11
M10
M11
Cuadernillo 11
M11
M12
C11
C12
Cuadernillo 12
C12
C13
M12
M13
Cuadernillo 13
M13
M14
C13
C14
Cuadernillo 14
C14
C01
M14
M01
TIMSS• Cada bloque tiene entre 10 y 14
preguntas de dominios de contenido y
cognitivos en proporción del marco
teórico
• 175 ítems de matemáticas
• 172 ítems de ciencias
• 8 bloques de cada materia son de
anclaje
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Preparación de los
alumnos
(10 minutos)
Primera parte
PIRLS/TIMSS40/36
minutos
Descanso15 minutos
Preparación (5 minutos)
Segunda parte
PIRLS/TIMSS 40/36
minutos
Cuestionario del alumno
(10-30 minutos)
Preparación de los
alumnos
(5 minutos)
Primera parte
TIMSS/PIRLS36/40
minutos
Descanso15 minutos
Preparación (5 minutos)
Segunda parte
TIMSS/PIRLS 36/40
minutos
INSTRUMENTOS PARA CONOCER LOS FACTORES DE CONTEXTO
CUESTIONARIOS DE
CONTEXTO• Alumnos• Padres o tutores legales• Directores de los centros• Profesores
ENCYCLOPEDIA
Información de cada país sobre
su sistema educativo y el
currículo de Lectura,
Matemáticas y Ciencias
PRIMER DÍA
SEGUNDO DÍA
Recogida Cuestionario
de padres
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
PIRLS Progress in International Reading Literacy Study
Estudio Internacional de Progreso en Comprensión Lectora
Periodicidad Cada cinco años
Organización IEA (Asociación Internacional para la Evaluación del Rendimiento
Educativo)
Edad/Nivel educativo 4º Educación Primaria (9 – 10 años)
Último año aplicación 2011
Cuestionarios de
contexto
Alumno, profesores, centro y padres
Otras informaciones Competencia evaluada: Comprensión lectora.
Próxima aplicación: 2016
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
La nociónde lecturaen PIRLS
Habilidad para comprender y
utilizar las formas lingüísticas
Habilidad para construir significados a partir de distintos
textos
Con el fin de aprender, participar
y disfrutar
LECTURA: Habilidad para comprender y utilizar lasformas lingüísticas requeridas por la sociedad y/ovaloradas por el individuo. Leer para aprender,para participar en la comunidad de lectores delámbito escolar y de la vida cotidiana, y paradisfrute personal
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Evalúa tres aspectos en la comprensión lectora
PROPÓSITOS DE LECTURA
• Leer para informarse y aprender (50%)
• Leer para disfrutar (50%)
PROCESOS COGNITIVOS•Obtener información (10%+10%)•Hacer inferencias (15%+15%)•Interpretar e integrar (15%+15%) •Analizar y evaluar (10%+10%)
ACTITUD Y HÁBITOS DE LECTURA
CUESTIONARIOS DE CONTEXTO
• Alumnos• Padres o tutores legales• Profesores• Directores de centro
CUADERNILLOS DE LA PRUEBA
•Textos literarios (50%)
•Textos informativos (50%)
Preguntas o ítems para evaluar los
procesos cognitivos
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
TIMSS Trends in International Mathematics and Science Study
Estudio Internacional de Matemáticas y Ciencias
Periodicidad Cada cuatro años
Organización IEA (Asociación Internacional para la Evaluación del Rendimiento
Educativo)
Edad/Nivel educativo 4º Educación Primaria (9 – 10 años)
Último año aplicación 2011
Cuestionarios de
contexto
Alumno, profesores, centro y padres
Otras informaciones Competencias: Matemáticas y ciencias.
Próxima aplicación: 2015
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
DOMINIOS DE CIENCIASDOMINIOS DE MATEMÁTICAS
PROCESOS COGNITIVOS COMUNES
• Conocer (40%)• Aplicar (40%)• Razonar (20%)
DOMINIOS DE CONTENIDO• Números (50%)
• Formas y mediciones
geométricas (35%)
• Representación de
datos (15%)
ÁREAS TEMÁTICAS
CAPACIDADES EVALUABLES
HABILIDADES Y DESTREZAS
DOMINIOS DE CONTENIDO• Ciencias de la vida
(40%)
• Ciencias físicas (40%)
• Ciencias de la Tierra
(20%)
ÁREAS TEMÁTICAS
CAPACIDADES EVALUABLES
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
TIMSS – PIRLS 2011
Matemáticas, ciencias y lectura
4º Educación Primaria
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
Evaluación de la comprensión lectoraAlumnos de 4º grado internacional(en España 4º de Educación Primaria)Participantes:
45 países y sistemas educativos9 regiones con muestra ampliada3 participantes en pre-PIRLS4 participantes en 6º grado
España Internacional
Alumnos 8.580 254.914
Centros 312 9.300
Profesores 403 13.223
España Internacional
Alumnos 4.183 261.339
Centros 151 9.198
Profesores 200 12.952
PIRLS 2011
TIMSS 2011
Evaluación de matemáticas y cienciasAlumnos de 4º grado internacional(en España 4º de Educación Primaria)Participantes:
50 países y sistemas educativos7 regiones con muestra ampliada3 participantes en 6º grado
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
… Finlandia consigue el mejor rendimiento de los participantes de
la OCDE, con 30 puntos por encima de la media.
… España, junto con Noruega y Bélgica (Comunidad francesa) son
los países con puntuaciones más bajas de la OCDE.
… el porcentaje de alumnos excelentes (4%) es inferior al de la
OCDE (10%) y el porcentaje de alumnos rezagados (6%) es
superior al de la OCDE (3%).
PIRLS 2011- Lectura.Participantes de la OCDE
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
… la distancia de España con la media OCDE es mayor en
TIMSS-matemáticas (40 puntos) que en PIRLS-lectura (25
puntos).
… Corea consigue el mejor rendimiento de los países de la
OCDE con 83 puntos por encima de la media.
… en España hay menos alumnos excelentes y más
estudiantes rezagados que la OCDE.
TIMSS 2011- Matemáticas.Participantes de la OCDE
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
TIMSS 2011- Ciencias.Participantes de la OCDE
En Ciencias España…
… también tiene menos alumnos excelentes y más estudiantes
rezagados que la OCDE, pero las diferencias son menores que en
Lectura y Matemáticas.
… Corea consigue el mejor rendimiento de los países de la OCDE
… España está a menor distancia de la media OCDE en Ciencias
que en Lengua y Matemáticas.
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECDPIRLS TIMSS-matemáticas
Las alumnas obtienen mejores resultados en comprensión lectora
Los alumnos obtienen mejores resultados en ciencias y matemáticas
Diferencias entre alumnos y alumnas
60 40 20 0 20
Colombia
Italia
Francia
España
Bélgica (C. francesa)
Países Bajos
Israel
Canarias
República Checa
Alemania
Austria
Andalucía
Eslovaquia
Estados Unidos
Canadá
Dinamarca
Croacia
Suecia
Portugal
Polonia
Noruega
Azerbaiyán
Irlanda
Hungría
Bulgaria
Rumanía
Hong Kong - China
Eslovenia
Irlanda del Norte
Lituania
Australia
Malta
Federación Rusa
Irán
Finlandia
Nueva Zelanda
Georgia
Inglaterra
Catar
Arabia Saudí
Media OCDE
Media UE
Media Internacional
Diferencia a favor de los
alumnos
Diferencia a favor de las
alumnas
PIRLS
60 40 20 0 20
España
República Checa
Croacia
Eslovenia
Polonia
Alemania
Austria
Chile
Estados Unidos
Italia
Bélgica (C. flamenca)
Eslovaquia
Países Bajos
Finlandia
Malta
Noruega
Australia
Dinamarca
Hong Kong - China
Portugal
Suecia
Hungría
Inglaterra
Irlanda
Rumanía
Irlanda del Norte
Lituania
Irán
Nueva Zelanda
Federación Rusa
Turquía
Azerbaiyán
Georgia
Catar
Arabia Saudí
Media OCDE
Media UE
Media Internacional
Diferencia a favor de los
alumnos
Diferencia a favor de las
alumnas
TIMSS-Matemáticas
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
5
17
4
16
5
21
20
36
20
41
21
39
42
37
43
36
44
34
29
9
29
7
27
6
4
1
4
3
No repetidores (518)
Repetidores (465)
No repetidores (521)
Repetidores (463)
No repetidores (513)
Repetidores (455)
España
Andalucía
Canarias
Muy bajo Bajo Intermedio Alto AvanzadoNiveles
10
37
6
27
30
41
23
37
41
20
41
28
17
2
25
7
2
5
1
No repetidores (489)
Repetidores (423)
No repetidores (512)
Repetidores (447)
España
Matemáticas
España
Ciencias
Muy bajo Bajo Intermedio Alto AvanzadoNiveles
PIRLS
TIMSS
Los alumnos repetidores logran una puntuación significativamente inferior a los no repetidores.
Aproximadamente el 1% de los repetidores consiguen una puntuación en el nivel avanzado
Repetición de curso
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
TIMSS: Profesión de máxima cualificación de los padres
453
474 476 472473
502497
507
483
518
506
524
505
529 527535
517
553
540
560
440
460
480
500
520
540
560
580
Matemáticas España
MatemáticasInternacional
CienciasEspaña
CienciasInternacional
No ha trabajado nuncaEspecialización básicaSector servicios y PYMESAdministrativosEspecialización media y alta
6% 24% 37% 16% 17% 5% 24% 36% 16% 19% 5% 24% 36% 16% 19% 6% 24% 37% 16% 17%
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
TALIS Teaching and Learning International Survey
Estudio Internacional de Enseñanza y Aprendizaje
Periodicidad Inicialmente, cada 5 años (2008 y 2013)
Organización OCDE (Organización para Cooperación y Desarrollo Económico)
Edad/Nivel educativo Estudio cíclico: Primer ciclo centrado en Profesores y directores de
Educación Secundaria (ISCED 2)
Último año aplicación 2013
Otras informaciones Ofrece información sobre los procesos educativos a través de encuestas
a profesores y directores sobre formación, ambiente de trabajo,
motivación y aplicación de política educativa.
TALIS – PISA link (Contexto PISA unido a respuestas subjetivas TALIS)
El sentido de las evaluaciones
internacionales en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
EECL o ESLC European Survey on Language Competence
Estudio Europeo de Competencia Lingüística
Periodicidad Cada cinco años
Organización Unión Europea
Edad/Nivel educativo 4º Educación Secundaria Obligatoria, ISCED 2, grado 10 (15 – 16 años)
Último año aplicación 2011
Otras informaciones Destrezas evaluadas: Comprensión lectora, comprensión oral y
expresión escrita en dos lenguas extranjeras (entre inglés, alemán,
francés, español e italiano).
Sigue las escalas del Marco Común Europeo de Referencia de las
Lenguas en sus cuatro primeros niveles (A1 a B2) y utiliza “target
testing” (dificultad adaptada al alumno).
El sentido de las evaluaciones internacionales
en el Sistema Educativo
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
El sentido de las evaluaciones internacionales
en el Sistema Educativo
TIMSS Advanced Trends in International Mathematics and Science Study
Estudio Internacional de Matemáticas y Ciencias
Periodicidad Sin determinar
Organización IEA (Asociación Internacional para la Evaluación del Rendimiento
Educativo)
Edad/Nivel educativo ISCED 12 (2º Bachillerato)
Último año aplicación 2008
Cuestionarios de
contexto
Alumno, profesores, centro y padres
Otras informaciones Competencias: Matemáticas avanzadas y Física. En España, la población
objetivo está compuesta por los alumnos matriculados en Matemáticas
II y/o Física (2º Bachillerato)
Próxima aplicación: 2015
Congreso PISA:
Evaluación por ordenador y resolución de problemas.Madrid 1 y 2 de Abril 2014
#pisa @educainee INEE_MECD
http://www.mecd.gob.es/inee
Síguenos en Twitter: En nuestro blog:
@educaINEE http://blog.educalab.es/inee/
Y en slideshare:
http://www.slideshare.net/INEE_MECD
GRACIAS
El sentido de las evaluaciones
internacionales en el Sistema Educativo