inee - uah evaluación de la lectura (02)

Jornadas de Evaluación Educativa: Estudios internacionales

http://www.mecd.gob.es/inee

Facultad de Educación, UAH

Lis Cercadillo Joaquín Vera

Alba Reboredo Chema Sánchez

Instituto Nacional de Evaluación Educativa, MECD

http://www.mecd.gob.es/inee

La evaluación de la Lectura en Infantil, Primaria y Secundaria

Lis Cercadillo

Alba Reboredo

Jornadas de Evaluación Educativa: Estudios internacionales

Evaluaciones internacionales

¿Por qué participan los países en estudios internacionales de evaluación?

• Para recabar datos a nivel nacional

• Para compararse con otros países

• Para intervenir y contribuir al desarrollo de mejoras e innovaciones en educación

La evaluación en el mundo

La evaluación en el mundo

Educación Infantil: ECES (IEA), ECEC (OCDE)

Educación Primaria: PIRLS (IEA)

Educación Secundaria: PISA (OCDE)

¿Qué es el Early Childhood Education Study?

ECES es un estudio de la IEA

Su finalidad es analizar transnacionalmente la provisión de la educación preprimaria en los distintos países participantes y conocer cómo afecta a los resultados de los alumnos

El módulo de evaluación/observación de alumnos de preprimaria, se llevaría a cabo con alumnos del último curso de Educación Infantil (5 años)

Educación Infantil: ECES

Objetivos del estudio ECES

Elaborar un marco teórico e indicadores realistas acerca de las competencias adquiridas por los alumnos al final de la etapa preprimaria

Ofrecer información acerca del sistema educativo en general de cada país, de las distintas políticas educativas, prácticas pedagógicas empleadas, así como las características de los centros, profesores y del entorno

Educación Infantil: ECES

Resultados de los niños

Contexto político nacional

Maestros/Cuidadores de Educación Infantil

Experiencias de aprendizaje

Centro de Educación

Infantil

Hogares

¿Cómo se lleva a cabo ECES?

Etapas del estudio ECES

• Desarrollo del marco teórico del estudio. Desde Enero de 2013

• Cuestionario de políticas educativas disponible en un número reducido de países.

Noviembre – Diciembre 2013

• Aplicación del cuestionario de políticas educativas. Noviembre – Diciembre 2014

• Publicación del informe sobre políticas educativas. Agosto 2015

• Aplicación de los cuestionarios de evaluación del niño y del centro educativo.

Septiembre 2015 – Marzo 2016

• Publicación del marco teórico del estudio. Agosto 2016

• Estudio Principal en los países del hemisferio sur: aplicación de los cuestionarios de evaluación del niño y del centro educativo.

Septiembre – Noviembre 2016

• Estudio Principal en los países del hemisferio norte: aplicación de los cuestionarios de evaluación del niño y del centro educativo.

Abril – Junio 2017

• Publicación de los informes de resultados y de contexto. Septiembre 2018

• Publicación de los informes relacionales de resultados y liberación de la base de datos.

Diciembre 2018

ECEC

ECEC “Review of Policies and Practices for Monitoring and Evaluating Quality in Early Learning and Development” es un estudio de la OCDE

Surge para dar respuesta a qué es realmente “calidad” en Educación Infantil, para analizar las políticas que mejor funcionan (y las que no)

Se tienen en cuenta 5 áreas de referencia en el sistema educativo:

Objetivos de calidad y estándares mínimos

Currículo y estándares de aprendizaje

Calidad de los trabajadores

Compromiso de la familia y resto de la comunidad

Recopilación de datos, investigación y observación

¿Qué es Early Childhood Education and Care?

Educación Infantil: ECEC

Early Childhood Education and Care

Muchos países han acordado incluir el rango de edad entre 0-8/10 años

ECEC reconoce la diversidad existente en la Educación Infantil

Analizará*:

Educación Infantil/Preprimaria, programas de Educación Infantil y guarderías.

Cuidado infantil en centros

Educación Infantil y cuidados (integrado)

*No analiza el cuidado de los niños a manos de sus familiares, amistades, vecinos, otros niños,

etc.

ECEC

¿Qué es Early Childhood Education and Care?

ECEC se divide en 3 fases:

ECEC

Fase 3 Revisiones por país en Educación

Infantil

Fase 2 Análisis de

Datos

Fase 1 Control de

Calidad

ECEC

Educación Primaria: PIRLS

PIRLS define la comprensión lectora como la capacidad para entender y utilizar todas las formas de lenguaje escrito que son necesarias para comunicarse socialmente y/o que son de valor para la persona

Progress in International Reading Literacy Study / Estudio Internacional de Progreso en Comprensión Lectora

4º de Primaria

Última edición

49 países 2011

• Próxima edición

¿? Países

2016

Educación Primaria: PIRLS

Se cambia de “aprender a leer” a “leer para aprender”

Propósitos de la lectura:

Leer como una experiencia literaria

Leer para adquirir y utilizar información Características de los textos:

Historias completas y cortas

Entre 600 y 900 palabras

De temática y estilo variados

Interesantes para chicos y chicas de 10 años

Marcos Teóricos

Evaluaciones internacionales

¿Qué es un marco teórico?

• Explica lo que trata de medir la evaluación

• Objetivos del marco teórico:

Servir de guía para la elaboración de unidades y preguntas

Compartir un lenguaje sobre el que los implicados puedan discutir el tema

Asegurar una continuidad en un estudio a largo plazo como éste

Establecer y hacer públicas las características del programa de evaluación

El Estudio PISA: Marco Teórico

Definición de LECTURA en PISA

Lectura (competencia lectora) es la comprensión, el uso, la reflexión y el interés por los textos escritos, para conseguir los propios objetivos, desarrollar el conocimiento y el potencial individuales, y participar en la sociedad

El Estudio PISA: Marco Teórico

Para elaborar las preguntas, PISA atiende a

4 características de los textos:

– Contexto (escolar, personal, profesional, etc)

– Tipo (continuo, discontinuo, mixto, múltiple)

– Aspecto (acceder y recabar, integrar e interpretar, reflexionar y valorar)

– Formato (impreso o digital)

El Estudio PISA: Marco Teórico

Tipos de texto

Continuo

Discontinuo

Mixto

Múltiple

Aspecto Acceder y recabar información Integrar e interpretar Reflexionar y valorar

El Estudio PISA: Marco Teórico

Tipos de texto

Continuo

La información se presenta

en frases y párrafos

– Argumentativo

– Descriptivo

– Expositivo

– Narrativo

Mixto

Discontinuo La información se presenta en otros formatos - Tablas

- Gráficos - Diagramas - Mapas

El Estudio PISA: Marco Teórico

Ejemplo de texto mixto Formado por textos continuos y discontinuos

El Estudio PISA: Marco Teórico

Aspectos:

Acceder y recabar información

Integrar e interpretar

Reflexionar y valorar

El Estudio PISA: Marco Teórico

Ejemplo de “acceder y recabar información”

MACONDO

Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios.

¿Cuánto costaba ir al cine en Macondo?

o Un centavo o Dos centavos o Tres centavos o Cuatro centavos

El Estudio PISA: Marco Teórico

Ejemplo de “integrar e interpretar ”

MACONDO

Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios.

Al final del pasaje, ¿por qué la gente de Macondo decide no volver al cine?

El Estudio PISA: Marco Teórico

Ejemplo de “reflexionar y valorar”

MACONDO

Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios.

¿Estás de acuerdo con el criterio final de la gente de Macondo sobre el valor del cine? Explica tu respuesta comparando tu propia actitud hacia el cine con la de ellos.

La LECTURA en PISA

Sí, estoy de acuerdo, ya hay bastante sufrimiento en el

mundo sin que haya que inventárselo.

No, la gente no entiende que cuando vas al cine lo que ocurre en la pantalla no es de verdad.

Depende. Si la peli es una me dan ganas de irme, pero si es

buena te enganchas y no me importa si no es de verdad.

Ejemplo de respuestas de alumnos a la pregunta de “reflexionar y valorar”

¿Estás de acuerdo con el criterio final de la gente de Macondo sobre el valor del cine? Explica tu respuesta comparando tu actitud hacia el cine con la de ellos.

La LECTURA en PISA

Educación Secundaria: PISA digital

¿Qué es la lectura digital?

En el siglo XXI, la competencia lectora incluye saber leer en los formatos impreso y digital (o electrónico)

La lectura digital no es sólo leer texto impreso en una pantalla de ordenador

La lectura digital añade al proceso de textos una faceta específica: la navegación

CBA en PISA

Educación Secundaria: PISA digital

Preguntas liberadas CBA (Computer-Based

Assessment)

(navegador: Firefox)

Lectura

http://erasq.acer.edu.au/index.php?cmd=home

Matemáticas

http://erasq.acer.edu.au/index.php?cmd=toMaths

Resolución de Problemas

http://erasq.acer.edu.au/index.php?cmd=toProble

mSolving

La Lectura en PISA: Ejemplo de unidad

La Lectura en PISA: Ejemplo de unidad

La Lectura en PISA: Ejemplo de unidad

La Lectura en PISA: Ejemplo de unidad

La Lectura en PISA: Ejemplo de unidad

La Lectura en PISA: Ejemplo de unidad

La Lectura en PISA: Ejemplo de unidad

La Lectura en PISA: Ejemplo de unidad

La Lectura en PISA: Ejemplo de unidad

Elaboración de unidades y preguntas

La elección de textos y la elaboración de preguntas para

evaluar la comprensión lectora

¿Cómo hacer?

Elaboración de preguntas para un estudio a gran escala

Redacción preliminar de

preguntas

Revisión de preguntas

Laboratorios cognitivos (Cog Labs)

Revisiones de preguntas

Revisión externa (países) Pregunta aceptada o rechazada (después

de Cog Labs))

Estudio Piloto

Análisis psicométrico y

revisión

Elaboración del marco teórico

Pregunta para el Estudio Principal

Elaboración de unidades y preguntas

Textos que no sirven: lo que tenemos que evitar Ofender o molestar:

• Trauma (accidentes de tráfico, violencia) • Sexo, religión, política u otros temas polémicos o

delicados • Mal comportamiento, agresividad, racismo,

inmoralidad o irresponsabilidad • Modelos indeseables (drogas, alcohol, inducción a

diversos posibles peligros) • Palabrotas

Esperar demasiado o demasiado poco de los alumnos: • Textos con lenguaje enrevesado • Textos que ofrecen un conocimiento que los alumnos

ya deberían saber • Textos aburridos!!

Elaboración de unidades y preguntas

Lo importante es saber elegir un texto

Un buen texto…

• tiene enjundia y es interesante

• plantea retos – no es muy fácil ni muy difícil

• no plantea retos artificiales (lenguaje retorcido, p.e.)

• es (más o menos) igualmente accesible para diferente tipo de alumnos

• ofrece oportunidades para plantear cuestiones inquisitivas, cuya respuesta no sea obvia

Elaboración de unidades y preguntas

Elaboración de unidades y preguntas

Elaboración de unidades y preguntas

MACONDO

Deslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios.

Una frase inicial que nos intriga...

¿¿Qué invenciones??

¿De qué va esto? ... Algo familiar desde una perspectiva

extraña

Esto es de locos... ¿Pero hay algo de cierto en ello?

Elaboración de unidades y preguntas

Y, por último, lo importante es redactar unidades

Una unidad es un grupo de preguntas construidas a partir de un texto / estímulo o parte del mismo

Elaboración de unidades y preguntas

¿Qué caracteriza a una buena unidad? • Las preguntas cubren un amplio espectro de

dificultad

• Las preguntas responden a distintos aspectos del marco teórico

• Cada pregunta es independiente de las demás

• El grupo de preguntas consigue llegar al “corazón” del texto

¡¡Manos a la obra!!

Síguenos en Twitter: @educaINEE

En nuestro blog:

http://blog.educalab.es/inee/

Y en slideshare: http://www.slideshare.net/INEE_MECD

http://www.mecd.gob.es/inee/

¡¡Muchas gracias!!