1

Enrique Roca

Competencias básicas y evaluaciones generales de diagnóstico:

los retos técnicos y políticos para la contribución a la

mejora educativa.

22 nov 07

2

Competencias básicas y evaluaciones deOCDE, IEA y UE

Evaluación general de diagnóstico

3

Los pilares de la educación (Informe Delors):

Aprender a conocer

Aprender a hacer

Aprender a ser

Aprender a convivir

Unión Europea: ¿qué educación para el siglo XXI?

competencias, ciudadanía

4

Competencias básicas/

LOE: aprender, participar, evaluar

Autonomía/participación

Currículo

Evaluación:OCDE, IEA, UE

Diagnóstico

5

Evaluaciones

¿para qué?

RENDIR CUENTAS

CONOCER

MEJORAR

COMPARAR

6

• OCDE– PISA (Comprensión lectora, matemáticas, ciencias): resultados dic 2007– TALIS (Estudio internacional de enseñanza y aprendizaje - profesores)– Liderazgo en los centros educativos– Valor añadido en los sistemas educativos– RNFIL (Reconocimiento de los aprendizajes no formales e informales)

• IEA– PIRLS (comprensión lectora 9 años): resultados, nov 2007– ICCS (estudio internacional sobre educación cívica y ciudadana)– TEDS-M (Est. Int. sobre formación inicial del profesorado de matemáticas)

• Unión Europea– Aprender a aprender – EBAFLS (Banco de items para la evaluación de lenguas extranjeras)– Indicador europeo de competencia lingüística

Participación española en estudios internacionales de evaluación

7

PISA(Programme for International Student

Assessment): Programa para la Evaluación Internacional de Alumnos

Es un estudio internacional de evaluación educativa de las competencias de los alumnos de 15 años:

•PISA 2000, competencia principal Lectura•PISA 2003, competencia principal Matemáticas•PISA 2006, competencia principal Ciencias

El Informe PISA 2006 se publicará el 4 de diciembre de 2007

Se está trabajando ya en PISA 2009, que volverá a tener la Lectura como objeto principal de estudio

Elaboración y revisión de ítems de lectura, con el GIP (Grupo Iberoamericano de PISA) para el estudio piloto y el principal

8

PIRLSEstudio Internacional sobre el progreso en

comprensión lectora

La recogida de datos se realiza mediante una prueba escrita y cuatro cuestionarios de contexto: alumnado, familias, centros y profesorado

Evalúa el rendimiento en comprensión lectora de los niños y niñas de 4º de primaria (9-10 años)

En España el estudio final se realizó entre abril y mayo de 2006, con la participación de todas las comunidades autónomas y en las 5 lenguas oficiales del Estado

El Informe Internacional PIRLS 2006 se publicará en noviembre de 2007. En la misma fecha se presentará un informe español

9

España y UE en ICCS

Primer estudio internacional sobre educación cívica y ciudadana en el que participa España

Dirigido a alumnos de 2º de la ESO

Instrumentos de mediciónAlumnos: pruebas cognitivas y cuestionarios sobre actitudes y contextoCuestionario del profesorCuestionario a los directoresInforme sobre el contexto nacional

CalendarioPrueba piloto nov 2007Estudio principal febrero - abril 2008Informe final septiembre 2010

Módulo europeo

10

El objetivo del indicador es medir periódicamente el conocimiento de idiomas entre los jóvenes europeos

Se espera la aplicación de la prueba piloto en 2008 y la realización de estudio definitivo en 2010

En esta primera fase se evaluarán cinco lenguas y tres destrezas (comprensión oral y escrita, y expresión escrita

Países participantes:UE

Propuesta de la Comisión Europea en 2005

Indicador Europeo de Competencia Lingüística

11

Aprender a aprender

Tiene por objeto valorar la adquisición de la competencia clave “aprender a aprender” (learning to learn) por parte de los jóvenes, que para la comisión juega un papel crucial

El CRELL (Centre for Research on Lifelong Learning) y un grupo de expertos elaboran la pruebas para el estudio piloto que hoy está en fase de revisión

Estudio piloto en la primavera de 2008

12

(LOE, art. 144)

El Instituto de Evaluación y …las administraciones educativas (...) colaborarán en la realización de evaluaciones generales de diagnóstico de las competencias

básicas

Evaluaciones de diagnóstico LOE

(LOE, art. 21, 29)

Al finalizar 4º de primaria y 2º de ESO ... todos los centros realizarán una evaluación de diagnóstico de las competencias básicas alcanzadas por sus alumnos.

Esta evaluación, competencia de las administraciones educativas, tendrá carácter formativo y orientador para los centros e informativo para las familias y para el conjunto de la comunidad educativa,

(...) Tendrán como marco de referencia las evaluaciones generales de diagnóstico(...)

13

Propuesta de calendario

Competencias

2008

2009 2010201

12012

2013

2014

2015201

6

4º EP

PrincipalPilot

o

12 y 34 y 5

21 y 36 y 7

31 y 24 y 8

2º ESO

PrincipalPilot

o

12 y 34 y 5

21 y

34 y

6

31 y

27 y

8

PISA

Lect Matemat Cienc

1: Competencia en comunicación lingüística.2: Competencia matemática.3: Competencia en el conocimiento y la interacción con el mundo físico.4: Tratamiento de la información y competencia digital.5: Competencia social y ciudadana.6: Competencia cultural y artística.7: Competencia para aprender a aprender.8: Autonomía e iniciativa personal.

14

  Poblaciones

PoblacionesInformación

ProporcionadaEvaluación 4º de EP Evaluación 2º de ESO

Alumnado 4º EP Alumnado 2º ESO- Rendimiento.- Contexto y procesos

Profesorado Profesorado - Recursos y procesos

Dirección Dirección - Contexto y recursos

15

 Primera etapa: . Selección aleatoria de centros en cada una de las comunidades autónomas.

. A efectos de la estratificación de la población, se consideran las 17 CCAA

Segunda etapa: . En cada uno de los centros seleccionados, se elegirá aleatoriamente un grupo de alumnos de 4º de primaria (centros con más de una línea).

. En 2º de ESO, un número determinado de alumnos (entre los de 2º).

Tamaño de la muestra: . Que permita una confianza no inferior al 95,5% y un error de estimación inferior al 5%.

. Diseño matricial para aplicación de diferentes cuadernillos

Muestras:

16

 Indice socioeconómico y cultural (ISC) de los alumnos,

. Construido a partir de variables relativas a nivel de estudios y situación laboral de padre y madre, recursos culturales del hogar...

. ISC tipificado. Mismo tipo de escalas que la de puntuaciones de resultados (PISA)

. Dos niveles de ISC: de cada alumno y de cada centro

Uso de otras variables e índices de contextos

Uso de variables de recursos y de procesos

Contextos

17

400

500

600

-2 -1 0 1 2

Indice socio-económico y cultural

Re

nd

imie

nto

en

ma

tem

áti

ca

s

OCDE España Alemania Finlandia USA

Relación entre índice socioeconómico y cultural y rendimiento en matemáticas

18

400

500

600

-2 -1 0 1 2

Indice socio-económico y cultural

Re

nd

imie

nto

en

ma

tem

áti

ca

s

OCDE España País Vasco Cataluña Castilla y León

Relación entre índice socioeconómico y cultural y rendimiento en matemáticas

19

471

489

514

458

508

532

400 500 600

Estudiosobligatorios

Bachillerato

Universidad

OCDE

España

Resultados en función del mayor nivel educativo alcanzado por las madres

Influencia del entorno socioeconómico y cultural en los resultados:

20

Resultados en función del número de libros en la casa

402

436

471

502

526 534

350

400

450

500

550

0-10 11-25 26-100 101-200

201-500

Más de500

Influencia del entorno socioeconómico y cultural en los resultados

21

  Pruebas de lápiz y papel y registros en audio para la comprensión oral

Pruebas escritas: basadas en situaciones-problema (estímulo) con cuestiones en distintos formatos:

. Preguntas de respuesta cerrada.

. Preguntas que exigen procedimientos y obtención de resultados.

. Preguntas abiertas

Diferentes cuadernillos (muestreo matricial)

Longitud de las pruebas: una sesión de 45 m en primaria y 60m es ESO, o dos sesiones con un descanso intermedio de 20m.

Aplicación precedida de una fase de sensibilización de la comunidad educativa

Cuestionarios de contexto, de procesos y de recursos destinados al alumnado, al profesorado, a la dirección y a las familias.

  Pruebas:

22

 Evaluación de las competencias básicas.

  Se parte de la descripción que realizan los Reales Decretos por los que se establecen las enseñanzas mínimas y se tienen en cuenta los criterios adoptados por la OCDE, la IEA y las evaluaciones españolas.

Tres fases para el desglose de las competencias:

Ejemplos de despliegue de las competencias: Definición y descripción de la competenciaDefinición y descripción de la competencia

Dimensiones y componentes de cada dimensiónDimensiones y componentes de cada dimensión.

Grado de relación entre las competencias y las distintas áreas o materias (matriz de relaciones)

23

 Análisis de resultados

Puntuación directa, en un primer momento, a partir de las puntuaciones otorgadas a cada item (0-1, valores intermedios).

. Instrumento para aplicación de la teoría de respuesta al item (TRI)

Puntuación transformada a partir de un modelo e TRI (Rash, dos parámetros): construcción de una escala común con una media global de 500 y una desviación típica de 100 puntos (modelo PISA)

Utilización de distintos niveles de rendimiento (puntuaciones de corte)

Presentación de resultados: datos sobre los niveles de adquisición de cada competencia. Medidas de tendencia central y dispersión de las puntuaciones. Información sobre la precisión de las medidas (error estándar, intervalos de confianza …).

Análisis de excelencia y equidad.

24

Resultados en matemáticas PISA 2003

300

350

400

450

500

550

600

Hon

g Ko

ng-C

hina

*Fi

nlan

dia

Cor

eaH

olan

daLi

echt

enst

ein*

Japó

nC

anad

áBé

lgic

aM

acao

-Chi

na*

Suiz

aAu

stra

liaN

ueva

Zel

anda

Rep

úblic

a C

heca

Isla

ndia

Din

amar

caFr

anci

aSu

ecia

Aust

riaC

astill

a y

León

Alem

ania

Irlan

daPa

ís V

asco

Eslo

vaqu

iaN

orue

gaC

atal

uña

Luxe

mbu

rgo

Polo

nia

Hun

gría

Espa

ñaLe

toni

a*Es

tado

s U

nido

sR

usia

*Po

rtuga

lIta

liaG

reci

aSe

rbia

*Tu

rquí

aU

rugu

ay*

Taila

ndia

*M

éxic

oIn

done

sia*

Túne

z*Br

asil*

Hong Kong: 550

Media OCDE: 500

España :485

1 2 3

25

Rendimiento de los alumnos en matemáticas PISA (2003).

FinlandiaP. BajosJapón

FranciaSueciaAlemaniaCastilla L P. VascoPromedio

OCDE Noruega Cataluña

EspañaUSA

Italia Portugal

Grecia

México

Brasil350

400

450

500

550

PISA 2003

Pun

tuac

ión

med

ia e

n la

esc

ala

de m

atem

átic

as

26

Porcentaje de alumnos en cada nivel de matemáticas (2003).

FinlandiaPaíses BajosJapónCastilla y LeónPaís VascoFranciaSueciaCataluñaNoruegaAlemaniaEspaña

Estados UnidosPortugalItaliaGreciaMéxicoBrasil

Promedio OCDE

Países ordenados según el porcentaje de alumnos en los niveles < 1 y 1

Porcentajes de alumnos por niveles de rendimiento

1

3

5

5

5

6

6

6

7

9

8

10

11

13

18

38

53

8

5

8

9

11

12

11

12

13

14

12

15

16

19

19

21

28

22

13

16

18

16

23

24

20

22

24

24

19

25

24

27

25

26

21

14

21

28

23

22

28

29

26

25

29

25

23

27

24

24

23

20

10

7

24

26

23

24

22

22

22

20

18

19

21

18

17

13

13

11

3

3

19

17

18

16

9

8

12

12

8

9

12

7

8

5

5

3

0

1

11

7

7

8

2

2

3

4

2

3

4

1

2

1

2

1

0

0

4

nivel < 1 nivel 1 nivel 2 nivel 3 nivel 4 nivel 5 nivel 6

27

0%

5%

10%

15%

20%

25%

30%

<1 1 2 3 4 5 6

Niveles de competencia

España

OCDE

Porcentajes de alumnadopor niveles de competencia

28

0

5

10

15

20

25

30

<0 1 2 3 4 5 6

Niveles de competencia

Po

rce

nta

jes

España

Finlandia

0

5

10

15

20

25

30

<0 1 2 3 4 5 6

Niveles de competencia

Por

cent

ajes

España

Finlandia

Situación real Situación figurada: (se realiza una traslación a la derecha equivalente a un nivel)

Porcentajes por niveles de competencia: comparación con Finlandia

30

Brasil

Uruguay

Finlandia

España

Canadá

País VascoIrlanda

Castilla y León

Cataluña

CoreaHolanda

Turquía

México

Grecia

Italia

Bélgica

Alemania OCDE

EEUU

Portugal

Hungría

IslandiaAustralia

Japón

350

400

450

500

550

600

650

151617181920212223242526272829

Coeficiente de variación en Matemáticas

Pu

ntu

ac

ión

me

dia

en

Ma

tem

áti

ca

s

M ayor equidad

Ma

yo

r e

xc

ele

nc

ia

Relación entre resultados en matemáticas y equidad:

31

Diferencia de los centros privados frente a los públicos

32

26

10

10

20

30

40

sin detracción detracción del nivel socio-económico y cultural del alumno

detracción adicional del nivelsocio-económico y cultural

promedio del centro

Si se detrae el efecto del nivel

socio-económico y cultural de

estudiantes y centros,

los resultados son muy parecidos

Diferencias por titularidad de los centros

32

Informes y difusión de los resultados

 Modelos de informe en función de las distintas audiencias.

INFORME AUDIENCIA CONTENIDO

Marco e informe técnico de las EGD

Profesionales de la educación

Marco y descripción de las EGD

Resumen ejecutivo Responsables de la educación (Estado y CCAA)

Resumen de resultados principales

Informe de resultados de 4º EP y 2º ESO

Ciudadanos Datos y análisis de resultados, contextos y recursos. Estado y CCAA

Estrategias para la difusión de los resultados.

33

Rendir cuentas para mejorar la educación española

Publicidad de los resultados y rendición de cuentas ante el Parlamento:

Evaluaciones generales de diagnóstico

Evaluaciones nacionales e internacionales.

Indicadores educativos .

34

Políticas de mejora

Escasos recursos

Recursos suficientes

Propuestas de mejora

Escasaexigencia y control

Elevada exigencia.

Evaluación

Mejora del rendimiento

Mejora sistemática

Bajo rendimiento

Mejoras de carácter particular

Conflicto

Desmoralización

Bajo rendimiento

Estancamiento

35

Muchas gracias

Cuando puedes medir aquello de lo que hablas, y expresarlo con números, sabes algo acerca de ello; pero cuando no lo puedes medir … tu conocimiento es pobre e insatisfactorio: puede ser el principio del conocimiento, pero apenas has avanzado con tus pensamientos hacia la ciencia

Lord Kelvin

Enrique Roca