Conferencia del Sistema Nacional de Evaluacin Educativa3 reunin ordinaria, Mxico, D.F., 29 de abril de 2015

Plan Nacional de Evaluacin de losAprendizajes: PLANEA

Instituto Nacional para la Evaluacin de la EducacinUnidad de Evaluacin del Sistema Educativo Nacional

Tres momentos en la presentacin

Fundamentos, propsitos y caractersticas

principales de PLANEA (INEE)

La aplicacin censal a escuelas (SEP)

Propuesta conjunta de evaluacin diagnstica

(INEE/SEP)

Funciones de las evaluaciones a granescala:

Las evaluaciones del aprendizaje a gran escala se puedenorientar hacia dos grandes propsitos:

1. Usos diagnsticos y pedaggicos: brindar informacinpertinente y oportuna a las escuelas y a los docentes,que ayude a mejorar sus prcticas de enseanza y elaprendizaje de sus estudiantes.

Rendicin de cuentas: informar a la sociedad sobre el2.estado que guarda la educacin de un pas, estado,regin o centro escolar.

Tensin entre las funciones de lasevaluaciones estandarizadas

Rendicin de cuentas Suelen ser de alto impacto

Informacin pblica

Se aplica al fin de cursosDirigidas a las autoridades y sociedad

Evaluaciones con menor cobertura curricular

Usos pedaggicosBajo impactoNo se publican

Se aplica al inicio de cursosDirigidas a al comunidad escolar

Evaluaciones ms extensas

Corrupcin e inflacin de resultados enevaluaciones a gran escala

las

La inflacin de resultados es el crecimiento desmedido depuntuaciones de una prueba, debido a las consecuenciasasociadas a los resultados.

Ley de Campbell: Entre ms se utilice cualquier indicador

las

social cuantitativo para tomar decisiones sociales, ms sujetoestar a las presiones de corrupcin y ser ms propenso adistorsionar y corromper los procesos sociales que pretendemonitorear.

La inflacin se puede detectar, comparando los resultados de la prueba en cuestin con los resultados de una prueba control.

Mecanismos de la inflacin de resultadoseducativos

La presin por obtener mejores puntuacioneslas consecuencias implcitas) induce a que losprofesores:

(o sufrir

a. Reduzcan la enseanza del currculo a loscontenidos que evalan las pruebas.

Dediquen gran parte del tiempo de clase a

preparacin-para-la-prueba.

Permitan la copia entre estudiantes.

b. la

c.

d. Eviten que los alumnos de menor rendimiento seanevaluados.

PLANEA

Plan Nacional de Evaluacin de los Aprendizajes

Propsitos y caractersticas principales

Tres de las atribuciones que la ley leotorga al INEE

1. Disear y realizar mediciones de los componentesentre ellos el aprendizaje de los alumnos.

Expedir los lineamientos a los que se sujetarn lasautoridades educativas para realizar las funcionesevaluacin que les correspondan.

del SEN,

2.de

3. Convenir con las autoridades educativas la aplicacin de losinstrumentos para evaluar confiable, vlida yperidicamente el nivel de aprendizaje alcanzado por losalumnos.

Diez premisas de PLANEA (1)Se toman en cuenta los aciertos y errores de las experiencias internacionales y nacionales en materia de evaluaciones estandarizadas para evaluar sistemas educativos.

1.

2. Se utiliza un esquema complementario de los diseos muestralcensal, que miden los mismos aprendizajes.

Se controla la corrupcin y los efectos inflacionarios de lasevaluaciones censales.

Se utiliza un esquema de coordinacin INEE-SEP-autoridades

y

3.

4.estatales-escuelas.

Se centra en la rendicin de cuentas a nivel nacional y en el uso pedaggico a nivel de escuela.

Se busca atender a un uso racional y eficiente de los recursos que se destinarn a las tareas evaluativas, de forma conjunta con las autoridades educativas.

5.

6.

Diez Premisas de PLANEA (2)

Se incorporan procedimientos que controlen el sesgo de las evaluaciones, que pudieran resultar de la diversidad de gnero, tnica, cultural y lingstica del pas.

La unidad de anlisis para las evaluaciones censales es la escuela, mientras que para las evaluaciones muestrales son los estratos escolares seleccionados (pas, entidades, tipos de escuela, etc.).

Los resultados de las evaluaciones de logro escolar censales y muestrales no tienen consecuencias sobre estudiantes, docentes ni escuelas.

Solo se hacen pblicos los resultados de las evaluaciones quetengan un estricto control en su aplicacin, y se presentan enforma contextualizada.

7.

8.

9.

10.

Propsitos de PLANEA

Conocer la medida en que los estudiantes logran el dominio deaprendizajes esenciales al trmino de los niveles de la educacinobligatoria.

Ofrecer informacin contextualizada para la mejora de losprocesos de enseanza en los centros escolares.

Informar a la sociedad sobre el estado que guarda la educacin,en trminos del logro de aprendizaje.

Aportar a las autoridades educativas informacin relevante para

el monitoreo, la planeacin, programacin y operacin delsistema educativo y sus centros escolares.

Contribuir al desarrollo de Directrices para la mejora educativacon informacin relevante sobre los resultados educativos y loscontextos en que se dan.

Qu se va a evaluar?

Aprendizajes curriculares esenciales en Matemticas y Lenguaje y Comunicacin, (posteriormente se incorporarn Ciencias y Formacin cvica y tica):

1.

Fundamentales para la adquisicin de nuevos aprendizajes.

Relevantes para el dominio de la asignatura.

Prevalecen en el tiempo a pesar de los cambios curriculares.

2. Habilidades socio-afectivas necesarias para el xito escolarpara la vida diaria de los alumnos (habilidades para laconvivencia): Competencia social escolar; Conducta prosocial; Relacin positiva con pares; Manejo de conflictos; Prcticas queobstaculizan la convivencia; Acoso escolar.

Factores de contexto: circunstancias familiares, escolares ysociales.

y

3.

Esquema de aplicaciones

M = Muestrales matriciales (alumnos)

Ao

Grado 2015 2016 2017 2018 2019

3 de PreescolarM

Rev

isi

n d

el e

squ

ema

3 de Primaria

6 de Primaria M M C

3 de SecundariaM M

ltimo grado de

Media SuperiorM

Esquema de aplicaciones

M = Muestrales matriciales (alumnos)C = Censales (escuelas)

Ao

Grado 2015 2016 2017 2018 2019

3 de PreescolarM

Rev

isi

n d

el e

squ

ema

3 de Primaria

6 de Primaria MC C C C MCC

3 de SecundariaMC C C C MC

ltimo grado de

Media SuperiorC C MC C C

Esquema de aplicaciones

M = Muestrales matriciales (alumnos)C = Censales (escuelas)Dc = Diagnsticas censales (alumnos)

Ao

Grado 2015 2016 2017 2018 2019

3 de PreescolarM

Rev

isi

n d

el e

squ

ema

3 de Primaria Dc Dc Dc Dc Dc

6 de Primaria MC C C C MCC

3 de SecundariaMC C C C MC

ltimo grado de

Media SuperiorC C MC C C

Arreglo matricial muestral y arreglo censal

Evaluacin muestral Evaluacin censal

Matemticas

7 A B

8 B C

9 C D

10 D E

11 E F

12 F A

A B

A B

Evaluacin Forma Bloques

Lenguaje y

comunicacin

1 A B

2 B C

3 C D

4 D E

5 E F

6 F A

Actividades complementarias del INEE yde las autoridades educativas

Disea los instrumentosde evaluacin

Desarrolla los lineamientos para la aplicacin

Aplica las pruebas muestrales y los controles del censo

Reporta los resultados nacionales y en grandes agregados

Contribuyen al diseo de losinstrumentos de evaluacin

Disean la operacin de laaplicacin censal

Aplican las pruebas censales Participan en el anlisis de resultados

Distribuyen los resultadospor escuela y zona escolarAnalizan la informacin condiferentes niveles dedesagregacin para la tomade decisiones

INEE

Au

tori

dad

esed

uca

tiva

s

Controles de la aplicacin de lascensales

Controlar las aplicaciones garantiza alcanzar

confiables. Cuatro elementos del control:

pruebas

resultados

1. Lineamientos que regulan los procedimientos deaplicacin

Supervisin de la aplicacin y la logstica asociada

Verificacin estadstica de la consistencia de los

resultados

Evaluadores externos al plantel escolar

2.

3.

4.

Sobre la verificacin estadstica losresultados

Distribuci6n

empirica paraLOGRO Se contrastar la distribucin de resultados

de la aplicacin de la muestra controladapor el INEE con la de la aplicacin censal.

Se determinar si las diferencias encontradas son significativas, en cuyo caso se harn otros anlisis para establecer en dnde se encuentran las discrepancias, y si stas se deben a malas prcticas, tales como patrones de copia.

1.0

O.

B

0.6

La aplicacin muestral matricial 2015

Para sexto de primaria

Total de escuelas: 3 995

Total de alumnos: 153 528

Para tercero de secundaria

Total de escuelas: 3 995

Total de alumnos: 298 307

Capacitacin del personal operativo: 21 de mayo a 15 de junio.

Aplicacin en sexto de primaria (3 das): 10 a 12 de junio

Aplicacin en tercero de secundaria (3 das): 17 a 19 de junio.

La aplicacin muestral matricial 2015 (2)

1er da: Lenguaje y comunicacin, yCuestionario del alumno sobre habilidadespara la convivencia

2 da: Matemticas, y Cuestionario del alumno sobre sus circunstancias personales escolares

3er da: Evaluaciones adicionales paracomparabilidad en el tiempo.

y

Difusin y uso de los resultados

Solo se harn pblicos los resultados de las evaluaciones quehayan tenido un estricto control en su aplicacin (validezestadstica, control de aplicadores, etctera.)

Los resultados se presentarn siempre de maneracontextualizada,socio econmicode trabajo.

considerando tanto los factores de ordeny cultural, como las condiciones del centro

La unidad de anlisis ser el centro escolar.

Los resultados de estas evaluaciones no debern utilizarsepara juzgar el desempeo de los docentes,de escuelas, justificar procesos punitivos uadministrativo sobre estudiantes, docentes o

realizar rankingsotros de controlescuelas

Difusin y uso de resultados (2)

Reporte de la muestra de alumnos. Informes breves a nivelde grandes estratos, con muchos apoyos grficos y textosbreves. Ofrece informacin en poco tiempo.Reportes del censo de escuelas. Sujetos a controlestadstico: Dirigido a las autoridades municipales. Datos de escuelas

agregados, y desagregados por municipio.

Dirigido a supervisores escolares. Datos de escuelas agregados, y desagregados por zona escolar.Dirigido a la comunidad escolar. Datos de su escuela y de escuelas similares en su entidad (ej.: modalidad, tamao de localidad, tipo de organizacin, etc.)

Informe nacional sobre el estado que guarda la educacincon respecto al logro de aprendizajes.

Otros informes temticos

Difusin y uso de resultados: DistribucinSEP INEE

INEE Pas

INEE Entidad

INEE Estrato escolar

SEP Municipio

SEP Zona escolar

SEP Escuela

PLANEA

LA APLICACIN CENSAL A ESCUELAS

Aplicacin censal a escuelas

El propsito de la aplicacin censal a escuelas de PLANEA:

Ofrecer informacin contextualizada, organizada para lareflexin, que permita la mejora de los procesos de enseanza enlos centros escolares.

r0

..,,'

Aportaroportuna

a las autoridades educativas informacin relevante,y utilizable para el monitoreo, la planeacin,

",,' "".

0

..,;0

..,;

El plantel educativo ser el ltimo nivel de desagregacin en elanlisis de los resultados censales, esto es, no se devolvernresultados de cada alumno o grupo escolar pero s en cambio seentregarn reportes a la comunidad educativa, a la supervisinescolar y, si se considera relevante, a las regiones o municipios.

Reporte por

Incluira la siguiente informacin:

escuela

Datos de su escuela y de escuelas similares en su entidad (mismamodalidad, mismo tamao de localidad, si la escuela es deorganizacin completa o no).

Nmero de alumnos que aplicaron/nmero total de alumnos.

r0

..,,'

",,' ""

.0

..,;0

..,; Tablas o grficas de porcentaje de alumnos por nivel de logrocampo formativo.

por

Condiciones de la oferta (preferentemente, las que refieren a underecho y las que estn documentadas como relacionadas al logro),variables para la reflexin y lo que cualquier padre de familia debeconocer del funcionamiento de la escuela.

Material que se entregara a las escuelas--_-_-~-.---r-- _-~~

_--- ---

=~===:.-:-

:=:

~-

~-

--.

I_~====

Folleto que explica las pruebas PLANEA . - C:=:--...;~~_.-.--::\. -~--~=~~-:

\@-

=~--_-........ Descriptores de los niveles de logro

Gua para entender y analizar los reportes para la comunidad escolar en hojaaparte y grficas o tablas que muestren la relacin entre las categoras de contextoy el rendimiento escolar.

Cmo entender los cambios anuales en los resultados (que se veran en pginaweb) y sobre cambios abruptos (sobre todo en escuelas de menos de 10 alumnosparticipantes) en PLANEA en hoja aparte

Pruebas, y revisin de las pruebas, indicando cules son las respuestas correctas (ypor qu esas son correctas y las dems equivocadas)

Costo y figuras externas a reclutar

Millones

La SEP aplicara las pruebas a 2,742,815 alumnos de 6 de primaria y 3 desecundaria de 107,011 escuelas, reclutando a 121,418 aplicadores externos, unopor cada grupos de hasta 35 alumnos.

Cabe mencionar que la aplicacin a todos los alumnos (4.4 millones) de 135, en unesquema de control ideal (un aplicador externo por grupo, un coordinador deaplicacin por escuela y un apoyo para escuelas con tres grupos o ms) implicabacontratar 424,265 aplicadores externosde pesos.

con un costo estimado de $800 millones

Reducir el esquema de control a unseguridad y confiabilidad del proceso,

solo aplicador por grupo, que garanticesin incluir a Oaxaca y Conafe implicaba

reclutar a 183,430 aplicadores externos con un costo de $346 millones de pesos.

Opcin EscuelasAlumnos millones

Grupos

/aplicador

Escuelas con 3 grupos o ms

Aplicador extra

Total aplicadores a reclutar

Costo en

Censal Alumnos 107,011 3836209 169,404 14,026 183,430 $346

Censal escuelas 107,011 2742,815 121,418 0 121,418 $216

Diferencias 0 1093,394 47,986 14,026 62,012 $130

Beneficios del cambio

Hacer un uso racional y responsable de los recursos, en trminosde costo-beneficio al reclutar un aplicador externo por grupo quecoadyuve a garantizar la confiabilidad del proceso y por ende de losresultados.

Reclutar a los mejores aplicadores.

Tener un mejor y mayor control en la administracin de laspruebas, al reducir la cantidad de los materiales de aplicacin.

Facilitar los procesos en razn de los tiempos, para la devolucinoportuna de los resultados a las escuelas (Octubre)

30

Aplicacin de la Prueba

La SEP aplicara la evaluacin a 2,742,815 alumnos de 6 de primaria y 3 de secundaria de107,011 escuelas (todos los planteles educativos con alumnos en esos grados).

En escuelas con menos de 70 alumnos, se pre-seleccionar aleatoriamente a 35 alumnos detodos los grupos de 6 de primaria y 3 de secundaria, (o al censo de estudiantes en el casode escuelas pequeas), para integrar un grupo de evaluacin.

En planteles de ms de 70 alumnos, se pre-seleccionar a 70 o al censo, para integrar dosgrupos de evaluacin de 35 alumnos cada uno.

Bajo este esquema, se administrara la prueba al censo de los alumnos de 73,284 planteles.El 28% de los alumnos no considerados en la muestra (1,093,394) de 33,727 planteles, podrresolver el examen en lnea o solicitar a su maestro la aplicacin en fecha posterior a laevaluacin.

Para tal efecto, las pruebas se dejarn en el plantel educativo, y a partir del 22 de junio de2015 se publicar en el sitio web www.planea.sep.gob.mx un examen para resolverse ycalificarse en lnea, as como la plantilla de respuestas para el uso del maestro.

Instrumentos que se Aplicarn

Alumnos Dos pruebas y dos cuestionarios

Dos pruebas 6to de primaria y 3ero de secundaria

Lenguaje y Comunicacin (Primera sesin) Matemticas (Segunda Sesin)

Cuestionario del Alumno C (Primera Sesin)Cuestionario del Alumno B (Segunda Sesin)

DOCENTES. Cuestionario del Grupo Escolardel grado sujeto a la evaluacin

DIRECTOR. Cuestionario del Director

32

Seguridad de las Pruebas

Cajas flejadas, con etiqueta de seguridad.

Empaquetamientosegunda sesin.

separado para la primera y

Exmenes embolsados con etiquetas de seguridad.

Las Autoridades Educativas Estatales sernresponsables del resguardo del material a partir desu recepcin y hasta su devolucin a la SEP.

Los Aplicadores sern responsables de resguardar ycustodiar el material durante los das de suadministracin.

No se dejar el material en las escuelas.

En caso de deteccin de violacin de algn sello y

etiqueta de seguridad o extravo de cuadernilloantes de la aplicacin, deber levantarse acta ante elMinisterio Pblico

De las sesiones y fechasaplicacin

de

sesin

minutos

minutos

* El horario deber adecuarse al turno vespertinodonde la jornada escolar no inicie a las 8:00 horas

as como en las secundarias

34

Horario

Primer da

Mircoles

10 Junio 6 Primaria

17 Junio 3 Secundaria

Segundo da

Jueves

11 Junio 6 Primaria

18 Junio 3 Secundaria

Tiempo de

7:30 a 8:30Organizacin de la

aplicacin

Organizacin de la

aplicacin1 hora

8:30 a 10:30 1. Sesin 2. Sesin 2 horas

10:30 a 11:00 R E C R E O30

11:00 a 11:50Cuestionario de

Contexto C

Cuestionario de

Contexto B

50

Papel de la Autoridad Educativa EstatalLa Autoridad Educativa Estatal es coadyuvante con la SEP en la administracin de las pruebas censales de escuelas. Se les solicita:

1.- Proporcionar a las reas estatales de evaluacin los recursos humanos ymateriales necesarios para cumplir con las actividades de la aplicacin.

2.- Designar un inmueble apropiado para recibir el material de evaluacin.

3.- Garantizar condiciones de seguridad y custodia de los materiales durante lostraslados y almacenamiento temporal en las regiones.

4.-Informar a la SEP de posibles situaciones de riesgo por inseguridad,climatolgicas o presencia de disidencia que se opone a la aplicacin.

5.-Notificar a la SEP de escuelas o regiones en donde se considere no existancondiciones para la aplicacin o para garantizar la seguridad de los aplicadores.

PLANEA

EVALUACIN DIAGNSTICA

Propsitos de la evaluacin

Apoyar a los docentes frente a grupo de cuarto grado deprimaria con un diagnstico de cada uno de sus alumnos al iniciodel ciclo escolar sobre los conocimientos y habilidades quedebieron haber logrado durante el curso anterior.

Esto les permitir:

1. Ajustar la planeacin de la intervencin pedaggica a lascaractersticas y necesidades de sus alumnos.

Detectar de manera oportuna los alumnos que requerirn mayor atencin para concluir con xito el ciclo escolar.

Proveer retroalimentacin personalizada a los estudiantes.

Establecer una lnea base contra la cual comparar la eficacia de la

intervencin pedaggica al final del curso en el grupo y entre gruposdel mismo grado.

2.

3.

4.

Propsitos de la evaluacin (2)

Adems, a partir de esta informacin, la comunidadescolar podr:

Contar con un diagnstico sobre las reas temticas queposiblemente representan un mayor reto para los alumnosde tercero de primaria.

Generar elementos de reflexin para impulsar un mayor logro en estas reas, en generaciones subsecuentes de alumnos, a partir del trabajo de primero a tercero de primaria.

Caractersticas de la propuesta

Los instrumentos de evaluacin sern distribuidos a losdocentes de cuarto grado de primaria a inicios del ciclo escolar.

Se presentarn como parte de la actividad pedaggica que realiza el docente, con la intencin de que los resultados que obtengan se utilicen slo al interior de la escuela. No se divulgarn al exterior y no servirn para la rendicin de cuentas.

El proyecto iniciar con pruebas de Lenguaje y comunicacin y Matemticas. Posteriormente se integrarn los campos formativos de Ciencias y Formacin cvica y tica.

Adems de las pruebas, se ofrecer a los docentes instructivospara calificar e interpretar los resultados, y un software para lageneracin de reportes.

Desarrollo del proyecto

Ine:e:

SEP

SECRETARiA DE

EDUCACI6N

PUBLICA

tnstltcte Nadonal para

laEvaluacion de I.

EdutacionWx](O

tcnicamente

de apoyo a

6. Orienta

el proceso

5. Distribuye las pruebas y los materiales

los docentes

4. Desarrolla manuales y

software para la puntuacin y el

anlisis de resultados en el

aula y en la escuela

3. Desarrolla el modelo para la interpretacin de resultados

2. Integra versiones de pruebas diagnsticas

1. Entrega tablas de contenido,

especificaciones y bancos de

reactivos

Logstica de Aplicacin (1)

1. La SEP enviar a las entidades federativas el material dePlanea Diagnostica 2015-2016 (las pruebas, hojas derespuestas y manual de aplicacin, calificacin y anlisis paralas pruebas diagnsticas) del 26 al 30 de junio de 2015

2. La SEB informar a los Subsecretarios de Educacin Bsica delas entidades federativas sobre este programa.

3. Las Autoridades Educativas Estatales coadyuvarn con ladistribucin de las pruebas a todas las escuelas, a travs dela estructura educativa el inicio del ciclo escolar.

Logstica de Aplicacin (2)

4. Las pruebas de Lenguaje y Comunicacin y Matemticas,debern ser entregadas por los Directores Escolares a losdocentes de 4 grado al inicio de ciclo 2015-2016 para suaplicacin en la fecha que determine la SEB.

Las autoridades educativas supervisarn el cumplimientode esta instruccin a travs de la estructura educativa, lossupervisores escolares y los ATPs.

5.

Logstica de Aplicacin (3)

Los docentes de 4 grado calificarn las pruebas, utilizandoel software en lnea que disear la SEP, o con elprocedimiento manual que se disear para ese propsito.para lo cual se considerar un modelo de puntuacinsencillo y comprensible para este proyecto.

Los docentes de 4 grado entregarn los resultados y eldiagnsticos del grupo, al Director de la Escuela y ste alConsejo Tcnico Escolar.

La SEB proporcionar orientacin al Consejo tcnico escolar de cmo proceder a su anlisis y al establecimiento de metas y compromisos por parte de la comunidad escolar para los grupos de 3 y 4 grado de educacin primaria

Logstica de Aplicacin (4)

Los resultados que obtengan debern utilizarse slo en elinterior de su escuela.

La SEP y el INEE, en coordinacin conun

las AutoridadesEducativas Estatales desarrollarn esquema deseguimiento que permita conocer los usos que estn dandolos docentes al instrumento, y las reas de oportunidad delproyecto.

Ine:e:Instituto Nacional para la

Evaluadon de laEducacion

Mexico

Av. Barranca del Muerto 341

Col. San Jose Insurgentes

Deleg.Benito Juarez, CP. 03900

Mexico. D.F. Tel. 54820900

www.inee.edu.mx

@INEEMX m INEEMEXICO

o INEEMEXICO

li + INEE