MANUAL PARA REPLICAR LA JORNADA DE TRABAJO CON

INSTITUCIONES DE EDUCACIÓN SUPERIOR

ENCUENTRO REGIONAL SABER 2019 EvALUAR PARA AvANzAR

Autores: Juan Camilo Ramírez - Luis Felipe Dussán, Liliana Gamboa, Yuliana Salas

Revisado y ajustado: Ana María Restrepo Sáenz

1

23

INfORMACIÓN SOBRE EL MANUAL

TABLA DE CONTENIDO

Objetivo de este manual

Alcance del manual

Objetivo general de la sesión

Objetivos específicos

¿Qué no es este manual?

Tiempo de desarrollo

Dirigido a

Material de trabajo

Introducción

Momento 0. Introducción

Momento 1. Presentación

Momento 2: ¿Qué significado tiene la evaluación?

Momento 3: Hablemos de evaluación

Momento 4: Conozcamos los resultados

Momento 5: Uso de resultados para la toma de decisiones

Momento 6: Información adicional

Momento 7: Conclusiones y cierre

Información complementaria

Nota legal

1.1

1.2

1.3

1.4

1.5

1.6

1.7

1.8

3

4

5

8

4

4

4

4

4

4

4

4

9

10

10

11

17

25

29

31

31

32

3.1.

3.2

3.3

3.4

3.5

3.6

3.7

3.8

ACTvIDADES PREPARATORIAS

DESARROLLODE LA DIvULGACIÓN

3

INTRODUCCIÓNLa política en educación emerge a partir de la premisa de establecer parámetros de medición de la calidad con el propósito de proveer información para el mejoramiento continuo del sistema educativo. En esta línea, el uso de la evaluación permite conocer el desarrollo de las competencias de los estudiantes, brindar información sobre los factores que inciden en los resultados académicos y saber si existe un avance hacia el logro de los objetivos propuestos.

El Instituto Colombiano para la Evaluación de la Educación - Icfes, es el organismo a nivel nacional encargado de la evaluación de la educación en todos sus niveles, y por tanto, tiene la finalidad de ofrecer información que contribuya al mejoramiento de esta. En el ciclo de educación superior, esta evaluación es realizada a través de dos exámenes, Saber TyT y Saber Pro, el primero dirigido a estudiantes del nivel técnico profesional y tecnológico, y el segundo dirigido a estudiantes del nivel profesional.

Desde el año 2015, el Icfes viene desarrollando una nueva serie de divulgaciones sobre temas relacionados con el examen Saber Pro dirigidas principalmente a Instituciones de Educación Superior (IES) públicas o privadas. En cada uno de los eventos realizados se socializan los resultados de la prueba Saber Pro, se realizan actividades de análisis de los resultados y se entrega información (impresa y digital), como presentaciones, documentos técnicos, guías de orientación, videos y talleres, entre otras, para que la información pueda ser replicada al interior de cada IES1.

Este manual fue utilizado para las jornadas de divulgación realizadas por el Icfes en el 2019 y se entrega como herramienta para que las personas interesadas en el desarrollo de los aprendizajes abordados en las sesiones puedan tener los insumos necesarios para replicarlas en las diferentes regiones del país.

1 El Icfes publica los contenidos entregados en cada una de las divulgaciones realizadas a partir de 2015 en la página web www.icfes.gov.co en la pestaña Divulgaciones.

INfORMACIÓN SOBRE EL MANUAL

Comprender los resultados del Examen Saber Pro como insumo necesario para la toma de decisiones al interior de las instituciones de educación superior y sus respectivos programas académicos, y la defini-ción de propuestas para el mejoramiento de la educación.

1.3. ObjetivO general de la sesión

Orientar el desarrollo de la sesión para Instituciones de Educación Superior (IES), de manera que la comunidad educativa, pueda replicar cada una de las actividades realizadas en la divulgación y así fortalecer la comprensión y uso de los resultados y la definición de propuestas para el uso pedagógico de la evaluación.

1.1. ObjetivO de este manual 1.2. alcance del manual

•

•

Entregar una guía a las personas para realizar la jornada de trabajo con educación superior.

Afianzar los conceptos necesarios para comprender la estructura del Examen Saber Pro, por parte de los docentes y directivos docentes.

1.4. ObjetivOs específicOs

•

•

•

Reconocer la importancia del análisis y uso de la evaluación para el mejoramiento en las instituciones de educación superior. Analizar los resultados del Examen Saber Pro, con el fin de identificar las pruebas y competencias por fortalecer y las diferentes oportunidades de mejoramiento.Identificar posibles estrategias de mejoramiento a partir del diseño de metas de trabajo.

1.

1.5. ¿QuÉ nO es manual?

• No es un recopilatorio de los conceptos o la normatividad del Examen Saber Pro.

• No es una guía para elaborar las preguntas del Examen Saber Pro.

• No es un instructivo para preparar estudiantes para el Examen Saber Pro.

• No es una guía sobre buenas prácticas pedagógicas para la educación superior.

• No es un manual de prácticas pedagógicas No es un diagnóstico de la calidad de la educación superior en el país, ni a nivel de IES ni de ningún nivel de agregación.

1.6. tiempO de desarrOllO

1.7. dirigidO a:

1.8. material de trabajO

3 horas

decanos de facultad y

directores de programa

rectores vicerrectores académicos

gestores de calidad

jefes de departamentos

diapositivas de power point y taller “haciendo uso de la evaluación para avanzar - saber pro” Disponibles en https://www.icfes.gov.co/web/guest/divulgacion-saber-11-2019

5

ACTIvIDADESPEPARATORIAS 2.

• Citación: se debe realizar la citación a los participantes en el taller y solicitar a los asistentes llevar el reporte de resultados de Saber PRO de 2018 y el histórico (impreso o digital). Es recomendable que se tenga una copia de este reporte para máximo 2 participantes, dado que es el insumo de trabajo.

• Requerimientos logísticos: computador, proyector, sonido.

• Copias suficientes (dependiendo número de asistentes) del Taller “Haciendo uso de la evaluación para avanzar”.

• Personalización de las presentaciones de acuerdo al lugar de la divulgación: nombre de la ETC/lugar además de las gráficas de los resultados.

• Inserte el video en la diapositiva 14 y compruebe que cuenta con el reproductor para que todos los asistentes puedan escuchar.

• Prepare el análisis de un reporte de resultados (y llévelo descargado) para ser utilizado por los asistentes en caso de que no lleven sus insumos.

• Adecue las preguntas a PollEv.

• Esta es una herramienta para interactuar con los asistentes y medir su nivel que comprensión a medida que avanza la jornada. En caso de que el lugar no cuente con la cobertura de Internet adecuada o que los asistentes no cuenten con dispositivos celulares, las dinámicas pensadas para PollEv se deben realizar solicitando participación en tiempo real (haciendo preguntas directas al público, con respuestas levantando la mano, por ejemplo).

Si al evaluar las condiciones de conectividad del espacio considera que la utilización de la herramienta en mención será posible, siga las siguientes instrucciones:

• Previo al inicio de la jornada solicité una cuenta con PollEv, ingrese a la aplicación a través del siguiente enlace: https://www.polleverywhere.com/login , ingrese el usuario y la contraseña. Si no tiene una cuenta, puede crear una. Descargue la aplicación en el computador en el que se realizará la proyección. Es muy importante

2.1. preparación aplicación pOllev.

insumOs necesariOs antes de la divulgación:

que se trabaje en este mismo equipo durante la divulgación, de lo contrario, las preguntas PollEv no funcionarán.

• Para descargar la aplicación, deberá dar clic en la opción: PowerPoint, que se encuentra en la parte inferior izquierda de la pantalla.

6

Verifique previo al inicio del taller que los equipos audiovisuales funcionan adecuadamente.

2.2. lista de insumOs necesariOs para el día de la divulgación

Solicite la clave del WiFi y asegúrese de su funcionamiento.

Compruebe el correcto funcionamiento de las preguntas de PollEv.

• Luego de finalizar la descarga, abra el programa PowerPoint, para configurar las preguntas.

• Encontrará un complemento con el nombre Poll Everywhere, en este deberá ingresar cada una de las preguntas, en este mismo lugar, podrá observar el usuario que el sistema le asignó para el desarrollo de la actividad, comparta este usuario a todos los participantes, ya que será la forma de conectar las respuestas.

• Ubique las preguntas en las diapositivas con el logo de PollEv.

• Exponga las instrucciones de cómo descargar la aplicación (se puede publicar un afiche a la entrada al salón, entregar una infografía

con el material o reproducir un video durante la acomodación de los asistentes).

• Por favor solicite a la logística que en el momento de registro recuerde a los asistentes la necesidad de descargar la aplicación.

• Durante el desarrollo de la sesión, deberá solicitar a los participantes que ingresen desde sus dispositivos móviles, según las instrucciones que se presentan en la presentación.

• Cada vez que aparezca una pregunta de participación, solicite a los participantes que ingresen nuevamente a la aplicación y que respondan la pregunta que aparece. Para que aparezcan las respuestas de los participantes puede pasar aproximadamente 30 segundos.

Nota: si debe usar nuevamente la aplicación con la misma presentación, pero con un auditorio diferente. Debe crear un archivo diferente y realizar nuevamente la personalización de las preguntas. Si utiliza la misma presentación, las respuestas que se verán son las previamente registradas.

7

El expositor tiene la responsabilidad de mantener la atención del público. Una actitud empática, un lenguaje sencillo y una exposición a manera de diálogo (preguntas y respuestas) permiten mayor atención y comprensión con el público. Muchos docentes asisten a estos espacios dejando obligaciones y preocupaciones a un lado, lo invitamos a ser compasivo con esa realidad.

Recomendaciones generales:

• Sea eficiente con el tiempo.

• Siga rigurosamente el guion, pues ha sido diseñado para una duración no mayor a tres horas.

• A lo largo de la presentación, recuerde a la audiencia que estamos aquí para utilizar los resultados de las evaluaciones para el mejoramiento de la calidad educativa que reciben los estudiantes del país.

• Sea consciente del lenguaje que está utilizando para no confundir al público.

• Recoja las reflexiones de las actividades a lo largo de la presentación, cuando considere que sean útiles para explicar alguna idea.

Solicite a la logística que en el momento de registro comente a los asistentes la necesidad de descargar la aplicación PollEv apenas ingresen en el salón (para el momento de la acomodación de los participantes se tendrá la diapositiva de cómo descargar PollEv en los celulares).

Verifique que el material impreso (taller) haya sido entregado a los asistentes (una copia por establecimiento).

Inicie a la divulgación de manera puntual, teniendo en cuenta la información suministrada en la convocatoria.

DESARROLLO DE LA DIvULGACIÓN3.

3. infOrmación general

La divulgación se llevará a cabo teniendo en cuenta los siguientes momentos:

Para la correcta comprensión y desarrollo de la sesión, tenga en cuenta que en los contenidos a continuación se indica la explicación mínima sugerida de las diapositivas que se debe trasmitir a los asistentes, incluyendo comentarios que complementan o facilitan la exposición del eje temático que se esté abordando. Adicionalmente, los siguientes iconos tienen significados específicos:

recursOs cOmplementariOs: Son insumos que le permiten al presentador profundizar sus conocimientos sobre la temática abordada.

videOs: Representa la existencia de un video que explica o complementa la temática que se está presentando.

actividad grupal: Indica que los asistentes deben realizar las actividades del taller o deben participar en la interpretación de los resultados.

tiempO: Es la duración sugerida de cada sección para poder realizar la totalidad de la divulgación en 3 horas. Esos tiempos pueden variar de acuerdo al público objetivo.

mOmentO 1

mOmentO 3

mOmentO 5 mOmentO 6 mOmentO 7mOmentO 4

mOmentO 0

mOmentO 2

presentación

hablemOs de evaluación

cOnOzcamOs lOs resultadOs

Resultados globalesResultados por prueba

intrOducción

¿QuÉ significadO tiene la evaluación?

usO de resultadOs

para la tOma de decisiOnes

infOrmación adiciOnal

cOnclusiOnes y cierre

presentadOr: Muestra la explicación mínima sugerida de las diapositivas que se debe trasmitir a los asistentes.

9

3.1. mOmentO 0 - intrOducción

Dé la bienvenida a los asistentes, preséntese (para el caso de los profesionales de la Subdirección de Análisis y Divulgación del Icfes, mencione que trabaja en esta área del Instituto y la misionalidad de la misma). Explique a los asistentes que esta nueva estrategia de Encuentro regional Saber 2019 responde a la necesidad identificada de trabajar con los diferentes roles y/o actores que participan activamente en el proceso de formación de los estudiantes.

Aunque más adelante se vuelve a mencionar y de manera específica para esta audiencia, explique que el objetivo de los encuentros regionales es incentivar el uso de los resultados de la evaluación para la toma de decisiones.

Presente Pollev: es una herramienta que permite realizar preguntas al público y obtener de manera inmediata sus respuestas, dispuestas en imágenes o gráficos, a partir de esta, tendremos interlocución con todos y cada uno de los asistentes, razón por la cual, se invita a descargar PollEv. Para acceder a esta herramienta, solicite a los participantes que accedan al navegador de su equipo móvil y busquen: Poll Everywhere, en los resultados de búsqueda aparecerán diferentes opciones, de las cuales deberán seleccionar la que corresponde a https://pollev.com, por lo general es la segunda opción que arroja el sistema.

Solicite que ingresen el usuario que se encuentra publicado en la presentación. Este código debe ser previamente cargado por el expositor, al personalizar la presentación.

El tiempo en que carga la aplicación en cada uno de los dispositivos es de aproximadamente 40 segundos.

Profundice en la explicación del Encuentro regional Saber 2019 añadiendo que en este lugar (mencione la ciudad, ETC o público objetivo) y en estos días se realizarán espacios de trabajo con diferentes actores: establecimientos educativos, instituciones de educación superior, secretarías de educación, madres, padres y cuidadores, todos ellos rodeando a los estudiantes. Se recomienda utilizar la metáfora del lente de una cámara en el cual todos esos actores, de manera conjunta, enfocan a los estudiantes con el mismo objetivo de mejorar la calidad de la educación que estos reciben y las competencias que desarrollan a lo largo de su trayectoria educativa.

Añada que en años anteriores se venía trabajando con establecimientos educativos e instituciones de educación superior y que la idea a partir de este año es integrar a las madres, padres y cuidadores, así como a las secretarías de educación y a los estudiantes de una manera mucho más cercana.

Otra característica del Encuentro regional Saber 2019 es que todos estos actores involucrados recibirán los mismos tres mensajes transversales, pero la manera en que estos se desarrollarán dependen de las necesidades de información específicas de cada público. Recalque que más adelante explicará cuáles son esos tres mensajes.

1

3

2

10 min

10

Dependiendo de cómo funcione el internet y en general la capacidad del auditorio podrá utilizar esta herramienta, el presentador define si hace uso de esta.

Vamos a hacer una prueba para saber cómo nos funciona la herramienta PollEv, para ello, compartamos ¿a cuál establecimiento educativo representa usted en este momento?

Se da un minuto para que respondan, posteriormente se indaga sobre quién representa uno o dos de los nombres de establecimiento educativo que aparecen dentro de las respuestas.

En caso que no se utilice PollEv, se solicita a algunos de los asistentes que den el nombre del establecimiento educativo que representan.

Se retoma la metáfora del lente explicando que en esta sesión en particular el trabajo se realizará con los EE y con las personas convocadas: Rectores, coordinadores académicos, docentes de las áreas evaluadas. Bienvenidos al espacio de “Evaluar para avanzar” en la ciudad (según corresponda).

4

5

Presente el contenido de la jornada, mencionando cada uno de los momentos haciendo un breve análisis de lo que se cubrirá en cada espacio.

Mencione el objetivo general, los objetivos específicos, y el material de trabajo, aclaré que por grupo de asistentes que pertenecen a un mismo establecimiento, habrá únicamente un taller.

Mencione que se requieren algunos acuerdos para poder llevar a cabo este encuentro, lea cada uno de ellos.

El último acuerdo, constituye un llamado a trabajar en aspectos técnicos de interpretación de resultados y el uso de los mismos de manera pedagógica. Aclarar que por el quehacer el Instituto, en el taller no se puede dar atención a temas de infraestructura, planta docente, entre otros, razón por la cual, se recomienda no abordarlos en la jornada.

6

10

3.2. mOmentO 1 - presentación

7-9

10 min

3.3. mOmentO 2 - ¿QuÉ significadO tiene la evaluación?

Inicie mencionando el objetivo de la actividad: indagar sobre el significado que tiene la evaluación para quienes están presentes en el auditorio. Evocar momentos de la vida en los que se haya tenido relación con procesos de evaluación, con el fin de identificar palabras que definan la experiencia recordada.

11

10 min

11

1. Solicite a los participantes que evoquen un momento de su vida en el que participaron de un proceso de evaluación, invite a que (los que quieran) cierren los ojos para que se puedan concentrar más rápidamente. Dé unos segundos para que los asistentes se concentren, luego, solicite que recuerden detalles como: ¿en qué año escolar? ¿colegio? ¿universidad? ¿se encontraba laborando?

2. Mientras los asistentes están recordando, formule preguntas que permitan indagar por la experiencia que tuvieron con la evaluación que evocaron anteriormente. Por ejemplo:

• ¿Cómo se sintió en el momento de la evaluación?• ¿Fue una experiencia agradable, difícil, cómo fue?• ¿Cuándo le entregaron los resultados de la evaluación le generaron algún sentimiento?• ¿Los resultados de la evaluación le generaron algún tipo de acción?

3. La pregunta más importante y que le permitirá hilar la reflexión es: ¿qué palabra define la emoción de ese momento que recordaron?

4. Socialice las respuestas a las preguntas a través de la aplicación PollEv o a través de la participación de algunos asistentes.

Para cerrar esta parte, se hace énfasis en que la evaluación tiene el propósito de identificar aspectos a mejorar y aspectos a mantener, que los resultados siempre nos deben llevar a la acción para mejorar. Es este un espacio para reflexionar acerca de la evaluación y del uso que hacemos de la misma, de lo contrario, es posible que sigamos obteniendo lo mismos resultados.

La evaluación como la guía, el mapa o la brújula, el camino que nos indica hacia donde avanzar o qué camino seguir, aunque pueda generar momentos de susto, ansiedad, reto, siempre se debe pensar en que los resultados son la oportunidad de avanzar y mejorar.

12

3.4. mOmentO 3 - hablemOs de evaluación

Mencione que en el siguiente espacio vamos a hablar de evaluación. En este momento abordaremos los tres mensajes que desde el Icfes queremos compartir a todas las personas con quienes estaremos trabajando en los encuentros regionales Saber 2019 a nivel nacional. Recuérdeles el inicio de la presentación cuando se presentaron los actores que harán parte de esta estrategia. Para iniciar, invite a observar el video El Icfes evalúa la calidad de la educación en Colombia.

Recuerde insertar el video en la diapositiva y probar el sonido antes de la presentación.

Reproduzca el video titulado: El Icfes evalúa la calidad de la educación en Colombia.

13-14

30 min

Ahora, vamos a revisar uno a uno los mensajes que nos da el Icfes:

Mensaje 1: El Icfes evalúa una parte de las competencias que deben desarrollar los estudiantes y las cuales se presentan en los marcos de referencia. Se debe hacer énfasis, con apoyo del gráfico, que:

15

12

Primera parte del gráfico: existe un grupo de competencias que las personas deben desarrollar, las cuales le permitirán desenvolverse en las diferentes situaciones que se presentan en la vida;

Segunda parte del gráfico: de todas esas competencias, existen algunas que son trabajadas y desarrolladas en el proceso escolar en la educación superior.

Tercera parte del gráfico: de estas competencias desarrolladas en la educación superior, el Icfes solo evalúa una parte de ellas, algunas que son susceptibles de evaluar a través de una prueba estandarizada de lápiz y papel. Estas competencias se encuentran definidas en los marcos de referencia desde los cuales se definen las competencias a evaluar en la educación superior. De estos marcos de referencia se desprenden 40 módulos específicos y 5 módulos genéricos, cada uno agrupa una serie de competencias que le son propias y permiten medir el conocimiento en el área que le corresponde.

Esta diapositiva presenta de manera resumida el Diseño Centrado en Evidencias (DCE), es decir, la metodología con la que se realizan las preguntas del Examen Saber Pro. El esquema con el que es explicado el DCE pretende que los asistentes sean conscientes de que las preguntas también evalúan unas tareas, unas evidencias y unas competencias asociadas a estas. Tenga en cuenta que el esquema presentado no es una guía para elaborar las preguntas del Examen Saber Pro.

El diseño y la estructura del examen Saber Pro., y en general de todas las pruebas que elabora el Icfes –como Saber 3°, 5° y 9°; Saber 11º y Saber TyT, entre otras–, se realizan por medio del Diseño Centrado en Evidencias (DCE) o Modelo Basado en Evidencias (MBE).

El DCE parte con la identificación del marco de referencia que establecen lo que los estudiantes deben saber y saber hacer. Estas especificaciones son construidas por docentes expertos en cada una de las áreas de evaluación.

Las competencias evaluadas en el Examen Saber Pro, son únicamente aquellas susceptibles de ser evaluadas mediante una prueba escrita estandarizada. Estas competencias se dividen en afirmaciones o enunciados de los conocimientos, habilidades y capacidades que se pretenden inferir a partir de las respuestas de los estudiantes. Las afirmaciones, además, permiten entender el significado de los puntajes obtenidos por los estudiantes en términos de su desempeño.

Cada afirmación tiene unas las evidencias o acciones observables que permiten dar cuenta si la afirmación se cumple. Las evidencias se obtienen a partir de las tareas o actividades que definen la dificultad o complejidad de las preguntas.

En síntesis, el DCE muestra que existe un conjunto de preguntas que valoran una tarea o actividad; un grupo de tareas que permiten obtener una evidencia, y unas evidencias que dan cuenta de que lo que saben y saben hacer los estudiantes.

16

Para complementar la comprensión del DCE se sugiere la consulta y estudio del documento http://www.icfes.gov.co/web/guest/acerca-examen-saber-once#Informaci%C3%B3n%20general

13

Mensaje 2: Todos desde nuestro rol aportamos a los procesos de aprendizaje de los estudiantes.

Existe la corresponsabilidad ante el derecho que tienen los estudiantes a una educación de calidad. Los estudiantes, su desarrollo integral y la calidad de la educación son, en este caso, nuestro centro, y sobre este, inicialmente la familia, luego el colegio y la universidad y finalmente, los actores del entorno local tenemos un impacto sobre esta formación, específicamente sobre el cumplimiento en el desarrollo de competencias de los estudiantes. Si quiere indagar más acerca de la relación entre CORRESPONSABILIDAD, DESARROLLO INTEGRAL y EDUCACIÓN DE CALIDAD a continuación encuentra algunos apartados de la Ley 1098 de 2006 – Código de Infancia y Adolescencia.

• Según el artículo 10 de la Ley 1098 de 2006 “se entiende por corresponsabilidad, la concurrencia de actores y acciones conducentes a garantizar el ejercicio de los derechos de los niños, niñas y adolescentes. La familia, la sociedad y el Estado son corresponsables en su atención, cuidado y protección”.

• Artículo 17 Ley 1098 de 2006: Derecho a la vida y a la calidad de vida y a un ambiente sano “La calidad de vida es esencial para su desarrollo integral acorde con la dignidad de ser humano. Este derecho supone la generación de condiciones que le aseguren desde la concepción cuidado, protección, alimentación nutritiva y equilibrada, acceso a los servicios de salud, educación, vestuario adecuado, recreación y vivienda segura…”

• Artículo 28 Ley 1098 de 2006: Derecho a la educación: “Los niños, niñas y adolescentes tienen derecho a una educación de calidad”

Recuerde que, para hablar de corresponsabilidad con niños, niñas y adolescentes, en las universidades, es importante mencionar que cada año, algunos de los estudiantes que ingresan a la educación superior aún son menores de edad, por lo que aún consideramos particularmente a los adolescentes.

Los estudiantes también cumplen un rol importante, ya que ellos desde su quehacer pueden aportar a la calidad de la educación del país, una de las formas en las que pueden hacerlo, es presentando el examen a conciencia, ya que estos resultados permitirán tomar decisiones de política pública que permitan mejorar los procesos de educación en el país.

17

Mensaje 3: La evaluación es un proceso dinámico, una oportunidad para mejorar y avanzar.

En esta diapositiva se menciona el ciclo de la evaluación, cada proceso dentro de este ciclo es útil para sacar provecho de los resultados de la evaluación. De no desarrollar todo el ciclo, el ejercicio del uso de la evaluación se pierde porque no se da uso a la información que nos presenta, nos perdemos la oportunidad de conocer aspectos que debemos mejorar y de identificar aquellos que se han fortalecido. Por lo tanto, se invita a hacer uso de la evaluación para mejorar los procesos de los aprendizajes de los estudiantes, y de esta manera identificar procesos para avanzar.

Se recomienda explicar el paso a paso a medida que se activan las animaciones. Puede utilizar el ejemplo de visitar el médico: Cuando va al médico, éste le pide que se realice los exámenes médicos, que luego los reclame, se los lleve nuevamente para analizarlos y ver cuál es el diagnóstico, teniendo en cuenta lo encontrado, el médico le da unas indicaciones cuidado y mejoramiento que debe llevar a cabo durante un tiempo determinado para luego, volver a hacerse los exámenes y ver si ha mejorado.

18

14

Las competencias genéricas del examen Saber Pro se evalúan en la primera sesión del examen e incluye 5 módulos: • Lectura crítica; • Razonamiento cuantitativo; • Competencias ciudadanas; • Comunicación escrita; • Inglés.

Se sugiere profundizar el estudio sobre las competencias evaluadas en el documento Guía de orientación módulos de competencias genéricas enlace: http://www.icfes.gov.co/documents/20143/496194/Guia%20de%20orientacion%20modulos%20de%20competencias%20genericas-saber-pro-2018.pdf en donde se describen una a una las competencias de los módulos evaluados, a continuación se presenta, a modo de ejemplo, la descripción de las competencias para la prueba de Lectura Crítica.

Lectura Crítica:El módulo de lectura crítica evalúa tres competencias. Las dos primeras se refieren a la comprensión del contenido de un texto, ya sea a nivel local o global, y la tercera, a la aproximación propiamente crítica frente al texto. Estas competencias representan, de manera general, algunas de las habilidades cognitivas necesarias para ser un lector crítico.

a. Identificar y entender los contenidos locales que conforman un texto. Esta competencia incluye la capacidad de identificar y entender los eventos, ideas, afirmaciones y demás elementos locales que componen un texto. Su evaluación está, entonces, dirigida a la comprensión del significado de palabras, expresiones o frases que aparecen explícitamente en el texto. En ausencia de esta competencia, no es posible contar con las dos competencias siguientes.

b. Comprender cómo se articulan las partes de un texto para darle un sentido global. Esta competencia consiste en la capacidad de comprender cómo se relacionan semántica y formalmente los elementos locales que constituyen un texto, de manera que este adquiera un sentido global. En esa medida, las preguntas que la evalúan siempre involucran varios elementos locales de un texto (por ejemplo, diferentes frases o párrafos) y exigen reconocer y comprender su articulación. Esta competencia es necesaria para contar con la siguiente.

c. Reflexionar a partir de un texto y evaluar su contenido. Esta competencia consiste en la capacidad de enfrentar el texto críticamente. Incluye evaluar la validez de argumentos, identificar supuestos, derivar implicaciones, reconocer estrategias argumentativas y retóricas, relacionar los contenidos con variables contextuales, entre otras habilidades. Se trata de la competencia propiamente crítica y, como tal, exige un ejercicio adecuado de las dos anteriores.

Tal como se mencionó anteriormente, en el documento Guía de orientación módulos de competencias genéricas se describen las competencias evaluadas para cada uno de los 5 módulos. Es por ello por lo que se sugiere que el presentador invite a la consulta de este documento al interior de las universidades, para que se tenga conocimiento respecto a lo evaluado, y se anime para tener en cuenta esta información en la organización curricular de cada programa.

20

A continuación, vamos a realizar un recordatorio respecto a ¿Cuáles son las pruebas del Examen Saber Pro?

19

15

Además de los módulos genéricos, el Examen Saber Pro cuenta con módulos asociados a temáticas y contenidos específicos que los estudiantes presentan según su área de formación profesional. Un mismo módulo específico puede ser presentado por estudiantes de diferentes programas pertenecientes a un Núcleo Básico de Conocimiento (NBC). Los módulos específicos Evalúan competencias consideradas fundamentales para los futuros egresados de programas de formación de la educación superior y evalúan competencias comunes a grupos de programas con características de formación similares.

Los módulos específicos deben reunir dos condiciones:

- Comportamiento técnico adecuado, en referencia a que estadísticamente arroje resultados que evidencien que se está evaluando lo que se quiere evaluar.

- La estructura y especificaciones de la prueba sean estables luego de varias aplicaciones, mínimo en 3 años.

Es muy posible que en este momento se indague sobre el proceso que se debe surtir para que se incluya un nuevo grupo de referencia, la respuesta a esta inquietud es: la creación de un nuevo grupo de referencia se debe realizar a través de una solicitud al Ministerio de Educación; el cual expedirá una Resolución oficializando el nuevo grupo de referencia. Dicha resolución debe ser remitida por parte de la universidad al Icfes, a partir de lo cual, se incluirá este nuevo grupo de referencia para las respectivas ofertas de combinatorias de módulos específicos. También, es posible que en este momento se manifieste que una oferta de módulo ha desaparecido, situación que hace referencia de manera precisa a lo anteriormente mencionado, es decir, este módulo no cumplió alguna (o las dos) de las dos condiciones, razón por la cual, se retira de la oferta, mientras se hacen las revisiones y ajustes pertinentes para garantizar su fortaleza técnica y volverlo a ofertar.

Tener en cuenta que la opción NINGUNO puede suceder porque algunos establecimientos presentes no tienen 11.º. Comenzar reflexión alrededor del concepto de las trayectorias educativas, los resultados de 11 para la ETC pueden ser útiles para trazar metas desde grados anteriores.

21-22

Pregunta PollEv: En caso de que el lugar no cuente con la cobertura de Internet adecuada o que los asistentes no cuenten con dispositivos celulares, las dinámicas pensadas para PollEv se deben realizar solicitando participación en tiempo real (haciendo preguntas directas al público, con respuestas levantando la mano, por ejemplo).

¿Cuál es uno de los requisitos para que un módulo específico sea adoptado? la respuesta correcta según se ha mencionado en las diapositivas anteriores es comportamiento técnico adecuado por 3 años consecutivos.

A continuación, se presenta información respecto a la transición que se realizó de grupos de referencia a NBC. Para el Icfes, los Grupos de referencia son agrupaciones de programas académicos con características similares, a los que se les hace una oferta de combinaciones de módulos de competencias específicas.

23

24

16

La Resolución 455 de 2016 estableció 19 grupos de referencia para Saber Pro; mientras que la Resolución 395 del 12 de junio del 2018, a partir de la segunda aplicación del año 2018, se utiliza el Núcleo Básico del Conocimiento (NBC) y el nivel de formación (técnico profesional, tecnólogo o profesional universitario) asociado a cada programa académico según la clasificación pública del SNIES, para determinar agrupaciones de programas a los cuales dirigir la oferta de combinatorias que podrán ser escogidos por las Instituciones de Educación Superior (IES) para ser presentados por sus estudiantes. Esto con el fin de brindar a la comunidad académica información sobre el desempeño académico de los diferentes programas de formación profesional que sea comparable a nivel internacional.

Algunos elementos que se deben tener claros:

1. El SNIES es un registro administrativo que surge de la gestión propia del viceministerio de educación superior del Ministerio de Educación Nacional, como ente rector del sector educativo. Se estructura en 9 áreas de conocimiento y 55 núcleos básicos del conocimiento (NBC).

2. Todos los módulos ofertados en Saber Pro y Saber TyT son organizados en combinatorias, es decir, grupos de entre uno y tres módulos.

3. Al momento de la inscripción obligatoriamente todos los programas tendrán inscrita la combinatoria 0 (conformada por los 5 módulos de competencias genéricas), adicionalmente, las IES tienen la posibilidad de seleccionar, acorde al NBC del programa, una de las combinatorias de los módulos de competencias específicas ofertadas por el Icfes según lo considere pertinente.

A continuación, se presenta un ejemplo que permite comparar los cambios en la oferta de módulos específicos a partir de 2018:

En el ejemplo, se presentan los módulos ofrecidos para el área de conocimiento de ECONOMÍA, ADMINISTRACIÓN, CONTADURÍA Y AFINES. Se observa entonces que para cada NBC la oferta cambia. Por otro lado, existe la posibilidad de que los programas presenten únicamente los módulos de competencias genéricas (combinatoria 0) cuando estos consideren que los módulos ofrecidos por el Icfes no correspondan con el diseño curricular del programa. La elección de las combinatorias se hace conforme a la opción que mejor se adapta a la formación del cada programa académico. En el caso de economía solo hay una posible (28), mientras que, en administración, que es más amplio, hay dos combinatorias posibles: 22 y 46.

Nota: 22 y 46 corresponden a códigos internos del Icfes para identificar estas combinatorias, no obedecen a la cantidad de módulos que se presentan en la combinatoria.

Finalmente, existen programas académicos cuyo NBC está SIN CLASIFICAR y estos solo podrán presentar los módulos de competencias genéricas. Lo anterior puede suceder por varias razones. La primera es que efectivamente no sea posible clasificar el programa académico dentro de las opciones establecidas en el SNIES. La segunda es que hubo un error a la hora de registrar el SNIES del programa académico. En cualquier caso, es recomendable realizar una revisión exhaustiva de lo que se tiene registrado en el SNIES con el Ministerio de Educación.

Es muy importante recalcar la importancia de revisar la clasificación que tiene el programa académico bajo el SNIES, ya que el Icfes toma los datos que se encuentren publicados en este para ofertar las diferentes combinatorias. Recuerde que puede consultar la clasificación del programa en el siguiente enlace: https://snies.mineducacion.gov.co/consultasnies/programa.

25

17

Una de las motivaciones para realizar el cambio en el referente de agrupación de los programas académicos se puede ver en esta tabla. Bajo el criterio de agrupación de Grupos de Referencia definido por el Icfes, al filtrar por el grupo de referencia de Economía se encontraron 4 programas académicos: Economía, Economía y finanzas internacionales, Economía y negocios internacionales y Finanzas y comercio internacional. Ahora bien, al filtrar por el NBC de economía, ya no son 4 programas sino más de 10. Por ejemplo, una IES del país registró su programa de Administración de empresas con NBC de ECONOMÍA. Puede ocurrir que este programa tenga un enfoque hacia el análisis económico, y en este caso estaría bien clasificado (aunque sería mejor cambiar el nombre del programa); o, por el contrario, que haya quedado mal clasificado y que su NBC deba ser el de ADMINISTRACIÓN

Estas son las 8 áreas de conocimiento dentro de las cuales se encuentran agrupados los diferentes Núcleos Básicos de Conocimiento.

Presenta para cada una de las áreas las agrupaciones de programas ofertados. La información se incluye, por si se quiere ahondar en un área específica.

Estas dos diapositivas introducen a la sesión: Conozcamos los resultados.

Presenta el pantallazo de la página web del Icfes, y el respectivo enlace, donde se encuentra la información de las combinatorias de módulos ofertados para competencias específicas.

El presentador invita a revisar esta información, teniendo en cuenta que constituye información útil para la organización del programa académico y específicamente para la definición de las competencias que evaluarán a los estudiantes.

El objetivo de las diapositivas 35 y 36 es recordar los tipos de reportes de resultados que genera el Icfes para el Examen Saber Pro. Para esto se invita a los participantes a realizar la actividad siguiendo la diapositiva 36.

Recordemos que existen 4 tipos de reportes de resultados para el Examen Saber Pro, los cuales nos permiten hacer diferentes análisis gracias a los niveles de agregación propios de cada reporte.

26

27

28-30

31y32

35y36

3.5. mOmentO 4 - cOnOzcamOs lOs resultadOs 40 min

33 y 34

18

1. ¿Cuál es el reporte que se entrega a quienes toman el Examen? R/ Reporte de estudiantes, el cual es autocontenido y permite a cada estudiante analizar y

comprender sus resultados.

2. ¿Cuál es el reporte que compara los resultados obtenidos en mi Universidad con los obtenidos por Colombia y mis sedes (de existir)?

R/ Reporte por Institución.

3. ¿Cuál es el reporte que compara los resultados obtenidos con el contexto de la región, departamento y municipio donde se encuentra?

R/ Reporte por Sede.

4. ¿Cuál es el reporte que compara los resultados obtenidos por un programa específico de la universidad con los resultados obtenidos a nivel nacional por el grupo de referencia (NBC) al cual pertenece?

R/ Reporte por Programa Académico.

A manera de reflexión, es importante tener en cuenta que, en la figura, cada reporte está representado por una ficha, si quitamos una ficha la figura no puede armarse, razón por la cual, se invita a realizar el análisis de los resultados teniendo en cuenta todos estos reportes; los cuales se encuentran en la página del Icfes (se pueden descargar con el nombre de la institución o el respectivo SNIES) en documentos que presentan la información anual, y también históricos.

El objetivo de la actividad es recordar los tipos de resultados que se encuentran en cada uno de los reportes. En la primera columna encontrará la definición y en la siguiente el concepto. Se solicita al auditorio que realice las parejas respectivas, para lo cual se permiten unos minutos (se sugieren 3 minutos). En seguida se solicita la participación de los asistentes para resolver la actividad. A medida que se van identificando las parejas, con dar clic sobre la presentación aparecerá una flecha que permite corroborar las respuestas dadas.

Al finalizar la actividad, se invita a hacer uso de todos estos resultados: promedio global, puntaje promedio, desviación estándar, afirmaciones y niveles de desempeño, para realizar el análisis de resultados.

Diapositiva de transición para dar inicio a los resultados globales Saber Pro.

37

38

19

El objetivo de la diapositiva 39 es presentar los resultados históricos obtenidos por el municipio donde se vaya a realizar la presentación.

Antes de revisar los resultados, es necesario exponer la información que se presenta en la gráfica. Esta diapositiva contiene los resultados históricos de una ciudad/municipio a nivel global y en cada una de las competencias genéricas del Examen Saber Pro. En el eje vertical se representa el promedio cuya escala va de 1 a 500, sin embargo, para facilitar la observación de los resultados, se presenta la escala entre 100 y 200; y en el eje horizontal los años (2016 a 2018). Dentro de cada gráfica los cuadrados representan el promedio (el valor del promedio se presenta junto a cada cuadrado), y la línea vertical que los cruza corresponde a la desviación estándar (el valor de la desviación estándar se presenta en paréntesis).

¿Cómo interpretar los resultados en el tiempo?

Si bien se pueden identificar cambios de aumento o disminución de puntos porcentuales en el promedio y la desviación estándar en el tiempo, se considera que existe una diferencia considerable en los siguientes casos:

Puntaje Para el puntaje por prueba Es considerable si los cambios son ≥ que

GlobalPromedio 9 puntos

Desviación estándar 2 puntos

Por prueba genéricaPromedio 9 puntos

Desviación estándar 2 puntos

Algunos elementos que pueden guiar el análisis son:

- Si los resultados aumentaron, disminuyeron y si estas diferencias son importantes. - Analizar los resultados del promedio y la desviación estándar al mismo tiempo, pues, muchas

veces, se tiene en cuenta uno de ellos. Es necesario tener presente que un escenario ideal de resultados tendría aumento en el promedio y disminución en la desviación estándar.

- Un ejemplo de los resultados que se pueden obtener es: incremento el promedio, pero también la desviación estándar, esto indica que se tienen estudiantes que obtuvieron muy buenos resultados (por lo cual ha subido el promedio), pero también se tienen estudiantes que obtuvieron resultados muy bajos. Lo anterior indica que existe una amplia heterogeneidad entre las competencias desarrolladas por los estudiantes en un mismo programa. Para este ejemplo, el objetivo de un plan de mejoramiento podría ser disminuir esta heterogeneidad, de manera que todos los estudiantes del programa desarrollen las competencias definidas en el plan de estudios.

- Los resultados deben analizarse a la luz de factores como el contexto, el número de estudiantes que presentaron la prueba.

Por lo tanto, se invita a los asistentes a realizar las conclusiones pertinentes. con una desviación estándar similar todos los años. En relación con los módulos de competencias genéricas, se recomienda además de tener en cuenta las observaciones anteriormente mencionadas, identificar en cuál de los módulos evaluados se obtienen mejores resultados y en cuál se tiene un mayor reto de mejoramiento debido a la disminución del promedio o al aumento de la desviación estándar). Así mismo, revisar los resultados de todas las competencias genéricas.

39-40

20

El objetivo de la diapositiva 41 es mostrar el desempeño académico y el nivel socioeconómico promedio de los Núcleo Básicos de Conocimiento. Podríamos interpretar que estos Núcleos Básicos de Conocimiento “desagregan” las burbujas de la gráfica anterior que representaban los grupos de referencia (los cuales se utilizaron en la evaluación hasta el I semestre de 2018), ya que dentro de cada área del conocimiento se reconoce una cantidad superior de clasificación de los programas.

Existen 55 NBC, para claridad de la información presentada en el gráfico y lograr identificar resultados relevantes, solo se verán reflejados los 20 NBC con una mayor cantidad de estudiantes que presentaron la prueba. A manera de recuerdo, los Núcleos Básicos de Conocimiento son la forma que en adelante utilizará el Icfes para la clasificación de los programas académicos y por consiguiente para la oferta de los módulos específicos.

Los NBC fueron explicados en las diapositivas 24 a 26.

Se observa que las burbujas que estaban por grupo de referencia (diapositiva 40) se dividen en los diferentes NBC; por ejemplo una de las burbujas más representativas por grupo de referencia es la de ingeniería (diapositiva 40), la cual al presentarse por NBC presenta la información por cada ingeniería: de sistemas, telemática y afines, ambiental, entre otras (diapositiva 41) Lo anterior permite analizar la relación entre el programa y el índice de nivel socioeconómico, y comparar programas con similares índices de nivel socioeconómico qué resultados están obteniendo.

Lo anterior nos permite observar que la transición a NBC permitirá hacer comparaciones más exactas, y de esta forma no sobrevalorar o subvalorar los resultados dentro de los diferentes programas de educación superior.

Pregunta PollEv: ¿Qué insumo da información para el cálculo del Índice de Nivel Socioeconómico? la respuesta correcta según se ha mencionado es el cuestionario de factores asociados.

A partir de esta diapositiva, se van a presentar los resultados por módulos genéricos.

El objetivo de la diapositiva 44 es comparar los resultados obtenidos en 2018 de la ciudad donde se esté realizando la presentación con los de Colombia.

Se analiza el comportamiento de los resultados en 2018 de la ciudad frente a los de Colombia, inicialmente en términos del puntaje global teniendo en cuenta las sugerencias de análisis con las que se presentó la información de la gráfica 39 en relación con el promedio y la desviación estándar.

41

42

43

44

21

Posteriormente se analizan los resultados por cada uno de los módulos genéricos.

Antes de continuar con la siguiente sección realice la siguiente pregunta al público.

¿Cuáles de los módulos genéricos presentan todos los resultados (promedio, desviación estándar, niveles de desempeño y afirmaciones)? R/ Razonamiento, Lectura y Competencias.

Para hacer eficiente la presentación, se selecciona el módulo que presente todos los resultados y que presente mayores diferencias con el promedio nacional (por encima o por debajo), de éste, se revisan los resultados de la gráfica y se analiza teniendo en cuenta las preguntas: ¿por qué se están obteniendo estos resultados? para ello, se solicita la participación de los asistentes, esto se puede explicar por los planes de estudio, el número de facultades que desarrollan este programa, el número de estudiantes que pertenecen a este programa, recursos, …).

La diapositiva 45 introduce el análisis de los resultados por el módulo que presenta mayores diferencias con el promedio nacional. La diapositiva 46 presenta un ejemplo sobre la lectura de resultados del gráfico que presenta los resultados del módulo seleccionado.

El gráfico presenta la información por sector y nivel socioeconómico. Los tonos azules hacen referencia a universidades privadas, los tonos rojos a universidades públicas. Dentro de ambos sectores los tonos oscuros corresponden a universidades de nivel socioeconómico 1 y 2, y los más oscuros a los niveles socioeconómicos 3 y 4. Es importante recordar que estos niveles no hacen referencia a la estratificación utilizada por el DANE para los predios.

La parte izquierda del gráfico presenta el porcentaje de estudiantes que tomaron este módulo específico por tipo de sector (público o privado) y nivel socioeconómico. Los colores de las etiquetas relacionan el sector de la universidad con el nivel socioeconómico, el color azul oscuro hace referencia a universidades privadas con estudiantes de nivel socioeconómico 1-2, el azul claro es para las universidades privadas de nivel socioeconómico 3-4; para las universidades públicas el color morado hace referencia a los niveles socioeconómicos 1-2 y el rosado a los niveles 3-4. Lo anterior, permite conocer el panorama general de caracterización de estudiantes a nivel nacional.

La parte derecha del gráfico presenta los puntajes del promedio de la prueba para cada sector y por nivel socioeconómico, las barras representan el puntaje promedio en cada sector (públicas o privadas) y los puntos el puntaje promedio por nivel socioeconómico (1-2, 3-4) (recuerde los colores de las etiquetas). Cuando las barras sean de color gris indican que no hay diferencias considerables entre sectores, es decir el puntaje promedio de las instituciones privadas y públicas es similar. Cuando las barras tienen color indica que hay diferencias considerables entre sectores, es decir que el resultado de uno de los sectores es considerablemente mayor al del otro.

Para revisar si hay brechas socioeconómicas dentro de los sectores privados y públicos se debe observar la distancia que hay entre un punto y el otro dentro de cada sector, si hay más de 9 puntos entre un dato y el otro se puede afirmar que hay brechas socioeconómicas.

En esta gráfica es interesante observar si existe alguna ciudad donde los estudiantes con niveles socioeconómicos bajos tienen puntajes considerablemente superiores a los de niveles socioeconómicos altos.

45 y 46

22

La diapositiva 47 muestra los resultados para los municipios con mayor número de evaluados dentro del módulo genérico que se está analizando (es decir el módulo que presentó mayores diferencias con Colombia). Puede que en el informe por módulos genéricos quizá no esté la ciudad que se está analizando, sin embargo, en la presentación encontrará los resultados en la parte inferior. Para la presentación de este apartado involucre al público para que desde estos surja la interpretación de la información. Para ello, se sugieren las siguientes preguntas:

¿En qué sector y a qué nivel socioeconómico pertenece la mayoría de los estudiantes que tomaron este módulo específico en nuestra ciudad? Y, ¿cuál es el que presentan mayores y menores promedios en el puntaje de la prueba?

¿Existen diferencias considerables en el promedio del puntaje de la prueba entre sectores en la ciudad? De ser así ¿a qué se deben estas diferencias?

¿Existen diferencias considerables en el promedio del puntaje de la prueba en alguna de las otras ciudades que se presentan en el gráfico?

Recuerde que al comparar puntajes se hace referencia a diferencias considerables, no se habla de significancia estadística. Los puntajes son similares cuando no hay una diferencia superior a nueve (9) puntos entre estos; luego, de existir diferencias es porque en alguna de las ciudades un puntaje se encuentra al menos 9 puntos por encima del otro resultado.

¿Hay brechas socioeconómicas en alguno de los sectores?

¿Utilizando la información de otras ciudades, ¿cómo podemos caracterizar a la población que ha respondido al módulo que se está trabajando?

El análisis de los nueve puntos se mantiene, para esto revise junto con el público si existe alguna ciudad donde la distancia entre los puntos sea de 9 o más puntos.

La gráfica presenta resultados que cobran sentido a la luz de la explicación del por qué se obtienen estos resultados, esto solo es conocido por los actores del contexto, quienes saben de las características de las universidades, los programas y los estudiantes. por lo anterior, se invita a que, como ciudad, se analicen estos resultados y se piense en el fortalecimiento de los resultados de todos los sectores, pensando precisamente en el mejoramiento de la calidad educativa en un nivel ciudad o región, siendo el espacio de interacción de este taller una oportunidad para reconocer actores, y posibles estrategias de apoyo entre programas de educación superior.

El objetivo de la diapositiva 48 es presentar los resultados por niveles de desempeño para el módulo genérico escogido, por tipo de sector de la universidad (público o privada), comparándolo con las 3 o 4 ciudades donde más estudiantes se presentaron.

Los niveles de desempeño para las competencias genéricas se encuentran descritos en la Guía de niveles de desempeño, la cual, se sugiere referenciar durante el taller para una consulta detallada por parte de los equipos de las IES. Esta información permitirá identificar de manera cualitativa qué tanto han logrado los estudiantes para clasificarse en uno u otro nivel y adicionalmente, identificar esos aspectos que hacen falta a los estudiantes para llegar a ubicarse en los niveles más altos. La guía se encuentra en los enlaces http://www.icfes.gov.co/documents/20143/177954/guia%20interpretacion%20y%20uso%20de%20resultados%20historicos%20programa%20academico%20saber%20pro%202018.pdf

47

48

23

Para este ejercicio analice la distribución de estudiantes en su ciudad en los diferentes niveles, dentro de cada uno de los sectores. Identifique en cuáles niveles se encuentran concentrados los estudiantes en la ciudad de interés, y contrástelo con el nivel nacional o con los resultados en las otras ciudades.

El objetivo de las diapositivas 49 a 51 es presentar los resultados por afirmaciones realizando una comparación directa con los resultados a nivel nacional. Es importante recordar que las afirmaciones, son uno de los elementos del DCE y que tiene como propósito poder expresar aquellos que se quiere decir del examinando con base en las respuestas dadas en la prueba. Los resultados para las afirmaciones se establecen en porcentaje de respuestas incorrectas, no a la cantidad de estudiantes que contestaron de forma incorrecta. Es importante que tenga presente que no es posible realizar comparaciones entre las afirmaciones porque estas tienen diferentes niveles de dificultad, por esta razón en este reporte se comparan los resultados de cada afirmación en la ciudad con los resultados nacionales.

La tabla de la diapositiva 49 presenta las afirmaciones del módulo seleccionado para analizar.

La tabla de la diapositiva 50 presenta en la primera columna la semaforización que nos permiten la revisión de respuestas incorrectas obtenidas, el color verde nos dice que se obtuvieron hasta un 20% de respuestas incorrectas; el amarillo hasta un 40% de respuestas incorrectas; el anaranjado entre un 40% y 70% son respuestas incorrectas, y el rojo más de un 70% de respuestas incorrectas.

Indague a los participantes cuál es el ideal de respuestas incorrectas. R/ menos del 20%, es decir, lo representado en color verde.

En la columna 2 de la tabla de la diapositiva 50, se presenta la descripción de la semaforización de la diferencia en el porcentaje de respuestas incorrectas con respecto al nacional. Esta semaforización sigue la siguiente representación: verde si la diferencia es menor o igual que −5, amarillo cuando está entre −4.9 y −0.1, naranja si está entre 0 y 4.9, y rojo si es mayor o igual que 5. El escenario deseable en este caso es estar en el color verde ya que esto indicaría que, en promedio, hay un porcentaje de respuestas incorrectas menor al del nivel nacional en alguna de las ciudades. Los escenarios no deseables son el naranja y el rojo, porque indican que tenemos un porcentaje de respuestas igual o superior al porcentaje de respuestas incorrectas a nivel nacional.

La semaforización se establece como un elemento adicional que permite identificar cómo están los estudiantes de la ciudad respecto al país en cada uno de los aprendizajes. Al establecer este análisis se deben tener en cuenta las condiciones que existen en las universidades de la ciudad y del país.

En la diapositiva 51 se presentan los resultados obtenidos con la semaforización de respuestas incorrectas para cada una de las afirmaciones del módulo en análisis. Se sugiere que la revisión y comprensión de los resultados se dé con los asistentes, indicando los siguientes:

¿En qué afirmación la ciudad tiene un escenario deseable en contraste con los resultados obtenidos a nivel nacional? ¿por qué?

¿Qué ciudad tiene el comportamiento menos deseado en alguna de las afirmaciones en contraste con los resultados obtenidos a nivel nacional? ¿por qué?

¿Cuáles aprendizajes implican un mayor reto en el módulo analizado para la ciudad? ¿por qué? Nota: este por qué se sugiere responder no solo con los porcentajes, sino, más bien, teniendo en cuenta las condiciones de la ciudad, la oferta de programas, entre otros.

49 - 51

24

El objetivo de esta sección es mostrar los 6 módulos más representativos de la ciudad que se está analizando. La diapositiva 52 introduce a la sesión de resultados por módulos específicos.

La diapositiva 53 presenta los 6 módulos específicos con mayor peso en la ciudad analizada. El tamaño de las barras se asocia a la cantidad de estudiantes que presentaron la prueba por cada uno de estos módulos específicos. Para el siguiente análisis, se tomará el módulo que fue presentado por un mayor número de estudiantes.

Para información del módulo(s) que presentaron los estudiantes de otros programas académicos, lo invitamos a visitar la página web del Icfes y descargar las guías de orientación correspondientes a cada uno de los módulos específico.

A continuación, se analizan los resultados para el módulo específico.

La diapositiva 54 presenta el módulo seleccionado. La diapositiva 55 presenta el promedio de puntaje de la prueba, discriminando por tipo de institución y por índice de nivel socioeconómico. La interpretación de resultados se realizará teniendo en cuenta la misma dinámica del análisis de los resultados de los módulos específicos, descrito para la diapositiva 47.

Se sugiere nuevamente involucrar al público para la interpretación de los resultados:

¿En qué sector y a qué nivel socioeconómico pertenece la mayoría de los estudiantes que tomaron este módulo específico en nuestra ciudad? Y, ¿cuál es el que presenta una menor participación?

¿Existen diferencias considerables entre sectores a nivel nacional? ¿Existen diferencias considerables en alguna de las ciudades que se presentan en el gráfico? De ser así ¿Por qué?

Recuerde que al comparar puntajes se hace referencia a diferencias considerables, no se habla de significancia estadística. Los puntajes son similares cuando no hay una diferencia superior a nueve (9) puntos entre estos; luego, de existir diferencias es porque en alguna de las ciudades un puntaje se encuentra al menos 9 puntos por encima del otro resultado.

¿Hay brechas socioeconómicas en alguno de los sectores, en este módulo específico en particular?

52 y 53

54 y 55

La diapositiva 56 presenta los resultados de los niveles de desempeño para el módulo específico seleccionado. Para la presentación de este apartado utilice la información descrita en la diapositiva 48, nuevamente involucre al público para la interpretación de los resultados.

La diapositiva 57 y 58 presentan los resultados de las afirmaciones para el módulo específico seleccionado. En la diapositiva 57 se listan las afirmaciones evaluadas. En la diapositiva 58, se presentan los resultados de respuestas incorrectas para cada una de las afirmaciones. Para la presentación de este apartado utilice la información descrita en las diapositivas 50 y 51; nuevamente involucre al público para la interpretación de los resultados.

56

57 y 58

25

El objetivo del momento 5 es aplicar los conceptos expuestos para la correcta interpretación y uso de resultados. Para iniciar, se recuerda, junto con los participantes cuáles son los resultados con los que cuenta el reporte por programa académico.

Los reportes por programa académico permiten comparar los resultados de un determinado programa con los resultados de los demás programas de un mismo grupo de referencia (NBC) al cual pertenece mi programa.Adicional a los resultados con los que cuentan los demás reportes (Institución y sede), este reporte contiene información por los módulos de competencias específicas en los cuales un programa esté registrado.

3.6. mOmentO 5 - usO de resultadOs para la tOma de decisiOnes 60 min

59-60

La diapositiva 61 introduce al uso de resultados para la toma de decisiones, momento en el que se van a retomar las actividades del taller. Para el desarrollo de estas actividades, es necesario que los asistentes cuenten con la información de su programa académico, el taller impreso y el informe nacional por módulos específicos que se encuentran disponibles en la página web del Icfes. El enlace es el siguiente: http://www2.icfesinteractivo.gov.co/resultados-saber2016-web/pages/publicacionResultados/agregados/saberPro/consultaAgregadosIES.jsf#No-back-button

La diapositiva 62 presenta la actividad 2.1, a partir de la cual se empieza a familiarizar a los asistentes con sus resultados. Para ello, el primer paso es escoger un módulo de su reporte por programa académico.

Diríjase a la sección de módulos genéricos y específicos de los reportes de resultados del programa académico y escoja un módulo según sea el interés. Si alguno de los programas académicos no muestra todos los tipos de resultados (no registra módulos específicos adoptados), lo recomendable es que realice el taller utilizando los resultados de los módulos genéricos.

Es importante recordar que en el taller se propone analizar un solo módulo por motivos de tiempo, sin embargo, las actividades y preguntas propuestas pueden replicarse con los demás módulos (incluso con los no adoptados).

Luego de escoger el módulo, se solicita anotarlo sobre la línea señalada.

El objetivo de las diapositivas 63, y 64 es identificar, analizar e interpretar el promedio y la desviación estándar de los módulos genéricos y específicos. En este caso, se analizarán los resultados del módulo escogido a partir del desarrollo de las actividades 2.2 y 2.3. Puede parafrasear las instrucciones de dichas actividades.

Para el desarrollo de las actividades 2.2, se sugiere aclarar que sobre la línea va el puntaje promedio y dentro del paréntesis va la desviación estándar. El promedio y la desviación estándar son resultados que se deben revisar de forma conjunta.

Deben identificar y transcribir la información solicitada. Adicionalmente deben realizar la diferencia entre el promedio del programa menos el promedio del grupo de referencia - NBC.

61

62

63 y 64

26

Puede parafrasear las instrucciones de la actividad 2.4. Antes de realizar el siguiente ejercicio recuerde que una diferencia entre puntajes es considerable cuando mayor, menor o igual a 9 puntos.

La actividad 2.3 debe responderse según la información del recuadro de la actividad 2.2. Esta información sólo corresponde para el caso del Examen Saber Pro.

Deben responder si la diferencia es considerable o no.

Antes de continuar recuerde la descripción de las gráficas de los informes nacionales por módulos descritas en las diapositivas 46 y 47.

Para responder las siguientes preguntas se requiere del reporte nacional del módulo escogido disponible. Las preguntas son orientadoras, es decir, tienen como propósito la utilización de los resultados de los reportes mencionados.

Deben responder las preguntas de interpretación de los resultados de los reportes nacionales por módulo.

El objetivo de la actividad 3 es aprender a utilizar los niveles de desempeño presentes en los módulos genéricos y específicos (que estén adoptados).

La actividad 3.1 consiste en transcribir la información de los niveles de desempeño para el programa académico y para el grupo de referencia. La actividad 3.2, por su parte, consiste en responder dos preguntas orientadoras que buscan incentivar el análisis de los niveles de desempeño de los módulos.

La tercera pregunta de la actividad 3.2. busca que las personas revisen si existen relaciones entre la concentración de los estudiantes en los niveles de desempeño extremos (1 y 4) con desviaciones estándar relativamente altas o entre la concentración de los estudiantes en un nivel de desempeño particular asociado a una desviación estándar baja. Lo anterior, constituye el desarrollo inicial del análisis de los resultados por niveles de desempeño, teniendo en cuenta que según el nivel de desempeño donde se encuentren los estudiantes, se enmarcan los resultados, de esta manera, si la concentración de resultados se encuentra en los niveles 3 y 4, significa que el programa está ofertado el desarrollo de competencias que son evaluadas. Por otro lado, si la concentración de estudiantes se da en los niveles 1 y 2, en cuyo caso, se recomienda realizar un plan de mejoramiento que le apunte a atender a los aspectos evidenciados en los resultados obtenidos.

Deben transcribir los niveles de desempeño y responder las preguntas de la actividad 3.2.

65

66

27

El objetivo de la actividad 3 es utilizar la información de los resultados de las afirmaciones de cada uno de los módulos genéricos y específicos.

Recuerde que NO se puede comparar entre afirmaciones directamente, toda vez que algunas de ellas son más difíciles que otras. Esto sucede porque para cada módulo se crean preguntas dentro de todo el rango de dificultad, independiente de la afirmación a la que apunte. Por lo tanto, para analizar las afirmaciones, primero debe compararse el resultado del programa académico frente al del grupo de referencia (NBC), esta diferencia sí es factible de comparación. Es importante hacer énfasis en que este resultado por afirmaciones corresponde al porcentaje de respuestas incorrectas y NO al porcentaje de estudiantes que respondieron incorrectamente.

Para el módulo seleccionado transcriba las afirmaciones y compare el porcentaje promedio de respuestas incorrectas que obtuvieron los estudiantes del programa académico frente al promedio del grupo de referencia (NBC). Seleccione aquella afirmación donde mayor diferencia hubo.

Preguntas orientadoras adicionales al taller: ¿cómo se interpretan estas diferencias? ¿cuáles son las fortalezas del programa académico respecto a los demás programas del mismo NBC? ¿cuáles afirmaciones se evidencian necesarias de fortalecer en el programa académico? ¿esta afirmación se puede fortalecer de manera independiente? o ¿solo se fortalece en relación con el desarrollo de aprendizajes de otras afirmaciones?

Deben transcribir las afirmaciones y establecer las diferencias.

El propósito de la siguiente actividad es motivar a la reflexión de tipo cualitativa sobre los resultados obtenidos, esto solo se logra si el equipo asistente relaciona diferentes aspectos de las realidades del programa académico, desde los cuales se dé la posible explicación de los factores que afectan de manera positiva o negativa los resultados.

A continuación, en el ejercicio 5.1 van a identificar 3 posibles causas que explican los resultados obtenidos en el módulo escogido, algunas pistas para ello son:

a. La definición del desarrollo de las afirmaciones en las asignaturas del programab. La propuesta de trabajo en clase de algunos docentes.c. El desarrollo de actividades transversales ofertadas por el programa educativo. d. El uso (o no uso) de recursos para desarrollar actividades relacionadas con los aprendizajes.

El objetivo de la actividad 5.2 es aprender a identificar algunas relaciones entre los currículos y los resultados de los módulos genéricos y específicos. En este caso, solo se establecerán relaciones con las afirmaciones. La actividad consiste en relacionar asignaturas del currículo del programa con las afirmaciones, teniendo en cuenta i) si atiende las dificultades señaladas en la actividad 5.1, ii) si todas las afirmaciones son desarrolladas en la propuesta del programa. Este ejercicio es de carácter privado, por lo que sus respuestas no serán socializadas con el auditorio.

Deber reflexionar sobre las razones que explican los resultados del módulo, y establecer si el currículo aborda completamente las afirmaciones que componen el módulo.

67

68 y 69

28

Pida a los asistentes que hagan un balance del análisis realizado hasta el momento e invite a replicar la actividad con el equipo de docentes en cada programa. A continuación, se indague al público, por los resultados obtenidos, ¿Qué puedo hacer cada uno de los presentes desde el rol que desempeña?

Teniendo en cuenta el tercer mensaje dado al inicio del taller “la evaluación es un proceso dinámico, una oportunidad para mejorar y avanzar” y el ciclo de evaluación, lo que podemos hacer luego de conocer los resultados y avanzado en el diagnóstico, es generar un plan de acción o plan de mejoramiento, para ello, a continuación, se va a presentar una propuesta para diseñar metas de trabajo que permitan o viabilicen el mejoramiento de los resultados.

Ahora, teniendo en cuenta los hallazgos observados durante el análisis de los resultados, solicite a los asistentes formular una meta de mejoramiento.

Permita que lo hagan en máximo 5 minutos.

Luego, explique las metas de mejoramiento, las metas de trabajo que permitan acercarse al mejoramiento de resultados: metas claras.

Las características de estas metas es que sean: específicas, medibles, alcanzables, relevantes y temporales, esto significa que:

• específica: ¿qué se quiere lograr?• medible: ¿qué cifras usar para medir la meta?• alcanzable: ¿es posible lograrla? Definir metas que se puedan cumplir.• relevante: ¿para qué servirá lograr esta meta? Relación de la meta con lo que se quiere a

futuro.• temporal: ¿cuánto tiempo es necesario para lograrla?

Ahora se trabajará un ejemplo de la formulación de la meta. Se explica que la meta inicial que se plantea, al pasarse por los 5 filtros, queda la meta mejorada.

70-71

72-74

Invite realizar la Actividad 6 teniendo en cuenta los análisis realizados en las Actividades anteriores.

Es importante recordar que se debe ser muy realista respecto a la meta que se formule, teniendo en cuenta los resultados, el contexto del establecimiento, los estudiantes, los docentes, los recursos, etc. Por eso, solo ellos que están en el establecimiento saben qué pueden definir con las metas y cómo cumplirlas.

Para cerrar este espacio, solicite un voluntario que comparta su meta, e indague sobre cómo creen que pueden lograr el cumplimiento de esta. A partir de esto, mencione que es importante generar planes de acción para en realidad llevar a cabo la meta propuesta, y el desarrollo de una meta en un establecimiento educativo debe tener en cuenta en lo posible a toda la comunidad educativa.

75

29

Introduce al momento en donde se presenta la información adicional. De una manera breve se abordarán tres temas: aporte relativo, herramientas adicionales que brinda el Icfes y cómo descargar los documentos de la página web.

El objetivo de las diapositivas 77- 79 es brindar información sobre los reportes de aporte relativo, los cuales permiten medir qué tanto aporta una institución en términos de aprendizaje, relativo a las condiciones o características que tienen sus estudiantes cuando ingresan a la educación superior. Este ejercicio mide la calidad de la educación superior en Colombia desde una perspectiva multidimensional.

Valor agregado.

La ilustración permite entender cómo el Icfes cuantifica el Valor Agregado:

1) Cuando un estudiante sale del colegio y entra a la universidad llega con unas habilidades previas, que para este estudio son evaluadas y evidenciadas en los resultados del examen Saber 11.

2) Los resultados obtenidos en el examen Saber 11 son un buen predictor de los resultados en el examen Saber; por tanto, con esta información se puede calcular el resultado esperado en Saber Pro.

3) Luego de que el estudiante presenta su examen Saber Pro y una vez se calculan los resultados, se obtienen los resultados observados.

4) La diferencia entre el resultado observado y el resultado esperado en el examen Saber Pro, corresponderá al Valor Agregado que aportó la institución sobre el estudiante.

En suma, las capacidades de los estudiantes al terminar su carrera profesional no se deben solo a las que aprendieron en la universidad, sino también a las competencias que adquirieron con anterioridad. Por este motivo surgen los estudios de valor agregado, los cuales intentan aislar lo aprendido en una institución de las condiciones iniciales, para poder medir de una forma más precisa la calidad en la formación académica.

Aporte Relativo.

Es la contribución de las IES sobre las habilidades de los estudiantes, en términos de los aprendizajes, teniendo en cuenta que no todas las IES son comparables.

La metodología de Aporte Relativo se basa en la idea de comparar solo el valor agregado estimado de instituciones cuyos estudiantes sean similares en sus condiciones iniciales. En consecuencia, cualquier diferencia existente en el valor agregado de este conjunto de instituciones similares llamadas vecindad de comparación, solo puede deberse a sus propios procesos institucionales.

La ilustración permite entender esto de una forma más sencilla. Por ejemplo, la gráfica de la izquierda contiene un universo de IES para una medida de calidad educativa, a saber: 2 círculos, 3 cuadrados y 2 triángulos. Si bien pertenecen a un mismo universo, algunas de ellas tienen características particulares que son importantes considerar para tener una mejor medida. La metodología de Aporte Relativo toma en consideración estas características, y la medida de calidad educativa va a comparar únicamente IES con características similares, es decir, cuadrados con cuadrados, círculos con círculos y triángulos con triángulos.

3.7. mOmentO 6 - infOrmación adiciOnal 10 min

76

77

79

78

30

Para definir la vecindad de comparación, se utiliza el promedio del índice global de Saber 11 de la cohorte de estudiantes en el grupo de referencia de la institución. El índice global de Saber 11 es el promedio ponderado de los puntajes alcanzados en las diferentes pruebas.

Aquellas instituciones (máximo 15) que obtuvieron un promedio del índice global de Saber 11 en un rango hasta de 0.3 desviaciones estándar por encima o por debajo, serán las que conformarán la vecindad de comparación.

Se presenta una comparación del aporte relativo según lo mide el Icfes y según lo mide el MEN, lo que permite observar claramente las diferencias de los ejercicios que realizan las dos entidades con el fin de establecer el uso que le pueden dar en cada caso.

Más información

A continuación, se va a brindar información adicional de interés, respecto a recursos que el Icfes ha dispuesto para apoyar a las comunidades educativas en el análisis y uso de resultados para avanzar:

Mencione las 2 estrategias de trabajo del Icfes para el 2019, como información explicativa de algunas de ellas, está:

• Encuentros regionales de divulgación, del cual se está realizando este taller. • Encuentros virtuales mensuales: que se van divulgando a través del Facebook del Icfes,

mediante los cuales se desarrolla una temática mensual, mediante este espacio, se brinda información operativa, como por ejemplo cómo realizar inscripciones para el Examen Saber Pro, o de tipo técnico, como por ejemplo cuidado parental.

Para complementar la presentación, revise cuál es el tema o los temas que se abordarán durante ese mes y los meses siguientes

A continuación, se va a brindar información adicional de interés, respecto a recursos que el Icfes ha dispuesto para apoyar a las comunidades educativas en el análisis y uso de resultados para avanzar.

Se muestra la nueva página del Icfes y se hace énfasis en los materiales que se tienen en el enlace de divulgación, en donde se encuentra la presentación y el taller que se ha trabajado en el presente espacio. Así mismo, se puede acceder a la información de resultados de otros municipios, de otros niveles (por ejemplo los resultados de Saber 11° en la misma ciudad), o incluso de otros años.

80

81

82

83

85-91

31

Conclusiones y cierrePara finalizar, el presentador indaga sobre ¿Qué aprendimos hoy? ¿cómo lo aprendimos? y ¿qué uso le puedo dar?

Para finalizar, solicite a los asistentes que mencionen en una frase de menos de 3 palabras los temas que les gustaría sean abordados por el Icfes en los próximos encuentros.

Agradezca la asistencia y el trabajo realizado, y anime a hacer uso de los resultados, de lo contrario, estaremos repitiendo ciclos y desperdiciando oportunidades de aprendizaje que nos da la evaluación.

3.8. mOmentO 7 - cOnclusiOnes y cierre 10 min

92-93

94

95

infOrmación cOmplementaria

• Para información de los resultados del Examen Saber Pro ingrese a https://www.icfes.gov.co/web/guest/resultados-saber-pro

• Para información de las divulgaciones de esta vigencia ingrese a https://www.icfes.gov.co/web/guest/divulgacion-saber-pro-2019

NOTALEGAL

El Icfes se permite tener claridad sobre los alcances que tiene la divulgación de resultados en el marco de los encuentros regionales con todos los miembros de la comunidad educativa, entre ellos madres, padres y cuidadores.

De acuerdo con el artículo 12° Ley 1324 de 2009, el Instituto Colombiano para la Evaluación de la Educación - Icfes es una empresa estatal de carácter social del sector Educación Nacional, entidad pública descentralizada del orden nacional, de naturaleza especial, con personería jurídica, autonomía administrativa y patrimonio propio, vinculada al Ministerio de Educación Nacional, de naturaleza especial, que tiene por objeto ofrecer el servicio de evaluación de la educación en todos sus niveles y adelantar investigación sobre los factores que inciden en la calidad educativa, con la finalidad de ofrecer información para mejorar la calidad de la educación.

Teniendo en cuenta que el Icfes es una entidad pública y la referente en Colombia en los procesos de evaluación estandarizada e investigación en evaluación, los eventos que se realizan desde la Subdirección de Análisis y Divulgación, tienen el propósito de generar la correcta divulgación de políticas públicas, programas, proyectos, estrategias y acciones a su cargo para llevar la información al público objetivo de manera efectiva, así como incentivar el análisis y uso de los resultados de la evaluación.

Por lo anterior, los eventos de divulgación realizados por el Icfes a través de su equipo técnico no tienen ninguna relación directa ni indirecta con causas, campañas o controversias políticas ni pueden ser utilizados para actividades de proselitismo político en etapa previa a elecciones locales.

La entidad siempre actúa dentro del marco jurídico establecido y de acuerdo con el régimen de prohibiciones para los servidores públicos que señala la Ley 996 de 2005 en la etapa anterior a elecciones, en concordancia con el No. 39 del artículo 48 de la Ley 734 de 2002.