Taller sobre uso de las bases de datos censales SABER 5° y 9°
Programa ICFES de Fomento a la Investigación
Oficina de Investigaciones
Bogotá, marzo de 2011
Dirección de Evaluación
Instituto Colombiano de Evaluación de la Educación
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
SABER: Evaluaciones muestrales
Año aplicación
Grados Áreas Muestra
1991 3 , 5 , 7 y 9• Lenguaje • Matemáticas
21.000 estudiantes de primaria de 13 departamentos
1992-1994 3 , 5 , 7 y 9• Lenguaje • Matemáticas• Factores asociados
22.000 3 y 5 grado; 15.000 7 y 9 grado
1997-1999 3 , 5 , 7 y 9
• Lenguaje• Matemáticas• Ciencias Naturales,• Ciencias Sociales Competencias
Ciudadanas• Factores asociados
Muestra representativa a nivel nacional y 6 regiones
2
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
SABER: Evaluaciones Censales
3
Año
aplicaciónGrados Áreas Población
2002-03 5 y 9 grado
• Lenguaje
• Matemáticas
• Ciencias naturales
• Competencias ciudadanas
1.030.626 estudiantes
33.652 instituciones
2005-06 5 y 9 grado
• Lenguaje
• Matemáticas
• Ciencias naturales
• Ciencias sociales
• Competencias ciudadanas
1.066.640 estudiantes
20.756 instituciones
2009 5 y 9 grado
• Lenguaje
• Matemáticas
• Ciencias naturales
• Factores asociados
1.117.000 estudiantes
17.000 instituciones
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Etapas y actividades de SABER 5 y 9 , edición 2009
Etapas.
1. Diseño de SABER, proyectado para 12 años (2009 a 2021)
2. Diseño y desarrollo de los instrumentos de evaluación
3. Aplicación definitiva de las pruebas y cuestionarios
4. Procesamiento de resultados
5. Equiparación resultados históricos
6. Producción de reportes y divulgación de resultados
Actividades
1. Operativo de la aplicación censal.
2. Operativo de la aplicación muestral.
3. Estudio de factores asociados.
4
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Qué se evalúa en SABER 5 y 9 2009
Evaluación alineada con los estándares básicos de competenciadel MEN
– Resultados posibilitan el monitoreo de los avances en el tiempoy son un insumo para el diseño de estrategias específicas demejoramiento
Evalúa las competencias en lenguaje, matemáticas y cienciasnaturales que han desarrollado los estudiantes hasta 5 grado(ciclo de básica primaria) y hasta 9 grado (ciclo de básicasecundaria).
Prueba estandarizada de “lápiz y papel”
– No es posible evaluar todas la competencias establecidas en losestándares
5
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Pruebas estructuradas bajo la metodología conocida como diseño deespecificaciones basado en el modelo de evidencias.
6
7
EjemplosES
TÁN
DA
R
Identifico estructuras de los seres vivos que les permiten desarrollarse en un entorno y que puedo utilizar como criterios de clasificación
CO
MP
ETEN
CIA
Uso del conocimiento científico
CO
MP
ON
ENTE
Entorno vivo
AFI
RM
AC
IÓN Analiza algunas
diferencias y semejanzas de las características de los seres vivos
Ciclo 1º a 5º, Ciencias Naturales
8
EjemplosES
TÁN
DA
R Explico la variabilidad en las poblaciones y la diversidad biológica como consecuencia de estrategias de reproducción, cambios genéticos y selección natural
CO
MP
ETEN
CIA
Uso del conocimiento científico
CO
MP
ON
ENTE
Entorno vivo
AFI
RM
AC
IÓN
Analiza el funcionamiento de los seres vivos en términos de sus estructuras y procesos
Ciclo 6º a 9º, Ciencias Naturales
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Área Competencias Componentes
LenguajeComunicativa
Proceso de lecturaProceso de escritura
SemánticoSintácticoPragmático
Matemáticas
Razonamiento y argumentaciónComunicación, representación y modelaciónPlanteamiento y resolución de problemas
Numérico-variacionalGeométrico-métricoAleatorio
Ciencias Naturales
Uso comprensivo del conocimiento científicoExplicación de fenómenosIndagación
Entorno vivoEntorno físicoCiencia, tecnología y sociedad (CTS)
9
Competencias y componentes evaluados
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Población evaluada en 2009
Operativo censal
Operativo muestral controlado
10
Grado Calendario Estudiantes Establecimientos
Quinto
A 595.768 13.233
B 64.103 2.248
Total 659.871 15.481
Noveno
A 409.227 7.044
B 48.528 913
Total 457.755 7.957
Grado Calendario Estudiantes Establecimientos
Quinto
A 73.658 986
B 28.106 453
Total 101.764 1.439
Noveno
A 61.781 850
B 24.778 366
Total 86.559 1.216
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Población evaluada en 2009
Factores asociados
11
Grado Calendario Población
Estudiantes
5° grado 5.454
9° grado 5.704
Total 11.158
Docentes
5° grado 301
9° grado 294
Total 595
Aulas Total 596
Sedes-jornada Total266
Rectores Total 122
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Instrumentos utilizados
Pruebas: se aplicaron pruebas en matemáticas, lenguaje y ciencias, en 5 y 9 grado, para un totalde 6 pruebas. Cada una de estas pruebas se califica separadamente, aunque siguiendo los mismospatrones de procesamiento.
Cada estudiante contestó pruebas de dos de las tres áreas evaluadas.
– 5 grado respondieron 84 o 96 ítems, en una sesión de 180 minutos
– 9 grado respondieron 108 ítems, en una sesión de 180 minutos de duración.
Todas las preguntas utilizadas en las pruebas son de selección múltiple con única respuesta. En cadapregunta se presenta el enunciado y cuatro opciones de respuesta, denominadas A, B, C y D. Sólouna de ellas es correcta y válida con respecto a la situación planteada.
12
Numero de Ítems Bloques Ítems por Bloque
Área 5° 9° 5° 9° 5° 9°
Matemáticas 192 216 8 8 24 27
Lenguaje 144 216 8 8 18 27
Ciencias 192 216 8 8 24 27
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Cuestionario sociodemográfico: Consta de 13 preguntas que indagan por:edad, género, condición de discapacidad, bilingüismo en alguna lenguaindígena, modelo educativo, antecedentes educativos de los padres yalgunas condiciones del hogar
Cuestionarios de factores asociados
– Cuestionario de estudiantes
– Cuestionario de docentes
– Cuestionario de rectores
– Ficha de observación del aula
– Ficha de observación del establecimiento educativo
13
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Resultados SABER 5 y 9
Resultados censales:
– Retroalimentar a los establecimientos educativos y las administracionesmunicipales y departamentales, dando elementos para la formulación y/oreorientación de sus planes de mejoramiento.
Resultados muestrales:
– Estimar con márgenes de error bajos el estado de las competencias de losestudiantes de educación básica y secundaria y las diferencias entrediversos grupos
– Consolidar una línea de comparación hacia el futuro que facilitará elseguimiento de los avances en la calidad de la educación colombiana.
Resultados históricos
– Establecer una comparación entre resultados de aplicaciones anteriores
14
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Tipos de resultados
Puntajes promedio:
– Independiente para cada grado y área. Para la calificación se empleó la Teoría deRespuesta al Ítem (TRI) de dos parámetros y la metodología de valores plausibles
Desviación estándar:
– Medida de la dispersión de los resultados
Niveles de desempeño:
– Describen las competencias de los estudiantes en cuanto a lo que saben y sabenhacer en una determinada área y grado
Desagregaciones:
– Sector (Oficial, No oficial)
– Zona (Urbano, Rural)
– Interacción sector-zona (Oficiales urbanos, oficiales rurales y no oficiales)
– Género
– Nivel socioeconómico (Cuatro categorías)
15
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Niveles de desempeño
Tipo de resultados que permiten observar laclasificación a los estudiantes según el desempeñoalcanzados en cada una de las áreas evaluadas.
Describen las competencias de los estudiantes encuanto a lo que saben y saben hacer según la pruebaen cada área evaluado y grado.
16
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Características de los niveles de desempeño
Globales:
– Se encuentran definidos para la prueba total y no para
competencias y componentes específicos.
Jerárquicos:
– Significa que tienen complejidad creciente. Por tanto, el nivelavanzado es más complejo que el satisfactorio y, a su vez, esteúltimo es más complejo que el mínimo.
Inclusivos
– Para ubicarse en un nivel determinado es necesario superar losniveles precedentes
17
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Descripción general de los niveles de desempeño
18
Avanzado
El estudiante promedio ubicado en este nivel muestra
un desempeño sobresaliente en las competencias
esperadas para el área y grado evaluado.
Satisfactorio
El estudiante promedio ubicado en este nivel tiene un
desempeño adecuado en las competencias exigibles
para el área y grado evaluado. Este es el nivel esperado
que todos, o la gran mayoría de los estudiantes, debería
alcanzar.
Mínimo
El estudiante promedio ubicado en este nivel muestra
un desempeño mínimo en las competencias exigibles
para el área y grado evaluado.
InsuficienteEl estudiante promedio ubicado en este nivel no
demuestra los desempeños mínimos establecidos.
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Resultados Censales
ObjetivosTipos de
resultadosBases de
datosInformación
adicional
19
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Objetivos
Retroalimentar y dar elementos a los establecimientoseducativos, así como a las administraciones municipales ydepartamentales, para la formulación o reorientación desus planes de mejoramiento.
20
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Información que provee
• Los resultados en lenguaje, matemáticas y ciencias naturales de unestablecimiento educativo y sus respectivas sedes y jornadas, enquinto o noveno grado.
• Los resultados agregados de las instituciones educativas a nivel demunicipios, departamentos y entidad territorial en lenguaje,matemáticas y ciencias naturales para quinto y noveno grado.
• Los resultados de las instituciones educativas a nivel de municipios,departamentos y entidades territoriales desagregados por sector,zona, género y nivel socioeconómico en lenguaje, matemáticas yciencias naturales para quinto y noveno grado.
• Las fortalezas y debilidades de las instituciones educativas en lascompetencias y componentes evaluados.
21
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Tipos de resultados
Puntajes promedio: media de los promedios ponderados de cada valorplausible de los estudiantes de la institución.
Desviaciones estándar: media de las desviaciones estándar ponderadasde cada valor plausible de los estudiantes de la institución
Distribuciones según niveles de desempeño: porcentajes de estudiantesen cada nivel de desempeño. Estos se ubican en sólo un nivel dedesempeño según la mediana de sus valores plausibles.
Fortalezas y debilidades en las competencias y componentes evaluados:categorización de la diferencia entre el promedio de los estudiantes encada competencia y componente de acuerdo con el valor esperado paralos colegios de un rendimiento similar en esa misma área y grado.
Resultados discapacitados: Número de estudiantes con discapacidadcognitiva ubicados en cada nivel desempeño de acuerdo con la medianade sus valores plausibles. Estos estudiantes no se incluyen para el cálculode los otros resultados de la institución.
22
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Modelo entidad de relación
23
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Base de datos con resultados censales
– Resultados por Entidad Territorial
– Resultados por Municipios
Resultados por Departamentos
– Resultados por Establecimiento Educativo
– Resultados por Sede-jornada
24
Bases de datos
BASE DE DATOS
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Bases de datos
Bases Tablas Variables
• Resultados por Entidad
Territorial
• Resultados por Municipios
• Resultados por
Departamentos
• Evaluados discapacitados
• Evaluados modelo educativo
• Id
• Id_municipio
• Nombre
• Grado
• Caso
• Total
• Áreas*
• Ficha técnica
• Grado
• Presentes*
• Ausentes*
• Copia_eval*
• Copia_inst*
• Resultados
• Resultados género
• Resultados NSE
• Resultados Sector
• Resultados Zona
• Resultados Discapacitados
• Subtipo*
• Área
• Grado
• Peso
• Promedio*
• Desviación*
• Rango (1-6)
25BASE DE DATOS
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Bases de datos
26
Bases Tablas Variables
• Resultados por
Establecimiento
educativo
• Entidad_territorial• Id_ente
• Nombre
• Municipios_incluidos
• Municipios_excluidos
• Evaluados Discapacitados
• Evaluados Ente Educativo
• Id
• Id_municipio
• Nombre
• Grado
• Caso
• Total
• Áreas*
• Ficha_tecnica
• Grado
• Presentes*
• Ausentes*
• Copia_eval*
• Copia_sede*
• Institución
• Ente_id
• Id_institucion
• Id_municipio
• Nombre
• Direccion
• Nivel_socio
• Zona
• Sector
• Resultados
• Resultados_
Discapacitados
• Subtipo*
• Área
• Grado
• Peso
• Promedio*
• Desviación*
• Rango (1-6)
BASE DE DATOS
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Bases de datos
27
Bases Tablas Variables
• Resultados por
Sede jornada
• Entidad_territorial• Id_ente
• Nombre
• Municipios_incluidos
• Municipios_excluidos
• Evaluados
Discapacitados
• Evaluados Ente
Educativo
• Id
• Id_municipio
• Nombre
• Grado
• Caso
• Total
• Áreas*
• Ficha_tecnica
• Grado
• Presentes*
• Ausentes*
• confiable*
• Copia_eval*
• Institución
• Ente_id
• Id_institucion
• Id_municipio
• Nombre
• Direccion
• Nivel_socio
• Zona
• Sector
• Sede
• Id_sede
• Codidodane_inst
• Codigodane_sede
• Jornada
• Nombre
• Direccion
• Resultados
• Resultados_
Discapacitados
• Subtipo*
• Área
• Grado
• Peso
• Rango (1-6)
BASE DE DATOS
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Recomendaciones
• No combinar resultados por grado
• No combinar resultados por áreas
• No combinar resultados censales, muestrales e históricos
• Usar los pesos en los casos en que se encuentran disponibles
• Usar los valores plausibles en los casos en que se encuentrandisponibles
• Tener en cuenta las unidades de análisis
– Censal: instituciones
• No realizar comparaciones entre diferentes aplicaciones deSABER 5º y 9º
28
Taller sobre uso de bases de datos SABER 5 y 9Programa de fomento a la Investigación –ICFES-
Información adicional
29
http://www.icfes.gov.co/saber59/