margarita peña icfes
TRANSCRIPT
La evaluación de competencias en Educación Superior
Margarita Peña BorreroDirectora General del ICFES
Foro Educativo Nacional“Educación de calidad camino para la prosperidad”
Bogotá, noviembre 10 de 2011
Antecedentes
Ley 1324 de 2009 transformó al ICFES en el Instituto Colombiano para la Evalaución de la Educación
Bajo su responsabilidad está el diseño y administración de dos exámenes de Estado:― Educación Media – SABER 11― Educación Superior – SABER PRO
Ambos exámenes ofrecen oportunidades muy significativas para evaluar la calidad de la educación superior desde la perspectiva del aprendizaje
APOYO
Fortalecimiento institucional
CERES
Nuevas tecnologías
Asesoría para planes de
mejoramiento
Programas técnicos y
tecnológicos
INFORMACIÓN EVALUACIÓN EXTERNA DE PROGRAMAS E INSTITUCIONES
CNAConsejo Nacional de Acreditación
(Programas, Institutciones)Acreditación de Alta CalidadObservatorio Laboral
CONACESComisión Nacional de
Aseguramiento de la Calidad de la Educación Superior
Registro Calificado: requerimientos mínimos de calidad
SNIES
CALI
DAD
SPADIES
SISTEMA DE CALIDAD DE LA EDUCACION SUPERIOR
SABER 11º Y PRO
Los resultados de los exámenes de Estado son una medida del logro educativo en un momento dado
Combinados, permiten una estimación del cambio del logro en el tiempo (aprendizaje) y del valor agregado de las instituciones educativas.
Las expectativas
La evaluación de aprendizajes en educación superior es muy amplia, y es necesario acotarla de algún modo, de acuerdo con propósitos establecidos:
Estudios recientes coinciden en ir más allá de la simple evaluación de conocimientos:― Conocimiento y razonamiento en las disciplinas
(específico) ― Habilidades de pensamiento de alto nivel (genéricas):
razonamiento crítico, toma de decisiones, comunicación, solución de problemas…
Shavelson, R.J. (2011). Measuring college learning responsibly : accountability in a new era
Las expectativas
Un solo tipo de medición es insuficiente: se requiere un balance entre evaluaciones externas, “estandarizadas” (para efectos de comparación) y mediciones internas (para efectos de mejoramiento)
La perspectiva del ICFES es la de las evaluaciones estandarizadas
Propósitos de SABER PRODecreto 3963 de 2009
Servir de fuente de información para la construcción de indicadores de evaluación de la calidad de los programas e instituciones de educación superior y del servicio público educativo, que soporten la cualificación de los procesos institucionales, la formulación de políticas y el proceso de toma de decisiones en todos los órdenes y componentes del sistema educativo.
Comprobar el grado de desarrollo de las competencias de los estudiantes próximos a culminar los programas que ofrecen las instituciones de educación superior de tal manera que sirva como insumo para el mejoramiento continuo.
Producir indicadores de valor agregado de la educación superior en relación con el nivel de competencias de quienes ingresan a este nivel.
Las competencias de los estudiantes que están próximos a culminar los distintos programas de pregrado, en la medida en que puedan ser valoradas con exámenes externos de carácter masivo, incluyendo aquellas genéricas que son necesarias para el adecuado desempeño profesional o académico independientemente del programa que hayan cursado.
Las competencias específicas serán definidas por el MEN con la participación de la comunidad académica, profesional y del sector productivo, teniendo en cuenta los elementos disciplinares fundamentales de la formación superior que son comunes a grupos de programas en una o más áreas del conocimiento.
No se excluyen evaluaciones más especializadas, pero ya no como parte del examen de Estado
Qué se evalúaDecreto 3963 de 2009
MINISTERIO DE EDUCACIÓN ICFES
Establece los propósitos de la evaluación, sus efectos y, a través de las resoluciones, qué debe evaluarse:
Competencias genéricas Competencias comunes Competencias específicas
Diseña y construye las pruebas, las aplica y produce reportes de resultados (individuales y agregados):
Instrumentos (módulos) Resultados por grupos de
referencia
En cooperación con: Comunidad académica Sector productivo
Competencias del MEN y del ICFES
Los exámenes SABER PRO se estructuran por módulos (componentes combinables ) de evaluación de dos tipos de competencias: ― Competencias genéricas― Competencias específicas comunes a grupos de
programas
Algunos módulos de competencias genéricas se incorporarán también a SABER 11º para producir medidas de valor agregado.
Estructura de los exámenes
Módulos de Competencias Genéricas
Lectura Crítica Razonamiento Cuantitativo Cultura Ciudadana y Entendimiento del
Entorno Redacción Inglés
Obligatorios para todos
Lectura Crítica: desempeños asociados a Lectura, Pensamiento Crítico y Entendimiento Interpersonal― Leer analítica y reflexivamente
― Comprender los planteamientos expuestos en un texto e identificar sus perspectivas y juicios de valor
― Identificar y recuperar información presente en uno o varios textos, construir su sentido global, establecer relaciones entre enunciados y evaluar intencionalidad
Se evaluará también en SABER 11º
Módulos de Competencias Genéricas
NIVEL 1 NIVEL 2 NIVEL 3
Detección de significados y relaciones
Realiza deducciones válidas sobre las relaciones explícitas
Realiza deducciones válidas sobre las relaciones implícitas
Realiza deducciones profundas y convincentes sobre relaciones implícitas y perspicaces
Identificación y análisis de razonamientos
Líneas principales, evidencias e inconsistencias lógicas básicas
Líneas de razonamiento, inconsistencia lógicas y otras deficiencias moderadamente complejas
Líneas de razonamiento, inconsistencias lógicas y otras deficiencias sutiles o complejas
Evaluación de credibilidad y validez de argumentos
Argumentos relacionados con criterios establecidos explícitamente
Argumentos moderadamente complejos relacionados con criterios de evaluación implícitos
Evidencias o argumentos complejos y sutilesGeneración de criterios ajustados de evaluación según necesidades
Lectura crítica
Razonamiento Cuantitativo: desempeños relacionados con uso lenguaje cuantitativo y solución de problemas
― Comprensión de conceptos básicos de las matemáticas para analizar, modelar y resolver problemas, aplicando métodos y procedimientos cuantitativos y esquemáticos
― Interpretación de datos, la formulación de problemas y la ejecución, evaluación y validación de procedimientos y estrategias.
Se evaluará también en SABER 11º
Módulos de Competencias Genéricas
NIVEL 1 NIVEL 2 NIVEL 3
Análisis y clasificación de
información
Utiliza información estructurada de forma simple Identificar problemas básicos y deducciones directas
Analiza y clasifica información de manera lógica Identifica y hace deducciones en problemas de relaciones y patrones estándar
Analiza y clasifica información de manera profunda y sistemáticaIdentifica e interpreta problemas de relaciones complejas
Procesamiento y
reorganización
Procesa y reorganiza datosIdentifica relaciones de dos variables
Analiza y reorganiza patrones presentados de manera estándar Identifica relaciones con pocas variables
Analiza y sintetiza datos complejosRealiza generalizaciones abstractas con diversas variables
Aplicación de la información
Información estructurada de forma simple Problemas bien definidos de hasta 2 pasos Evalúa las soluciones a esos problemas
Aísla información clave para resolver problemas de bien definidos que requieren pocos pasos Evalúa las soluciones a esos problemas
Aplica estrategias para solucionar problemas de relaciones abstractas y complejas y varios pasos y condicionesEvalúa las soluciones a esos problemas
Habilidades numéricas
Nivel básico Desempeño adecuado en problemas rutinarios, no especializados
Alto nivel de desempeño numérico para problemas no rutinarios, no especializados
Razonamiento cuantitativo
Competencias Ciudadanas y Entendimiento del Entorno (en desarrollo)
― Reconocer y valorar la diversidad cultural y los derechos individuales y colectivos.
― Entender, en el contexto nacional y global, los grandes problemas sociales, económicos, políticos y ambientales contemporáneos.
― Identificar dilemas éticos en situaciones concretas.
Módulos de Competencias Genéricas
Escritura: Comunicar ideas por escrito referidas a un tema dado. Los escritos se califican teniendo en cuenta los siguientes criterios:
― Elaboración de la intención y el propósito.
― Claridad de la estructura y la organización.
― Manejo del lenguaje y las convenciones.
Módulos de Competencias Genéricas
Inglés
― Comunicarse efectivamente en inglés.
― Permiten clasificar a los evaluados en cuatro categorías de desempeño, según las bandas del Marco Común Europeo.
Se evalúa en SABER 11º.
Módulos de Competencias Genéricas
Usuario independiente
B+ Supera el nivel B1
B1
Es capaz de comprender los puntos principales de textos claros y en lengua estándar que tratan de cuestiones cotidianasSabe desenvolverse en la mayor parte de las situaciones que pueden surgir durante un viajeEs capaz de producir textos sencillos y coherentes sobre temas que le son familiares o en los que tiene un interés personalPuede describir experiencias, acontecimientos, deseos y aspiraciones, así como justificar brevemente sus opiniones o explicar sus planes
Usuario básico
A2
Es capaz de comprender frases y expresiones de uso frecuente relacionadas con áreas de experiencia que le son especialmente relevantes (información básica sobre sí mismo y su familia, compras, lugares de interés, ocupaciones, etc.) Sabe comunicarse a la hora de llevar a cabo tareas simples y cotidianas que no requieran más que intercambios sencillos y directos de información Sabe describir en términos sencillos aspectos de su pasado y su entorno así como cuestiones relacionadas con sus necesidades inmediatas
A1
Es capaz de comprender y utilizar expresiones cotidianas de uso muy frecuente así como frases sencillas destinadas a satisfacer necesidades de tipo inmediatoPuede presentarse a sí mismo y a otros, pedir y dar información personal básica sobre su domicilio, sus pertenencias y las personas que conocePuede relacionarse de forma elemental siempre que su interlocutor hable despacio y con claridad
Nivel inferior A- No alcanza el nivel A1
Inglés
Módulos de Competencias Específicas comunes de grupos de programas
Cada módulo evalúa un saber hacer complejo en contexto que se define con base en las competencias fundamentales de grupos de programas o áreas de conocimiento.
Se refieren a problemas que son comunes a distintos programas, más que a contenidos curriculares específicos.
Corresponden a una definición de cada formación, no de forma aislada, sino a partir de sus interacciones y sus elementos comunes con las demás.
Se usan para evaluar estudiantes de distintos programas, incluso de distintas áreas del conocimiento.
Módulos de competencias comunes Ejemplos:
― Diseño en ingeniería― Indagación― Investigación en ciencias sociales― Salud pública― Gestión de recursos
El Ministerio determinará, a partir de 2012, para cada programa, los módulos que serán obligatorios para sus estudiantes, con base en lo establecido en las resoluciones de características mínimas.
De acuerdo con su orientación propia, cada programa podrá seleccionar módulos adicionales (sujeto a limitaciones de tamaño de estos) en los que evaluar a sus estudiantes.
Producción de resultados No se pretende que los estudiantes de todas las formaciones
desarrollen a un mismo nivel las competencias genéricas, ni aún las comunes a grupos de programas
Entregar solo un puntaje o un promedio no es informativo, es preciso ubicarlo con respecto a una referencia
Para que la referencia tenga sentido, es preciso conformar grupos de referencia
Se deben definir niveles de desempeño para los módulos
Grupos de referencia
Agrupación de programas con características similares entre los que se compararán los resultados de la evaluación.
Los grupos de referencia se definieron según la clasificación de programas del Sistema Nacional de Información de la Educación Superior (SNIES) del Ministerio de Educación Nacional y la Clasificación Internacional Normalizada de la Educación (CINE) de la Unesco.
Se han conformado 30 grupos de referencia según nivel de formación:
14 de nivel universitario 6 de nivel tecnológico 6 de nivel técnico 2 para niveles técnicos y tecnólogos 1 para todos los niveles 1 para el ciclo de normalistas superiores
Grupos de referenciaNúmero de programas por nivel clasificados en cada grupo de referenciaAdministración y turismo 2.568
Técnico 905Tecnológico 1.663
Arquitectura y urbanismo 160Universitario 160
Artes – diseño - comunicación 850Técnico 405Tecnológico 445
Bellas artes y diseño 388Universitario 388
Ciencias agropecuarias 814Técnico 169Tecnológico 393
Universitario 252
Ciencias económicas y administrativas 2.160Universitario 2.160
Ciencias militares y navales 13Universitario 13
Ciencias naturales y exactas 346Universitario 346
Ciencias sociales 633Universitario 633
Comunicación, periodismo y publicidad 345Universitario 345
Derecho 416Universitario 416
Educación 2.194Universitario 2.194
Grupos de referenciaNúmero de programas por nivel clasificados en cada grupo de referencia
Humanidades 222Universitario 222
Ingeniería 2.384
Universitario 2.384Ingeniería, industria y minas 1.43
1
Técnico 387Tecnológico 1.044
Judicial 168No universitario 168
Medicina 151Universitario 151
Militar y policial 26No universitario 26
Normales superiores 492
Recreación y deportes 120Todas 120
Salud 916Técnico 127Tecnológico 226
Universitario 563TIC 1.026
Técnico 293Tecnológico 733
TOTAL GENERAL 17.823
Las dificultades que quedan atrás…
Sesgo por no presentación del examen de una parte importante de la población (cerca del 25% entre individuales y programas enteros).
Imposibilidad para comparar las medidas entre programas: los exámenes evalúan cosas distintas en poblaciones distintas. Ni los promedios, ni las distribuciones, ni las variaciones son comparables.
Posibilidades restringidas de uso para la toma de decisiones en los niveles altos de la administración del sistema (por encima de programa: facultades, rectorías, MEN, público en general) debido a la atomización de resultados.
Posibilidades restringidas de interpretación pedagógica de los resultados de los exámenes particulares. No se asocian a los puntajes descripciones pedagógicas sobre qué pueden hacer los estudiantes y qué les falta.
Con excepción de Inglés y de una evaluación limitada de Comprensión Lectora, no se da cuenta del desarrollo de competencias transversales, requeridas para cualquier profesional.
Orientación a la producción de resultados brutos, no medidas de valor agregado. Los mejores puntajes corresponden sistemáticamente a las instituciones con procesos de selección más estrictos.
Problemas técnicos que afectan la calidad de las mediciones debidos a los tamaños demasiado pequeños de las poblaciones que se evalúan con algunos de ellos.
Los desafíos
Culminar el diseño de los nuevos exámenes, para adoptar las estructuras definitivas para los próximos 12 años
Incorporar los resultados en las decisiones que se tomen en materia de registros calificados y acreditación de alta calidad
Lograr adecuada utilización de los resultados para toma de decisiones sobre mejoramiento
