examen de calidad para la educaciÓn … · • el nivel de discusión de los resultados es...

15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA

Análisis de Resultados

Asociación Colombiana de Facultades de Administración

ASCOLFA

EXAMEN DE CALIDAD PARA LA EDUCACIÓN SUPERIOR

ECAES EN ADMINISTRACIÓN 2006


• El Proceso – Valor agregado• Usos y para qué sirve? • Estructura • Validez de la Prueba• Escala y Agrupación• Análisis Nacional General y por:

• Componente • Jornada • Tipo de Programa • Competencia

Agenda


El Proceso … Valor Agregado

• Inicios del ECAES• Definición Marco Legal – Ministerio de

Educación – Decreto 1781 de 2003 • Contratación Unión Temporal PROCAD

• Revisión Referente Internacional • Revisión Propuestas Curriculares a Nivel Nacional • Revisión del Ejercicio en Administración• Consolidar una Especificación de Prueba• Ejercicio de Socialización


El Proceso … Valor Agregado

• Construir el Instrumento • Elaboración de Preguntas

• Talleres de Tamizaje

• Selección preguntas para el Instrumento

• Producción de Resultados y Publicación

• Análisis de Resultados

• Impacto en los procesos de mejoramiento de

la calidad al interior de las facultades


Usos y Para qué sirve…

• Sirve para

• Cualificar Docencia en Evaluación

• Reconocer Fortalezas y Debilidades de los programas

• Emprender Planes de Mejoramiento

• Propiciar Escenarios de Integración


Usos y Para qué sirve ….• No Sirve Para

• Comparar Instituciones, Programas, Estudiantes,

utilizando únicamente este instrumento

• Definir Calidad Taxativamente

• Idoneidad en el Saber - Hacer

• Único Instrumento Certificación y Re-certificación

• Convalidar títulos

• Selección de Profesionales Mercado laboral

• Regularizar los PEI o las Particularidades de las

Facultades


Usos y Para qué sirve ….

• Los Usos no corresponden a los planteados por las Asociaciones

• El nivel de Discusión de los Resultados es Incipiente• La interpretación de las Escalas Confusa• Discutir Nuevos Modelos de Análisis• Complementar Información a la Académica con Informe

Técnico • Participación de las Asociaciones


Tabla de Especificación


Validez de la Prueba

•Relevancia

•Representatividad

•Calidad Técnica


Relevancia

• Los campos, componentes y temas que

conforman el examen, son:

• Fundamentales para el ejercicio de la

Administración.

• Están incluidas dentro de la estructura

curricular de las Facultades


Representatividad

• Las preguntas:

• Fueron realizadas por docentes de todas las

facultades de Administración

• Propiciaron un “buen” balance de la prueba.

(una distribución normal de los estudiantes)


Calidad Técnica• Del Examen:

• Según el Modelo TCP: Confiabilidad entre (0-1)

•Qué tanto aventaja un Estudiante a Otro

• Según el Modelo de RASCH (TRI) : Confiabilidad entre (0-1)

•Qué condiciones del Saber en Administración tiene cada

estudiante en relación con lo que se le pregunta

(conocimiento, razonamiento, complejidad de la

pregunta)

• De las Preguntas del último examen:• La totalidad tuvieron un nivel de precisión superior al 95%.

(Si la pregunta mide con alta precisión las condiciones del

saber en Administración)


Escala y Agrupación• Escala

• Media en 100 y desviación estándar de 10

• El modelo estima una habilidad de cada estudiante,

teniendo en cuenta el puntaje bruto y la dificultad de la

pregunta

• Posteriormente se traslada el dato a la escala estándar

• Agrupación• Es la única forma posible de entregar resultados que

permitan un cierto nivel de comparación

• Intervalos de Confianza


Escala y Agrupación

Punto o Media Teórica es para el efecto (90 o 100 o 110)1,96 representa el 95% de Confiabilidad“DesviaciónEstándar” es la Desviación presentada por cada programa“NúmerodeEstudiantes” es el número de estudiantes evaluados en cada programaY posteriormente se compara el promedio de cada facultad con los intervalos obtenidos para ubicar el grupo a la que pertenece.



EN EL NIVEL NACIONAL


Facultades por Nivel

Número de Facultades por Nivel

5

15

25

63

25

57

0

10

20

30

40

50

60

70

Muy Superior Superior Alto Medio Medio - Bajo Bajo


Facultades por Nivel - Comparativo

Porcentaje de Facultades por NivelComparativo

0.00%

5.00%

10.00%

15.00%

20.00%

25.00%

30.00%

35.00%

40.00%


% 2004% 2005% 2006



POR COMPONENTE


Análisis por ComponenteComportamiento Componentes por Nivel

22.11%

8.95% 10.53%

42.11%

26.32%

16.84%15.26%

27.89%

20.53%

63.49%

15.34%

49.47%

44.21%48.42%

52.63%

59.47%

53.68%

60.53%

48.42%

55.26%

24.34%

68.25%

27.89%

41.58%

40.00%

3.68%10.53%

22.63%

17.37% 16.84% 18.42%

0.53%

14.29%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

AD

MIN

ISTR

AC

IÓN

Y

OR

GA

NIZ

AC

ION

ES

EC

ON

OM

ÍA

ESTA

DÍS

TIC

A

ETIC

A, R

ESPO

NSA

BIL

IDA

D

SO

CIA

L Y

DER

EC

HO

FIN

AN

ZA

S

GESTIÓ

N H

UM

AN

A

MA

TEM

ÁTIC

A

MER

CA

DEO

PR

OD

UC

CIÓ

N Y

OPER

AC

ION

ES

CO

MPR

EN

SIÓ

N IN

GLÉS

CO

MPR

EN

SIÓ

N L

EC

TO

RA

2006

Bajo

Medio - Bajo

Medio

Alto

Superior

Muy Superior


Análisis por Componente - Comparativo

Comportamiento Programas por ComponenteComparativo 2004 - 2005 - 2006

0%

10%

20%

30%

40%

50%

60%

70%

80%

Mu

y S

up

erio

rS

up

erio

rA

lto

Med

ioM

edio

- B

ajo

Baj

oM

uy

Su

per

ior

Su

per

ior

Alt

oM

edio

Med

io -

Baj

oB

ajo

Mu

y S

up

erio

rS

up

erio

rA

lto

Med

ioM

edio

- B

ajo

Baj

oM

uy

Su

per

ior

Su

per

ior

Alt

oM

edio

Med

io -

Baj

oB

ajo

Mu

y S

up

erio

rS

up

erio

rA

lto

Med

ioM

edio

- B

ajo

Baj

oM

uy

Su

per

ior

Su

per

ior

Alt

oM

edio

Med

io -

Baj

oB

ajo

Mu

y S

up

erio

rS

up

erio

rA

lto

Med

ioM

edio

- B

ajo

Baj

oM

uy

Su

per

ior

Su

per

ior

Alt

oM

edio

Med

io -

Baj

oB

ajo

Mu

y S

up

erio

rS

up

erio

rA

lto

Med

ioM

edio

- B

ajo

Baj

oM

uy

Su

per

ior

Su

per

ior

Alt

oM

edio

Med

io -

Baj

oB

ajo

Mu

y S

up

erio

rS

up

erio

rA

lto

Med

ioM

edio

- B

ajo

Baj

o

Admón y Org. Comp. Lectora Economía Estadística Ética Finanzas Gest. Humana Inglés Matemáticas Mercadeo Prod. Y Oper.

2004 2005 2006


Análisis por ComponentePromedio por Componente

Año 2006

9.97

9.89

10.1210.07

10.13

10.06

9.93

10.01

9.80

10.19

10.46

9.6

9.7

9.8

9.9

10

10.1

10.2

10.3

10.4

10.5

10.6

`


Análisis por Componente - Comparativo

Promedio por ComponenteComparativo 2004 - 2005

10.0510.02

9.989.97

9.89

10.12

9.93

10.13

10.0610.0310.05

9.82

10.01 10.01 10.0310.0310.04

9.67

10.0010.0210.00

10.0010.0110.0110.01

9.80

10.00

10.46

10.19

10.07

9.80

10.01

9.6

9.7

9.8

9.9

10

10.1

10.2

10.3

10.4

10.5

10.6

2004 2005 2006


Administración y Organizaciones

Distribución de Universidades por Nivel en Administración Organizaciones

Alto22%

Medio49%

Superior1%

Medio - Bajo28%


Administración y Organizaciones

Admón y Organizaciones Comparativo Anual

0%

10%

20%

30%

40%

50%

60%


2004

2005

2006


Economía

Distribución de Universidades por Nivel en Economía

Bajo5%

Medio - Bajo42%

Superior1%

Medio43%

Alto9%


Economía

Economía Comparativo Anual

0%

10%

20%

30%

40%

50%

60%

70%


2004

2005

2006


EstadísticaDistribución de Universidades por Nivel en

Estadística

Bajo1%

Medio - Bajo40%

Superior1%

Medio47%

Alto11%


Estadística

Estadística Comparativo Anual

0%

10%

20%

30%

40%

50%

60%

70%

80%


2004

2005

2006


Ética y Responsabilidad Social

Distribución de Universidades por Nivel en Ética y Responsabilidad Social

Bajo1%

Medio - Bajo4%

Superior1%

Medio52%

Alto42%


Ética y Responsabilidad Social

Ética y Responsabilidad Social Comparativo Anual

0%

10%

20%

30%

40%

50%

60%

70%


2004

2005

2006


Finanzas

Distribución de Universidades por Nivel en Finanzas

Alto26%

Medio

Superior3.68%

Medio - Bajo11%


Finanzas

FinanzasComparativo Anual

0%

10%

20%

30%

40%

50%

60%

70%


2004

2005

2006


Gestión Humana

Distribución de Universidades por Nivel en Gestión Humana

Bajo4%

Medio - Bajo23%

Superior2.63%

Medio53%

Alto17%


Gestión Humana

Gestión HumanaComparativo Anual

0%

10%

20%

30%

40%

50%

60%

70%

80%


2004

2005

2006


Matemáticas

Distribución de Universidades por Nivel en Matemáticas

Bajo1%

Superior4%

Alto15%

Muy Superior2.11%

Medio61%

Medio - Bajo17%


Matemáticas

MatemáticasComparativo Anual

0%

10%

20%

30%

40%

50%

60%

70%


2004

2005

2006


Mercadeo

Distribución de Universidades por Nivel en Mercadeo

Medio - Bajo17%

Superior6.84%

Medio48%

Alto28%


Mercadeo

MercadeoComparativo Anual

0%

10%

20%

30%

40%

50%

60%


2004

2005

2006


Producción y Operaciones

Distribución de Universidades por Nivel en Producción y Operaciones

Bajo0.53%

Superior4%

Alto21%

Muy Superior1.05%

Medio55%

Medio - Bajo18%


Producción y Operaciones

Producción y Operaciones Comparativo Anual

0%

10%

20%

30%

40%

50%

60%


2004

2005

2006


Comprensión Lectora

Distribución de Universidades por Nivel en Compresión Lectora

Bajo2%

Alto15.34%

Medio - Bajo14%

Medio69%


Comprensión Lectora

Comprensión Lectora Comparativo Anual

0%

10%

20%

30%

40%

50%

60%

70%

80%


2004

2005

2006


Comprensión de Inglés

Distribución de Universidades por Nivel en Compresión de Inglés

Medio - Bajo1%

Superior11.64%Medio

24%

Alto63%


Comprensión de Inglés

Comprensión de InglésComparativo Anual

0%

10%

20%

30%

40%

50%

60%

70%


2005

2006



POR JORNADA


Programas por Jornada - Nivel

Distribución en % de las Facultades por Jornada - Nivel

0.00%

10.00%

20.00%

30.00%

40.00%

50.00%

60.00%

70.00%

MuySuperior

Superior Alto Medio Medio - Bajo Bajo

DIURNO

EDUCACION ADISTANCIA

NOCTURNO


Comparativo Jornada Diurna

Jornada DiurnaComparativo Anual

0%

5%

10%

15%

20%

25%

30%

35%

40%


2004

2005

2006


Comparativo Jornada Nocturna

Jornada NocturnaComparativo Anual

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%


2004

2005

2006


Comparativo Jornada Educación A Distancia

Jornada Educación a Distancia Comparativo Anual

0%

10%

20%

30%

40%

50%

60%

70%


2004

2005

2006



POR TIPO DE PROGRAMA


Administración de Empresas

Administración de EmpresasComparativo Anual

0%

20%

40%

60%

80%

100%

120%


2005

2006


Administración Financiera

Administración FinancieraComparativo Anual

0%

5%

10%

15%

20%

25%


2005

2006


Administración de Empresas Turísticas y Hoteleras

Administración de Empresas Turísticas y Hoteleras

Comparativo Anual

0%

1%

2%

3%

4%

5%

6%

7%

8%

9%


2005

2006


Administración de Empresas Agropecurias

Administración de Empresas Agropecuarias

Comparativo Anual

0%

1%

2%

3%

4%

5%

6%

7%


2005

2006



POR COMPETENCIA


Desempeño por CompetenciaDesempeño Nacional por Competencia

0.00%

10.00%

20.00%

30.00%

40.00%

50.00%

60.00%

70.00%

80.00%


ARGUMENTATIVA

INTERPRETATIVA

PROPOSITIVA


Competencia Argumentativa

Distribución de Universidades por Nivel en la Competencia Argumentativa

Bajo5%

Alto6.32%

Medio - Bajo68%

Medio21%


Competencia Argumentativa

Competencia Argumentativa Comparativo Anual

0%

10%

20%

30%

40%

50%

60%

70%


2005

2006


Competencia InterpretativaDistribución de Universidades por Nivel en la

Competencia Interpretativa

Medio12%

Medio - Bajo76%

Alto3.68%Bajo

8%


Competencia Interpretativa

Competencia Interpretativa Comparativo Anual

0%

10%

20%

30%

40%

50%

60%

70%


2005

2006


Competencia PropositivaDistribución de Universidades por Nivel en la

Competencia Propositiva

Medio - Bajo17%

Superior1.58%

Medio54%

Alto27%


Competencia Propositiva

Competencia PropositivaComparativo Anual

0%

10%

20%

30%

40%

50%

60%

70%


2005

2006



Conclusiones

examen de calidad para la educaciÓn … · • el nivel de discusión de los resultados es...

Documents