informe técnico modelo

8/18/2019 Informe Técnico Modelo

1/8

Informe especializado para el Ministeriode Economía y Finanzas

I. MARCO GENERAL

La evaluación nacional al egreso utilizó un modelo complejo. El análisis a

realizar se basa en los indicadores generados de las escalas de evaluación

implementada. Como se mencionó estas escalas son construidas a partir de

lo que se denomina “modelo de evaluación de formas rotadas con bloques

incompletos”. Esto quiere decir que no todos los bloques que se utilizan

para la evaluación ocupan las diferentes posiciones dentro de loscuadernillos de evaluación, a que en el análisis del piloto se determinó la

longitud de la prueba. !or lo tanto se puede recurrir a un modelo de

bloques incompletos sin esperar efectos en la evaluación.

Los análisis reportes presentados son realizados con auda del soft"are

estad#stico especializado para la $edición de %asc& 'insteps(. Este

soft"are se utilizó en conjunto con el soft"are estad#stico %) para todos los

análisis resultados presentados como producto de la consultor#a.

$ás adelante se presenta un conjunto de tablas, con información sobre losevaluados los #tems para cada una de las áreas. En estas tablas nos

centraremos en los indicadores de calidad espec#*cos para el modelo de

medición de %asc&. +lgunos de los indicadores como se describe en las

mismas tablas no aplican debido al tipo de data que se utiliza para el

análisis, se trata desde el punto de vista estad#stico incompleta pero

su*ciente, a que todos los evaluados no enfrentaron la totalidad de los

#tems de las escalas.

Los indicadores a revisar son el #ndice de con*abilidad reliabilit-, tanto

para los evaluados como para la escala utilizada, el #ndice de separación

separation-. Los valores que se espera son que el #ndice de con*abilidad

supere el ./ que el #ndice de separación sean maor a (.0, lo que quiere

decir que en todas las mediciones realizadas se podr#an replicar obtener

valores similares, además de la posibilidad de distinguir a los estudiantes

de alto desempe1o de los de bajo desempe1o

1

Sitio del software Winsteps: http://www.winsteps.com/index.htm2 Sito del sotware R: http://www.r-project.org/

http://www.winsteps.com/index.htmhttp://www.winsteps.com/index.htmhttp://www.r-project.org/http://www.r-project.org/http://www.winsteps.com/index.htmhttp://www.r-project.org/


2/8

2


3/8

II. ANALISIS E LA CALIA E LAS ESCALAS E MEICI!NISE"AAS

#. Comprensi$n de %e&tos ' Indicadores de (alidez de Rasc)

Esta escala tiene indicadores dentro del rango de lo esperado para lamedición de los estudiantes. Como se observa el indicador de con*abilidades de ./0 una separación de (./2. En las tablas se observa el indicadoranálogo al +lfa de Cronbac& con un valor de .33, pero por la naturaleza dela evaluación debido a que los evaluados no enfrentan el total depreguntas este es mu impreciso, el soft"are lo marca como unaapro4imación a que es afectado por la data omitida.

INPUT: 404 PERSONS, 76 ITEMS MEASURED: 404 PERSONS, 73 ITEMS, 2 CATS

--------------------------------------------------------------------------------

SUMMARY OF 403 MEASURED (NON-EXTREME) PERSONS

+-----------------------------------------------------------------------------+

| RAW MODE INFIT OUTFIT |

| SCORE COUNT MEASURE ERROR MNS! "STD MNS! "STD |

|-----------------------------------------------------------------------------|

| MEAN #$%$ 3#%0 %&3 %4' #%00 %0 %$7 %0 |

| S%D% 4%$ %0 %$# %06 %#$ %$ %44 %$ |

| MAX% 30%0 3#%0 4%03 #%03 #%$# 4%0 4%63 3%' |

| MIN% 6%0 3#%0 -2%0$ %40 %46 -3%3 %2$ -2%' |

|-----------------------------------------------------------------------------|

| REA RMSE %47 AD%SD %7& SEPARATION #%6' PERSON REIAIITY %73 |

|MODE RMSE %46 AD%SD %7$ SEPARATION 1.73 PERSON RELIABILITY .75 |

| S%E% OF PERSON MEAN * %0' |+-----------------------------------------------------------------------------+

MINIMUM EXTREME SCORE: # PERSONS

AID RESPONSES: 42%'

SUMMARY OF 404 MEASURED (EXTREME AND NON-EXTREME) PERSONS

+-----------------------------------------------------------------------------+



|-----------------------------------------------------------------------------|

| MEAN #$%$ 3#%0 %&2 %46 |

| S%D% 4%$ %0 %$6 %0$ |

| MAX% 30%0 3#%0 4%03 #%&4 || MIN% %0 3#%0 -'%04 %40 |

|-----------------------------------------------------------------------------|

| REA RMSE %4& AD%SD %&3 SEPARATION #%72 PERSON REIAIITY %7' |

|MODE RMSE %47 AD%SD %&4 SEPARATION #%&0 PERSON REIAIITY %76 |

| S%E% OF PERSON MEAN * %0' |

+-----------------------------------------------------------------------------+

PERSON RAW SCORE-TO-MEASURE CORREATION * %$& (../15 5 889 )

CRONAC; AP;A (


4/8

funcionamiento de la escala justi*car la de*nición de niveles a partir de ladistribución de las di*cultades de los #tems.

SUMMARY OF 73 MEASURED (NON-EXTREME) ITEMS

+-----------------------------------------------------------------------------+



|-----------------------------------------------------------------------------|

| MEAN ##0%0 #7#%# %00 %2# #%00 %# %$7 %# |

| S%D% 4$%$ 4&%2 #%22 %07 %0$ #%2 %20 #%4 |

| MAX% #$&%0 207%0 2%'$ %'# #%24 3%# #%3& 3%3 |

| MIN% 2&%0 $6%0 -2%67 %#' %&4 -2%$ %46 -2%' |

|-----------------------------------------------------------------------------|

| REA RMSE %22 AD%SD #%20 SEPARATION '%44 ITEM REIAIITY %$7 |

|MODE RMSE %22 AD%SD #%20 SEPARATION '%'2 ITEM REIAIITY %$7 |

| S%E% OF ITEM MEAN * %#4 |

+-----------------------------------------------------------------------------+ DEETED: 3 ITEMS

UMEAN*%000 USCAE*#%000

ITEM RAW SCORE-TO-MEASURE CORREATION * -%72 (../15 5 889 )

*. Alfa+etizaci$n Matem,tica

Esta escala tiene los mejores indicadores para la medición de losestudiantes. Como se observa el indicador de con*abilidad es de ./6 unaseparación de (./5. 7i no tomamos los valores e4tremos estos aumentan a

con*abilidad es de .// una separación de (.80.

INPUT: 40# PERSONS, 7$ ITEMS MEASURED: 40# PERSONS, 73 ITEMS, 2 CATS

--------------------------------------------------------------------------------

SUMMARY OF 3$7 MEASURED (NON-EXTREME) PERSONS

+-----------------------------------------------------------------------------+



|-----------------------------------------------------------------------------|

| MEAN #0%# 2#%& -%#$ %'2 #%00 %0 #%02 %0 |

| S%D% 4%3 %& #%07 %0& %#$ %$ %4# %$ || MAX% 22%0 23%0 3%3& #%0$ 2%06 2%& 4%06 3%0 |

| MIN% #%0 2#%0 -3%70 %4' %'4 -2%' %42 -2%4 |

|-----------------------------------------------------------------------------|

| REA RMSE %'4 AD%SD %$2 SEPARATION #%6$ PERSON REIAIITY %74 |

|MODE RMSE %'2 AD%SD %$3 SEPARATION #%7$ PERSON REIAIITY %76 |

| S%E% OF PERSON MEAN * %0' |

+-----------------------------------------------------------------------------+

MINIMUM EXTREME SCORE: 4 PERSONS

AID RESPONSES: 2$%$

4


5/8

SUMMARY OF 40# MEASURED (EXTREME AND NON-EXTREME) PERSONS

+-----------------------------------------------------------------------------+



|-----------------------------------------------------------------------------|

| MEAN #0%0 2#%& -%23 %'3 |

| S%D% 4%4 %& #%#6 %#6 || MAX% 22%0 23%0 3%3& #%&& |

| MIN% %0 2#%0 -'%3& %4' |

|-----------------------------------------------------------------------------|

| REA RMSE %'7 AD%SD #%0# SEPARATION #%76 PERSON REIAIITY %76 |

|MODE RMSE %'' AD%SD #%02 SEPARATION #%&' PERSON REIAIITY %77 |

| S%E% OF PERSON MEAN * %06 |

+-----------------------------------------------------------------------------+

PERSON RAW SCORE-TO-MEASURE CORREATION * %$6 (../15 5 889 )

CRONAC; AP;A (


6/8

-. esarrollo del Estdiante

La naturaleza de esta área la complejidad de la evaluación llevan a que

los indicadores se encuentran debajo del esperado. 9o son de*cientes pero

se pueden entender como regulares. El indicador de con*abilidad es del

.6/ el de separación es de (.3(. Los análisis pedagógicos elaborados apartir de la evaluación audaran a entender este resultado con miras a

mejorar futuras evaluaciones.

INPUT: 403 PERSONS, &' ITEMS MEASURED: 403 PERSONS, &2 ITEMS, 2 CATS

--------------------------------------------------------------------------------

SUMMARY OF 403 MEASURED PERSONS

+-----------------------------------------------------------------------------+



|-----------------------------------------------------------------------------|| MEAN #6%$ 30%7 %2$ %43 #%00 %0 %$$ %0 |

| S%D% 4%2 #%' %74 %03 %#& #%0 %3# %$ |

| MAX% 2&%0 33%0 2%32 %'& #%6$ 2%& 3%#' 3%# |

| MIN% '%0 2$%0 -2%04 %40 %62 -2%4 %43 -2%# |

|-----------------------------------------------------------------------------|

| REA RMSE %44 AD%SD %'$ SEPARATION #%34 PERSON REIAIITY %64 |

|MODE RMSE %43 AD%SD %60 SEPARATION #%4# PERSON REIAIITY %67 |


+-----------------------------------------------------------------------------+

AID RESPONSES: 37%'

PERSON RAW SCORE-TO-MEASURE CORREATION * %$& (../15 5 889 )

CRONAC; AP;A (


7/8

/. Enfo0e peda1$1ico

+l igual que en el área anterior esta es un área compleja por la posible

diversidad de estragar#as docentes para su ense1anza, conjuntamente con

la complejidad de la evaluación lleva a que los indicadores se encuentran

debajo del esperado. El indicador de con*abilidad es del .6( el deseparación es de (.)6. El área presenta los indicadores más bajos en este

sentido.

INPUT: 403 PERSONS, 7' ITEMS MEASURED: 403 PERSONS, 73 ITEMS, 2 CATS 3%'7%2

--------------------------------------------------------------------------------

SUMMARY OF 40# MEASURED (NON-EXTREME) PERSONS

+-----------------------------------------------------------------------------+



|-----------------------------------------------------------------------------|

| MEAN #'%& 27%0 %4' %46 #%00 %0 #%00 %0 |

| S%D% 3%6 %7 %74 %04 %#$ #%0 %3& %$ |

| MAX% 2'%0 2&%0 3%0$ %&0 #%6' 2%7 3%46 3%3 |

| MIN% 7%0 26%0 -#%62 %42 %'4 -2%& %3$ -2%6 |

|-----------------------------------------------------------------------------|

| REA RMSE %4& AD%SD %'7 SEPARATION #%#& PERSON REIAIITY %'& |

|MODE RMSE %46 AD%SD %'& SEPARATION #%26 PERSON REIAIITY %6# |


+-----------------------------------------------------------------------------+

MINIMUM EXTREME SCORE: 2 PERSONS

AID RESPONSES: 37%0

SUMMARY OF 403 MEASURED (EXTREME AND NON-EXTREME) PERSONS

+-----------------------------------------------------------------------------+



|-----------------------------------------------------------------------------|

| MEAN #'%& 27%0 %42 %47 |

| S%D% 3%& %7 %&4 %## |

| MAX% 2'%0 2&%0 3%0$ #%&' |

| MIN% %0 26%0 -'%## %42 |

|-----------------------------------------------------------------------------|

| REA RMSE %4$ AD%SD %67 SEPARATION #%36 PERSON REIAIITY %6' |

|MODE RMSE %4& AD%SD %6$ SEPARATION #%43 PERSON REIAIITY %67 || S%E% OF PERSON MEAN * %04 |

+-----------------------------------------------------------------------------+

PERSON RAW SCORE-TO-MEASURE CORREATION * %$' (../15 5 889 )

CRONAC; AP;A (


8/8

SUMMARY OF 73 MEASURED (NON-EXTREME) ITEMS

+-----------------------------------------------------------------------------+



|-----------------------------------------------------------------------------|

| MEAN &7%0 #4&%2 %00 %22 #%00 %0 #%00 %# |

| S%D% 4'%' '0%2 #%23 %07 %06 %$ %#2 %$ || MAX% #$#%0 20'%0 3%04 %'2 #%#7 2%2 #%3# 2%# |

| MIN% $%0 $6%0 -3%04 %#' %&6 -2%' %72 -2%3 |

|-----------------------------------------------------------------------------|

| REA RMSE %23 AD%SD #%2# SEPARATION '%3# ITEM REIAIITY %$7 |

|MODE RMSE %23 AD%SD #%2# SEPARATION '%36 ITEM REIAIITY %$7 |

| S%E% OF ITEM MEAN * %#' |

+-----------------------------------------------------------------------------+

DEETED: 2 ITEMS

UMEAN*%000 USCAE*#%000

ITEM RAW SCORE-TO-MEASURE CORREATION * -%7# (../15 5 889 )

III. CONCL2SI!N

En conclusión dos de las áreas de evaluación presentan indicadores dentro

de lo esperado en cuanto a la medición de los estudiantes. ;os de ellas

deber#an mejorarse para la medición de los estudiantes, una forma

sugerida es introduciendo más #tems en la formas de aplicación, es decir

que las pruebas de los evaluados sean más largas.

Con respecto a las escalas, &an funcionado correctamente, los #tems que

*nalmente las constitueron son estables describen el aprendizaje el

desempe1o de los estudiantes de manera adecuada.

Este primer esfuerzo por realizar evaluaciones estandarizadas siguiendo

m:todos de medición rigurosos modernos se puede considerar aceptable

que es un buen inicio de un 7istema 9acional de Evaluación de

Estudiantes de

informe técnico modelo

Documents