Análisis de Alternativas de Asignación de Puntajes para las

Notas de Enseñanza Media

Distintas versiones analizadas

• NEM: Puntaje estandarizado asignado a las Notas de Educación Media, versión actual.

• NEM2: (“Ranking 2.0”: Propuesta USACH) Tabla de conversión de Notas de Educación Media a puntaje estandarizado, relativa al promedio de notas del establecimiento educacional.

• NEM3: Conversión de notas de Educación Media considerando el mínimo, máximo y promedio de las notas de cada establecimiento educacional.

• Ranking: Ordenamiento de los estudiantes de acuerdo a su percentil en el establecimiento educacional.

Distribución de NEM según PSU promedio (por establecimiento educacional)

Las NEM como factor de selección

• Se basa en tablas de transformación de puntaje (tradicionalmente se actualizaban cada 2-3 años, las actuales están “congeladas” desde la adopción de las PSU)

• Ha mantenido una buena capacidad predictiva • La relación entre PSU y NEM (ver siguiente

lámina), sugiere que hay fuertes diferencias en los estándares para asignar notas entre los establecimientos educacionales.

• Además, ha existido una tendencia a la elevación de las notas en el tiempo.

Las fuertes disparidades en los criterios para asignar notas entre establecimientos educacionales

Transformación NEM (sus valores extremos

son diferentes a las PSU: 208 y 826)

0

100

200

300

400

500

600

700

800

900

4

4.1

4.2

4.3

4.4

4.5

4.6

4.7

4.8

4.9 5

5.1

5.2

5.3

5.4

5.5

5.6

5.7

5.8

5.9 6

6.1

6.2

6.3

6.4

6.5

6.6

6.7

6.8

6.9 7

Nota EM Alumno

Promedio Colegio (últimos 3 años)

5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 6

7 850 850 850 850 850 850 850 850 850

6.9 831 829 828 827 825 823 821 818 815

6.8 811 809 806 803 800 796 792 786 780

6.7 792 788 784 780 775 769 763 755 745

6.6 772 768 763 757 750 742 733 723 710

6.5 753 747 741 733 725 715 704 691 675

6.4 733 726 719 710 700 688 675 659 640

6.3 714 706 697 687 675 662 646 627 605

6.2 694 685 675 663 650 635 617 595 570

6.1 675 665 653 640 625 608 588 564 535

6 656 644 631 617 600 581 558 532 500

5.9 636 624 609 593 575 554 529 500 483

5.8 617 603 588 570 550 527 500 482 465

5.7 597 582 566 547 525 500 481 463 448

5.6 578 562 544 523 500 479 461 445 430

5.5 558 541 522 500 478 459 442 426 413

5.4 539 521 500 477 456 438 422 408 395

5.3 519 500 475 453 434 418 403 389 378

5.2 500 473 450 430 413 397 383 371 360

5.1 471 446 425 407 391 376 364 353 343

5 442 419 400 383 369 356 344 334 325

4.9 413 392 375 360 347 335 325 316 308

4.8 383 365 350 337 325 315 306 297 290

4.7 354 338 325 313 303 294 286 279 273

4.6 325 312 300 290 281 274 267 261 255

4.5 296 285 275 267 259 253 247 242 238

4.4 267 258 250 243 238 232 228 224 220

4.3 238 231 225 220 216 212 208 205 203

4.2 208 204 200 197 194 191 189 187 185

4.1 179 177 175 173 172 171 169 168 168

4 150 150 150 150 150 150 150 150 150

NEM2

( Propuesta USACH )

Puntaje NEM ajustado según

promedio de notas del establecimiento

(últimos tres años):

Si Nota Alumno = Promedio establ.

NEM2 = 500 (Nota: 500 es el Puntaje Promedio PSU)

Si Nota Alumno > Promedio establ.

NEM2 = 500+(NA-NE)*350/(7-NE)

Si Nota Alumno < Promedio establ.

NEM2 = 500+(NA-NE)*350/(NE-4)

Desincentivo a inflar las notas

NEM3

( Propuesta USACH )

Puntaje NEM ajustado según: máximo, mínimo y promedio de

notas del establecimiento (últimos tres años).

Máximo colegio

Promedio colegio

Mínimo colegio

NEM 2 vs. NEM3

Promedio colegio

____ NEM2

____ NEM 3

Comparación de Transformaciones de Notas

0

100

200

300

400

500

600

700

800

900

4

4.1

4.2

4.3

4.4

4.5

4.6

4.7

4.8

4.9 5

5.1

5.2

5.3

5.4

5.5

5.6

5.7

5.8

5.9 6

6.1

6.2

6.3

6.4

6.5

6.6

6.7

6.8

6.9 7

NEM NEM2 NEM3

Comparación a nivel de establecimientos: NEM vs NEM2

→ NEM2 presenta menor variabilidad de puntajes entre establecimientos con mismo promedio PSU

→ Disminuye relación NEM-PSU por establecimiento (pendiente)

Admisión 2007, Promedios por establecimiento

Comparación a nivel de establecimientos: NEM vs NEM3

→ NEM3 no disminuye variabilidad de puntajes entre establecimientos con mismo promedio PSU

→ Disminuye relación NEM-PSU por establecimiento (pendiente)

Admisión 2007, Promedios por establecimiento

Análisis de resultados a Nivel alumno

Factor N Media DS Min. Máx. Asimetría Kurtosis

PSUM 188740 503 110 150 850 0.033 -0.081

PSUL 188740 502 109 150 850 -0.001 -0.178

NEM 188740 551 101 208 826 0.201 -0.629

NEM2 188740 501 109 150 850 0.521 -0.292

NEM3 188740 491 148 213 850 0.332 -0.502

Ranking 174943 55 28 0.14 100 -0.125 -1.152

PSUL PSUM NEM NEM2 NEM3

PSUM 0.75 1

NEM 0.54 0.55 1

NEM2 0.48 0.48 0.94 1

NEM3 0.44 0.44 0.91 0.98 1

Ranking 0.37 0.37 0.84 0.91 0.91

Correlación entre factores individuales

(N=174943)

Brechas: Particulares Pagados vs. Municipales

53%

26% 18%

0%

123% 117%

0%

20%

40%

60%

80%

100%

120%

140%

NEM NEM2 NEM3 Ranking PSUM PSUL

(Como % de la Desviación Estándar de cada factor)

(Como % de la Desviación Estándar de cada factor)

-25%

-18% -18% -18%

29%

5%

-30%

-20%

-10%

0%

10%

20%

30%

40%

NEM NEM2 NEM3 Ranking PSUM PSUL

Brechas: Hombres vs. Mujeres

Validez Predictiva: Alumnos CRUCH Admisión 2007

Muestra: Carreras con al menos 10 alumnos

N alumnos= 42508

N carreras= 900

Factor N Media DS Min. Máx.

PSUM 42508 600 82 226 850

PSUL 42508 607 80 219 850

NEM 42508 632 87 332 826

NEM2 42508 582 107 267 850

NEM3 42508 593 136 213 850

Ranking 40569 72 24 0.14 100

Correlaciones con Notas de Primer Año (PPA):

Resultados Globales

0.25 0.25 0.23 0.23

0.1

0.25

NEM NEM2 NEM3 Ranking PSUL PSUM

Correlaciones Parciales Controlando por PSUM, PSUL, NEM

0.02 0.02

0.04

0

0.01

0.02

0.03

0.04

0.05

0.06

0.07

0.08

0.09

0.1

NEM2 NEM3 Ranking

Conclusiones

• Todas las transformaciones alternativas a las NEM presentan resultados equivalentes en términos de validez predictiva y brechas de puntajes.

• De las transformaciones alternativas, las NEM2 y NEM3 tienen menores dificultad de aplicación que el ranking (este último es complejo en establecimientos con pocos estudiantes o con pocos postulantes).

• Para minimizar efectos adversos (exacerbar competencia entre compañeros), es preferible que la transformación se base en más de un año. NEM2 y NEM3 tienen menos riesgo de estos efectos adversos.

Conclusiones

• El efecto adicional de las transformaciones (por encima de lo que predicen la PSU y NEM) es pequeño, levemente superior para el ranking.

• Excepto por las NEM3, las otras transformaciones (NEM2 y Ranking) reducen la varianza de las NEM para distintos niveles de puntaje en las PSU. Esto potencialmente reduce la inequidad asociada a los distintos estándares con que los establecimientos califican a sus estudiantes.

• Las NEM2 y NEM3 conservan una mayor correlación con las PSU que el ranking.

• Todas las transformaciones muestran bajas brechas según la dependencia de los establecimientos.

Conclusiones • En cuanto a las diferencias de rendimiento entre hombres y mujeres,

las NEM, así como sus transformaciones muestran resultados más favorables a las mujeres (la diferencia es menor en las transformaciones de las NEM que con las NEM). Por tanto, una implicancia de asignar mayor peso a las NEM y sus transformaciones es que se favorece el ingreso a las universidades de las mujeres. Cabe mencionar que en todas las PSU se constata una diferencia de rendimiento favorable a los hombres, por lo que lo observado con las NEM tiene un efecto compensatorio.

• A partir de lo anterior, lo recomendable es que si se adopta alguna de las transformaciones de las NEM, sea en un rango moderado, monitoreando los efectos que el cambio pueda conllevar en la composición de los estudiantes que ingresan (considerando dependencia de establecimientos de origen, género, etc.).