Antecedentes para la incorporación del ranking de Notas de Enseñanza Media como factor de selección a

las universidades

Comité Técnico Asesor PSU

Julio, 2012

La conversión de las NEM

• Las notas de enseñanza media (NEM) se han considerado en los procesos de selección empleando una transformación de sus puntajes a una escala equivalente a la de las pruebas.

• Las tablas de conversión se actualizaban regularmente (cada 2 años). La actual no ha sido modificada desde la penúltima PAA. La actualización de las tablas era necesaria para compensar la tendencia a la elevación de las notas en el tiempo y asegurar que la ponderación nominal de las NEM no se viera distorsionada.

• La tabla de conversión actual no emplea los límites de las pruebas (150/850). Su mínimo es 208 y su máximo es 826.

Transformación NEM

150

200

250

300

350

400

450

500

550

600

650

700

750

800

850

4

4.1

4.2

4.3

4.4

4.5

4.6

4.7

4.8

4.9 5

5.1

5.2

5.3

5.4

5.5

5.6

5.7

5.8

5.9 6

6.1

6.2

6.3

6.4

6.5

6.6

6.7

6.8

6.9 7

Las NEM como factor de selección

• Ha mantenido una buena capacidad predictiva

• La relación entre PSU y NEM (ver subsiguiente lámina), sugiere que hay fuertes diferencias en los estándares para asignar notas entre los establecimientos educacionales.

• Además, ha existido una tendencia a la elevación de las notas en el tiempo (ver lámina siguiente).

Progresión anual del promedio de notas de enseñanza media

4.8

4.9

5

5.1

5.2

5.3

5.4

5.5

5.6

5.7

5.8

1975

1977

1979

1981

1983

1985

1987

1989

1991

1993

1995

1997

1999

2001

2003

Distribución de NEM según PSU promedio (por establecimiento educacional)

Las fuertes disparidades en los criterios para asignar notas entre establecimientos educacionales

El ranking de notas de enseñanza media

• Corresponde al ordenamiento de los estudiantes según su posición relativa al interior de su establecimiento educacional (supone considerar a todos los egresados de un establecimiento, no solo los que se inscriben para rendir las PSU).

• Por definición el ranking promedio es equivalente en todos los establecimientos educacionales (y por extensión el ranking promedio es independiente de la dependencia del establecimiento educacional, lo que introduce un criterio de equidad).

• Su mayor desventaja educacional es que promueve la competencia entre pares, debilitando el rol de formas colaborativas de aprendizaje.

• Para compensar potenciales efectos adversos, se ha decidido que la valoración de este aspecto se base en la información acumulada en los tres años previos (sin incluir las notas de la generación que egresa).

• Adicionalmente, esta opción tiene ventajas prácticas en términos del acceso oportuno de los datos para el cálculo del puntaje.

Alternativas propuestas para considerar el ordenamiento de los postulantes en las NEM

• NEM2: Ajuste en tabla de conversión de Notas de Educación Media, considerando el promedio de notas del establecimiento educacional (la tabla se hace más exigente a medida que el promedio se incrementa).

• NEM3: Conversión de notas de Educación Media considerando el mínimo, máximo y promedio de las notas de cada establecimiento educacional.

Nota EM Alumno

Promedio Colegio (últimos 3 años)

5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 6

7 850 850 850 850 850 850 850 850 850

6.9 831 829 828 827 825 823 821 818 815

6.8 811 809 806 803 800 796 792 786 780

6.7 792 788 784 780 775 769 763 755 745

6.6 772 768 763 757 750 742 733 723 710

6.5 753 747 741 733 725 715 704 691 675

6.4 733 726 719 710 700 688 675 659 640

6.3 714 706 697 687 675 662 646 627 605

6.2 694 685 675 663 650 635 617 595 570

6.1 675 665 653 640 625 608 588 564 535

6 656 644 631 617 600 581 558 532 500

5.9 636 624 609 593 575 554 529 500 483

5.8 617 603 588 570 550 527 500 482 465

5.7 597 582 566 547 525 500 481 463 448

5.6 578 562 544 523 500 479 461 445 430

5.5 558 541 522 500 478 459 442 426 413

5.4 539 521 500 477 456 438 422 408 395

5.3 519 500 475 453 434 418 403 389 378

5.2 500 473 450 430 413 397 383 371 360

5.1 471 446 425 407 391 376 364 353 343

5 442 419 400 383 369 356 344 334 325

4.9 413 392 375 360 347 335 325 316 308

4.8 383 365 350 337 325 315 306 297 290

4.7 354 338 325 313 303 294 286 279 273

4.6 325 312 300 290 281 274 267 261 255

4.5 296 285 275 267 259 253 247 242 238

4.4 267 258 250 243 238 232 228 224 220

4.3 238 231 225 220 216 212 208 205 203

4.2 208 204 200 197 194 191 189 187 185

4.1 179 177 175 173 172 171 169 168 168

4 150 150 150 150 150 150 150 150 150

NEM2

( Propuesta USACH )

Puntaje NEM ajustado según

promedio de notas del establecimiento

(últimos tres años):

Si Nota Alumno = Promedio establ.

NEM2 = 500 (Nota: 500 es el Puntaje Promedio PSU)

Si Nota Alumno > Promedio establ.

NEM2 = 500+(NA-NE)*350/(7-NE)

Si Nota Alumno < Promedio establ.

NEM2 = 500+(NA-NE)*350/(NE-4)

NEM3

( Propuesta USACH )

Puntaje NEM ajustado según: máximo, mínimo y promedio de

notas del establecimiento (últimos tres años).

Máximo establecimiento

Promedio establecimiento

Mínimo establecimiento

NEM 2 vs. NEM3

Promedio establecimiento

____ NEM3

____ NEM2

Comparación de Transformaciones de Notas

0

100

200

300

400

500

600

700

800

900

4

4.1

4.2

4.3

4.4

4.5

4.6

4.7

4.8

4.9 5

5.1

5.2

5.3

5.4

5.5

5.6

5.7

5.8

5.9 6

6.1

6.2

6.3

6.4

6.5

6.6

6.7

6.8

6.9 7

NEM NEM2 NEM3

Comparación a nivel de establecimientos: NEM vs NEM2

→ NEM2 presenta menor variabilidad de puntajes entre establecimientos con mismo promedio PSU

→ Disminuye relación NEM-PSU por establecimiento (pendiente)

Admisión 2007, Promedios por establecimiento

Comparación a nivel de establecimientos: NEM vs NEM3

→ NEM3 no disminuye variabilidad de puntajes entre establecimientos con mismo promedio PSU

→ Disminuye relación NEM-PSU por establecimiento (pendiente)

Admisión 2007, Promedios por establecimiento

PSUL PSUM NEM NEM2 NEM3

PSUM 0.75 1

NEM 0.54 0.55 1

NEM2 0.48 0.48 0.94 1

NEM3 0.44 0.44 0.91 0.98 1

Correlación entre factores individuales

(N=174943)

Brechas: Particulares Pagados vs. Municipales

53%

26% 18%

0%

123% 117%

0%

20%

40%

60%

80%

100%

120%

140%

NEM NEM2 NEM3 Ranking PSUM PSUL

(Como % de la Desviación Estándar de cada factor)

(Como % de la Desviación Estándar de cada factor)

-25%

-18% -18% -18%

29%

5%

-30%

-20%

-10%

0%

10%

20%

30%

40%

NEM NEM2 NEM3 Ranking PSUM PSUL

Brechas: Hombres vs. Mujeres

Validez Predictiva: Alumnos CRUCH Admisión 2007

Muestra: Carreras con al menos 10 alumnos

N alumnos= 42508

N carreras= 900

Factor N Media DS Min. Máx.

PSUM 42508 600 82 226 850

PSUL 42508 607 80 219 850

NEM 42508 632 87 332 826

NEM2 42508 582 107 267 850

NEM3 42508 593 136 213 850

Correlaciones con Notas de Primer Año (PPA):

Resultados Globales

0.25 0.25 0.23 0.23

0.1

0.25

NEM NEM2 NEM3 Ranking PSUL PSUM

Correlaciones Parciales Controlando por PSUM, PSUL, NEM

0.02 0.02

0.04

0

0.01

0.02

0.03

0.04

0.05

0.06

0.07

0.08

0.09

0.1

NEM2 NEM3 Ranking

Conclusiones sobre la capacidad predictiva de la posición relativa de los

postulantes en las notas de EM

• Todas las alternativas para valorar la posición relativa de los estudiantes muestran buena capacidad predictiva, equivalente a las NEM.

• El efecto adicional de estas alternativas (por encima de lo que predicen la PSU y NEM) es pequeño, pero positivo.

Conclusiones sobre brechas

• Todas las alternativas estudiadas muestran bajas brechas según la dependencia de los establecimientos, por lo que su efecto contribuirá a compensar las diferencias que se observan en los otros factores de selección

• En cuanto a las diferencias de rendimiento entre hombres y mujeres, las NEM y las transformaciones consideradas muestran resultados más favorables a las mujeres. Una implicancia de asignar mayor peso a las NEM y sus transformaciones es que se favorece el ingreso a las universidades de las mujeres. – En las PSU se constata una diferencia favorable a los hombres, por lo

que lo observado con las NEM y Ranking tiene un efecto compensatorio.

DISTRIBUCIÓN DEL PUNTAJE RANKING EN COMPARACIÓN CON NEM

Diferencia Puntaje Ranking-NEM

dif Frecuencia Frecuencia Acumulada

Porcentaje Acumulado

0 94725 94725 57.13 10 1300 103213 62.24 20 1126 116464 70.24 30 852 127395 76.83 40 831 136320 82.21 50 788 143363 86.46 60 367 148497 89.55 70 328 152675 92.07 80 303 155527 93.79 90 81 158040 95.31

100 67 159607 96.25 125 99 162367 97.92 150 36 164324 99.1

>150 1494 165818 100

Comparación de Diferencia Puntaje Ranking-NEM según dependencia

Dependencia N Promedio Desv. Est. Min Max

Particular Pagado

26941 14.4 24.7 0 292

Particular Subvencionado

126099 18.5 33.4 0 331

Municipal

85845 18.1 32.1 0 311

EFECTO EN POSTULACIONES

Simulación en Postulaciones, según dependencia

Dependencia Mantiene Carrera

Sube Preferencia

Baja Preferencia

Ingresa Sale No Ingresa Total

Part. Pagado 17172 572 1347 109 397 2208 19597

88% 3% 7% 1% 2% 100%

Part. Subvencionado

42753 2691 2042 690 738 12117 48914

87% 6% 4% 1% 2% 100%

Municipal 22065 1407 1080 388 427 7252 25367

87% 6% 4% 2% 2% 100%

Total 81990 4670 4469 1187 1562 21577 93878 87% 5% 5% 1% 2% 23% 100%

Simulación en Postulaciones, según Modalidad Educativa

Modalidad Mantiene Preferencia

Sube Preferencia

Baja Preferencia

Ingresa Sale No ingresa Total

Humanista-Científico

72002 3854 4241 881 1476 16741 82454

87% 5% 5% 1% 2% 100%

Técnico-Profesional

10495 826 268 320 129 5099 12038

87% 7% 2% 3% 1% 100%

Total 82497 4680 4509 1201 1605 21840 94492

87% 5% 5% 1% 2% 23% 100%

Conclusiones

• El puntaje de ranking adoptado bonifica a estudiantes con rendimientos relativos superiores y no produce efectos adversos en puntajes de postulantes inferiores (en comparación con el puntaje que tendrían en NEM)

• Este puntaje de ranking se asocia a cambios esperables: leve efecto en ingreso/salida del sistema, efecto más importante en movilidad entre carreras/universidades (siempre favoreciendo postulantes de establecimientos con subvención del Estado)

Recomendaciones

• Restituir, a partir del próximo año, la práctica de ajustar anualmente la tabla de conversión de NEM, para corregir las potenciales distorsiones que se producen con los cambios en los promedios de las notas de enseñanza media.

• Monitorear anualmente el funcionamiento del nuevo sistema y sus reglas.

Antecedentes para la incorporación del ranking de Notas de Enseñanza Media como factor de selección a

las universidades

Comité Técnico Asesor PSU

Julio, 2012