transparencia en evaluaciones e instrumentos de medición
DESCRIPTION
La Prueba de Selección Universitaria (PSU), el Examen Único Nacional de Conocimientos de Medicina (EUNACOM), la prueba INICIA y el Sistema de Evaluación del Desempeño Profesional Docente, puestos bajo la lupa de la transparencia. En este contundente informe elaborado por los académicos e investigadores de la Universidad Católica Mónica Silva y Mladen Koljatic, se analizan la calidad y equidad de estos instrumentos de evaluación, considerados de altas consecuencias, debido a la capacidad de estos para afectar la vida de las personas. Un documento que da cuenta de las necesidades de modificar la institucionalidad, de acudir periódicamente a auditorías independientes, de participación de todos los stakeholders claves y de un acceso a la información abierto a toda la ciudadanía.TRANSCRIPT
Pro AccesoF u n d a c i ó n
Informe:
TRANSPARENCIA�EN�EVALUACIONES�E�INSTRUMENTOS�DE�MEDICIÓN�DE�
ALTAS�CONSECUENCIAS
1
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
INFORME:
“TRANSPARENCIA EN EVALUACIONES
E INSTRUMENTOS DE MEDICIÓN DE
ALTAS CONSECUENCIAS”
Una publicación de Fundación Pro Acceso
Autores:
Mladen Koljatic
Mónica Silva
Mariano Sánchez Fontecilla 344 casa 11, comuna de Las Condes, Región Metropolitana. Correo electrónico
[email protected]. Teléfono (562) 24958614. Página web www.proacceso.cl
2
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
ÍNDICE
INTRODUCCIÓN .................................................................................................................... 3
I.- EL CASO DE LA PRUEBA DE SELECCIÓN UNIVERSITARIA .............................................. 5
1.- Relevancia de la Institucionalidad ........................................................................... 5
2.- Institucionalidad de la PSU entre 2004 y junio del 2013 ........................................ 8
3.- Cambios propuestos por el MINEDUC a la institucionalidad de la PSU a raíz del
Informe de Pearson ........................................................................................................ 11
4.- Cambios menores a la institucionalidad de la PSU ............................................. 12
II.- REFLEXIONES A PARTIR DE LA PSU ................................................................................ 15
¿Qué sucede con otras pruebas y evaluaciones? ................................................... 15
CONCLUSIONES .................................................................................................................. 19
ANEXOS................................................................................................................................ 20
ANEXO 1: Ejemplos de denuncias en prensa (en orden cronológico). ................. 20
ANEXO 2: Organigrama EUNACOM ............................................................................ 22
3
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
INTRODUCCIÓN
El mundo de hoy se caracteriza por el uso masivo de instrumentos de medición en el
ámbito educacional y profesional. Si bien desde hace décadas las pruebas psicológicas
y educacionales se han utilizado para orientar decisiones de admisión y selección, el
empleo de este tipo de pruebas ha ido en creciente aumento. En el ámbito educacional,
si en el pasado sólo algunos colegios de élite tenían procesos de selección para entrar al
prekinder, hoy prácticamente todos lo hacen. Lo mismo sucede con las pruebas de
selección a las universidades, donde las universidades privadas se han plegado al sistema
de admisión que emplea la PSU.
Hoy por hoy en el país no sólo se emplean pruebas que seleccionan a los postulantes a las
universidades (PSU) sino que además se utilizan pruebas y evaluaciones de
“licenciamiento” que buscan determinar la idoneidad profesional en algunas carreras. Es
el caso del Examen Único Nacional de Conocimientos de Medicina (EUNACOM), el cual
es encargado por el Estado a la Asociación de Facultades de Medicina de Chile
(ASOFAMECH). Por ley se exige la obtención de un puntaje mínimo (definido por el
Ministerio de Salud) para que un médico pueda ser contratado en cargos médicos en los
servicios de salud dependientes del Ministerio de Salud (MINSAL), en consultorios
municipales, otorgar prestaciones a beneficiarios FONASA en modalidad de libre elección
y postular a programas de especialización médica. La ASOFAMECH, por su parte,
considera el puntaje obtenido en el EUNACOM para seleccionar candidatos a sus
programas de especialización. Asimismo, la aprobación del EUNACOM sirve para revalidar
el título obtenido en el extranjero1.
El Sistema de Evaluación del Desempeño Profesional Docente (más conocido como
“Evaluación Docente”) también conlleva altas consecuencias para quienes la rinden. Se
trata de una evaluación obligatoria para los más de 70 mil docentes de aula que se
desempeñan en establecimientos municipales a lo largo del país. De sus resultados
depende la permanencia de los docentes en el sistema público. Hay importantes
1 El uso de los puntajes de EUNACOM por parte del MINSAL fue temporalmente discontinuado en el año 2013 por
una denuncia de filtración de sus preguntas en la versión 2012, enviándose un proyecto de ley a fin de eximir de
la rendición del EUNACOM, por un periodo de tres años, a quienes hubieren recibido títulos profesionales de
médico cirujano de universidades cuyas carreras de medicina estén acreditadas. Fuente www.eunacom.cl
[Fecha de consulta 5/6/2013].
4
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
consecuencias, tanto positivas como negativas, atadas al rendimiento en la evaluación
docente2.
Es posible que dentro de poco la prueba INICIA, que se planteó como un instrumento de
evaluación para medir los conocimientos pedagógicos y disciplinarios de los egresados
de las carreras de pedagogía, también se convierta en una prueba de altas
consecuencias3.
Lo que une a la PSU, el EUNACOM y la Evaluación Docente es que se trata de instrumentos
de altas consecuencias, puesto que sobre la base de sus resultados se toman decisiones
que pueden afectar la vida de las personas. La construcción de los instrumentos sobre los
cuales se toman decisiones de relevancia (instrumentos de altas consecuencias para los
individuos que las rinden) debiera ser materia de particular atención, como lo es en países
desarrollados. Hay consenso entre los expertos en medición que mientras mayores sean las
consecuencias individuales y sociales que pueden acarrear las decisiones que se toman
sobre la base de los resultados de pruebas y evaluaciones, mayor esmero debe ponerse
en establecer su utilidad y validez4. Desgraciadamente, en el país existe poca conciencia
acerca de los requerimientos técnicos que deben ser considerados para efectos de que
el uso de puntajes en pruebas y evaluaciones sea legítimo.
Es claro que no todas las evaluaciones y pruebas que se emplean están bien construidas y
hay uso inapropiado, e incluso abusivo, de la medición educacional. Ante estos casos
existe y existirá la tentación de desecharlas y buscar criterios alternativos de selección. No
obstante hay abundante evidencia de la efectividad de las pruebas cuando éstas han
2 Por ejemplo, hasta 2010 la ley establecía que tras cumplir tres evaluaciones consecutivas con resultado
Insatisfactorio, el profesor debía abandonar la dotación docente, número que se redujo a dos a partir de la
evaluación 2011, tras promulgarse un cambio en la normativa legal (Ley 20.501 de febrero de 2011) Fuente:
http://www.docentemas.cl/dm05_informes_consec.php .[Fecha de consulta 6/6/2013 ].
3 Se planteó como una evaluación diagnóstica para entregar información diagnóstica a las instituciones de
educación superior sobre la calidad de la formación de sus egresados de Pedagogía, proveer información a los
egresados de carreras de Pedagogía respecto a los aprendizajes adquiridos en su formación de pregrado e
identificar fortalezas y debilidades de la formación docente, a fin de orientar el diseño de las políticas públicas
para mejorar la formación inicial docente en Chile.
(Fuente:http://www.mineduc.cl/usuarios/einicia/File/Vale%20socializacion%20final.pdf).
4 American Educational Research Association (AERA), American Psychological Association (APA) & National
Council on Measurement in Education (NCME), Standards for Educational and Psychological Testing (NCME).
Washington D.C.,1999, pg. 139.
5
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
sido desarrolladas conforme a estándares de calidad consensuados por los expertos. El
buen uso de los resultados de las pruebas y evaluaciones puede redundar en mejores
decisiones acerca de las personas y programas de lo que sería el caso si ellas no se usaran
y pueden abrir vías a un más amplio y equitativo acceso a oportunidades educacionales
y de empleo5.
I.- EL CASO DE LA PRUEBA DE SELECCIÓN UNIVERSITARIA6
1.- RELEVANCIA DE LA INSTITUCIONALIDAD
Calidad y equidad son dos pilares fundamentales sobre los cuales descansa el uso
apropiado de pruebas educacionales de altas consecuencias. La calidad se refiere a que
las pruebas midan lo que tienen que medir y la equidad implica que las pruebas no
otorguen ventaja injustificada a un grupo de postulantes en desmedro de otro.
¿Cómo se garantiza que las pruebas de altas consecuencias cumplan con ambos
criterios? Se garantiza a través de evidencia basada en estudios y en el juicio de expertos.
La experiencia enseña que no cualquier experto sirve para estos fines. Por ejemplo,
quienes han desarrollado las pruebas no deben ser los únicos evaluadores de éstas puesto
que, aun cuando no exista el ánimo de engañar, se corre el riesgo de que sus
apreciaciones no sean objetivas con respecto a la calidad y equidad de las pruebas. En
el peor de los casos, el conflicto de interés en los evaluadores puede traducirse en que los
informes oficiales se transformen en meras pseudoevaluaciones, figura que se define en la
literatura especializada como un proceso de evaluación con fuerte injerencia de las
partes comprometidas que presionan para que aparezcan resultados favorables a sus
intereses. En el caso de las pruebas educacionales, una pseudoevaluación proveería
información parcial o sesgada para construir una imagen positiva con respecto a la
calidad de éstas, minimizando o escondiendo los problemas. 7
5 AERA, APA & NCME,1999. Standards for Educational and Psychological Testing. Washington D.C.
6 Más información al respecto se encuentra en el informe “Acceso a la Información y Sistemas de Medición en
Educación en Chile”, publicado por Pro Acceso. Accesible en http://www.proacceso.cl/node/1007. (Fecha de
consulta 6/7/2013).
7 Stufflebeam, D. y Webster, W. (1980). “An analysis of alternatives approaches to evaluation”. Educational
Evaluation and Policy Analysis, 2 (3), 5-20.
6
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
El control de los datos y la falta de transparencia favorecen malas prácticas que han sido
descritas en la literatura: “Cuando sólo un lado tiene la posibilidad de hablar, puede decir
lo que se le antoja. Sin un contrapunto aparente, “datos” pueden ser fabricados de la
nada, sin evidencia suficiente. Investigaciones serias que apoyan un punto de vista distinto
son simplemente ignoradas, como si no existieran. No se les menciona a los periodistas, ni
se citan en trabajos o bibliografías”8.
Para evitar los conflictos de interés que pueden resultar en malas prácticas (evaluaciones
subjetivas, engañosas e incluso en pseudoevaluaciones) que inhiban el desarrollo de
pruebas justas y de calidad, es necesario gestar una institucionalidad que vele por la
transparencia en la evaluación, algo de lo cual hay poca conciencia en el país.
La importancia de gestar una institucionalidad independiente y transparente para las
pruebas educacionales queda clara al estudiar el tema de las pruebas de selección a las
universidades chilenas. Algunos datos bastan para describir los problemas asociados a
una institucionalidad débil y poco transparente en esta materia:
En el año 2000, en el marco de una reforma educacional, el Ministerio de
Educación convocó a una comisión de profesionales, funcionarios ministeriales y
del Consejo de Rectores para reformular las pruebas de admisión a las
universidades9.
La recomendación de la comisión ministerial fue la de rediseñar el sistema de
pruebas de manera que cumplieran el doble propósito de evaluar la enseñanza
media científica humanista--como SIMCE de Cuarto Medio—y además servir para
seleccionar alumnos a la universidad10. Tal decisión fue tomada a sabiendas de
8 Traducido de Phelps, R. (2008). Educational achievement testing: Critiques and rebuttals. En “Correcting
Fallacies about educational and psychological testing”, Washington D.C. American Psychological Association
(APA).
9 Cox, C. y otros. “Comisión Nuevo Currículum de la Enseñanza Media y Pruebas del Sistema de Admisión a la
Educación Superior”. Noviembre, 2000. Informe anexado a Acta 427 del CRUC, llevada a cabo en dependencias
de la U. de Magallanes, 18 y 19 de Enero, 2001.
10 CRUCH (2001). Página del Acta Sesión 427 llevada a cabo en dependencias de la U. de Magallanes, 18 y 19
de Enero, 2001.
7
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
que el cambio dejaría en desventaja a los alumnos de la educación técnico-
profesional, que estudiaban un currículum distinto al científico-humanista, como
demuestran fehacientemente documentos extraídos de las actas del CRUCh de la
época11.
El cambio de pruebas se financió con fondos públicos, a través de un proyecto
Fondef, con participación de miembros de la Comisión Ministerial que recomendó
el cambio de pruebas. El proyecto adolecía de graves fallas técnicas que han sido
descritas en otras publicaciones, al punto que hubo quienes dudaron de que el
proyecto hubiera sido evaluado por expertos en medición. No fue posible
corroborar ni refutar esta hipótesis puesto que nunca se pudo acceder a la
evaluación técnica del proyecto Fondef. Ésta, junto con otros documentos
relativos al proyecto que dio origen a las nuevas pruebas de admisión chilenas,
fueron destruidos en el año 200812.
A partir de la primera aplicación de la PSU y durante diez años la población recibió
por parte del CRUCh comunicados e informes que avalaban el buen desempeño
de las pruebas. En seis informes oficiales el CRUCh no entregó información para el
grupo de la educación técnica-profesional, el más perjudicado con el cambio de
pruebas, y tampoco informó acerca del evidente aumento de los puntajes del
grupo particular pagado ni del consiguiente aumento de la brecha entre estos
grupos.
Luego de diez años desde su primera aplicación, en enero del 2013, expertos de la
consultora Pearson Education emitieron un informe muy negativo con respecto a
la PSU, manifestando serios reparos con respecto a la calidad y equidad de este
instrumento de selección y objetando el uso de puntajes PSU para fines tales como
la asignación de becas y beneficios estudiantiles. El informe contenía más de cien
recomendaciones para superar graves deficiencias en la construcción de las
pruebas y uso de los puntajes PSU13.
El informe de Pearson con respecto a la PSU no fue el primer informe de una
organización internacional acerca de las pruebas de admisión: en el año 2005,
11 CRUCH (2001).Acta Sesión 431. Anexo “Minuta Reunión de Trabajo Gabinete Sra. Ministra de Educación”,
25/6/2001.
12 Según refiere respuesta de Conicyt a una solicitud de acceso que fue respondida con fecha 24/05/2012.
13Pearson Education (2013). “Final Report Evaluation of the Chile PSU”. Accesible en:
http://www.mineduc.cl/usuarios/mineduc/doc/201301311057540.Chile_PSU-Finalreport.pdf.
8
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
luego de la primera aplicación de la PSU, la U. de Chile (entidad a cargo de la
elaboración de la PSU) contrató una auditoría al Educational Testing Service (ETS)
de Estados Unidos. La U. de Chile no dio a conocer el informe a pesar de haber
sido solicitado insistentemente, llegando el caso a los tribunales14.
El primer informe de la PSU realizado por el ETS en el año 2005 fue finalmente
liberado en el año 2012 gracias a la Ley de Transparencia. Muchos de los
problemas detectados ya en ese informe del año 2005 seguían presentes al año
2013, incluso algunos de ellos exacerbados por malas decisiones técnicas.
Más allá de los contenidos específicos del informe de Pearson con respecto a las
falencias de la PSU, lo que éste dejó en evidencia fue que durante diez años el
público recibió informes complacientes e ilusorios con respecto a la calidad y
equidad de las prueba, emitidos por los responsables de éstas.
A la luz de las graves falencias de la PSU descritas en el informe de Pearson, el
entonces Ministro de Educación, Harald Beyer, propuso un cambio en la
institucionalidad para favorecer la transparencia en el manejo de la PSU y sistema
de admisión en general de manera de garantizar la calidad y equidad futura de
las pruebas15. Su propuesta fue desechada por el CRUCh.
A continuación se presenta la institucionalidad vigente de la PSU desde su creación hasta
junio del año 2013 y los cambios menores que el CRUCh decidió introducir en ella como
consecuencia del informe de Pearson.
2.- INSTITUCIONALIDAD DE LA PSU ENTRE 2004 Y JUNIO DEL 2013
El CRUCh es la entidad que maneja y controla la PSU. La institución que elabora las
pruebas y tiene a cargo los aspectos prácticos de su aplicación, la entrega de resultados
y la postulación es el DEMRE de la U. de Chile. Existía hasta junio del 2013 un Comité
Técnico Asesor del CRUCH que supervisaba todo el proceso, desde la elaboración hasta
la entrega de resultados y ejecutaba estudios evaluativos de las pruebas, reportando al
Consejo Directivo de la PSU compuesto por Rectores del CRUCh.
14 Sentencia 19° JCS “Zavala Guzmán Ferna con Rector Universidad de Chile”, rol N° 13286-2007, confirmada por
la Iltma. Corte de Apelaciones de Santiago, rol N° 3175-2008.
15 http://www.mineduc.cl/contenido_int.php?id_contenido=22848&id_portal=1&id_seccion=10. (Fecha de
consulta: 7/6/2013).
9
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
El organigrama se representaba así16:
* La Comisión Coordinadora estaba compuesta por un representante de cada una de las universidades del
CRUCh y desempeñaba funciones de corte administrativo, como por ejemplo participar en la determinación de
fechas del proceso de admisión, entre otras.
El Consejo de Rectores designaba a un Consejo Directivo (CD) para la PSU, conformado
por rectores del CRUCh (entre ellos el de la U. de Chile y el de la UC) y que tenía a su
cargo los temas de selección y admisión de alumnos en el marco de las políticas
determinadas por el CRUCh. El CD tenía tuición sobre los aspectos técnicos del proceso,
en especial en lo referente al DEMRE de la U. de Chile, entidad que administra la PSU17.
El Consejo Técnico Asesor (CTA) era un organismo del CRUCh cuya misión era colaborar
con el CD, con amplias atribuciones en materia de coordinación, supervisión y evaluación
de la PSU. Se definía como la “entidad intermediadora entre el CD y los equipos técnicos
16 CRUCH (2004). Según el Acta Sesión 457, 29/4/2004.
17 A diferencia del caso chileno, en otros países los consejos directivos de las pruebas están constituidos por
especialistas en medición.
10
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
responsables de la elaboración y aplicación de las pruebas de selección”. El CTA estaba
formado por un grupo de académicos provenientes de las universidades del CRUCh,
designados por el CD, el cual también designaba al presidente del CTA. A partir del 2004,
el CTA estuvo constituido por los dos creadores de las pruebas PSU, un miembro del DEMRE
(entidad elaboradora de la PSU) y otros tres académicos provenientes de universidades
del CRUCh.
El CTA del CRUCh fue la entidad que desarrolló los estudios evaluativos oficiales del
CRUCh, dados a conocer a la opinión pública y que describían el supuesto buen
funcionamiento de la PSU. Sólo algunas bases de datos empleadas por el CTA eran
asequibles a los investigadores independientes.
La falta de independencia de los estudios, la falta de transparencia en la entrega de
información y los conflictos de interés fueron materia de denuncias por parte de
académicos e investigadores a través de la prensa a lo largo de los años, las cuales no
fueron respondidas por el CRUCh18 (en Anexo 1 se incluyen ejemplos).
La falta de transparencia y el férreo control de la información permitieron mantener el
statu quo sin corregir las falencias de las pruebas de admisión. La principal y más seria, la
transgresión al principio de equidad para con los estudiantes de la educación media
técnico-profesional al haber diseñado la PSU sobre la base del currículo de la enseñanza
media científica-humanista.
En el caso de la PSU existió una institucionalidad inadecuada que favoreció una toma de
decisiones poco transparente y que permitió mantener ocultos los problemas de las
pruebas ante la opinión pública, sin que ellos se resolvieran. En vista de ello, el 12 de abril
del 2012, Fundación Pro Acceso junto a la Federación de Estudiantes de la Universidad
Católica (FEUC), solicitó al Consejo para la Transparencia (CPLT) que, en ejercicio de sus
facultades legales, diera curso a una instrucción o recomendación a las autoridades del
18 Entre otras: M. Koljatic y M. Silva. “Verdades oficiales de la PSU”. Arte y Letras de El Mercurio (22/11/2005); H.
Beyer. “Equidad en PSU”. Cartas al Editor. Diario El Mercurio (17/1/2007); S. Prado. “Predicción y PSU”. Cartas al
Editor. Diario El Mercurio (18/8/2008).
11
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
Estado con competencia en Educación, con el objetivo de mejorar los estándares de
transparencia y acceso a la información en el proceso PSU19.
El CPLT se pronunció en respuesta al requerimiento el 23/5/2013, realizando una serie de
recomendaciones para favorecer la transparencia en el proceso de desarrollo de las
pruebas. Estableció que si bien existía abundante información disponible en la página
web del DEMRE, ésta se refería al proceso de rendición de la prueba y no atendía a las
necesidades de acceso de otros actores, como académicos y gestores de políticas
públicas, entre otros.20
El aprendizaje que puede sacarse a partir del manejo de la PSU es que no basta con que
existan consejos directivos para las pruebas de altas consecuencias. Éstos deben estar
integrados por especialistas que no tengan conflictos de interés y deben operar bajo
principios de transparencia, entregando acceso a la información y bases de datos a otros
investigadores. Al igual que los directorios de empresas, debe existir una cara visible y sus
miembros deben entregar información y responder de la calidad de su trabajo.
3.- CAMBIOS PROPUESTOS POR EL MINEDUC A LA INSTITUCIONALIDAD DE LA
PSU A RAÍZ DEL INFORME DE PEARSON
A la luz de la evidencia de mal funcionamiento de las pruebas revelado por el informe de
Pearson, al ocultamiento de la información al respecto y a la pasividad de las autoridades
a cargo del sistema de admisión para enmendar las falencias en la PSU, el entonces
Ministro Harald Beyer propuso cambios medulares a la institucionalidad. Sugería el
documento del MINEDUC que la nueva institución a cargo de las pruebas del sistema de
admisión debía estar organizada como una entidad autónoma (fundación, corporación u
otra de carácter similar) que rindiera cuentas de su desempeño.
19 Más información en:
http://www.proacceso.cl/noticia/universitarios_y_acad_micos_abogan_por_la_transparencia_de_la_prueba
20 Documento íntegro disponible en:
http://www.consejotransparencia.cl/consejo/site/artic/20130517/asocfile/20130517151116/oficio_psu.pdf
http://www.consejotransparencia.cl/cplt-recomienda-medidas-para-una-mayortransparenciade-la-
psu/consejo/2013-05-17/ 151116.html (Fecha de consulta: 6/7/2013).
12
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
La tuición de las pruebas del sistema de admisión recaería sobre un nuevo Consejo
Directivo compuesto por 15 integrantes y en el cual estarían representados, pero no en
forma única ni excluyente, los intereses del CRUCH. Así, 6 miembros serían elegidos por el
CRUCh; 3 miembros serían elegidos por otras instituciones de educación superior; 4
miembros elegidos por el MINEDUC y también participarían 2 representantes de los
establecimientos secundarios del país.
El CD tendría que responder de la calidad y equidad, no sólo de las pruebas sino del
sistema de admisión en su conjunto, además de dar cuenta de los cuantiosos fondos
públicos invertidos en éste (los aranceles para rendir la PSU son cubiertos por fondos
estatales para los alumnos de colegios municipales y particulares subvencionados). La
Universidad de Chile tradicionalmente no ha rendido cuenta del uso de los fondos
recibidos por concepto de la PSU.
Los rectores del CRUCh rechazaron los cambios propuestos por el MINEDUC para la
formación de una nueva institucionalidad, haciendo una defensa corporativa de sus
derechos e insistiendo en mantener el control y la tuición sobre la PSU, abriéndose a
introducir sólo cambios menores en la institucionalidad del sistema de admisión21.
4.- CAMBIOS MENORES A LA INSTITUCIONALIDAD DE LA PSU
Los cambios efectuados por el CRUCh en la institucionalidad de la PSU han sido, a la
fecha, mínimos. Sigue existiendo un comité directivo compuesto exclusivamente por
rectores del CRUCh y crearon la figura de una directora ejecutiva, designada por ellos
mismos. La institucionalidad propuesta e implementada por el CRUCh ha sido calificada
por observadores independientes como un cambio menor que mantiene el statu quo22.
Si bien se han anunciado cambios en el instrumento, en materia de equidad, las
modificaciones anunciadas en la PSU distan de ser medulares y no se ajustan a las
21 La reacción del CRUCh ante la propuesta del MINEDUC fue ampliamente cubierta por los medios. A
continuación van algunos links a noticias en medios escritos
http://www.latercera.com/noticia/educacion/2013/03/657-514601-9-mineduc-critica-a-u-de-chile-por-defensa-
corporativa-sobre-control-de-la-psu.shtml; http://www.emol.com/noticias/nacional/2013/03/07/587327/rectores-
responden-a-beyer-por-psu.html.
22 Ver a modo de ejemplo dos editoriales de prensa al respecto: “¿Nueva institucionalidad para la PSU?”. Editorial
Diario El Mercurio, 19/5/2013 (pg. A3); “Nuevos Cambios a la PSU”. Editorial Diario El Mercurio, 3/6/2013 (pg. A3).
13
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
recomendaciones formuladas en el informe de Pearson. En éste se sugiere reducción de
contenidos en todas las pruebas, restringiendo los contenidos a evaluar a aquellos
contenidos y aptitudes que son necesarias para tener una buena predicción del
rendimiento, a fin de corregir el sesgo en la prueba a favor de los alumnos de la
educación científica-humanista. Sin embargo, no se ha definido un cronograma de
cambios en tal sentido para el mediano y el largo plazo. El único cambio anunciado se
verifica en la prueba optativa de Ciencias para los alumnos de la educación técnica: ya
no se verán obligados a rendir el módulo optativo de Biología, Química o Física, que
examina contenidos de 3° y 4° Medio que no están contemplados en su currículo. No
obstante, el cambio es tardío e insuficiente. Tardío puesto que como revelan las actas del
CRUCh, sus creadores y los rectores sabían en el año 2001 que la solución en la PSU de
Ciencias era muy fácil de implementar. Bastaba con eximirlos de rendir los módulos
optativos, que es en la práctica lo que se hará a partir de la admisión del 2014.
El cambio anunciado en la prueba de Ciencias es además insuficiente ya que la prueba
más lesiva para las oportunidades de los alumnos de la enseñanza media técnico-
profesional, según datos del informe de Pearson, es la PSU de Matemáticas. Ésta, junto a la
PSU de Lenguaje son las más relevantes, puesto que no sólo son exigidas para la admisión
en todas las carreras ofrecidas por universidades del CRUCh y universidades privadas
adscritas al sistema de admisión, sino que además sobre la base de los puntajes
alcanzados en estas pruebas se adjudican becas y ayudas estudiantiles.
El caso de la PSU refleja la desprotección de quienes son evaluados y la necesidad de
generar una institucionalidad que vele por sus derechos. Al no existir una institucionalidad
clara, se diluyen las responsabilidades y nadie se hace cargo de corregir los errores. A
modo de ejemplo se cita a continuación un párrafo de una columna del rector de la U.
de Chile en que denunciaba al Ministerio de Educación de mal uso de los puntajes de las
pruebas PSU:
…”Parece importante relevar (ya que la autoridad ministerial no lo ha hecho) que el informe
Pearson de la PSU dejó al descubierto la inexistencia de estudios que avalen el uso de la PSU para
fines de asignación de becas y créditos a los estudiantes. De este modo, el uso de este instrumento
para fines distintos a aquellos para los cuales fue creado, sin la realización de los estudios y
validaciones correspondientes, es algo que la autoridad deberá explicar al país y corregir. No
14
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
corresponde que el Consejo de Rectores cargue con las responsabilidades propias del Ministerio de
Educación23.”
Sin embargo, en este caso, no es claro que la responsabilidad de mal uso recaiga
exclusivamente en el Ministerio de Educación. Los estándares internacionales señalan al
respecto que a menos que el CRUCh (vía CTA y/o DEMRE) hubiera informado al MINEDUC
que no se debía usar los puntajes para estos efectos, el CRUCh no estaría libre de
responsabilidad. La advertencia acerca de lo inapropiado de usar los puntajes para
efectos que no fueran los de admisión estaban claros en el informe del ETS del 2005, el
cual fue ocultado por la U. de Chile. Por lo tanto, previo a adscribir la responsabilidad en
el mal uso al MINEDUC hay que aclarar que existió una advertencia en tal sentido. Si luego
de haber sido advertido, el usuario no desarrollara los estudios necesarios, ciertamente
estaría en falta24.
Lo grave de la situación es que nadie se hace cargo de los errores ni de corregirlos. La
falta de transparencia y la renuencia a reconocer y a corregir las falencias de las pruebas
con el consiguiente perjuicio para los grupos más vulnerables de la población, culminó
con la presentación ante los tribunales chilenos de un recurso de protección a favor de los
alumnos de la educación técnica. Al no ser acogido, el caso fue llevado por Pro Acceso
ante la Comisión Interamericana de Derechos Humanos25. La judicialización del problema
habla de las falencias de una institucionalidad que responda a las exigencias de calidad
y equidad que plantean las evaluaciones de altas consecuencias en el país.
23 V. Pérez. “Admisión a las Universidades”. Columna Diario La Tercera (17/3/2013).
24 Los estándares de AERA, APA y NCME (1999) señalan al respecto : “The test developer should set forth clearly
how test scores are intended to be interpreted and used…”. (ST. 1.2, pg. 17-18); “If validity for some common or
unlikely interpretation has not been investigated…potential users should be cautioned…” (ST.1.3, pg. 18). “The
conscientious developer of a standardized test attempts to screen and educate potential users” (p.111).
25 Denuncia presentada el 15/7/2012.
15
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
II.- REFLEXIONES A PARTIR DE LA PSU
El caso de la PSU debe llevar a reflexionar acerca de la calidad de la institucionalidad de
otras pruebas de altas consecuencias en el país. Surge naturalmente la pregunta de cuál
es el contexto en que se manejan otras pruebas y evaluaciones de altas consecuencias y
los antecedentes que están disponibles para evaluar si existe una institucionalidad
adecuada para garantizar su calidad y equidad.
En el caso de Chile, las consideraciones acerca de la institucionalidad cobran vital
importancia, ya que en las pruebas de altas consecuencias hay un monopolio nacional.
Cuando hay competencia, las agencias se ven forzadas a mantener altos estándares
profesionales no sólo en relación con el público en general sino en relación con otras
agencias que ofrecen similares servicios. Cuando no es posible (o conveniente) mantener
una diversidad de instituciones que compitan por entregar el servicio—lo cual sucede a
menudo en países pequeños como es el caso de Chile—es de la mayor importancia que
existan mecanismos de transparencia, tales como contar con instituciones externas que
controlen su desempeño. Sin una institucionalidad sólida, los sistemas de evaluación
nacionales son fácilmente corruptibles. 26
El desarrollo de pruebas y sistemas de evaluación nacionales, por lo general
comprometen cuantiosos recursos públicos de los cuales las entidades deben dar cuenta,
algo que en el caso de la PSU no se ha cumplido.
¿QUÉ SUCEDE CON OTRAS PRUEBAS Y EVALUACIONES?
A fin de evaluar el acceso a información para pruebas de altas consecuencias, Pro
Acceso realizó una solicitud de acceso a la información pública, dirigida al Ministerio de
Educación como al Ministerio de Salud27, requiriendo, en general, información
presupuestaria, de auditoría y existencia de estudios técnicos independientes que
avalaran la calidad de los instrumentos. En relación con la Evaluación Docente, la
respuesta oficial consistió en indicar cuáles han sido los procesos de licitación28 y
26 Heyneman, S. (1987). “Uses of Examinations in Developing Countries: Selection, Research and Education Sector
Management”. IJED, 7(4), 251-263.
27 Realizada el día 13 de mayo y con respuesta el día 5 de junio de 2013.
28 Procesos de licitación ID son 2079-1-LS11, 2079-1-LS12 y 2079_25-LS13, disponibles en www.mercadopublico.cl
16
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
reconocer la inexistencia de auditorías. En relación con la última de estas peticiones, se
adjuntó un documento realizado por académicos en el marco de un convenio de
colaboración PNUD/MINEDUC, más no constituye una evaluación al instrumento al estilo
de la realizada por ETS en 2005 o Pearson en 2013.29 No obstante, la respuesta del
ministerio informaba acerca de la existencia de una auditoría en curso desarrollada por la
OCDE.
El caso de EUNACOM es más complejo y más parecido a la situación que se vive con la
PSU. Primero, porque oficialmente no es una prueba que dependa del Ministerio de Salud,
aun cuando hasta el año 2012 era un requisito para postular a cargo médicos en los
servicios de salud pública. El ministerio es un usuario de los puntajes, pero no tiene control
sobre la prueba, de la misma manera que el Ministerio de Educación es usuario de los
puntajes de la PSU para efectos de asignar beneficios, pero sin control sobre ella.
La prensa ha informado recientemente de problemas con EUNACOM. A raíz de una
situación de filtración de preguntas del examen el Ministerio de Salud (MINSAL) optó por
no seguir empleando el instrumento.
Así como el EUNACOM, la Evaluación Docente ha sido blanco de críticas puesto que uno
de sus instrumentos, la creación de un portafolio (en el cual el profesor debe presentar
evidencia que dé cuenta de su mejor práctica pedagógica), se puede comprar en el
mercado: “Una simple búsqueda en internet muestra que él puede ser adquirido por
valores que van desde 70 mil hasta 200 mil pesos, en un activo mercado virtual”30. Más allá
de escandalizarse por las faltas que dichas situaciones entrañan, la gravedad del hecho
es que se afecta la validez del uso de los puntajes en las pruebas. Ante ello cabe
preguntarse, ¿quién responde o quién se hace cargo? En la respuesta a esta pregunta
entra en juego la institucionalidad.
El EUNACOM es “encargado por el Estado a la Asociación de Facultades de Medicina de
Chile (ASOFAMECH)”31. En su organigrama, al igual que en el caso de la PSU, se advierte
29 Alvarado, Macarena, Cabezas, Gustavo y otros: “La Evaluación Docente y sus instrumentos: discriminación del
desempeño docente y asociación con los resultados de los estudiantes”.
30 S. Urzúa. “Al maestro con cariño”. Columna de Opinión. El Mercurio (22/7/2013).
31 Fuente: www.asofamech.cl. (Fecha de consulta: 6/7/2013).
17
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
que la institucionalidad no contempla un ente autónomo que la desarrolle ni una
instancia técnica externa e independiente que avale la calidad del examen (ver Anexo
2).
Al igual que en el caso de la PSU, en la institucionalidad no se advierte participación de
los principales stakeholders interesados en el proceso de evaluación. Por ejemplo, no hay
presencia de miembros designados por el Ministerio de Salud que es uno de los principales
usuarios del sistema al exigir la aprobación del examen para ejercer en el sistema de salud
público.
En la misma línea, en el caso de la Evaluación Docente, sin embargo, no está
explícitamente descrita la institucionalidad en la página web y tampoco se presenta un
organigrama con identificación de personas responsables. Se señala al respecto en la
página web: “La Evaluación Docente está a cargo del Ministerio de Educación, a través
del Centro de Perfeccionamiento, Experimentación e Investigaciones Pedagógicas
(CPEIP). Para su ejecución, el Ministerio de Educación ha encargado la asesoría técnica
de MIDE UC, Centro de Medición de la Universidad Católica de Chile. En este Centro se
constituye el Equipo Docente más, responsable de desarrollar las distintas acciones y
materiales que requiere el proceso de evaluación, tanto en sus aspectos técnicos como
operativos.” 32 Surge la interrogante, ¿quién se hace responsable del buen (o mal)
funcionamiento de la Evaluación Docente? Al parecer nadie, puesto que ante la grave
denuncia acerca de la venta de portafolios en la Evaluación Docente, no hubo respuesta
oficial alguna.
En cuanto a la calidad de EUNACOM y Evaluación Docente como instrumentos de
medición, no hay en sus páginas web referencia a estudios o auditorías llevadas a cabo
por entidades independientes y que avalen la calidad de las pruebas y la racionalidad
del uso de los puntajes de corte para asignar beneficios. Si tales estudios existen, no son
fácilmente asequibles33. Por tratarse de instrumentos de altas consecuencias, es necesario
32 Fuente: www.docentemas.cl (Fecha de consulta: 9/7/2013).
33 En la actualidad hay un estudio en curso acerca de la calidad de la Evaluación Docente solicitado a la OCDE
y financiado por el MINEDUC (Fuente: Respuesta a solicitud de información AJ-001W1557132 del 13/5/2013).
18
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
incorporar una mirada independiente en la forma de auditorías periódicas para verificar
la calidad técnica del examen y la validez de los puntos de corte empleados por el
MINSAL y la definición categorías que se emplean en la Evaluación Docente34.
Dada la importancia de las decisiones que se toman sobre la base de los puntajes de
estas pruebas de altas consecuencias existe un imperativo moral de evaluarlas en forma
seria y rigurosa y de dar el más amplio acceso a las bases de datos empleadas a otros
investigadores de manera que los estudios puedan ser replicados y extendidos.
34 A raíz de la denuncia de filtración de preguntas en el examen médico en diciembre del 2012, en la página
web de EUNACOM (www.eunacom.cl) se anunció la creación una mesa de trabajo conjunta con Minsal y otros
stakeholders para estudiar los siguientes puntos: traspasar la administración del examen a un organismo
autónomo; excluir a las escuelas de medicina de la elaboración y revisión de las preguntas; revisar la forma de
publicación de resultados y revisar la forma de entrega del resultado individual (con o sin puntaje). No se
menciona, sin embargo, el tema del estudio de los puntos de corte.
19
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
CONCLUSIONES
Una de las más claras lecciones que pueden extraerse a partir de los errores de la PSU es
que no debe subestimarse la importancia de la institucionalidad a través de la cual se
manejan las pruebas de altas consecuencias. La calidad de los instrumentos y la fe
pública en las evaluaciones dependen en gran medida de ésta.
Debe existir un ente autónomo que rinda cuentas acerca de la calidad del instrumento
para el propósito que se emplea ante un directorio en que estén representados todos los
principales stakeholders. Quienes participan en el proceso de construcción de las pruebas
o desempeñan funciones de asesores no deben ser los únicos con acceso a los datos ni
pueden constituirse en los evaluadores oficiales de las pruebas. En aras de la
transparencia es clave otorgar acceso a los informes así como a las bases de datos
empleadas en las evaluaciones oficiales para promover la investigación en torno a los
instrumentos de medición, contribuyendo además a la transparencia y fe pública en el
sistema.
Idealmente, se debería contemplar la realización de auditorías independientes y
periódicas del sistema de evaluación, realizadas por expertos internacionales sin conflictos
de interés a fin de garantizar una evaluación imparcial y objetiva, resguardando la fe
pública en el sistema de pruebas. Manejar las pruebas de altas consecuencias como
quien dirige “una liga amateur” 35 conlleva el riesgo de judicializar los errores y gestar las
condiciones para una moratoria al uso de pruebas.
35 Así definió la forma como se manejó la PSU desde el CRUCh uno de los creadores de la prueba y miembro del
CTA. Ver “La PSU Rinde Examen”, Revista Qué Pasa, 07/12/2012.
20
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
ANEXOS
ANEXO 1: EJEMPLOS DE DENUNCIAS EN PRENSA (EN ORDEN
CRONOLÓGICO).
Extracto de M. Koljatic y M. Silva (“Las “Verdades Oficiales” de la PSU”, El Mercurio,
27/11/2005) que resalta la falta de independencia y de objetividad en las evaluaciones
oficiales acerca de la calidad de la PSU.
¿INDEPENDENCIA?
El Comité Técnico Asesor [CTA] no es un comité independiente [al estar
conformado por los creadores de las pruebas y quienes las elaboran]… Se entrega
la menor información posible, los errores se mantienen en reserva y la opinión
pública recibe comunicaciones parciales, engañosas o ilusorias…
Para restaurar la confianza perdida en el sistema, el DEMRE —u otra entidad
independiente— debe constituirse como una organización autónoma, sin fines de
lucro y enfocada en desarrollar un trabajo técnico de calidad. El DEMRE (u otra
entidad) deben tener autonomía en su manejo presupuestario y estar obligados a
reinvertir sus excedentes en mejorar las pruebas, así como responder ante la
comunidad académica y ante la opinión pública por la calidad de su trabajo.
Extracto de una carta de H. Beyer (“Equidad en PSU”, Cartas al Editor, El Mercurio,
17/1/2007) objetando las conclusiones de un trabajo presentado por uno de los
creadores de la PSU y miembro del CTA del CRUCh a la prensa, en el cual entregaba
datos equívocos con respecto a la equidad de las pruebas:
“Equidad en PSU”
Señor Director:
A propósito del interesante debate sobre equidad y PSU que presentase “El
Mercurio” el domingo pasado… la comparación entre instrumentos no puede
hacerse [como la presenta el miembro del CTA del CRUCh]… Muchos
investigadores no podemos desarrollar estudios más acuciosos porque no
podemos acceder a las bases de datos correspondientes. Curioso, ¿no?
21
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
(III) Extracto de una carta de S. Prado (“Predicción y PSU”, Cartas al Editor, El Mercurio,
18/8/2008), objetando las conclusiones de estudios oficiales del CTA del CRUCh a la vez
que denunciaba la falta de acceso a las bases de datos:
“Predicción y PSU”
Sr. Director:
Acabo de hacer mi tesis sobre la PSU y obtuve resultados que no son consistentes
con los reportados en el Estudio de Validez Predictiva realizado por el Comité
Técnico Asesor del Consejo de Rectores, y que aparece mencionado en su edición
del Viernes 15 del presente.
Quise aclarar la causa de esta inconsistencia y procedí a solicitar la base de datos
que el Comité Técnico Asesor dejó disponible a partir del 14 de Agosto de este
año. Sin embargo, al hacerlo, me percaté de que no entregan toda la información
necesaria para poder replicar sus resultados. La entrega de una base que no esté
ligada al desempeño de los estudiantes en la universidad (y que sólo contenga
información de la admisión) impide realizar investigación asociada a la validez
predictiva del sistema de admisión vigente, ya que el desempeño en la
universidad, tal como se menciona en el estudio en cuestión, es el criterio más
ampliamente usado para este objetivo. Además al no contar con la identificación
de los colegios de procedencia, se coarta la posibilidad de incorporar la calidad
educativa escolar (medida a través del SIMCE) dentro del estudio y ver el impacto
que esta tiene en el desempeño futuro.
En aras de la transparencia, no es razonable que sólo tengan acceso a los datos
quienes desarrollan las pruebas. Además, el acceso público a estos datos permitiría
resolver dudas que surgen a partir de la lectura del estudio del Comité Técnico
Asesor, como por ejemplo: el tratamiento que se dio a los cambios curriculares
ocurridos durante el período de estudio; las consideraciones que se hicieron para
alumnos que reprobaban ramos el primer semestre y que le impedían tomar ramos
"clave" el segundo y finalmente el tratamiento que se dio a alumnos que
convalidaban ramos o ingresaban a través de canales de admisión especial.
Ninguna de estas cartas recibió respuesta.
22
Informe: Transparencia en evaluaciones e instrumentos de medición de altas consecuencias
ANEXO 2: ORGANIGRAMA EUNACOM36
El Consejo de Decanos de ASOFAMECh delega la administración del examen en el
Director del EUNACOM, quien cuenta con la asesoría de un Consejo de Directores y de un
Consejo Estadístico.
Las decisiones que afecten al contenido del examen, tales como los temas cubiertos o la
proporción de preguntas de cada tema, deben ser tomadas por el Consejo de Directores.
El Director cuenta con la asesoría de un Consejo Estadístico para efectos de escalas de
puntaje, análisis de resultados y diseño del examen.
La coordinación de los Comités Técnico y de Contenidos está a cargo del Sub-Director
Académico y los aspectos administrativos del examen a cargo del Sub-Director
Administrativo, quien además está encargado de la coordinación de la sección práctica
del examen en las distintas escuelas.
36 Fuente: http://www.eunacom.cl/organizacion/organizacion.html