14 y 15 de noviembre 2013USAL

Impacto de la evaluación : el examen CELU Experiencia y perspectivas de desarrollo

Alejandra ElichabeLaboratorio de Idiomas Facultad de FFyL UBA

Consorcio Interuniversitario ELSE

Bachman (2004) “proceso de recolección de información acerca de algo que nos interesa, de acuerdo con procedimientos que son sistemáticos y tienen fundamentos sólidos”

Mc Namara (2008) “intento de llegar a una conclusión acerca del conocimiento que tiene una persona sobre una lengua o de lo que puede hacer con ella.”

Evaluación externa que trata de establecer el nivel de dominio lingüístico de un candidato por medio de una prueba.

Interés por los resultados con independencia del proceso de enseñanza-aprendizaje

Fulcher (2010) “Los exámenes de lengua son un fenómeno social complejofenómeno social complejo”

Contextos:la educación, la educación, el empleo, el empleo, la movilidad internacional, la movilidad internacional, la planificación educativa ,la planificación educativa ,la política económicala política económica.

Controversias/ efectos perjudiciales:

¿filtro para la inmigración?

¿cupo para empleos o becas?

¿igualdad de oportunidades o acento de diferencias?

¿integración a una comunidad o aislamiento?

El impacto de la evaluación (intencional o no intencional) está incluído en la validez?

A favor: los exámenes cuyo propósito incluye la intención de producir cambios en el contexto de enseñanza aprendizaje deben ser evaluados en relación al cumplimiento de esos objetivos.

En contra: las consecuencias sociales presuponen consideraciones políticas que están fuera del control de los administradores y elaboradores.

Administradores y Evaluadores:

principios éticos

códigos de práctica profesional para diseñar exámenes: especificaciones, piloteo el examen, validación la prueba, operacionalización del instrumento de evaluación

Consequential validity (Messick, 1989,1996) impacto de la evaluación en contextos educativos

(Fulcher and Davidson, 2007) effect-driven testing.

“La ética en el desarrollo de instrumentos de evaluación incluye las consideraciones acerca del efecto que el test intenta alcanzar y , en consecuencia, el desarrollo de un examen que permita alcanzar el efecto deseado.”

Shohamy:(2001) desarrolla el concepto de la evaluación crítica de lenguas extranjeras (CLT) Los administradores deben hacerse responsables de que los exámenes sean usados en forma adecuada.

IMPACTO POSITIVOIMPACTO NEGATIVO

1.Cumplimiento de los programas

2. Motivación de los estudiantes y profesores.

3. Nuevas metodologías de enseñanza /aprendizaje.

1. Ajuste de programas en función del examen “enseñar para aprobar”

2. Angustia y ansiedad de profesores y estudiantes.

3. Escasas posibilidades de enseñanza/ aprendizaje de saberes significativos.

IMPACTO POSITIVO IMPACTO NEGATIVO Tests de alta relevancia

: “high-stakes“ producen cambios en el contexto educativo y social . Nuevos objetivos y metodologías de enseñanza aprendizaje. Nuevos materiales y programas

Tests de alta relevancia : “high-stakes“

Mayor control del sistema educativo

“Accountability” saciones o recompensas para escuelas y profesores

Propósitos del proyecto en 2001

Certificación de dominio de español11

Expansión académica del área de ELSE.22

Integración y cooperación académica regional33

Examen de desempeño: un buen examen tiene mayores posibilidades de producir efecto retroactivo positivo:

Redireccionando las prácticas de enseñanza/aprendizaje.

Redefiniendo objetivos, contenidos o habilidades y competencias

Mecanismo potente para la implementación de políticas públicas y educativas.

Sin embargo...

Messick (1989)Alderson (2004) Necesidad de “wash back design” para mejorar los aspectos que pueden producir efectos perjudiciales.

Krsul (2005) Para una validación concurrente del examen CELU Compara los resultados de 38 candidatos que rindieron el examen CELU

2004 con su desempeño en cursos de niveles del Laboratorio de la UBA y en exámenes de dominio de CEB/ CEI/ CEA. El estudio evidencia una fuerte correlación en el resultado.

Cabrera (2005) investiga la coherencia interna del examen CELU 2004. El objetivo fue verificar el grado de correlación de las calificaciones que reciben cada una de las partes del CELU entre sí y con las demás, incluida la calificación final. Se midió la asociación entre el nivel de cada actividad, su puntaje y el nivel final.

Conclusiones: existe una coherencia muy importante de la Sección Escrita del CELU y una razonable dependencia del nivel final respecto de cada una de las actividades. Los resultados evidencian una importante correlación entre los puntajes. También se correlacionaron los niveles finales del oral, del escrito con la calificación final resultando una fuerte asociación entre los dos niveles parciales (0.63) una alta correspondencia entre el nivel Oral y el nivel final (0.73) y una correlación casi perfecta entre el nivel escrito y el nivel final (0.94)

Krsul (2007) La validez de imagen del examen CELU. Investigación sobre la validez aparente del CELU 206, 207, a partir de las encuestas a candidatos. Los resultados revelan que, en general, los candidatos expresan un grado de satisfacción significativo al responder a las preguntas relativas a la dificultad del examen, el tiempo asignado para la realización de las tareas y la especificidad de las consignas.

Lanzoni,María Laura y López Camelo, Claudia; Exámenes de desempeño en L2: incidencia de las divergencias en la corrección. Adjudican las divergencia intra evaluadores a dificultades en la interpretación de la grilla, ya que, a veces se justifica la asignación de niveles diferentes utilizando los mismos argumentos, tomados de los descriptores.

Furlan, 2013 Estudio sobre confiabilidad inter e intra correctores. Análisis del porcentaje de coincidencias que tuvo cada evaluador al asignar nivel por segunda vez, así como en el estudio de las posibles causas de las discrepancias. El estudio revela una alta confiabilidad inter evaluador y concluye que la mayoría de las discrepancias están dadas entre niveles que son próximos, lo que puede atribuirse a una redacción poco precisa de los descriptores y a interpretación de los mismos por parte de los evaluadores. La investigación muestra también una oscilación en la fiabilidad interna de los evaluadores que puede adjudicarse a la interpretación de los descriptotes.

Furlan, 2013 Análisis de la validez aparente del examen CELU a partir del análisis de 504 encuestas respondidas por los candidatos de los exámenes CELU 111, CELU 211 Y CELU 112

El estudio realizado revela que la consideración de los candidatos sobre los tres exámenes con respecto a dificultad, tiempo, claridad de las consignas y relación de las actividades con la vida real es, en general, muy positiva, con porcentajes que superan el 60 por ciento. Se observa especialmente un elevado porcentaje en el ítem relativo a la claridad de las consignas, superior al 80 por ciento, lo que indica un trabajo riguroso del comité de redacción del examen.

Otras fuerzas sociales y políticas para potencializar efectos positivos:

Políticas lingüísticas que respondan a la demanda de hablantes.

Basadas en la reciprocidad y cooperación regional.

Estrategias de implementación a través de las universidades nacionales que puedan transformar las demandas en respuestas

Formación de profesores

◦ incorporar nuevas Universidades y otras instituciones adherentes al proyecto de difusión, enseñanza, investigación, evaluación y certificación del español;

◦ crear el área de la especialidad con investigadores y docentes universitarios, y asegurar su capacitación y actualización continua;

◦ promover el desarrollo de la lingüística en su relación con la enseñanza y evaluación de la lengua;

◦ estimular la investigación y el desarrollo de la enseñanza y evaluación del español como lengua segunda y extranjera;

◦ diseñar y crear cursos de español como lengua segunda y extranjera y facilitar la publicación de materiales para ELSE.

De Consorcio Interuniversitario para la Evaluación de Conocimiento y Uso del Español como Lengua Extranjera a Consorcio ELSE frente a ELE,

enfatiza el acento puesto en la segunda lengua.

Considera, además de un destinatario “extranjero” (no definido y homogéneo en sus necesidades de aprendizaje),un destinatario alóglota y cercano (hablantes indígenas, migrantes, turistas, refugiados, brasileños) para quien se diseña una enseñanza de segunda lengua (Widdowson 1973)

a)En la que los aspectos pragmáticos se encuentran anclados en presentaciones y explicaciones culturales, nacionales y regionales, que evitan el estereotipo.

b) Contempla las diferentes distancias lingüísticas del hablante descripto en el punto anterior.

c) Se basa en el uso lingüístico más que en la descripción y práctica de reglas. (PICT: ESTÁNDARES PARA LA ENSEÑANZA DE ELSE 2007)

,

La denominación actual del Consorcio es:CONSORCIO INTERUNIVERSITARIO PARA LA CONSORCIO INTERUNIVERSITARIO PARA LA

ENSEÑANZA, EVALUACIÓN Y CERTIFICACIÓN DEL ENSEÑANZA, EVALUACIÓN Y CERTIFICACIÓN DEL ESPAÑOL COMO LENGUA SEGUNDA y EXTRANJERA ESPAÑOL COMO LENGUA SEGUNDA y EXTRANJERA

(ELSE)(ELSE)

y tiene entre sus propósitos:y tiene entre sus propósitos:promover la investigación, enseñanza, aprendizaje, promover la investigación, enseñanza, aprendizaje, evaluación, certificación, post-formación de docentes evaluación, certificación, post-formación de docentes y especialistas, el diseño y publicación de materiales y especialistas, el diseño y publicación de materiales y otras actividades relacionadas con el Español como y otras actividades relacionadas con el Español como

Lengua Segunda y Extranjera.Lengua Segunda y Extranjera.

Universidad de BUENOS AIRES

Universidad Nacional de CATAMARCA

Universidad Nacional del CENTRO

Universidad Nacional del COMAHUE

Universidad Nacional de CÓRDOBA

Universidad Nacional de CUYO

Universidad Nacional de ENTRE RÍOS

Universidad Nacional de GENERAL SAN MARTÍN

Universidad Nacional de GENERAL SARMIENTO

Universidad Nacional de JUJUY

Universidad Nacional de LA MATANZA

Universidad Nacional de LA PAMPA

Universidad Nacional de la PATAGONIA AUSTRAL

Universidad Nacional de la PATAGONIA SAN JUAN BOSCO

Universidad Nacional de LA PLATA

Universidad Nacional de LA RIOJA

Universidad Nacional de LANÚS

Universidad Nacional del LITORAL

Universidad Nacional de LOMAS DE ZAMORA

Universidad Nacional de MAR DEL PLATA

Universidad Nacional de MISIONES

Universidad Nacional de MORENO

Universidad Nacional del NORDESTE

Universidad Nacional del NOROESTE de BS. AS.

Universidad Nacional de QUILMES

Universidad Nacional de RÍO CUARTO

Universidad Nacional de RÍO NEGRO

Universidad Nacional de SALTA

Universidad Nacional de SAN JUAN

Universidad Nacional de SAN LUIS

Universidad Nacional del SUR

Universidad Nacional de TRES DE FEBRERO

Universidad Nacional de TUCUMÁN

Universidad Nacional de VILLA MARÍA

Regionalización Seis Prosecretarías, con Universidades agrupadas según

criterios regionales y/o grado de desarrollo en ELSE o antigüedad en el Consorcio.

1. Capacitación/formación continua para profesores de ELSE.

2. Capacitación/formación continua para redactores y evaluadores CELU.

3. Cursos de español para extranjeros.

4. Investigación.

5. Incorporación de nuevas sedes para la toma del CELU.

6. Desarrollo de sitio web con recursos para el aula de ELSE.

7. Diseño de un certificado de español inicial.

2006 1era Jornada CELPE Bras – CELU en UNICampObjetivo:Discutir los sistemas de evaluación Celpe-Bras y CELU y experiencias de enseñanza de portugués y español como lenguas segundas y extranjeras (PELSE) con el propósito de establecer prioridades conjuntas, en especial los avances sobre temas debatidos en esas oportunidades

1. Uso de los exámenes como parámetros de referencia para delimitar objetivos de enseñanza;

2. Relación de los exámenes con acciones de políticas lingüísticas más amplias, inclusive las que se desarrollan en contextos multilingües

3. Relación de los exámenes con la enseñanza y la investigación del portugués y del español como lenguas maternas.

4. Efectos retroactivos de los exámenes

Proyecto 2013-2014Proyecto 2013-2014 10 y 11 de octubre de 2013 reunión entre representantes del Consorcio

Iteruniversitario ELSE, el INEP (Instituto Nacional de Estudos e Pesquisas Educacionais) del Ministerio de Educación del Brasil, responsables de los exàmenes CELU y Celpe-Bras en el Instituto de Estudios del Lenguaje de la Universidad Estadual de Campinas (UNICAMP)).Objetivos:

fortalecer el vínculo académico promover investigaciones y reflexiones en torno a temas de interés común presentar las características de ambos exámenes y sus sistemas de

corrección Intercambiar experiencias sobre la gestión de sedes, la capacitación y

acreditación de evaluadores Comparar los exámenes y analizar sus niveles Generar un marco de referencia común de niveles de dominio para ser

utilizado en América del Sur, estableciendo descripciones y definiciones precisas sobre los niveles de competencia requeridos que sirvan de base para la región en un contexto de creciente movilidad e internacionalización.

Partir de diagnósticos y de objetivos claros.Cuestiones básicas:  1. ¿A quién estaría dirigido un marco regional? Al trabajo en el aula,

a la industria editorial, a las universidades, al sistema educativo general de cada país, al sistema educativo del Mercosur?

¿Cuáles serían los objetivos políticos y las bases ideológicas de un marco regional?

¿Cuál sería su utilidad como modelo de aplicación práctica? ¿Sería un modelo para guiar el trabajo hacia un cierto resultado (i.e. un modelo de acción o de construcción), un modelo de estimación (un documento que permita estimar qué es lo que va a pasar en la enseñanza de lenguas y en las propiedades del español y del portugués ante determinadas situaciones posibles) o no sería un modelo en absoluto sino un "reglamento de uso o de enseñanza del español y del portugués" ?

¿Quiénes serían los productores y los ejecutores del marco? ¿A quién representa? ¿Qué ideología transmite?

¿Quiénes lo pondrían en funcionamiento? ¿Cómo podríamos medir su éxito o su fracaso? (Menegotto 2013)

¡Muchas gracias!

aelichabe@filo.uba.ar