Download - Pecole aesla 2012 sml
Diseño y formación de
evaluadores de una prueba
de eficacia comunicativa oral
en lengua española para
trabajadores inmigrantes
(PECOLE)
Susana Martín Leralta
Universidad Nebrija
Dirección General de Inmigración de la CM
Grupo de investigación LAELE de la Universidad Nebrija
PECOLE
Dra. Marta Baralo
Dª Sheila
Estaire
Dra. Susana
Martín
Noviembre 2011 – febrero 2012
Prueba de eficacia comunicativa oral en lengua española
Trabajadores inmigrantes en la Comunidad de Madrid
Marco común europeo de referencia para las lenguas
Evaluar la eficacia comunicativa oral inicial de los candidatos
Enfoque por tareas
Orientación a la acción
Inclusión de criterios sociopragmáticos, socioculturales y estratégicos
PECOLE
Programa de formación y certificación lingüística de
español para inmigrantes (Diploma LETRA)
Grupo de investigación LAELE
2008-2011
ANTECEDENTES DE LA PECOLE
Véase Baralo y Guerra (2010), Martín (2011) y
Baralo y Estaire (2011)
www.diplomaletra.com
Estudios sobre la evaluación de la competencia oral
en LE (Bachmann, 1990; Alderson, Clapman y Wall,
1998; Luoma, 2004 y Bordón, 2006)
Estándares de ALTE y EALTA
AsegurarValidez
Fiabilidad
Autenticidad situacional
Impacto positivo
FUNDAMENTOS DE LA PECOLE
1.Estado de la cuestión y análisis de
necesidades
2.Diseño de la prueba PECOLE y elaboración
del documento de especificaciones
3.Diseño e implantación del curso de
Formación de evaluadores
FASES DEL PROYECTO
1.Estado de la cuestión y análisis de
necesidades
a)Inserción social
b)Resolución de necesidades
comunicativas básicas
c)Características del grupo meta
d)Nivel de dominio lingüístico
FASES DEL PROYECTO
1.Estado de la cuestión y análisis de
necesidades
2.Diseño de la prueba PECOLE y elaboración
del documento de especificaciones
FASES DEL PROYECTO
DEFINICIÓN DE “EFICACIA
COMUNICATIVA ORAL”
Según el MCER
La lengua como herramienta de comunicación
Importancia de la competencia pragmática
Dimensiones del aprendiz de LE:
• agentes sociales
• hablantes interculturales
DEFINICIÓN DE “EFICACIA
COMUNICATIVA ORAL” INICIAL
Marco Común Europeo de Referencia para las Lenguas.
Enseñanza, aprendizaje, evaluación (MCER)
A1
Participa en conversaciones de forma sencilla, pero la
comunicación depende totalmente de que haya repeticiones
a ritmo más lento, reformulaciones y rectificaciones. Sabe
plantear y contestar preguntas sencillas, realizar
afirmaciones sencillas y responder a las afirmaciones que se
le hacen en áreas de necesidad inmediata o sobre temas
muy cotidianos.
Definición del constructo
Equivalencia en la medición
Orientación a la lengua
Orientación a la comunicación
Orientación a la situación
Luoma (2004)
ESPECIFICACIONES DE LA PECOLE
a.Descripción de la tarea de interacción oral
b.Capacidades evaluadas
c. Duración estimada
d.Formato de la prueba
e.Procedimiento de realización y directrices
para los evaluadores
f. Procedimiento de calificación: criterios de
evaluación y descriptores de la escala de
calificación
ESPECIFICACIONES DE LA PECOLE
ESPECIFICACIONES DE LA PECOLE
1) La tarea de interacción oral
Participar en una CONVERSACIÓN con el examinador para
hablar:
de sus datos personales (nombre, edad,nacionalidad,
domicilio, idiomas que habla, familia, etc.)
de sus estudios / formación laboral
de su experiencia laboral en su país y en España, de su
trabajo u ocupaciones cotidianas actuales
ESPECIFICACIONES DE LA PECOLE
2) Capacidades evaluadas
El examinando PUEDE:
Participar en una conversación de forma muy sencilla, apoyándose
ocasionalmente en la cooperación del interlocutor, en la que demuestre que
puede:
comprender a su interlocutor cuando éste le habla despacio y de forma clara,
utilizando un nivel de lengua estándar y, en caso de necesidad, haciendo uso
de repeticiones a ritmo más lento, reformulaciones, mímica o gestos para
señalar, asentir, etc.;
proporcionar los datos requeridos por el entrevistador (datos personales y
familiares, de estudio o formación laboral, de su experiencia laboral o intereses
profesionales, de su situación laboral actual, etc.), cumpliendo así la finalidad
comunicativa;
utilizar enunciados breves, sencillos, aislados haciendo uso de un repertorio de
vocabulario y estructuras gramaticales básico que no impide la comprensión a
pesar de los errores que comete; con una pronunciación y entonación que no
impiden la comprensión a pesar de un fuerte acento extranjero;
deletrear su nombre o apellido y dar algún número (por ejemplo, teléfono, código
postal) que el entrevistador pueda requerir si fuera necesario.
El examinando PUEDE:
Utilizar fórmulas de cortesía sencillas y cotidianas para establecer un
contacto social básico acorde con la situación (ejemplo: saludos,
despedidas, agradecimientos).
Hacer uso eficaz de estrategias compensatorias para solucionar problemas
de comprensión y de expresión que puedan aparecer.
ESPECIFICACIONES DE LA PECOLE
3) Duración estimada
5-7 minutos
4) Formato de la prueba
Entrevista uno a uno entre el evaluador y el candidato
VENTAJAS
Flexible adaptable a la realización del candidato
Evaluadores Alto control de lo que sucede
Estructurada
INCONVENIENTES
Poder del evaluador sobre el candidato
Costoso en tiempo y cantidad de evaluadores
Requiere formación de evaluadores
ESPECIFICACIONES DE LA PECOLE
5) Criterios de evaluación
Grado de comunicación
Relación con el interlocutor
Control lingüístico
ESPECIFICACIONES DE LA PECOLE
6) Escala de calificación: Apto / No apto
Manejable para los evaluadores
Reflejar todas las posibles actuaciones de los candidatos
Consensuada e interpretada de manera homogénea
ESPECIFICACIONES DE LA PECOLE
Respuesta satisfactoria: APTO
• Grado de comunicación - El candidato cumple adecuadamente los objetivos comunicativos de la prueba: comprende al interlocutor y se hace comprender en relación con lo tratado, aunque evidenciando un cierto grado de dificultad. A pesar de esta dificultad, su mensaje es suficiente para satisfacer la necesidad comunicativa planteada.
• Relación con el interlocutor – Para su actuación, el candidato depende ocasionalmente de la cooperación del interlocutor (discurso lento y claro, uso de repeticiones, reformulaciones, de mímica, gestos, señales). Un interlocutor acostumbrado a tratar con hablantes de otras lenguas puede comprenderle con cierto esfuerzo y concentración.
• Control lingüístico – En su discurso manifiesta cierta dificultad en la utilización de los recursos lingüísticos y estratégicos básicos de un nivel A1+ correspondientes a un repertorio reducido: necesita algunas pausas y reformulaciones de su mensaje, a menudo demuestra dudas y solicita ayuda del interlocutor y comete numerosos errores lingüísticos, la mayoría propios de su nivel, que no interfieren en el cumplimiento de la finalidad comunicativa planteada.
Respuesta insatisfactoria: NO APTO
• Grado de comunicación - El candidato tiene serias dificultades o es incapaz de reaccionar comunicativamente a la situación planteada: serias dificultades para comprender al interlocutor y para hacerse comprender en relación con lo tratado. En caso de responder a la situación planteada, su respuesta es comunicativamente ajena a dicha situación.
• Relación con el interlocutor - La cooperación del interlocutor no es suficiente para establecer la comunicación con el candidato. Aún para un interlocutor acostumbrado a tratar con hablantes de otras lenguas es prácticamente imposible comprenderle.
• Control lingüístico – El uso de los recursos lingüísticos y estratégicos básicos de un nivel A1+ correspondientes a un repertorio muy reducido es prácticamente nulo.
1.Estado de la cuestión y análisis de
necesidades
2.Diseño de la prueba PECOLE y elaboración
del documento de especificaciones
3.Diseño e implantación del curso de
Formación de evaluadores
FASES DEL PROYECTO
FORMACIÓN DE EVALUADORES
PROBLEMAS DE LA EVALUACIÓN ORAL (Karavas y Delieza, 2009)
El comportamiento del interlocutor puede afectar a la realización del candidato y a la puntuación.
La inconsistencia y la variación afectan a la validez y fiabilidad de la prueba.
– Forma de adaptarse al nivel de dominio lingüístico de los candidatos.
– Apoyo que ofrecen a los candidatos para facilitar la comprensión y la producción.
– Modo de “provocar” la realización comunicativa de los candidatos.
FORMACIÓN DE EVALUADORES
RECOMENDACIONES (Karavas y Delieza, 2009)
– Formación específica y entrenamiento
– Uso de una Guía para el entrevistador
• Estandarizar el discurso del examinador reducir
variación
• Autocontrol de la actuación del examinador
durante la prueba
– Aplicación de criterios y descriptores de evaluación
comprendidos por igual por todos los evaluadores
Taller: teórico y práctico
Visionado de exámenes reales:
Análisis del papel del evaluadorEvitar la variación y la inconsistencia
Aplicación de la escala de calificaciónEntendimiento común de los criterios y la
escala de calificación
FORMACIÓN DE EVALUADORES
14 talleres
14.11.2011 – 23.02.2012
383 participantes Ayuntamientos (Asuntos Sociales), CM (CEPI/CASI)
FORMACIÓN DE EVALUADORES
1. Totalmente en desacuerdo 5. Totalmente de acuerdo
FORMACIÓN DE EVALUADORES
1. Totalmente en desacuerdo 5. Totalmente de acuerdo
FORMACIÓN DE EVALUADORES
1. Totalmente en desacuerdo 5. Totalmente de acuerdo
CONCLUSIONES
Definición previa del objeto de medición: eficacia
comunicativa oral inicial
Responsabilidades del evaluador: intervenir como
entrevistador, manejar criterios de evaluación, calificar
Prueba de alto impacto: evitar variación e inconsistencia
entre evaluadores.
Documentación para los evaluadores + formación =
refuerzo de la validez, fiabilidad y viabilidad de la prueba
BIBLIOGRAFÍA de referencia• Alderson J. C., Clapham C., Wall D. 1998. Exámenes de idiomas. Elaboración y
evaluación. Madrid, Cambridge University Press.
• Bachman L. F. 1990. Fundamental considerations in language testing. Oxford, Oxford University Press.
• Baralo M., Guerra M. R. 2010. “Criterios pragmáticos y socioculturales para la selección de textos y géneros discursivos en un examen de certificación de nivel inicial (A2-n) de lengua española para trabajadores inmigrantes. En Actas del XXI Congreso Internacional de ASELE. Del texto a la lengua: la aplicación de los textos a la enseñanza-aprendizaje del español L2-LE. Salamanca: Universidad de Salamanca.
• Baralo M., Estaire S. 2011. “Variables socioculturales y comunicativas en el diseño curricular de una certificación de español para trabajadores inmigrantes”. En Lengua y Migración, 3, vol. 2.
• Bordón T. 2006. La evaluación de la lengua en el marco de E/L2: Bases yprocedimientos. Madrid, Arcolibros.
• Consejo de Europa. 2002. Marco común europeo de referencia para las lenguas: aprendizaje, enseñanza, evaluación. Madrid, Ministerio de Educación, Cultura y Deporte, y Anaya.
• Karavas E., Delieza X. 2009. “On site observation of KPG oral examiners: Implications for oral examiner training and evaluation”. Apples-Journal of Applied Language Studies, 3:1: 51:77.
• Luoma S. 2004. Assessing speaking. Cambridge, Cambridge University Press.
• Martín Leralta S. 2011. “Certificación lingüística de nivel inicial para inmigrantes en contexto laboral: ejemplo de una prueba del examen DILE”. En Lengua y Migración, 3, vol. 1.
Gracias por la atención