propuesta de una prueba oral para el examen de
TRANSCRIPT
6
PROPUESTA DE UNA PRUEBA ORAL PARA EL EXAMEN DE
CLASIFICACIÓN DEL CENTRO LATINOAMERICANO DE LA
PONTIFICIA UNIVERSIDAD JAVERIANA
VIOLETA SANTAMARÍA ECHEVERRÍA
JAVIER HERNÁN BEJARANO RUIZ
PONTIFICIA UNIVERSIDAD JAVERIANA
FACULTAD DE COMUNICACIÓN Y LENGUAJE
MAESTRÍA EN LINGÜÍSTICA APLICADA DEL ESPAÑOL COMO LENGUA
EXTRANJERA
Bogotá, 2014
10
RESUMEN ............................................................................................................................ 12
1. INTRODUCCIÓN ............................................................................................................... 4
2. HECHOS PROBLEMÁTICOS ........................................................................................... 6
2.1 INTERROGANTE ....................................................................................................................... 11
3. JUSTIFICACIÓN .............................................................................................................. 11
3.1 ANTECEDENTES ....................................................................................................................... 11
3.2 IMPORTANCIA .......................................................................................................................... 21
4. OBJETIVOS DE INVESTIGACIÓN ................................................................................ 23
4.1 OBJETIVO GENERAL ................................................................................................................. 23
4.2 OBJETIVOS ESPECÍFICOS .......................................................................................................... 23
5. MARCO TEÓRICO Y CONCEPTUAL ............................................................................ 24
5.1 MARCO TEÓRICO ................................................................................................................ 24
5.1.1 LA LENGUA ORAL Y LA COMPETENCIA COMUNICATIVA....................................................... 24
5.1.2 LA EVALUACIÓN DE LA LENGUA ORAL MEDIANTE EL ENFOQUE POR TAREAS ..................... 29
5.2 MARCO CONCEPTUAL ....................................................................................................... 33
5.2.1 Características y tipos de tareas de la evaluación oral ................................................... 33
5.2.2 EXAMEN DE CLASIFICACIÓN O PRUEBA DE NIVEL ................................................................ 38
5.2.2.1 Características de la prueba oral ................................................................................. 41
5.2.3 EL MCER Y LA EVALUACIÓN ............................................................................................... 44
5.2.4 PCIC Y LA EVALUACIÓN....................................................................................................... 46
5.2.5 LA UTILIDAD DE UN TEST ..................................................................................................... 48
5.2.5.1 La validez y la validación de un test ............................................................................. 48 5.2.5.2 La validez interna ..................................................................................................................................... 50 5.2.5.3 La validez del constructo .......................................................................................................................... 51
5.2.5.4 La fiabilidad .................................................................................................................. 52
5.2.5.5 La viabilidad ................................................................................................................ 53
5.2.6 DIFICULTADES EN LA EVALUACIÓN DE LA LENGUA ORAL ................................................... 55
6. MARCO METODOLÓGICO ............................................................................................ 58
6.1 TIPO DE INVESTIGACIÓN .......................................................................................................... 58
6.2 MODELO DE DISEÑO Y ELABORACIÓN DE UN INSTRUMENTO DE EVALUACIÓN ....................... 59
6.3 DISEÑO Y ELABORACIÓN DE LA PRUEBA ORAL ....................................................................... 61
6.3.1 PRIMERA ETAPA: PLANIFICACIÓN ............................................................................ 61
6.3.2 SEGUNDA ETAPA : EL DISEÑO.................................................................................... 64 6.3.2.1. Descripción de los participantes o involucrados en la prueba .................................................................. 64 6.3.2.2. Descripción de los futuros beneficios de la prueba. ................................................................................. 65 6.3.2.3. Descripción de las decisiones que se tomarán y los encargados de éstas. ................................................ 66 6.3.2.4. Determinación de la gravedad de errores de clasificación y determinación de estándares....................... 67 6.3.2.5. Definición del constructo a ser evaluado ................................................................................................. 68 6.3.2.6. Identificación y descripción del nivel de dominio de la lengua objetivo ................................................. 70 6.3.2.7. Selección de tareas de lengua como base para el desarrollo de tareas evaluativas y descripción de las
tareas de lengua seleccionadas. ............................................................................................................................. 70 6.3.2.8. Desarrollo de un plan de recolección de retroalimentación. .................................................................... 73
6.3.3 TERCERA ETAPA: PLAN DE ACCIÓN (BLUEPRINT) ................................................. 73 6.3.3.1 Descripción de la estructura del test o especificaciones de la prueba ....................................................... 74
11
6.3.3.2 Especificaciones de las tareas ................................................................................................................... 75 6.3.3.3 Procedimientos y formatos para reportar resultados ................................................................................. 77 6.3.3.4 Procedimientos para administrar la prueba ............................................................................................... 77 6.3.3.5 Aclaración al lector ................................................................................................................................... 78
6.3.4 Cuarta etapa: la prueba experimental ............................................................................. 79 6.3.4.1 Instrumentos de recolección de datos ....................................................................................................... 79
7. RESULTADOS .................................................................................................................. 82
7.1 RESULTADOS DE LAS ESPECIFICACIONES DEL CONSTRUCTO .................................................. 82
7.2 RESULTADOS DE LAS ESPECIFICACIONES DE LAS TAREAS....................................................... 84
7.2.1 Resultados del precalentamiento...................................................................................... 84
7.2.2 Resultados de la Tarea A ................................................................................................. 85
7.2.3 Resultados de la Tarea B ................................................................................................. 86
7.2.4 Resultados de la Tarea C ................................................................................................. 86
7.3 RESULTADOS DE LAS ESPECIFICACIONES DE LA EVALUACION. ............................................... 86
7.4 RESULTADOS DEL PILOTAJE .................................................................................................... 88
8. CONCLUSIONES ............................................................................................................. 90
REFERENCIAS .................................................................................................................... 94
ANEXO 1- FICHA DE ENTREVISTA PERSONAL- ACTUAL PRUEBA ORAL DEL
EXAMEN DE CLASIFICACIÓN DEL CLAM ..................................................................... 99
ANEXO 2- PRUEBA ORAL EXAMEN DE CLASIFICACIÓN .......................................... 101
ANEXO 3- TRANSCRIPCIÓN ENTREVISTA CON LA DIRECTORA DEL CLAM:
NANCY AGRAY. MAYO 26 DE 2014. ............................................................................... 102
ANEXO 4- CUESTIONARIO DE FIABILIDAD ................................................................ 105
ANEXO 5- CUESTIONARIO VALIDACIÓN DEL CONSTRUCTO ................................. 107
ANEXO 6- CUESTIONARIO VALIDACIÓN DEL CONTENIDO .................................... 109
ANEXO 7 – LÁMINAS DEL CANDIDATO ........................................................................... 0
ANEXO 8-ESPECIFICACIONES DE LA EVALUACIÓN SEGÚN BACHMAN Y PALMER
(2010) ...................................................................................................................................... 6
ANEXO 9- PARRILLA DE DESCRIPTORES ....................................................................... 7
12
RESUMEN El presente trabajo tiene como objetivo diseñar una propuesta de prueba oral de
clasificación para el Centro Latinoamericano (CLAM). La investigación surge como
respuesta a la necesidad de actualizar y articular la actual prueba oral a los niveles de
referencia del Marco Común Europeo (MCER), a los programas del CLAM y a los
objetivos de cada nivel.
En la primera parte se expone a profundidad esta problemática, luego se hace un recorrido
por los conceptos teóricos que responden a la pregunta de investigación. Es decir, la lengua
oral, el enfoque por tareas para la evaluación, el examen de clasificación, el MCER, el Plan
Curricular del Instituto Cervantes (PCIC), la validez, la fiabilidad, la viabilidad de un test.
Adicionalmente, la presente investigación desarrolla un marco metodológico basado en el
modelo propuesto por Bachman y Palmer (2010) para el diseño de una prueba,
Finalmente, se presentan los resultados derivados del proceso de validación y pilotaje, así
como las conclusiones a las que se han llegado.
1. INTRODUCCIÓN Una trayectoria de más de 40 años en la enseñanza, aprendizaje y evaluación del
español como lengua extranjera (ELE) en Colombia, hace que el Centro Latinoamericano
(CLAM) de la Pontificia Universidad Javeriana (PUJ) sea uno de los centros más conocidos
en este campo de la lingüística aplicada (Espejo, Flórez y Zambrano, 2008). Este centro
tiene como principal objetivo la enseñanza de ELE y la difusión de las culturas colombiana
y latinoamericana (Espejo et al., 2008). Actualmente, el CLAM ofrece 12 cursos que se
imparten bajo la metodología de la enseñanza mediante tareas en el marco de un enfoque
comunicativo (Espejo et al., 2008 y Centro Latinoamericano, 2014).
Al igual que otros centros en Colombia y en el mundo, como el Centro Colombo
Americano, el Instituto Brasil Colombia, el Spanish World Institute, entre otros (Espejo et
al., 2008 y Universidad de los Andes, 2009), el CLAM utiliza un examen de clasificación o
de nivel para clasificar a los nuevos estudiantes que estén interesados en ingresar al
programa de ELE. El actual examen de clasificación fue diseñado entre el año 1997 y 1998
como producto de una investigación del departamento de lenguas y que ulteriormente se
ajustó con la llegada del Marco Común Europeo de Referencia (MCER) (N. Agray,
entrevista personal, 26 de mayo de 2014). El examen actual tiene cuatro secciones que
evalúan en 2 horas y 20 minutos la comprensión oral y escrita, y la producción oral y
escrita.
En la actualidad existen otros proyectos investigativos de grado y de posgrado de la
Universidad interesados en diseñar las pruebas que evalúan la comprensión oral y escrita, y
la producción escrita. No obstante, para efectos del presente trabajo, se responde solamente
a la necesidad de hacer una primera propuesta para diseñar la prueba de producción oral.
5
Esta necesidad surge a raíz de una entrevista con la directora académica del CLAM (N.
Agray, entrevista personal, 26 de mayo de 2014) y de un análisis de la actual prueba oral
(véase apartado 2 y 6.1) donde se evidencia que dicha prueba muestra una serie de
problemas, entre los que se encuentran: una discrepancia entre el enfoque adoptado para los
procesos de enseñanza-aprendizaje y el enfoque dado a la evaluación, una carencia de un
procedimiento de aplicación, y una ausencia de criterios de evaluación diseñados conforme
a los niveles del MCER y a los doce niveles del CLAM.
En este contexto, y en relación con la situación problemática que lleva a la
necesidad de hacer una nueva prueba oral del examen de clasificación del CLAM, este
Proyecto de Aplicación Práctica (PAP) pretende presentar una propuesta de un instrumento
de evaluación. Es decir, una prueba oral, que sea coherente con el enfoque y la metodología
adoptada por el centro, que tenga un procedimiento claro de aplicación, y que sus criterios
de evaluación contribuyan a la fiabilidad de la misma. El instrumento se compone de tres
tareas evaluativas, una parilla de 5 criterios de evaluación con sus respectivos descriptores
para cada uno de los niveles del CLAM y un procedimiento de aplicación.
El presente documento se organiza en cinco secciones. En la primera sección se
presentan los hechos problemáticos que llevan a la necesidad de hacer una propuesta de una
nueva prueba oral. En la segunda sección, se muestra brevemente otras investigaciones que
intentan responder al interrogante de esta investigación y se presenta la importancia de este
PAP. En la tercera sección, se analizan y se presentan los fundamentos teóricos que
sustentan este proyecto. En la cuarta sección, primero, se presenta el modelo metodológico
a seguir para el diseño de la prueba y, segundo, se realiza un primer diseño de la prueba y
6
se comprueba su validez y fiabilidad. Finalmente, en la sexta sección, se presentan las
conclusiones de esta experiencia investigativa.
2. HECHOS PROBLEMÁTICOS
Antes de presentar los hechos problemáticos que subyacen a este PAP, es
importante, primero, conocer cómo es la actual prueba oral para lograr una mejor
comprensión de por qué existe una situación problemática. A grandes rasgos, la actual
prueba oral está conformada por doce preguntas cerradas divididas en los niveles básico,
intermedio y avanzado (véase anexo 2). La prueba se realiza a través de una entrevista de
máximo 20 minutos (Centro Latinoamericano, 2014) y el evaluador tiene 4 criterios de
evaluación (gramática, pronunciación, léxico y fluidez) para valorar la actuación del
candidato (véase anexo 1). La información personal y la valoración de la actuación del
candidato en cada uno de los 4 criterios se escribe en una ficha de entrevista personal
(véase anexo 1). Al finalizar la prueba oral, el candidato es informado de que una secretaria
lo contactará vía correo electrónico o por teléfono para darle el resultado final del examen
de clasificación.
Como se mencionó anteriormente, las preguntas de la actual prueba oral se dividen
en preguntas de nivel básico, intermedio y avanzado. En el nivel básico se encuentran
preguntas que giran en torno al estudiante. Se indaga sobre su nombre, nacionalidad,
profesión, familia, entre otros. Estas preguntas sirven para llenar la ficha de entrevista
personal del candidato (véase anexo 1). Con respecto a las preguntas del nivel intermedio,
éstas se centran en examinar la habilidad del candidato para referirse a acontecimientos del
pasado. Finalmente, en el nivel avanzado, se formulan preguntas de argumentación que
7
llevan al estudiante a plantear hipótesis sobre las posibles situaciones que podría haber
enfrentado en Colombia y que servirían, por ejemplo, para hacerle recomendaciones a un
amigo que viene por primera vez al país.
Después de recurrir a un análisis de esta prueba y tener una entrevista con la
directora académica del CLAM (N. Agray, entrevista personal, 26 de mayo de 2014) (véase
anexo 3), se concluye que la actual prueba presenta cuatro hechos problemáticos que hacen
deseable presentar una propuesta de una nueva prueba oral de clasificación. El primer
hecho problemático radica en que la actual prueba oral denota una discrepancia entre los
fundamentos comunicativos de los programas del CLAM y la forma como se evalúa. El
segundo hecho problemático reside en que la actual prueba oral es muy antigua y como
consecuencia existe una desarticulación con los niveles de referencia del MCER y los
niveles del CLAM. El tercer hecho problemático está relacionado con la falta de
descriptores que detallen lo que el candidato sabe y puede hacer con la lengua. Y
finalmente, el cuarto hecho problemático consiste en la falta de un procedimiento claro que
pueda seguir cualquier evaluador.
En vista de que los programas del CLAM adoptan un enfoque comunicativo y la
denominada metodología mediante tareas para la enseñanza de ELE, puede decirse que
existe un hecho problemático en la medida en que la actual prueba oral no utiliza tareas
comunicativas que lleven al candidato a integrar el conocimiento formal del lenguaje y su
capacidad de usarlo -el conocimiento instrumental- para alcanzar un objetivo comunicativo
(Estaire y Zanón, 1990). Dicho de otro modo, la actual prueba oral no se apoya en el uso de
tareas comunicativas para provocar la actuación de un candidato para su evaluación. En
este punto es importante mencionar que los test de clasificación “deben basarse en los
8
aspectos del programa enseñados por la institución” (Alderson, Clapham y Wall, 1995,
p.11) y “deben estar específicamente relacionados con un determinado programa” (Brown,
2005, p.10)
Como puede verse, con el objetivo de establecer una relación entre la enseñanza
mediante tareas, el cómo se enseña, y su evaluación, el cómo se evalúa, existe la necesidad
de hacer una propuesta de una nueva prueba oral que utilice tareas comunicativas para
llevar al candidato a usar el lenguaje empleando los mismos procesos comunicativos que se
activan en las actividades del mundo real para la transmisión de un mensaje (Ellis citado en
Soler, 2008).
El segundo hecho problemático reside en que la actual prueba oral es muy antigua y
se encuentra desarticulada de los niveles de referencia del MCER y de los niveles del
CLAM. En efecto, se considera que la actual prueba oral es muy antigua porque fue
diseñada en el año de 1997 (N. Agray, entrevista personal, 26 de mayo de 2014). En este
punto es importante mencionar que:
los test no son absolutos y siempre van a ser mejorables, bien porque se hallen
nuevos datos en investigaciones sobre desarrollo o adquisición de la lengua, bien
por el hecho de que su diseño complejo y costoso puede ser mejorado tomando en
cuenta elementos que quizás no hayan sido bien considerados o se hayan
minimizado en su diseño. (Martínez, 2008a, p.55)
Por otro lado, a pesar de que se hizo una actualización de la prueba escrita y oral,
ésta última es la que menos se ajusta a los parámetros del MCER (N. Agray, entrevista
personal, 26 de mayo de 2014), pues la actual prueba oral no clasifica a los candidatos en
los niveles de referencia A1 a C2 del MCER y por consiguiente, en los 12 niveles del
9
CLAM, sino en tres niveles: básico, intermedio y avanzado. En este punto es importante
mencionar que la sociedad, los exámenes europeos, las calificaciones y los certificados
están ligados a los niveles del MCER (Figueras, 2008). De igual forma, en el contexto
colombiano, en general, se toma el MCER como referencia para establecer el número de
cursos, los contenidos y los objetivos de los programas de ELE (Universidad de los Andes,
2009).
Los aspectos anteriormente mencionados llevan a la necesidad de hacer una propuesta
de una nueva prueba oral que tenga una relación directa entre los niveles de clasificación de
la prueba y los niveles del programa de enseñanza. Es decir, una prueba que no clasifique al
candidato en tres niveles (básico, intermedio y avanzado) sino en los 12 niveles del CLAM
que son acordes a los 6 niveles (A1 a C2) de referencia del MCER.
El tercer hecho problemático está relacionado con la falta de descriptores que
detallen lo que el candidato sabe y puede hacer con la lengua. Es decir, la actual prueba oral
tiene cuatro criterios (gramática, pronunciación, léxico y fluidez) de evaluación pero éstos
no son tan claros como para que cualquier persona pueda evaluar independientemente de su
experiencia (N. Agray, entrevista personal, 26 de mayo de 2014), pues éstos no tienen los
respectivos descriptores para cada uno de los 12 niveles del programa del CLAM.
Por otra parte, si se entiende la fiabilidad como la validez de los criterios utilizados
para la evaluación (Consejo de Europa, 2002), y si su objetivo es “minimizar los efectos de
error de medición” (Bachman, 1990, p. 161), puede decirse que la actual prueba oral es
susceptible de mejorar su fiabilidad si se diseñan unos descriptores para que otros docentes,
independientemente de su experiencia evaluando, puedan dar un juicio de valor a la
evaluación subjetiva que subyace cuando se evalúa la lengua oral (Consejo de Europa,
10
2002). De igual forma, si se tienen descriptores en los criterios no solamente se proporciona
una base objetiva para la interpretación de la lengua oral (Bordon, 2004), sino también se
contribuye a ser más consistente, exacto y justo (Alonso, 2002).
Finalmente, si la fiabilidad no solo se entiende como la validez de los criterios
utilizados para evaluar, sino también como la validez de los procedimientos mediante los
cuales se aplican dichos criterios (Consejo de Europa, 2002), se puede decir entonces que la
actual prueba oral no tiene un procedimiento claro que pueda seguir cualquier evaluador y
como consecuencia se ve afectada su fiabilidad. Para afirmar que no existen unos
procedimientos claros, se recurre al modelo de Bachman y Palmer (2010) especificaciones
de la evaluación (véase anexo 8) que concibe la estructura y organización de la evaluación
como un todo.
De esta manera se señala que los procedimientos de la actual prueba oral, no
especifican la secuencia de las tres partes que la componen: las preguntas del nivel básico,
intermedio y avanzado. Por consiguiente, el evaluador desconoce cuándo debe pasar de una
sección a otra y cuántas preguntas de cada nivel debe hacer. Asimismo, estos
procedimientos no establecen un tiempo para cada una de las partes y no contiene
instrucciones ni para el evaluador ni para el candidato. En suma, podría decirse entonces
que los procedimientos se encuentran también en la experiencia de los evaluadores (N.
Agray, entrevista personal, 26 de mayo de 2014).
Los anteriores hechos problemáticos llevan a presentar una primera propuesta de
instrumento de evaluación. Una prueba oral con tareas que sean coherentes con el enfoque
y la metodología adoptada por el CLAM. De igual forma, este instrumento también debe
tener un procedimiento claro de aplicación para que cualquier profesor pueda aplicarlo, y
11
sus criterios de evaluación deben ser válidos y consistentes con el MCER y los niveles del
CLAM. Asimismo, es importante considerar la viabilidad de la propuesta ya que los
recursos humanos, los recursos materiales y los recursos de tiempo definirán el diseño y
desarrollo de la prueba (Bachman y Palmer, 2010). Dados los planteamientos desarrollados
anteriormente, para efectos de este trabajo investigativo, se decidió formular el siguiente
interrogante.
2.1 Interrogante
¿Cuál podría ser una propuesta de prueba oral del examen de clasificación del
CLAM que esté sustentada en los principios de validez, fiabilidad y viabilidad y
cuyos criterios y tareas de evaluación tengan relación directa con los niveles del
MCER y los programas de los cursos de enseñanza de ELE ofrecidos por el centro?
3. JUSTIFICACIÓN
3.1 Antecedentes
Para efectos de este ejercicio de investigación se consultaron diferentes publicaciones
académicas a nivel nacional e internacional que tuvieran una relación directa con el diseño
de un test de clasificación y específicamente con una prueba oral. Cabe destacar que se
presentará a continuación solamente una investigación realizada a nivel nacional. El resto
de las investigaciones referidas a continuación fueron realizadas en países como España e
Italia, entre otros. Los estudios fueron sistematizados según su relevancia y serán
presentados a continuación.
12
Para comenzar, uno de los trabajos que tiene más relevancia en el desarrollo del
presente PAP es un estudio realizado por la Universidad de los Andes sobre la situación de
los exámenes de ELE en Colombia. La investigación titulada Informe del estudio sobre los
exámenes en español como lengua extranjera administrados en Colombia (Universidad de
los Andes, 2009) tiene como finalidad revelar el uso de las evaluaciones en los programas
de ELE en Colombia y las formas como éstas se usan en el ejercicio de enseñanza-
aprendizaje de ELE en el país.
El informe primero hace referencia a algunos estudios llevados acabo en Colombia y
en otras partes del mundo sobre la enseñanza de ELE para luego presentar un marco teórico
relacionado con las tendencias actuales de la enseñanza, aprendizaje y evaluación en
lenguas extranjeras. Posteriormente, aclara el diseño metodológico usado en la
investigación, y finalmente, exhibe los resultados y recomendaciones para el diseño de
evaluaciones en el contexto colombiano.
Esta investigación da cuenta de diversos estudios realizados en el campo de ELE pero
muy pocos en el tema de evaluación. Asimismo, señala el apogeo de programas de ELE
en diferentes instituciones gracias al número de extranjeros que están llegando al país. Por
estas razones, este estudio tiene como fin, entre otras cosas, dar a conocer las características
y el uso que se le da a la evaluación en 18 instituciones de 8 ciudades colombianas. Para
ello, se entrevistaron y encuestaron a los coordinadores y los docentes de los programas de
ELE y se solicitaron ejemplares de los instrumentos de evaluación para evaluarlos. De igual
manera, se analizó el perfil de los estudiantes, la estructura de los programas, el enfoque
pedagógico, los tipos de exámenes, los objetivos de la evaluación y los recursos materiales
con los que cuentan dichas instituciones.
13
Los resultados de esta investigación arrojaron que, en general, los programas de ELE
están dirigidos a extranjeros europeos, americanos y orientales entre los 18 y 30 años. Estos
programas siguen el enfoque comunicativo y por tareas, y se organizan en diferentes
niveles o módulos donde se busca que tengan equivalencia con el MCER. Con respecto a
los materiales usados en los programas, se evidenció que muy pocas instituciones tienen
material diseñado propio y no cuentan con un banco de material para la enseñanza ni la
evaluación. Por consiguiente, los docentes son los encargados del diseño de material y
adaptación de los existentes al contexto colombiano.
Finalmente, en lo que concierne a los procesos de evaluación, se demostró que cada
institución y/o profesor tiene la autonomía para el diseño de exámenes, entro ellos los
exámenes finales y de clasificación. Por lo tanto, existe una gran variabilidad y falta de
unificación de criterios entre las instituciones al momento de diseñar instrumentos de
evaluación. Asimismo, se descubrió que aunque las instituciones implementan el enfoque
comunicativo en sus clases, se denota una discrepancia entre los programas y la forma
como se está evaluando: preguntas de selección múltiple y ejercicios lexicales y
gramaticales de completar sin una contextualización se encuentran tanto en los exámenes
finales como de clasificación.
Este estudio investigativo no solamente manifiesta la necesidad de realizar más
investigaciones en la temática de la evaluación en Colombia, sino también caracteriza las
formas cómo las evaluaciones se usan en el contexto colombiano en la última década. Esta
situación es relevante para la problemática del presente PAP ya que demuestra la
importancia de alinear las evaluaciones, particularmente los exámenes finales y de
clasificación, con los contenidos o programas que siguen el enfoque comunicativo o por
14
tareas. De igual forma, contribuye al presente PAP en la medida en que especifíca cuáles
son las partes de un examen de clasificación y cuál es la técnica más utilizada para evaluar
la lengua oral, es decir, la entrevista estructurada o semiestructurada.
En segundo lugar, la tesis doctoral de Martínez, La evaluación oral: una
equivalencia entre las guidelines de ACTFL y algunas escalas del MCER, Granada,
Universidad de Granada, tesis doctoral (Martínez 2008a) compara dos pruebas orales con
escalas de clasificación distintas. Por un lado, la prueba OPI (Oral proficiency interview),
que tiene como marco de referencia para evaluar la lengua el sistema ACTFL (American
Council on The Teaching of Foreign Languages), y, por otro lado, una prueba oral de
proficiencia diseñada por el autor a partir de las escalas del MCER. Esta comparación tiene
como objetivo demostrar si se pueden establecer equivalencias entre los dos sistemas. Esta
investigación se divide en cinco capítulos.
En los dos primeros capítulos, se presentan los conceptos para validar un test a partir
de los elementos propuestos por Bachman y Palmer: la definición de un concepto de
lengua, la descripción de las tareas que se van a aplicar y el uso de un buen sistema de
calificaciones. Asimismo, se describen y se explican los dos modelos que van a utilizarse
para la comparación de los sistemas, el OPI de la ACTFL y el MCER, para el diseño de la
prueba oral.
En el tercer capítulo se hace un análisis crítico de las escalas del MCER y se deduce
que existe una ambigüedad entre las mismas. Por ejemplo, no se muestra una progresión
suficientemente diferenciada entre los niveles C1 y C2. De igual forma, se comparan los
niveles del ACTFL y el MCER para definir las equivalencias planteadas en la
investigación, y se describen los test realizados a los 35 candidatos entre los 18 y 65 años
15
de diferentes niveles y nacionalidades del Centro de Lenguas de la Universidad de Granada
en el año 2006. Para terminar, se prueba la validez del test a partir de un análisis de cada
tarea y una encuesta que contestaron 10 profesores.
El cuarto capítulo analiza los resultados de las entrevistas orales con los dos test (el
OPI y el test hecho a partir del MCER). Así mismo, se exponen las carencias y problemas
que encontraron los evaluadores al utilizar el MCER: las ambigüedades de interpretación de
los descriptores en los niveles altos y la preponderancia de criterios formalistas, alcance y
gramática, en ciertas calificaciones. Después del análisis, se muestra que existe una
ambigüedad en el momento de interpretar las escalas entre el límite y el principio de cada
nivel.
Finalmente, el quinto capítulo hace un análisis para equiparar los resultados obtenidos
con los dos sistemas. Los resultados arrojados afirman que es posible realizar una
equiparación de las escalas entre el MCER, y el ACTFL a partir de una fórmula de
correlación. En conclusión, se garantiza que puede definirse un constructo de lengua
mediante el MCER, y pueden utilizarse sus escalas para evaluar. No obstante, se asegura
que el MCER no define contenidos para ninguna actividad ni nivel y no es una herramienta
que evalúe por sí sola.
Esta investigación ofrece aportes a nivel teórico ya que da luces acerca del
significado de evaluar una lengua extranjera desde la producción oral: sus características y
limitaciones. Por otro lado, la investigación describe la utilidad, las limitaciones y las
ambigüedades que pueden encontrarse al momento de utilizar los descriptores holísticos y
analíticos del MCER para la evaluación. Asimismo, dicho documento es relevante a nivel
metodológico porque presenta los procedimientos para la validación de una prueba y
16
muestra cómo a partir de los descriptores del MCER puede desarrollarse tareas de
evaluación para evaluar la lengua oral. Estos procedimientos de validez, así como la ruta
para el diseño de tareas evaluativas, pueden ser consideradas en el presente PAP.
En relación con la anterior investigación, se encuentra un trabajo que tiene como
propósito revelar algunas dificultades en el uso de descriptores. Así, la investigación de
Manzanares titulada las Dificultades en el uso de los descriptores en el proceso de
evaluación de la expresión oral de ELE, Verona, Universidad de Verona, Proyecto
investigativo (Manzanares, 2014) tiene como objetivo principal la introducción de una
escala de descriptores y una ficha de calificación en la prueba oral de proficiencia del nivel
C2. Sin embargo, al poner en marcha esta ficha, se reflejó que en ocasiones los evaluadores
modificaron y adaptaron los descriptores lo que le restó fiabilidad a la evaluación. Por esta
razón, en esta investigación nació como segundo objetivo poner de relieve una serie de
dificultades en el uso de la escala de descriptores y la ficha de clasificación.
Esta investigación se basó en 18 pruebas orales de nivel C2 grabadas en julio de 2012
y se divide en tres fases. En la primera fase, se diseñó una escala de descriptores basada en
el examen DELE con cinco criterios (coherencia, fluidez, capacidad crítica, corrección y
alcance) y cinco bandas (50, 65, 75, 85, 95) sobre cien. De igual manera, se diseñó la ficha
de calificación, con los mismos criterios de la escala, como una herramienta para que el
evaluador expresara su valoración de la actuación del candidato y escribiera todo lo que le
resultara útil para evaluar.
En la segunda fase se detectaron las modificaciones de los descriptores por parte de
los evaluadores y se plantearon algunas recomendaciones para la redacción de criterios de
evaluación y la realización de anotaciones en una ficha de clasificación. La información
17
recogida servirá para crear una segunda versión de la escala y de la ficha de clasificación en
la tercera fase que aún no se ha realizado. Además, el autor afirma que la fiabilidad de la
prueba aumentó cuando se usó la escala de descriptores propuesta, y no cuando se dio una
valoración holística del evaluador o se recurrió solamente a la ficha de clasificación.
Esta investigación es relevante por dos aspectos metodológicos. En primer lugar, el
uso de una ficha de clasificación con sus propias bandas y las recomendaciones que se
hacen de la misma, podrían considerarse en los procedimientos de evaluación que se
aplicarán en este PAP. En segundo lugar, las recomendaciones que se hacen para la
descripción de los criterios de evaluación, por ejemplo, evitar descriptores negativos o
utilizar frases afirmativas que respondan a una descripción objetiva fácilmente contrastable
con la realidad, pueden tenerse en cuenta en la redacción de los descriptores de la propuesta
de prueba oral del presente PAP. Finalmente, esta investigación también demuestra que el
uso de escalas de descriptores aumenta la fiabilidad de una prueba, hecho problemático del
presente PAP.
A lo largo de la búsqueda de otras investigaciones, se ecuentra que en el año 2013
Ferreira, Vine y Elejade, en su investigación Hacia una prueba de nivel1 en español como
lengua extranjera, Concepción, Universidad de concepción, Proyecto Fondecyt (Fereira,
Vine y Elejalde, 2013), realizaron el diseño de un test que evaluara el nivel de proficiencia
de los estudiantes de intercambio del programa de español.
En vista de que la institución espera que sus alumnos alcancen un nivel B1 para
entrar a estudiar, en la investigación se plantaron dos objetivos. Primero, diseñar una
1 Es importante mencionar que los autores hablan de una prueba de nivel (clasificación) pero finalmente se
refieren a una prueba de proficiencia que utilizan para clasificar.
18
prueba de proficiencia B1 con dos formas equivalentes y, segundo, evaluar la validez de
las dos pruebas para medir el mismo nivel. En relación con el primer objetivo, se siguieron
las fases de diseño de una prueba de Bordón que corresponde a una fase previa de diseño,
una fase de experimentación y una fase de recapitulación. Para el segundo objetivo, se
aplicó el instrumento en sus dos versiones a 50 estudiantes de diferente nacionalidad.
El test se diseñó para evaluar las habilidades receptivas, productivas, la gramática y el
vocabulario. En lo que concierne a la evaluación de la habilidad de producción oral, se
seleccionaron preguntas abiertas para obtener una muestra representativa de la lengua en
situaciones reales. El test se evaluó a partir de una revisión con un grupo de profesores que
intercambiaron las secciones del examen. En esta evaluación, se analizó el grado de
dificultad de los ítems, la extensión de los textos escritos y orales, y la ambigüedad en las
preguntas y respuestas. Después de esta revisión, se hizo la aplicación de la prueba en una
plataforma de interacción Moodle2 en el Centro de Formación de la Universidad.
Los resultados de la aplicación se dividieron en tres grupos de estudiantes de los años
2012 y 2013 y arrojaron que un 60 % de los candidatos alcanzó el nivel B1, mientras el
porcentaje restante logró el nivel A2. De igual forma, la investigación concluyó que ambos
instrumentos de evaluación arrojaron resultados que responden a los objetivos planteados
para la definición del nivel de los estudiantes y su distribución en los cursos
correspondientes.
Esta investigación tiene una relevancia metodológica ya que presenta cómo puede
evaluarse la lengua oral a partir de preguntas abiertas para obtener una muestra del dominio
de lengua de un candidato. De igual forma, presenta los procedimientos que pueden
utilizarse para validar los contenidos de una prueba con expertos. Finalmente, presenta las
19
fases de confección de una prueba propuestas por Bordón sobre el diseño, prueba y
evaluación de un instrumento de evaluación que podrían servir, primero, como aporte
teórico para los diseñadores del presente PAP, y segundo, como punto de comparación con
el modelo metodológico para el diseño de la prueba oral utilizado en el presente PAP.
Por otra parte, González-Such, J., Jornet, J.M. y Bakieva, M. en su investigación
Consideraciones metodológicas sobre la evaluación de la competencia oral en L2
(Gonzalez-Such et al., 2013) pretenden realizar una revisión acerca de las concepciones
teóricas y metodológicas para la evaluación de la competencia oral. Para estos efectos
fueron planteados tres objetivos principales. Primero, reflexionar acerca de la definición del
constructo, segundo, reflexionar acerca de los componentes que deben tenerse en cuenta
para definir tanto el sistema de evaluación como los instrumentos de medida y, tercero,
considerar algunos aspectos relativos a la validez de la prueba. Aunque los autores hacen
unas consideraciones teóricas y metodológicas acerca de la competencia oral (comprensión
y expresión oral), para efectos del presente PAP se presentará exclusivamente lo referido a
la expresión oral.
El documento evidencia claramente un aspecto problemático que se encuentra al
momento de evaluar la competencia oral: definir el constructo. En efecto, es sólo desde la
década de los ochenta, con el auge del enfoque comunicativo, que nace el interés por
evaluar y definir la competencia oral y más exactamente la expresión oral. Además,
empieza a tenerse en cuenta la expresión oral como discurso de interacción entre los
participantes, así como algunos elementos extralingüísticos.
Con relación al segundo objetivo planteado por los autores, éstos definieron nueve
componentes del proceso para el diseño de evaluación de la competencia oral. Para el
20
presente PAP solo se mencionan aquellos que se consideran relevantes. Entre ellos se
encuentra: hacer una determinación y especificación del dominio competencial del
constructo a evaluar; definir unos criterios de evaluación y hacer una sistematización del
proceso de recolección de evidencias; determinar un sistema de evaluación, instrumentos,
recursos y técnicas de recogida de información; definir un sistema de comparación de
evidencias con el estándar y diseñar los mecanismos o criterios de calidad del propio
sistema de evaluación.
Finalmente, los autores hacen una reflexión acerca de la validez del instrumento de
evaluación. Ésta la definen como la garantía técnica y ética de uso de las evaluaciones. En
ese sentido, los autores hablan de un proceso continuo de validación y rechazan la idea de
una validez absoluta. En definitiva, se habla de un proceso de recogida de evidencias y de
información que permite mejorar los procesos e instrumentos de evaluación.
Este estudio es relevante para la presente investigación dado que aporta de manera
significativa al desarrollo de un marco conceptual sobre la competencia comunicativa para
comenzar a definir el constructo a ser evaluado. Asimismo, es relevante
metodológicamente pues aporta un modelo de diseño de evaluaciones de la competencia
oral enmarcado dentro de un enfoque comunicativo de la lengua en donde se especifican
de manera clara y detallada los pasos y componentes de dicho diseño. Finalmente, las
consideraciones realizadas en torno a la validez de los procesos e instrumentos de
evaluación, invitan a concebir el presente PAP como un proceso continuo, y no definitivo,
de mejoramiento de la actual prueba oral de clasificación del CLAM.
21
3.2 Importancia
En vista de que el campo de investigación en evaluación ha sido poco abordado y
tratado en la enseñanza de lenguas extranjeras y particularmente en el español (Puig, 2008)
y que ésta ha sido poco explorada en Colombia (Universidad de los Andes, 2009), se podría
afirmar que el presente PAP podría contribuir a este campo del conocimiento porque
pretende desarrollar una propuesta de instrumento de evaluación oral que permita que los
estudiantes del CLAM sean clasificados de manera adecuada.
Dentro de este panorama poco explorado del campo de la evaluación en lenguas
extranjeras, se encuentra aún más poco atendido el campo de la evaluación de las destrezas
orales. Esto “posiblemente debido a las dificultades derivadas de la identificación de los
aspectos de lo que es en esencia una operación cognitiva invisible o cuanto menos
parcialmente observable” Brindley (como se citó en González-Such et al., 2013, p.2). Así,
este proyecto investigativo constituye un avance significativo en el campo de la evaluación
de las destrezas orales y contribuye como un precedente investigativo específicamente en el
campo del diseño de exámenes de clasificación o pruebas de nivel.
Por otro lado, en vista de que se ha evidenciado poco material colombiano asociado
con la enseñanza, el aprendizaje y la evaluación de ELE, y los que se encuentran han sido
desarrollados exclusivamente en España o en Estados Unidos (Universidad de los Andes,
2009), proponer un proyecto investigativo como el presente permitiría contribuir a
establecer un antecedente en Colombia sobre la investigación y diseño de materiales para la
evaluación de lenguas extranjeras y en este caso particular de ELE.
22
Además, debido a que la necesidad de diseñar una prueba oral de clasificación fue
expresamente mencionada por la directora del CLAM, se podría afirmar que la propuesta
de instrumento de evaluación elaborado como resultado de este proceso de investigación
podría de manera importante contribuir en los procesos investigativos actualmente
enfocados en mejorar las secciones del examen clasificación para los nuevos estudiantes del
CLAM. De igual forma, este PAP es un primer acercamiento a la realización de una prueba
oral que esté relacionada con el enfoque de enseñanza adoptado en el CLAM. Es decir, el
enfoque por tareas, para que no exista una discrepancia entre lo que se enseña y lo que se
evalúa (véase apartado 2).
Finalmente, la presente investigación podría contribuir a la Maestría en Lingüística
Aplicada del Español como Lengua Extranjera de la PUJ en cuanto esta pesquisa puede
servir de antecedente investigativo para futuras generaciones de profesores en formación
que estén interesados en desarrollar proyectos relacionados con la evaluación, pues como se
evidenció anteriormente, en el contexto colombiano los exámenes de clasificación solo los
desarollan y aplican evaluadores con experiencia y conocedores de los programas de
enseñanza (Universidad de los Andes, 2009).
Los aspectos mencionados anteriormente tienen como objetivo evidenciar la
importancia del presente proyecto de investigación tanto a nivel nacional como a nivel
institucional e internacional. Por esta razón, con el fin de estructurar la presente
investigación se ha decidido plantear un objetivo general de investigación y unos objetivos
específicos que guíen la realización de este proyecto. Éstos se presentan a continuación.
23
4. OBJETIVOS DE INVESTIGACIÓN
4.1 Objetivo general
Diseñar una propuesta de prueba oral de clasificación sustentada en los principios de
validez, fiabilidad y viabilidad, y cuyos criterios y tareas de evaluación tengan
relación directa con los niveles del MCER y con los programas de enseñanza de ELE
del CLAM.
4.2 Objetivos específicos
Hacer un análisis de la actual prueba oral de clasificación del CLAM a partir de las
especificaciones de la evaluación propuestas por Bachman y Palmer (2010).
Definir el constructo que se va a evaluar en la prueba oral de clasificación teniendo
en cuenta la concepción de lengua del CLAM y el MCER.
Definir y diseñar las especificaciones de las tareas de evaluación que serán
utilizadas en la propuesta de la prueba oral de acuerdo con el enfoque comunicativo
y por tareas, el PCIC2 y los programas del CLAM.
Desarrollar los criterios de evaluación de la prueba oral mediante un análisis de las
escalas y descriptores del capítulo 5 del MCER3, la escala cualitativa de la lengua
del MCER4, los objetivos generales del PCIC, el inventario de gramática y nociones
específicas del PCIC, y los criterios de evaluación del DELE.
Validar la propuesta de especificaciones de las tareas y de la prueba mediante
cuestionarios, reuniones con expertos, observaciones y pilotaje.
2 Estas siglas corresponden al Plan Curricular del Instituto Cervantes (PCIC). 3 En el capítulo 5 se clasifica y se describe detalladamente la competencia general y la competencia
comunicativa (Consejo de Europa, 2002). 4 La escala cualitativa de la lengua tiene como criterios el alcance, la corrección, la fluidez, la interacción y la
coherencia (Consejo de Europa, 2002).
24
Evaluar la propuesta de especificaciones de las tareas y de la prueba en un contexto
real de evaluación del CLAM.
5. MARCO TEÓRICO Y CONCEPTUAL
En este apartado se hace un acercamiento a los enfoques teóricos y conceptos
fundamentales que sirven de base para dar respuesta teórica al interrogante de este proyecto
aplicado. En primer lugar, se presenta un marco teórico donde se expone qué es la lengua
oral y la competencia comunicativa a la luz del enfoque comunicativo. De igual manera, se
presenta el enfoque adoptado para la enseñanza y evaluación de la lengua oral, el enfoque
por tareas.
Por otra parte, en segundo lugar, se presenta un marco conceptual donde se exponen
las técnicas para evaluar la lengua oral y se define qué es un examen, un examen de
clasificación y las posibles características de una prueba oral. Asimismo, se presentan el
MCER y el PCIC como documentos guía para la evaluación y se analizan los conceptos de
validez, fiabilidad y viabilidad. Finalmente, se exponen algunas dificultades que podrían
presentarse cuando se evalúa la expresión oral.
5.1 MARCO TEÓRICO
5.1.1 La lengua oral y la competencia comunicativa
Puesto que el presente PAP tiene como objetivo hacer una propuesta para el diseño de
una prueba oral para el examen de clasificación del CLAM, a continuación se define qué es
25
la lengua oral y qué competencias, destrezas y conocimientos constituyen esta habilidad.
Estos conceptos tienen una gran relevancia para comenzar a definir el constructo5, es decir,
la concepción de lengua de este proyecto y lo que se va a evaluar.
Para empezar, Fulcher (2003) define hablar como “el uso verbal del lenguaje para
comunicar con otros” (p.23) y como “una habilidad que se da por sentada y aprendida
durante el proceso de socialización a través de la comunicación” (p.22). Por esta razón,
podría decirse que el aprendizaje de la expresión oral es tan natural que pasa desapercibido
(Fulcher, 2003), pues es un instinto que se desarrolla en el niño de forma inconsciente
(Baralo, 1999). Sin embargo, cuando se aprende una lengua extranjera, se gira entorno a
una reflexión de cómo se aprende y qué factores psicológicos y sociales impulsan o afectan
su aprendizaje (Fulcher, 2003).
Alderson y Bachman (citado en Luoma, 2004) afirman que hablar en una lengua
extranjera significa ser capaz de reflejar una imagen, una personalidad, un conocimiento del
mundo y una capacidad de razonar y expresar los pensamientos. También es tener acceso al
vocabulario y a los sonidos de la lengua para ser capaz de poner palabras juntas de forma
comprensible. Dicho de otro modo, es “poder comunicar a un interlocutor concreto, en un
momento determinado, aquello que se piensa, se necesita, etc., de la forma más adecuada
posible a las expectativas del interlocutor y de la situación comunicativa” (Instituto
Cervantes, como se citó en Pinilla, 2004, p. 879).
Por consiguiente, si se concibe la lengua como una herramienta para la
comunicación, entonces la expresión oral va estar unida a las otras tres destrezas que son la
5 Brown (2005) define el constructo como un atributo, una habilidad o una aptitud definida por teorías
psicológicas. Es decir, según Ebel y Frisbie (citado en Alderson et al.,1995) se habla de constructo cuando se
refiere a un proceso cognitivo inobservable de manera directa, entonces la validez del constructo consististe
en demostrar que en realidad, en una prueba, se mide el constructo psicológico que los diseñadores intentan
medir. En este caso se habla de la visión de lengua que se tiene en la presente propuesta.
26
comprensión oral y escrita, y la producción escrita. Éstas se desarrollan en un acto
comunicativo donde se procesa, se transmite, se intercambia y se negocia información
(Pinilla, 2004) y donde subyacen otras dos destrezas no menos importantes que son la
interacción y la mediación.
De forma general, la interacción se refiere al intercambio oral o escrito de al menos
dos individuos en el que la comprensión y la expresión se alternan en la comunicación
(Consejo de Europa, 2002). En lo que concierne a la expresión oral, la interacción hace
referencia a aquellas situaciones comunicativas en las que el hablante produce solo un
discurso para otros oyentes y en otras situaciones en las que actúa como hablante y oyente
(Pinilla, 2004). En cuanto a la mediación, el usuario de la lengua “actúa como canal de
comunicación entre los interlocutores que no pueden comunicarse directamente” (Pinilla,
2004, p. 880).
Como puede notarse, la actividad oral se realiza mediante procesos de comprensión y
de interacción. Además, en dicha actividad, “se da una conjunción de elementos
lingüísticos, paralingüísticos y extralingüísticos que facilitan y agilizan la transmisión de
mensajes” (Peris, como se citó en Pinilla, 2004, p. 883). De esta forma, los elementos
lingüísticos hacen referencia a la competencia lingüística -destrezas léxicas, fonológicas,
sintácticas etc.-, los elementos paralingüísticos se refieren a la comunicación no verbal
como gestos, risas, tono de voz, ritmo, claridad, etc., (Baralo, 1999) y los elementos
extralingüísticos tienen que ver con la situación comunicativa y las relaciones que se
establecen entre los hablantes (Pinilla, 2004).
Además, no puede olvidarse que esta actividad dependerá del momento y del lugar en
que se produce, pues la inmediatez en el tiempo y en el espacio aporta una variedad de
27
información a los hablantes donde tienen lugar algunas particularidades de la lengua oral
(Baralo, 1999). Por ejemplo, por un lado, las oraciones pueden ser incompletas, con pocos
conectores lógicos (Baralo, 1999) y una gramática más sencilla, que se organiza en
unidades de ideas cortas con conjunciones simples, pausas y vacilaciones (Luoma, 2004).
Por otro lado, la pronunciación puede centrarse más en la comprensión que en la precisión
(Luoma, 2004) y también pueden evidenciarse falsos arranques, reformulaciones, uso de
muletillas (Baralo, 1999) y un vocabulario que se compone de expresiones y palabras
simples y vagas6 que reemplazan palabras olvidadas o desconocidas con el fin de continuar
la comunicación (Luoma, 2004).
Esta concepción de la actividad oral, del lenguaje, se revela desde la aparición del
concepto de competencia comunicativa que impulsaría un cambio en la enseñanza del
lenguaje desde los años 70 (Estaire y Zanón,1990) y 80 con el auge del enfoque
comunicativo (González-Such et al., 2013). En palabras de Hymes, la competencia
comunicativa es la capacidad de formar enunciados que sean socialmente apropiados y
gramaticalmente correctos (Instituto Cervantes, 1997-2014). Hymes afirma que conocer
una lengua es más que conocer sus reglas gramaticales, pues también hay reglas culturales
específicas del uso de la lengua que se relacionan con características del contexto
comunicativo (citado en McNamara, 2000). El concepto de competencia comunicativa,
siguiendo esta línea, se define por Canale y Swain en cuatro dimensiones: competencia
lingüística, sociolingüística, discursiva y estratégica7 (Estaire y Zanón, 1990).
6 Luoma (2004) define las expresiones y palabras simples y vagas como aquellas palabras que permiten ganar
tiempo en un acto comunicativo. Por ejemplo, la palabra thing (cosa) y expresiones como ah, mmm, déjame
pensar, etc. 7 Después de la definición de competencia comunicativa de Canale y Swain, la competencia estratégica se
consideraría como un fenómeno del uso de la lengua (McNamara,2000).
28
Para efectos de este trabajo se tiene en cuenta la definición de competencia
comunicativa definida por el MCER que la clasifica como el componente de tres
subcompetencias: la competencia lingüística, la competencia sociolingüística y la
competencia pragmática (Tardo, 2005). El MCER en su capítulo 2 las define:
La competencia lingüística incluye los conocimientos y las destrezas léxicas,
fonológicas y sintácticas, y otras dimensiones de la lengua como sistema,
independientemente del valor sociolingüístico de sus variantes y de las funciones
pragmáticas de sus realizaciones (Consejo de Europa, 2002, p.13).
La competencia pragmática tiene que ver con el uso funcional de los recursos
lingüísticos sobre la base de guiones o escenarios de intercambios comunicativos.
También tiene que ver con el dominio del discurso, la cohesión y la coherencia, la
identificación de tipos y formas de texto, la ironía y la parodia. (Consejo de Europa,
2002, p.14)
La competencia sociolingüística se refiere a las condiciones socioculturales del uso
de la lengua. Mediante su sensibilidad a las convenciones sociales (las normas de
cortesía, las normas que ordenan las relaciones entre generaciones, sexos, clases y
grupos sociales, la codificación lingüística de determinados rituales fundamentales
para el funcionamiento de una comunidad) (Consejo de Europa, 2002, p.13).
29
Esta visión de la competencia comunicativa implica un conjunto de conocimientos
formales e instrumentales de la lengua extranjera, así como contenidos y procesos para la
comunicación que difícilmente se pueden reducir a una sola unidad (Estaire y Zanón,1990).
En cuanto a la enseñanza de una lengua extranjera, el desarrollo de la competencia
comunicativa “parece más susceptible de ser organizado en términos de actividades o tareas
comunicativas que integren en unidades “reales” los diferentes procesos que permiten
utilizar los contenidos lingüísticos con un objetivo de comunicación” (Estaire y
Zanón,1990, p. 59). Este principio se desarrollará en el siguiente apartado y se presentará
cómo las tareas no solamente pueden utilizarse para la enseñanza de la lengua, sino también
para la evaluación en general y la evaluación de la lengua oral en particular.
5.1.2 La evaluación de la lengua oral mediante el enfoque por tareas
La aparición del movimiento comunicativo en la enseñanza de la lengua, como se
evidenció en el anterior apartado, hizo que se empezara a hablar más de la competencia
comunicativa, un enfoque comunicativo, que del uso correcto de la lengua, un enfoque
estructuralista (Font, 1998). De esta forma, la enseñanza y aprendizaje de una lengua
extranjera, bajo un enfoque comunicativo, según Richards y Rogers (citados en Font,
1998), se basa en tres principios: la comunicación, actividades que implican la
comunicación real; la realización de tareas, uso de la lengua en tareas significativas; y en el
significado, la lengua que es significativa cuando apoya en el proceso de aprendizaje.
Dentro de este enfoque comunicativo, Stern (citado en Estaire, 2010) hace una
división en dos grandes grupos: enfoques comunicativos de tipo lingüísticos y de tipo
psicolingüísticos. Los enfoques de tipo lingüístico diseñan actividades comunicativas a
partir de los contenidos lingüísticos que se presentan y se practican siguiendo la secuencia
30
de presentación, práctica y producción (PPP). Por otro lado, los enfoques de tipo
psicolingüístico (proceso cognitivos de la adquisición) diseñan un repertorio de tareas
comunicativas que se ajustan y favorecen los procesos implicados en la adquisición de una
lengua, pero surge una pregunta: ¿Qué se entiende por tareas?
Para Long (como se citó en Estaire, 2010) las tareas se definen como “todo aquello
que solemos hacer en nuestra vida diaria, en el trabajo, en el tiempo libre, o en cualquier
otro momento” (p.4). Es decir, cualquier actividad donde utilicemos la lengua. Por ejemplo,
ir al cine, ir a un restaurante, comprar algo, escuchar y debatir un programa de televisión
etc. Asimismo, el MCER, muy cercano a la definición de Long, afirma que una tarea es
“cualquier acción intencionada que un individuo considera necesaria para conseguir un
resultado concreto en cuanto a la resolución de un problema, el cumplimiento de una
obligación o la consecución de un objetivo” (Consejo de Europa, 2002, p.10).
El enfoque comunicativo de tipo psicolingüístico, como afirman Estaire y Zanón
(1990), aboga por el desarrollo de la competencia comunicativa a partir de unidades, tareas
comunicativas, que integren no solamente el conocimiento formal del lenguaje (los
contenidos para la comunicación), sino también el conocimiento instrumental (capacidad de
usar el lenguaje) para alcanzar un objetivo comunicativo. De igual forma, Estaire y Zanón
(1990) afirman que ese conocimiento instrumental del lenguaje, se elabora a partir de
mecanismos8 que se utilizan en situaciones de interacción social donde se utiliza la
negociación del significado. Por esta razón, Ellis (citado en Soler, 2008) afirma que una
tarea comunicativa debería implicar el uso del lenguaje donde se emplean los mismos
8 Estaire y Zanón (1990) hablan de un conjunto de mecanismos que llevan, en una situación comunicativa, a
pedir ayuda y clarificaciones, obtener información sobre la comprensión y efectividad del lenguaje utilizado,
y la simplificación, modificación y elaboración de mensajes.
31
procesos comunicativos que en las actividades del mundo real para la transmisión de un
mensaje.
En lo que concierne al aspecto formal del lenguaje, Estaire y Zanón (1990)
proponen que los contenidos para la comunicación deben tener: una significatividad lógica,
los contenidos lingüísticos deben estar agrupados por bloques según el nivel; una
vinculación a un tema y a unas tareas para darles significado; una significatividad
psicológica, los temas de comunicación relacionados a la realidad experiencial del
estudiante y una presentación del input que permita hacer representaciones mentales y
facilitar las oportunidades de negociación de la comprensión y producción de mensajes. La
enseñanza mediante tareas, en suma, se apoya en tareas de comunicación que centran su
atención en el significado, el mensaje y la intención comunicativa para desarrollar el
conocimiento implícito y la construcción de la competencia comunicativa (Estaire, 2010)9.
Hasta este punto se han presentado los principios que subyacen al enfoque por
tareas para el ejercicio de enseñanza-aprendizaje de una lengua extranjera. Ahora surge
una reflexión si algunos de los principios anteriormente mencionados pueden ser aplicados
en la evaluación, y en este punto Soler (2008) afirma que:
Con la aparición del movimiento comunicativo en la enseñanza de idiomas, la
evaluación de la actuación encontró argumentos de base en la teoría de la
competencia comunicativa, y al igual que para algunos la enseñanza de idiomas
mediante tareas se puede ver como la continuación lógica de la enseñanza
9 Es importante mencionar que Estaire (2010) también habla de tareas de apoyo lingüístico que se enfocan en
la forma y corrección de los aspectos concretos de la lengua pero sin descuidar la contextualización y la
comunicación. Sin embargo, el presente PAP no se centrará en tareas de apoyo lingüístico para evaluar la
actuación de un candidato.
32
comunicativa de idiomas, la evaluación mediante tareas se puede ver como la
evolución natural de la evaluación de la actuación. (p.112-113)
Por otra parte, McNamara (citado en Soler, 2008) afirma que hay un interés en el uso de
tareas, primero, para provocar la actuación de un candidato en concordancia con las
investigaciones en la adquisición de segundas lenguas, y segundo, para realizar una
evaluación con necesidades específicas, es decir, una evaluación, como afirma Ellis (citado
en Soler, 2008, p. 113) “que utiliza tareas holísticas que implican conductas reales (o lo
más cercano a éstas), que ponen en marcha el tipo de procesamiento lingüístico que se daría
en actividades del mundo real”.
Por otro lado, Soler también afirma que la distinción que hace McNamara (citado en
Soler, 2008) sobre los tipos de evaluación de la actuación lingüística de un candidato, son
aplicables al enfoque por tareas para la evaluación. McNamara (citado en Soler, 2008; en
Luoma 2004) presenta dos enfoques para la evaluación lingüística: un enfoque suave y un
enfoque duro. El enfoque suave consiste en tareas que no necesariamente están
relacionadas con el mundo real donde la actuación se juzga en función de la habilidad
lingüística. En el enfoque duro las tareas están relacionadas con el mundo real y su
actuación se juzga con criterios del mundo real, es decir, como afirman Long y Norris
(citados en Soler, 2008), las tareas del mundo real no solo provocan el uso de la lengua,
sino que se evalúa la realización de la tarea misma.
Hasta este punto puede verse que el término tareas no solamente se usa para el
llamado aprendizaje mediante tareas y el diseño de sus programas, sino también como un
instrumento para provocar la actuación de un candidato para su evaluación (Soler, 2008).
En lo que concierne a la evaluación de la lengua oral, Luoma (2004) defiende este enfoque
y define las tareas de la expresión oral como “actividades que involucran a los hablantes en
33
el uso de la lengua con el fin de alcanzar un objetivo particular en una situación particular
de habla” (p.30). De igual manera, divide las tareas en dos tipos según el propósito de la
evaluación: las tareas abiertas y las tareas estructuradas (Luoma, 2004). Las tareas
abiertas tienen como propósito conseguir que el candidato haga algo con la lengua como
indicador que posee ciertas habilidades. Las tareas estructuradas, por su parte, especifican
lo que el candidato debe decir para evaluar aspectos precisos de la lengua.
En el siguiente apartado se desarrollan estos tipos de tareas que pueden utilizarse
para provocar la actuación de un candidato. Asimismo, se especifica, a partir de la
literatura, cuáles son las posibles formas de evaluar la lengua oral, la cantidad de tareas que
deberían tenerse en cuenta, y la cantidad de tiempo que se aconseja. Igualmente, se
presentan los tiempos establecidos en la prueba oral de algunos exámenes internacionales
como referente a considerar para determinar el tiempo de la prueba del presente PAP.
5.2 MARCO CONCEPTUAL
5.2.1 Características y tipos de tareas de la evaluación oral
Como se mencionó en el apartado anterior, Luoma (2004) divide las tareas en
abiertas y estructuradas. Las tareas abiertas tienen como propósito conseguir que el
candidato haga algo con la lengua como indicador que posee ciertas habilidades. Estas
tareas entre más largas sean, dan más libertad para realizarlas y las instrucciones deben
proveer algún contenido para guiar a los candidatos (Luoma, 2004). Las tareas pueden ser
34
de descripción, narración, instrucción, comparación, explicación, justificación, predicción,
decisión, juego de rol y la reacción a una situación10
.
Las tareas de descripción consisten en que un candidato describa algo que conoce
como respuesta a una indicación (Luoma, 2004). El candidato también puede describir una
imagen o una figura para el evaluador o para otro estudiante. Esta técnica también se usa
para dos candidatos donde uno debe describir lo que ve, mientras el otro reconstruye la
descripción que el otro candidato le dice (Luoma 2004). Esta tarea puede complementarse
con algunas preguntas descriptivas (Pastor, 2007).
Las tareas de narración tienen como objetivo hacer que el candidato cuente una
serie de eventos en presente o en pasado (Luoma, 2004). El candidato puede encontrar una
serie de imágenes donde puede pedírsele, primero, que describa lo que ve, y luego que
narre una historia o una secuencia de acciones (Pastor, 2007). Esta técnica puede ser un
monólogo del candidato o una interacción con el evaluador u otro candidato (Luoma, 2004)
donde se promueve una conversación sobre un tema de interés (Pastor, 2007).
En lo que concierne a las tareas de instrucción, éstas permiten al candidato describir
procedimientos cotidianos. Por ejemplo, decir cómo preparar un café o un plato típico. De
igual forma, esta técnica le permite cierta libertad de uso de la lengua sin mucho tiempo de
preparación y en relación con la vida cotidiana (Pastor, 2007). El objetivo es que el mensaje
trasmitido sea entendido por el oyente (Luoma, 2004).
Las tareas de comparación, como su nombre lo indica, llevan al candidato a
comparar y contrastar similitudes y diferencias de conceptos o de situaciones problemáticas
que se encuentran en imágenes (Luoma, 2004).
10
Esta es una clasificación del discurso que hace Bygate (citado en Luoma, 2004) en donde Luoma (2004)
enmarca las tareas abiertas según el tipo de discurso.
35
Por otro lado, las tareas de explicación y predicción se apoyan en un estímulo
auditivo o escrito para que el candidato explique, presente, resuma o reconstruya con sus
propias palabras lo que ha escuchado o leído (Luoma, 2004; Pastor, 2007). Aquí también
puede derivarse una tarea de exposición donde el candidato prepara un tema a partir de un
tiempo establecido para luego hacer una presentación. El candidato no solo hace la
presentación, sino responde a las preguntas sobre el tema que hace el evaluador (Pastor,
2007).
Las tareas de decisión llevan al candidato a argumentar en pro o en contra sobre una
solución a un problema. El candidato expresa su opinión y justifica su punto de vista antes
de negociar y dar una conclusión (Luoma, 2004). El candidato mantiene y dirige una
discusión expresando y justificando sus opiniones (Pastor, 2007).
Finalmente, el juego de rol lleva al candidato a asumir y actuar en un rol específico
a partir de unas indicaciones establecidas por el evaluador (Luoma, 2004; Pastor, 2007), y
la reacción a una situación lleva al candidato a simular y reaccionar a una situación
adaptando su discurso y usando estrategias para trasmitir el mensaje acorde a la situación
asignada (Luoma, 2004).
Por otro lado, con respecto a las tareas estructuradas, éstas especifican lo que el
candidato debe decir para evaluar aspectos precisos de la lengua. Entre estas tareas se
encuentran las preguntas-respuestas, leer en voz alta, repetir una frase, completar una
frase y reaccionar a una situación.
Las tareas de preguntas y respuestas consisten en una serie de preguntas, en algunos
casos sin conexión entre ellas, que están graduadas de menor a mayor dificultad (Pastor,
2007). Estas preguntas suelen hacerse al principio de una entrevista estructurada en una
discusión de calentamiento donde se hacen preguntas fáciles para comenzar a conocer al
36
candidato (Luoma, 2004). De igual manera, Martínez (2008b; 2011) recomienda para los
niveles iniciales hacer una fase de calentamiento con preguntas básicas y cerradas que
ayuden a los candidatos tímidos o con menos nivel a darse confianza y reducir la ansiedad.
En lo que concierne a las tareas de leer en voz alta y repetir una frase, tienen como
objetivo evaluar diferentes aspectos de la pronunciación y de la comprensión como el
ritmo, el estrés, la entonación y la precisión de algunos sonidos (Luoma, 2004). Finalmente,
una tarea de reaccionar a una situación, lleva al candidato a dar respuestas a preguntas en
secuencias de temas como los saludos, situaciones cotidianas o disculpas (Luoma, 2004).
Los tipos de tareas anteriormente mencionadas pueden realizarse entre: un candidato
y un entrevistador, que hace también el papel de evaluador; entre un candidato, un
entrevistador y un evaluador o entre dos estudiantes o más y un evaluador (Pastor, 2007).
Entre estas formas de realizar la evaluación, Luoma (2004) afirma que la más común es la
entrevista entre el candidato y el evaluador ya que es flexible, se adapta a la actuación del
candidato y el evaluador puede tener control sobre la interacción. Además ésta tiene que
estar estructurada para que todos los aspectos de la prueba se cumplan y todos los
candidatos sean evaluados igualmente (Alderson et. al, 1995).
Por otra parte, Bordon (2004) afirma que a pesar de que la entrevista no obedezca a
una comunicación natural donde el examinador controla la conversación en términos
lexicales, funcionales y gramaticales para satisfacer un examen, ésta lleva al candidato a un
contexto donde el candidato hace uso de la lengua y el lenguaje.
En una entrevista o en otra forma de evaluar, puede evidenciarse que aislar la
comprensión auditiva en un intercambio entre un examinador y un candidato resulta
bastante difícil. Por consiguiente, algunos autores proponen que las instrucciones se den de
manera oral (Bordon, 2004). Esta misma autora afirma que si las instrucciones son orales
37
éstas deben ser cortas y de reacción inmediata para que el candidato pueda recordarlas. De
lo contrario, es recomendable que éstas estén escritas en una ficha de simulación o como
parte de una tarea para facilitar la comprensión de lo que el candidato debe hacer.
En lo que concierne a las instrucciones para el evaluador o entrevistador, éstas
deben estar por escrito, ser claras y explicar lo que se debe hacer y cuándo hacerlo
(Alderson et al, 1995).
Hasta este punto se ha hecho una descripción de los tipos de tareas que pueden
utilizarse para provocar la actuación oral de un candidato. Sin embargo, todavía no se ha
mencionado cuántas tareas deberían utilizarse y el tiempo recomendado para una
evaluación de la lengua oral.
En lo que concierne a la cantidad de tareas que deberían utilizarse, Luoma (2004) y
Martínez (2011) afirman que a pesar de que una prueba puede tener diferentes tareas, lo
más común es empezar con un calentamiento y luego, en la interacción principal, utilizar
otro tipo de tareas. Por su parte, Bordon (2004) afirma que es recomendable utilizar dos o
tres tareas, pero sin abusar de la variedad y empezando por la tarea más sencilla y hasta la
tarea más compleja y larga (aprox. 5 minutos). Finalmente, Alderson et al (1995) afirman
que no existe una única y mejor forma para evaluar una habilidad. Por consiguiente,
recomienda que se utilice más de una forma para que pueda estar dirigida a diferentes tipos
de candidatos.
Con respecto al tiempo Bordon (2004) afirma que éste debe ser suficiente para
obtener una muestra valiosa de la actuación del candidato y recomienda mínimo 10 minutos
y máximo 30 minutos. Por su parte, Luoma (2004) afirma que el tiempo lo decidirá la
viabilidad de la prueba, es decir, los recursos disponibles que se tienen para la evaluación.
38
Por otra parte, las pruebas orales de los exámenes de proficiencia internacionales,
pueden servir también de referente para considerar cuánto tiempo podría durar una prueba
oral. Por ejemplo, en español, en los exámenes DELE A1, A2, B1 y CELU éstas tienen una
duración de 15 minutos, y en inglés, en el examen IELTS de 11 a 14 minutos.
En los apartados anteriores se describió la lengua oral, el enfoque que se adopta y
algunos tipos de tareas para su evaluación. Asimismo, se presentaron algunas formas de
evaluar la lengua oral y algunas características a considerar al momento de evaluar como
las instrucciones y el tiempo. No obstante, hasta este punto no se ha profundizado en el tipo
específico de evaluación que convoca el presente trabajo investigativo: el examen de
clasificación y uno de sus componentes, la prueba oral.
5.2.2 Examen de clasificación o prueba de nivel
Antes de profundizar en las características de un examen de clasificación, en este
apartado se define de forma general, primero, qué es un examen. Segundo, qué tipos de
exámenes se utilizan como examen de clasificación. Tercero, qué es un examen de
clasificación o prueba de nivel y cuáles son sus componentes. Y cuarto, qué características
puede tener una prueba oral de nivel que se enmarque dentro de un examen de
clasificación.
Para comenzar, de manera general, un examen es un método que incluye técnicas,
procedimientos e ítems para medir la habilidad, el conocimiento o la actuación de un
persona (Brown, 2005). En la literatura puede encontrase diferentes tipos de exámenes
según sus propósitos. Entre ellos están, los exámenes de proficiencia o de idoneidad, de
diagnóstico, de desempeño, de aptitud y de clasificación (Universidad de los Andes, 2009).
39
Asimismo, estos pueden clasificarse: según su forma de calificar, evaluación objetiva o
subjetiva; según cómo se evalúan los contenidos, evaluación directa, indirecta, discreta e
integrada; y según cómo se dan los resultados, evaluación formativa, sumativa, de
aprovechamiento o de dominio (Consejo de Europa, 2002; Universidad de los Andes,
2009).
En vista de que algunos exámenes de proficiencia o de diagnóstico pueden jugar el
rol del examen de clasificación (Brown, 2005), como puede evidenciarse en el proyecto de
investigación de Ferreira et al. (2013) (véase apartado 3.1), es importante definirlos antes
de hablar de examen de clasificación. Un examen de proficiencia tiene como objetivo
“medir los conocimientos que se poseen de una segunda lengua, de modo general, al
margen de la realización de ningún programa concreto de enseñanza” (Pastor, 2003, p.
509). Un ejemplo muy claro, son los exámenes internacionales como el DELE o CELU en
español y el IELTS11
en inglés.
Por otro lado, un examen de diagnóstico se usa para describir las fortalezas o
debilidades de un aspecto particular de la lengua y sus resultados pueden ayudar a tomar
decisiones sobre qué se debe reforzar o enseñar (Brown, 2005).
A pesar de que los exámenes de diagnóstico y proficiencia arrojan resultados que
pueden ser útiles para la clasificación de un estudiante en un determinado programa, Brown
11 El Diploma de Español como Lengua Extranjera (DELE) del Instituto Cervantes, es un examen
internacional que certifica el grado de competencia y domino en ELE. Para más información consultar:
http://diplomas.cervantes.es.
El Certificado de Español, Lengua y Uso (CELU) es una certificación de español de validez internacional que
certifica el domino y la capacidad de usar el ELE. Para más información consultar: http://www.celu.edu.ar.
El International English Language Testing System (IELTS) es un examen internacional gestionado por la
universidad de Cambridge, el British Council y IDP Education Asutralia. El examen evalúa el dominio
lingüístico y capacidad de usar el inglés como lengua extranjera. Para más información consultar:
http://www.ielts.org.
40
(2005) afirma que un examen de clasificación “debe estar específicamente relacionado con
un determinado programa y debe limitar el rango de habilidades a evaluar” (p.10). Por su
parte, Alderson et al. (1995) dicen que un test de clasificación debe estar basado en el
programa y en los contenidos propuestos y enseñados por la institución que lo realice. De
igual manera, Bordon (2009) afirma que los objetivos del curso determinarán el nivel de
competencia comunicativa del examen de clasificación.
A lo largo de la búsqueda de qué es un examen de clasificación, se encuentra que
éste también puede llamarse prueba de nivel. Un examen de clasificación o prueba de nivel
tiene como propósito clasificar al estudiante dentro del nivel apropiado en un currículo de
lengua (Brown, 2005). Dicho de otro modo, es un examen que evalúa el nivel lingüístico de
una persona con el objetivo de clasificarlo en un curso o clase apropiada (Alderson et al.,
1995). En otras palabras, es “una manera de organizar a los estudiantes para incluirlos en
las clases en las que vayan a recibir la materia y actuación docente más adecuada a sus
necesidades y donde mejor vayan a poder aprovechar lo que el centro tiene” (Martínez,
2011, p. 58). Es importante también mencionar que “de su eficacia depende en muchas
ocasiones la cohesión y el buen funcionamiento futuro del grupo, para evitar desequilibrios
en el conocimiento y uso de la lengua entre los aprendices” (Pastor, 2003, p. 510).
Por otra parte, Martínez (2011) sugiere que un examen de clasificación debería
medir las habilidades que se trabajan en el aula en el marco de un determinado programa.
De esta manera, es la institución quien decide, según su organización escolar, qué niveles y
destrezas necesita evaluar. De igual forma, Martínez (2011) afirma que los materiales que
se utilizan para la elaboración del examen pueden provenir de los mismos contenidos que
41
se van a trabajar en el aula y que normalmente la prueba oral se hace entre un profesor y un
estudiante sin un protocolo exhaustivo.
En lo que concierne a los exámenes de clasificación de ELE en el contexto
colombiano, la Universidad de los Andes (Universidad de los Andes, 2009) realizó una
investigación (véase apartado 3.1) donde se evidencia que los exámenes de clasificación en
la mayoría de las instituciones, entre universidades e institutos, evalúan las cuatro
habilidades (escuchar, escribir, leer y hablar), y en algunos casos el vocabulario y la
gramática. Se evidencia también que los exámenes de clasificación son realizados,
diseñados y corregidos por los mismos profesores de la institución y generalmente se
encuentran preguntas de selección múltiple y preguntas abiertas como principales tipos de
evaluación. Finalmente, en lo que concierne a la prueba oral, la investigación evidencia que
en la mayoría de los casos se realiza una entrevista semi-estructurada, o en algunos casos
no estructurada, cuya valoración y resultado depende de los criterios del evaluador
(Universidad de los Andes, 2009).
5.2.2.1 Características de la prueba oral
Después de definir qué es un examen de clasificación y evidenciar sus partes y tipos
de evaluación en el contexto colombiano, a continuación se entra en detalle en algunas
características que una prueba oral puede tener según su forma de calificar, según la
evaluación de sus contenidos y según cómo se den los resultados (Consejo de Europa,
2002; Universidad de los Andes, 2009).
Según la forma de calificar, puede decirse que la prueba oral es una evaluación
subjetiva ya que el evaluador realiza un juicio de valor (Consejo de Europa, 2002). Esta
42
subjetividad puede reducirse en escalas o bandas (criterios de evaluación) que describan
distintos niveles de actuación del candidato y que proporcionen una base objetiva para la
interpretación de la lengua oral (Bordon, 2004).
En el diseño de criterios de evaluación, en primer lugar, se establece si estos son de
tipo general o holísticos, donde se especifican el todo de la habilidad lingüística, o
analíticos, donde se “asignan niveles a cada componente de la competencia” (Bordon,
2004, p. 997). Es decir, se plantean los criterios que puedan evaluarse desde la eficacia de
la comunicación, la precisión y corrección lingüística. En suma, la evaluación de la
competencia comunicativa (Mingarro, 2008).
En segundo lugar, los criterios de evaluación deben estar formulados de forma
positiva y precisa (Puig, 2008; Manzanares, 2013). Además deben especificar lo que el
candidato puede hacer con la lengua en la ejecución de una tarea (Bordon, 2004) y deben
tener una redacción independiente, sencilla y lógica en relación con un número de
categorías que describan distintos aspectos de la producción del candidato que se desean
evaluar (Puig, 2008). En este punto, es importante mencionar que en la redacción de los
criterios de evaluación analíticos se determina el número de categorías (criterios) que
pueden ser observables por el evaluador (Puig, 2008). No obstante, se debe tener en cuenta
que no cause un problema de uso conceptual y práctico (Martínez, 2008b), pues “la
experiencia demuestra que más de cuatro o cinco categorías comienzan a provocar una
sobrecarga cognitiva, y que siete categorías es sicológicamente un límite máximo”
(Consejo de Europa, 2002, p.193).
Una prueba también puede clasificarse según la evaluación de sus contenidos. La
prueba puede ser directa, es decir, una evaluación de lo que está haciendo el candidato en el
43
momento de la prueba y que un examinador observa y compara con una parrilla de criterios
de evaluación (Consejo de Europa, 2002), o indirecta, cuando el candidato se le pide que
haga algo con una habilidad cuando se está evaluando otra (Universidad de los Andes,
2009). Por ejemplo, se le pide que lea un texto y se le evalúa su pronunciación.
La evaluación de los contenidos también puede ser discreta, donde utiliza solo una
habilidad, o integrada donde el candidato utiliza varias habilidades y éstas se evalúan
simultáneamente (Universidad de los Andes, 2009). Por ejemplo, se le pide que lea un texto
y que haga un resumen oral.
Finalmente, según como se dan los resultados, la evaluación puede ser formativa,
sumativa, de aprovechamiento o de dominio. Es formativa cuando los resultados se dan a
partir de una retroalimentación de los puntos fuertes y débiles para incidir positivamente en
el aprendizaje (Consejo, de Europa, 2002). Es sumativa cuando los resultados se dan con
una calificación al finalizar un curso (Universidad de los Andes, 2009). Es de
aprovechamiento, cuando los resultados se dan a partir de lo que se ha enseñado según unos
objetivos específicos (Consejo de Europa, 2002). Finalmente, es de dominio, cuando los
resultados dan cuenta de lo que el candidato “sabe o es capaz de hacer en cuanto a la
aplicación en el mundo real de lo que ha aprendido “(Consejo de Europa, 2002, p. 183).
En vista de que existen fuentes como el MCER y PCIC que definen los diferentes
niveles de lengua y los componentes de la competencia comunicativa para cada una de las
habilidades (Bordon, 2004), y el CLAM se basa en sus contenidos para la creación de sus
programas, a continuación se presentan estos documentos y su utilidad para la evaluación.
44
5.2.3 El MCER y la evaluación
Desde la publicación del MCER para el aprendizaje, enseñanza y evaluación de
lenguas en 200112
, se ha convertido en el referente obligatorio no solamente para la
planificación de programas de aprendizaje y certificaciones sino también para establecer
una comparabilidad y un reconocimiento de las titulaciones expedidas en diferentes países
(Puig, 2008).
Antes de entrar a evaluar la función del MCER en evaluación, es importante
mencionar y hacer un breve resumen de los capítulos que han sido considerados en este
PAP: los capítulos 1, 2, 3, 4, 5, 7, y 9 (Consejo de Europa, 2002). En el primer capítulo se
define los fines, los objetivos y las funciones del marco. En el segundo capítulo, se explica
el enfoque adoptado y la descripción de la competencia general y comunicativa, así como
de las estrategias y habilidades que activan los aprendices cuando realizan actividades con
la lengua en diferentes situaciones y ámbitos de la vida. El tercer capítulo, introduce los
niveles comunes de referencia (A1 a C2) y las escalas comunes de referencia: escala global,
de autoevaluación y de aspectos cualitativos de la lengua. El quinto capítulo, clasifica
detalladamente la competencia general y la competencia comunicativa. El séptimo capítulo
presenta el rol de las tareas en la enseñanza de lenguas y el noveno capítulo expone los
propósitos de la evaluación, sus características y sus tipos.
Como se mencionó al principio de este apartado, el MCER se ha convertido en el
referente internacional para la enseñanza, aprendizaje y evaluación de lengua. Su
dimensión vertical se ha convertido en la escala de nivel más conocida para establecer
12 En este punto es importante mencionar que para efectos del presente trabajo se utiliza la versión española
del MCER publicada en 2002.
45
comparaciones entre certificados de lengua (Puig, 2008). De igual manera, su dimensión
horizontal describe las competencias generales, la competencia comunicativa (véase
apartado 5.1), así como las tareas y estrategias de las actividades comunicativas de la
lengua donde hay procesos implicados en la producción y recepción de textos orales y
escritos (Puig, 2008). Las escalas y el enfoque adoptado por el MCER no solo puede
facilitar la definición del concepto de lengua a evaluar y las descripción de las habilidades,
sino también la definición de objetivos de examen y el diseño de criterios de corrección
(Martínez, 2011).
En suma, el MCER puede ayudar a especificar: el contenido del examen; lo que se
evalúa, la interpretación de la actuación; la descripción de los niveles de dominio
lingüístico, y la comparación entre sistemas de certificados (Puig, 2008). En lo que
concierne a la evaluación de la lengua oral el MCER pone a disposición 14 escalas con sus
respectivas categorías cualitativas: Estrategias de turnos de palabra, Estrategias de
colaboración, Petición de aclaración, Fluidez, Flexibilidad, Coherencia, Desarrollo
temático, Precisión, Competencia sociolingüística, Alcance general, Riqueza de
vocabulario, Corrección gramatical, Control del vocabulario, y Control fonológico
(Consejo de Europa, 2002, p. 193-194). Como puede verse, el MCER ofrece una variedad
de “escalas que constituyen una fuente para el desarrollo de escalas de valoración (…), y
los descriptores pueden contribuir a la formulación de criterios” (Consejo de Europa, 2002,
p. 179). Los descriptores que se tendrán en cuenta en la presente propuesta, se presentan en
el marco metodológico (véase apartado 6.3.2).
En esta búsqueda sobre la utilidad del MCER para la evaluación, en la literatura no
solamente se encontraron los aportes anteriormente mencionados, sino también algunas
restricciones. Para comenzar, Figueras (2008) afirma que la utilización prioritaria que se le
46
ha dado a la dimensión vertical, ha hecho que la utilización horizontal tenga un uso
simplista y superficial en el diseño y especificaciones de exámenes. Asimismo, como
consecuencia de la adopción rápida del MCER, existe una reflexión en si un nivel
determinado es el mismo en todos los candidatos, es decir, “¿es mi B1 como tu B1?”
(Figueras, 2008, p. 29.). De igual manera, Alderson (citado en Martínez, 2011) también
afirma que existe una dificultad al definir los niveles C1 y C2 solamente a partir de
elementos lingüísticos y que además se deja de un lado los elementos no cognitivos y
educativos.
Por otro lado, Martínez (2008b) afirma que el MCER no cuenta con un protocolo para
la realización de entrevistas o contenidos para la evaluación. Además, Alderson (citado en
Martínez, 2011) afirma que el capítulo 7, aunque esté enfocado en los principios y usos de
tareas, no especifica cómo puede elaborarse taras para la evaluación en cada uno de los
niveles. Finalmente, tanto Martínez (2011) como Alderson (citado en Martínez 2011)
señalan la ambigüedad que existe en las escalas y sus respectivos descriptores cuando estas
se analizan detalladamente. En el siguiente apartado, se presenta el PCIC como otra fuente
para la definición de los niveles y componentes de la competencia comunicativa.
5.2.4 PCIC y la evaluación
En vista de que el CLAM utiliza como fuente el PCIC para la creación de sus
programas, la presente propuesta utiliza este marco de referencia para la creación de los
criterios y tareas de evaluación, pues ofrece un inventario de competencias generales y
comunicativas, al igual que el MCER, para cada uno de los niveles A1 a C2 (Navarro y
Navarro, 2008).
47
A pesar de que el PCIC no incluye especificaciones sobre criterios de evaluación y
su aplicación se centra en la descripción de los elementos que pueden ser utilizados en la
enseñanza y aprendizaje del español (Instituto Cervantes, 2006), este marco proporciona el
material lingüístico y no lingüístico que el alumno tiene que utilizar para realizar las
actividades comunicativas de la lengua (Instituto Cervantes, 2006).
De igual forma, el PCIC no solo ofrece doce inventarios que describen las
competencias generales y comunicativas, sino también está enmarcado, al igual que el
MCER, en el enfoque comunicativo (Navarro y Navarro, 2008).
Navarro y Navarro (2008) realizan un análisis comparativo entre el inventario del
MCER y el PCIC que es útil para la presente propuesta ya que puede contrastar y
corroborar los contenidos de cada uno de estos dos marcos de referencia. La competencia
lingüística del MCER hace referencia a los inventarios de Nociones específicas, Gramática,
Ortografía, Pronunciación, Prosodia y Tácticas y Estrategias pragmáticas del PCIC. En lo
que concierne a la competencia pragmática del MCER, ésta se refiere a los inventarios de
Tácticas y Estrategias pragmáticas, Nociones generales y Funciones de PCIC. Finalmente,
los inventarios del PCIC de Referencias culturales, Saberes y Comportamientos culturales,
y Habilidades y Actitudes interculturales hacen referencia a la competencia sociolingüística
del MCER.
Aunque el PCIC propone un vasto repertorio de material que puede servir para
propósitos e intereses en relación con la evaluación del español (Instituto Cervantes, 2006),
éste no especifica, como se mencionó anteriormente, cómo puede utilizarse en la
evaluación. No obstante, el hecho de que aporte la descripción de un material lingüístico
que el alumno requiere para desarrollar la competencia comunicativa, puede servir de
fuente para saber qué es lo que tiene que saber el alumno en cada uno de los niveles de
48
referencia y para establecer los contenidos de las tareas de evaluación. Los inventarios que
se consideran para el desarrollo de la presente propuesta, se especifican en el marco
metodológico (véase apartado 6.3.2).
Hasta este punto se ha definido qué es la lengua oral y cómo puede evaluarse. De
igual forma, se han presentado las características de un examen de clasificación y
específicamente de una prueba oral. Igualmente, se han presentado dos marcos
internacionales que sirven como referentes para la evaluación de la lengua oral, el MCER y
el PCIC. Ahora, en los siguientes apartados se presentan algunas de las cualidades (validez,
fiabilidad, viabilidad) que debería tener un test para poder valorar su utilidad.
5.2.5 La utilidad de un test
Bachman (1990) afirma que el hecho de diseñar o aplicar un test, no implica que
éste sea útil. Por esta razón, los autores proponen un modelo de seis cualidades para evaluar
no solamente el diseño y el uso de un test, sino también todos los aspectos de su diseño y
aplicación. Este modelo contempla las siguientes cualidades: la fiabilidad, la validez, la
autenticidad, la interactividad, el impacto y la viabilidad (Bachman y Palmer, 1990). Estas
cualidades proponen las bases teóricas para constatar qué tan útil es un test para un
determinado propósito (Bachman y Palmer, 1990). No obstante, para efectos del presente
trabajo, solo se presentan las cualidades de validez, fiabilidad y viabilidad.
5.2.5.1 La validez y la validación de un test
Junto con la fiabilidad, la validez es una de las cualidades que debe poseer un
instrumento de medición. Se puede decir que la validez determina “hasta qué punto una
prueba mide lo que supone que mide, y por tanto, siempre deberá estar relacionada con el
49
propósito de dicha prueba” (Mingarro, 2008, p.72). Dicho de otro modo, la validez de un
test se define “como el grado en el que un test mide lo que asegura o pretende que mide”
(Brown, 2005, p. 220). En lo concerniente a la expresión oral, Bordon (2004) dice que una
prueba será válida si proporciona “muestras de la lengua hablada que reflejen la capacidad
del aprendiz para producir lengua propia, correcta y adecuada a su nivel” (p. 992). Estas
definiciones llevan a plantearse las siguientes preguntas: ¿Cómo puede saberse que un test
mide lo que debería medir?, ¿Qué técnicas o procedimientos se deben llevar a cabo para
asegurar su validez?, ¿Cómo es el proceso de validación de una prueba?
Para responder a estas preguntas, se parte del hecho de que un test “es válido para
algunos propósitos, pero no para otros” Henning (como se citó en Alderson et al., 1995, p.
170). Por esta razón, una prueba no puede ser válida solo asegurando que lo es. Un test es
válido cuando responde a las preguntas: ¿Cómo se sabe que es válido? y ¿Para qué es
válido?. Es decir, la validez de la prueba debe establecerse y demostrarse (Alderson et al.,
1995). En vista de que el presente PAP tiene como propósito diseñar una prueba oral que
sea válida, se debe aclarar, antes de aplicar los procedimientos para su validación, las
diferentes formas que existen para establecer y averiguar la validez y los procedimientos
que deben emplearse.
Hay diferentes formas de evaluar la validez de un test, Alderson et al. (1995)
engloban la validez en tres grandes tipos: la validez interna, la validez externa, y la validez
del constructo. La validez interna se refiere al análisis del contenido mismo del test y su
efecto, y la validez externa, llamada también validez del criterio por Bachman (1990) y
Brown (2005), se refiere a cualquier otro tipo de información que demuestre una relación
entre los resultados de la prueba y algún otro criterio que se crea que es también un
50
indicador de la habilidad evaluada (Bachman, 1990). En lo que concierne a la validez del
constructo, ésta hace referencia a lo que se mide en la prueba y sirve para determinar si las
partes de la prueba miden lo que deben medir y no otras cosas (Martínez, 2008a).
Para efectos de la presente investigación, se probarán dos tipos de validez: la
validez interna y del constructo (véase el apartado 6.3.4). En lo que concierne a la validez
externa, ésta escapa del alcance de la presente propuesta. Por consiguiente, en los siguientes
apartados se presentan las características y procedimientos para probar la validez interna y
del constructo.
5.2.5.2 La validez interna
Para averiguar la validez interna de un test existen diferentes formas, Alderson et al.
(1995) presentan las más comunes: la validez de contenido, la validez de respuesta y la
validez aparente. Sin embargo, ésta última escapa del alcance del presente PAP.
La validez de contenido alude al grado en que los ítems, las tareas o las preguntas
representan el contenido definido en el test (ALTE, 2001). Dicho de otro modo, “si el
contenido y los temas utilizados en un test son representativos de lo que se pretende medir
y si miden lo que se desearía” (Martínez, 2008a, p.80). No obstante, la validez del
contenido no permite inferir la habilidad y la actuación del candidato (Bachman, 1990),
pues los ítems y las tareas no pueden demostrar lo que puede o no hacer un candidato. Por
esta razón, es importante mencionar que la validez de contenido está estrechamente
relacionada con la validez de los criterios, es decir, si el contenido del test corresponde con
los criterios establecidos en las escalas del test.
La validez de contenido implica la opinión de expertos quienes analizan
sistemáticamente los contenidos y los comparan con el contenido que debería ser (Alderson
51
et al., 1995). Es decir, se hace un análisis de los ítems, las tareas, los temas, los materiales
utilizados, la complejidad de la lengua utilizada, etc. (el contenido) y se compara con los
programas y la noción de lengua en el enfoque adoptado. Para comprobar esta validez,
puede utilizarse un instrumento que recoja información de la opinión de los expertos. Este
puede ser una escala que los expertos puntúan de acuerdo a unos criterios establecidos
(Alderson et al., 1995) o un formulario de preguntas que responden los expertos (Martínez,
2008a).
Finalmente, según Alderson et al. (1995) la validez de respuesta se refiere al
proceso de recolección de información acerca de cómo los candidatos respondieron a los
ítems del test, qué habilidades y conocimientos pusieron en práctica al momento de
responder y qué comportamientos presentaron durante la prueba. Esta información puede
recolectarse a partir de una entrevista con el candidato para indagar por qué produjo las
respuestas que dio a lo largo del test o a través de cuestionarios, protocolos verbales,
observaciones y descripciones (Bachman y Palmer, 2010).
5.2.5.3 La validez del constructo
Generalmente la validez del constructo en la bibliografía se define después de
definir la validez interna y externa por dos razones principales. Por un lado, algunos autores
como Alderson et al. (1995) sostienen que la validez de constructo se encuentra dentro de la
jerarquía en un nivel superior por lo que tanto la validez externa como interna contribuyen
al desarrollo de ésta (Alderson et al, 1995). Por otro lado, este tipo de validez es relegada al
final pues es la más difícil de definir dada la complejidad del término constructo y sus
implicaciones.
52
Al respecto se dirá entonces que el constructo puede ser definido como un atributo,
una habilidad o una aptitud definida por teorías psicológicas. Es decir, se habla de
constructo cuando se refiere a un proceso cognitivo inobservable de manera directa
(Brown, 2005). Por esta razón la dificultad de los exámenes reside, entre otras cosas, en
poder demostrar que lo que se midió es efectivamente el constructo en cuestión. Así,
existen diferentes formas de validar el constructo que a continuación se presentarán.
A pesar de que la validez del constructo puede validarse a partir de una comparación
de datos personales de los alumnos con la actuación de éstos en la prueba o a través de
algunos procedimientos como una correlación interna, un análisis multirrasgo o una
validación convergente y divergente (Alderson et al., 1995), estos procesos escapan al
alcance del presente trabajo de investigación. Por esta razón, en la presente propuesta se
recurre a una comparación de la prueba con la teoría, esto consiste en comprobar si la
prueba es en gran medida una buena muestra de la teoría que la subyace (Alderson et al.,
1995, p.183). Este proceso se puede asemejar a la validez del contenido expuesta en el
apartado anterior (véase apartado 5.5.2).
5.2.5.4 La fiabilidad
Después de haber tratado los conceptos básicos sobre la validación de un test, en
este apartado, se trata la fiabilidad como un aspecto esencial y complementario de la
validez de un test, ya que “un test no puede ser válido si no es fiable. Si un test no mide
algo constantemente, se deduce que no puede medir con precisión” (Alderson et al., 1995,
p. 187).
53
En términos sencillos, la fiabilidad es la medida en que los resultados de un
instrumento de medición son consistentes en la repetición. Es decir, si un candidato
presentara la misma prueba varías veces, los resultados deberían ser los mismos (Mingarro,
2008). La fiabilidad tiene como objetivo “minimizar los efectos de error de medición”
(Bachman, 1990, p. 161). Es decir, un test es fiable cuando logra disminuir el efecto de
varios factores, como la falta de motivación o interés, la fatiga y otras variables externas
que puedan afectar los resultados (Bachman, 1990).
La fiabilidad, al igual que la validez, puede estimarse a partir de diferentes
procedimientos como el test-retest, la fiabilidad paralela y el método de las dos mitades
(Alderson et al, 1995), pero estos escapan del alcance del presente PAP. Para efectos del
diseño de la prueba oral de esta investigación, se recurre a analizar diferentes factores que
pueden afectar la fiabilidad de un test a partir de un cuestionario que analiza la forma en la
que se aplicará la prueba (véase apartado 6.3.4). Este análisis puede llevar a una reflexión
de cómo se puede aumentar la fiabilidad de la medición, para lograr mejores condiciones
para la validez, pues, como se mencionó anteriormente, “para que los resultados de un test
sean válidos, estos deben ser fiables” (Bachman, 1990, p. 160).
5.2.5.5 La viabilidad
Lo discutido hasta el momento ha podido ilustrar algunas de las diferentes
cualidades (validez y fiabilidad) que un examen debe tomar en consideración (Bachman,
1990). Sin embargo, si bien es cierto que resulta imperante evaluar la validez de la prueba y
asegurarse que ésta sea fiable, es de vital importancia considerar un último aspecto: la
viabilidad.
54
Se definirá entonces la viabilidad como la relación existente entre los recursos
requeridos para el diseño y desarrollo de la prueba y los recursos que en efecto estarán
disponibles para esos efectos (Bachman y Palmer, 1996). Por consiguiente, en este punto se
hace imperante hablar de los recursos que serán necesarios durante el proceso mencionado.
Se habla, entonces de: los recursos humanos, que involucran a todas aquellas personas
relacionadas con el diseño, pilotaje, calificación y administración de la prueba; los recursos
materiales, que involucran aspectos como el lugar de administración de la prueba, los
equipos necesarios para la presentación de ésta, los materiales para los estudiantes, etc.; y
los recursos relacionados con el tiempo, como por ejemplo el tiempo de desarrollo de la
prueba, el tiempo de aplicación de la prueba, el tiempo de corrección de la prueba, entre
otros (Bachman y Palmer, 1996).
Con respecto a la viabilidad de una prueba oral, Martínez (2008b) y Bordon (2004)
afirman que las pruebas orales son las más costosas en medios humanos porque se necesita,
primero, un examinador y/o evaluador por candidato, lo que implica tiempo y dinero, y
segundo, que las personas encargadas de aplicarlas, tengan una formación precisa y estén
debidamente entrenados. Asimismo, la viabilidad definirá la cantidad y límite de tiempo
para obtener una muestra suficiente del dominio lingüístico del candidato según el contexto
en cuestión (Bordon, 2004). De esta manera, como consecuencia, aunque se plantee una
prueba de tipo comunicativo y su validez esté relacionada con su autenticidad en la vida
real, una tarea de examen no muy auténtica puede ser recomendable en función de la
viabilidad de la evaluación (Bordon, 2004) ya que puede ser “auténtica en la medida en que
55
reproduzca procesos que intervienen en la interpretación de mensajes orales” (Bordon,
2004, p.986).13
Como puede verse, en función de la viabilidad pueden tomarse algunas decisiones
que afectan directamente la validez de la prueba y pueden causar dificultades no menos
importantes al momento de diseñar una prueba. En el caso específico de la presente
propuesta, la viabilidad definirá no solamente el tipo de tarea de la prueba, auténtica o poco
auténtica, sino también la cantidad y límite de tiempo para obtener una muestra del dominio
lingüístico del candidato. Asimismo, tanto en las consideraciones metodológicas (véase
apartado 6.3.1) como en el mismo diseño se tendrá en cuenta el alcance del presente trabajo
tomando en consideración, entre otras cosas, la necesidad de hacer una propuesta de una
prueba lo más válida y fiable posible.
5.2.6 Dificultades en la evaluación de la lengua oral
En primer lugar, en vista de que una entrevista suele ser lo más común para evaluar
la lengua oral (Luoma, 2004; Marínez 2011) donde un evaluador da una calificación a la
actuación del candidato según su juicio de valor (Consejo de Europa, 2002), la evaluación
se convierte en una evaluación subjetiva que puede afectar directamente la consistencia de
los resultados y la fiabilidad de la prueba (Bordon, 2004). No obstante, dicha dificultad
puede atenuarse disminuyendo la subjetividad mediante el diseño de mecanismos que
contribuyan a darle objetividad a la prueba (Martínez, 2008b). Dicho de otro modo, la
definición de criterios (véase apartado 5.3) de evaluación pueden proporcionar a los
13 Véase también el apartado 5.2 sobre la distinción que hace McNamara (citado en Soler, 2008 y en Luoma
2004) entre el enfoque suave y duro. Asimismo, en este mismo apartado, se definen los tipos de tarea para
provocar la actución de un candidato: tareas abiertas y tareas estructuradas.
56
evaluadores pautas para calificar la actuación del candidato de una manera más objetiva y,
por consiguiente, aumentar la fiabilidad de la prueba (Bordon, 2004).
En segundo lugar, cuando en una interacción entre un candidato y un evaluador hay
presentes factores afectivos como la personalidad y la edad, y otros factores como el sexo,
la nacionalidad, la cultura entre otros, pueden encontrarse dificultades que incidan no
solamente en la actuación del candidato, sino también en el juicio que otorga el evaluador
(Bordon, 2004). Por esta razón, es primordial que el entrevistador lleve la conversación de
forma natural, cómoda y sin estrés, mostrando interés por lo que dice el candidato a partir
de gestos y cortos comentarios que promuevan la motivación y compromiso del candidato
(Martínez, 2008b). Igualmente, es aconsejable que se utilice más de una técnica con el fin
de asegurar de que la prueba no se incline hacia un solo tipo de candidato (Alderson et al.,
1995) (véase apartado 5.2.1)
En tercer lugar, como se expresó anteriormente (véase apartado 5.1) y como
argumentan Alderson y Bachman (citado en Luoma, 2004), la evaluación depende no
solamente de las características del discurso como la pronunciación, el vocabulario, la
fluidez del candidato, sino también de factores afectivos y culturales o incluso de factores
como el nivel, el género, las preguntas que se formulan, los temas que se abordan y la
familiaridad del candidato con éstos. Además, otra dificultad puede radicar en la inmediatez
en el tiempo y en el espacio donde tiene lugar algunas particularidades de la lengua oral
(Baralo, 1999) (véase apartado 5.1).
Por otro lado, aunque se plantee una prueba de tipo comunicativo y su validez esté
relacionada con su autenticidad en la vida real, una tarea de examen no muy auténtica
puede ser recomendable en función de la viabilidad de la evaluación (Bordon, 2004) (véase
apartado 5.6.3). Por consiguiente, la viabilidad definirá la cantidad y límite de tiempo para
57
obtener una muestra suficiente del dominio lingüístico del candidato según el contexto en
cuestión (Bordon, 2004). De igual forma, esto puede causar un problema al momento de ser
coherente con el constructo a evaluar (Gonzalez-Such et al., 2013).
Finalmente, en lo que concierne a la elaboración de tareas, éstas en ocasiones no
provocan que el candidato demuestre su verdadero dominio lingüístico y por consiguiente
no pueda realizarse una buena calificación (Martínez, 2011). Por esta razón, es importante
no solamente que las partes de una prueba -las instrucciones, las tareas, los criterios, etc.,-
reflejen la habilidad del hablante según el constructo de lengua definido (Martínez, 2008b)
sino también que éstas provoquen respuestas observables y suficientes para analizarlas y
calificarlas (Martínez, 2011).
58
6. MARCO METODOLÓGICO
Como se ha mencionado anteriormente (véase apartado 4), el presente PAP tiene
como objetivo presentar una propuesta para el diseño de una nueva prueba oral de
clasificación para el CLAM. Para este propósito, se han formulado una serie de objetivos
para guiar el proceso. Asimismo, se han consultado investigaciones relacionadas con la
situación problemática descrita en apartados anteriores, y se ha hecho un recorrido por los
enfoques teóricos y los conceptos que son de gran importancia para el proyecto.
Finalmente, este apartado pretende esbozar la metodología en la cual se enmarca esta
investigación y el modelo a seguir para la planificación, diseño y validación de la prueba.
6.1 Tipo de investigación
En lo que respecta el campo de la investigación en segundas lenguas, existen
diferentes maneras de abordar el objeto de estudio. Así, se podría afirmar que dependiendo
del interés del investigador existen tres maneras diferentes de abordar la investigación y por
tanto existen tres grandes tipos de investigación: la investigación básica o teórica, la
investigación aplicada y la investigación práctica. Estos tres tipos de investigación, aunque
por naturaleza son diferentes, se complementan mutuamente pues aportan conocimientos
abordados desde diferentes campos. Esto, sin lugar a dudas permite realizar investigaciones
interdisciplinarias y más holísticas.
Se dirá entonces que, por un lado, la investigación básica o teórica tiene como
finalidad construir nuevas teorías, en general abstractas, acerca de un tema particular
relacionado con las lenguas. Por otro lado, la investigación aplicada pretende hacer uso de
las investigaciones teóricas y el conocimiento ya construido para aplicarlo a problemas de
59
investigación ya formulados. Por último, la investigación práctica, como su mismo nombre
lo indica, se enfoca más hacia los aspectos prácticos de un determinado tema. En otras
palabras, la investigación práctica retoma los hallazgos de lo teórico y lo aplicado para
encontrarle un sentido y un uso en contextos y situaciones reales y específicos (Seliger y
Shohamy, 1989).
Dadas las características del presente trabajo de investigación, éste se enmarcará
dentro de un tipo de investigación aplicada práctica. En efecto, el presente trabajo no
pretende construir teoría acerca de la evaluación de la lengua oral, en cambio pretende
hacer uso de las teorías para diseñar una prueba oral de clasificación. Adicional a ésto, la
nueva prueba oral de clasificación será aplicada a estudiantes reales en el contexto
específico del Centro Latinoamericano de la Pontificia Universidad Javeriana. Ahora bien,
aunque el presente trabajo de investigación no pretende contribuir teóricamente al
desarrollo del campo de la evaluación en lenguas extranjeras, sí pretende contribuir al
mejoramiento de los procesos de enseñanza-aprendizaje-evaluación del mencionado centro.
Por lo tanto, los aportes hechos como resultado de esta investigación serán de corte
práctico.
En el siguiente apartado se presenta el modelo de diseño y elaboración de un
instrumento de evaluación que se seguirá para la planeación, diseño y pilotaje.
6.2 Modelo de diseño y elaboración de un instrumento de evaluación
Cuando se pretende desarrollar un test casi siempre se tiene una idea general del
tipo de prueba que se va a desarrollar. Normalmente se sabe o se intuye cuál es la visión de
lengua que se tiene, cómo se va a evaluar, qué criterios se van a considerar y en qué tipo de
programa podría enmarcarse (Martínez, 2011). Sin embargo, para llevar este conjunto de
60
ideas a una descripción detallada y un plan de acción, debe recurrirse a un modelo de
diseño y de elaboración.
Existen diferentes modelos que explican la estructura y el propósito de un test.
Alderson et al. (1995) afirman que un test debería tener: un propósito, una descripción del
candidato, una definición del constructo, una cantidad de secciones, una ponderación de
cada sección, unas situaciones contempladas en la lengua meta, unos tipos de textos, unos
elementos lingüísticos que se van a evaluar, unos tipos de tareas, unas instrucciones, unos
criterios de evaluación, una descripción de las realizaciones lingüísticas típicas para cada
nivel, una descripción de lo que los candidatos para cada nivel pueden hacer en el mundo
real y unas muestras de las actuaciones de los candidatos en cuanto a las tareas.
Otros autores como Luoma (2004) y McNamara (2000) también consideran estas
características para la elaboración de un examen, sin embargo, para este proyecto se decidió
adoptar el modelo de Bachman y Palmer (2010). Esta decisión corresponde principalmente
a dos razones: en primer lugar, este modelo ofrece una descripción minuciosa y detallada
de cada fase, lo cual facilita a los presentes investigadores la elaboración del instrumento de
evaluación. En segundo lugar, adoptar este modelo planteado por Bachman y Palmer
(2010) significa la incorporación a la presente investigación de una de las teorías más
actuales en lo que respecta la evaluación en segundas lenguas.
El modelo de Bachman y Palmer (2010) propone cinco etapas para la elaboración de
un test: 1) la planificación, 2) el diseño, 3) el Blueprint o plan de acción, 4) la prueba
experimental y 5) el uso del test. A continuación, se presenta el desarrollo de las primeras
cuatro etapas, pues, la quinta etapa, el uso del test, escapa del alcance de la presente
investigación.
61
6.3 Diseño y elaboración de la prueba oral
Con el fin de facilitar la lectura y comprensión de las etapas que componen el
proceso de planificación, diseño, plan de acción y prueba experimental, a continuación se
presente un mapa conceptual como guía.
Figura 1 : Guía del modelo de Bachman y Palmer (2010)
6.3.1 PRIMERA ETAPA: PLANIFICACIÓN
Para esta primera fase, antes de ejecutar un plan de acción que responda a una
situación problemática, en este caso el desarrollo de una propuesta de una prueba oral de
clasificación para el CLAM, es indispensable hacer una reflexión para determinar si es
62
necesario desarrollar este tipo de evaluación según el escenario (Bachman y Palmer, 2010).
De igual forma, se debe considerar la cantidad de recursos que se tienen y se necesitan para
el desarrollo de la prueba (Bachman y Palmer, 2010). En otras palabras, en esta primera
fase se trata de hacer un análisis de necesidades y de alcance para sustentar que existe la
necesidad de diseñar una prueba oral para el CLAM.
Con el fin de realizar el análisis de necesidades y de alcance del presente PAP, se
recurre a una entrevista14
con la directora académica del CLAM, y a una observación
(análisis) de la actual prueba oral. En la entrevista con la directora (N. Agray, entrevista
personal, 26 de mayo de 2014) se determina que la actual prueba oral es muy antigua
porque se diseñó en el año de 1997, y a pesar de que se hicieron algunas actualizaciones,
ésta todavía no se ajusta a los parámetros del MCER. De igual manera, se evidencia que
aunque la actual prueba tenga 5 criterios de evaluación, éstos no son tan claros como para
que cualquier persona pueda evaluar independientemente de su experiencia (véase apartado
2).
Por otra parte, en lo que concierne al análisis de la actual prueba, se determina la
existencia de cuatro hechos problemáticos. En primer lugar, no se establece una relación
entre el cómo se enseña, el enfoque comunicativo y la denominada enseñanza mediante
tareas, y el cómo se evalúa, pues la actual prueba oral no utiliza tareas comunicativas que
promuevan la actuación del candidato (véase apartado 2). En este punto es importante
mencionar que autores como Alderson et al., (1995), Brown (2005) y Martínez (2011)
aseguran que un examen de clasificación debe basarse en los programas de enseñanza.
14
Yalden (1987) afirma que existe una amplia gama de instrumentos para realizar un estudio de necesidades.
Por ejemplo, cuestionarios, discusiones, entrevistas, observaciones, etc.
63
En segundo lugar, la actual prueba oral no clasifica a los candidatos en los niveles
de referencia A1 a C2 del MCER y por consiguiente en los 12 niveles (A1.1 a C2.2) del
CLAM, sino en los niveles básico, intermedio y avanzado. Por cosiguiente, no existe una
relación directa entre los niveles de clasificación de la prueba y los niveles de enseñanza
del programa. De igual forma, cabe mencionar que en Colombia el MCER se utiliza como
referencia para el diseño de contenidos y programas de ELE (véase apartado 2).
En tercer lugar, los criterios de la actual prueba oral no tienen unos descriptores
detallados para cada uno de los niveles del CLAM, lo que implica que su fiabilidad sea
susceptible de mejorar (véase apartado 2).
En cuarto lugar, después de recurrir al modelo de Bachman y Palmer (2010)
especificaciones de la evaluación (véase anexo 8), se concluye que la actual prueba oral no
cuenta con unos procedimientos que especifiquen las tres partes que la componen: las
preguntas del nivel básico, intermedio y avanzado. Por consiguiente, el evaluador
desconoce cuándo debe pasar de una sección a otra y cuántas preguntas de cada nivel debe
hacer. Asimismo, estos procedimientos no establecen un tiempo para cada una de las partes
y no contiene instrucciones ni para el evaluador ni para el candidato (véase apartado 2).
Hasta este punto el análisis de necesidades demuestra que existen cuatro hechos
problemáticos que llevan a presentar una propuesta para el diseño de una nueva prueba oral
de clasificación.
Ahora bien, en lo que concierne el análisis del alcance del presente PAP, se
determina, después de un diálogo con la dirección del CLAM, que se hace el diseño,
pilotaje y validez de tres (3) tareas para los niveles A, B y C del MCER. De igual forma, se
64
hace el diseño, pilotaje y validación de los criterios y sus respectivos descriptores para cada
uno de los doce (12) niveles del programa del CLAM.
6.3.2 SEGUNDA ETAPA : EL DISEÑO
Esta etapa de diseño propuesta por Bachman y Palmer (2010) consiste en la
implementación de diferentes actividades que servirán a la construcción del Design
Statement (DS). El DS es un documento cuyo objetivo principal es guiar al desarrollador de
la prueba en las últimas tres etapas de diseño de una prueba: prueba experimental, uso del
test y evaluación de la prueba (Bachman y Palmer, 2010). A continuación, se describen 9
pasos que componen el DS para la fase de diseño.
6.3.2.1. Descripción de los participantes o involucrados en la prueba
En este paso se hace una descripción detallada de todas aquellas personas que de
alguna u otra manera están involucrados en la implementación de la prueba como lo son
estudiantes, profesores, directivas del centro, etc. La descripción puede hacerse en términos
de los atributos personales, conocimiento de temas, nivel de lengua y potenciales respuestas
afectivas a diferentes tipos de tareas evaluativas (Bachman y Palmer, 2010). A
continuación, se presenta la descripción de los involucrados en el diseño de la presente
propuesta de la prueba oral de clasificación.
65
Tabla 1:
Descripción de las características de los involucrados/participantes en la prueba oral del
examen de clasificación del CLAM
Personas
involucradas
Descripción
1. Futuros
estudiantes
Estudiantes extranjeros. Adultos de diferentes nacionalidades y culturas.
Diferentes niveles de proficiencia.
2. Evaluadores de
la prueba
Profesores del departamento de lenguas de la Pontificia Universidad
Javeriana. Experiencia de más de 5 años en ELE, con mínimo una maestría
en enseñanza de lenguas extranjeras/ELE o temas afines. Evaluadores del
DELE.
3. Profesores del
CLAM
Profesores con amplia trayectoria en la enseñanza de lenguas extranjeras/
ELE, con formación específica en la enseñanza del español como lengua
extranjera.
4. Directora
académica del
CLAM
Magister en enseñanza de ELE y Magister en lingüística aplicada de ELE de
la Universidad de Nebrija. Especialista en estudios culturales y Licenciada
en filología e idiomas.
La infomación anteriormente presentada se obtiene a partir de encuestas informales
con los actores involucrados en el proceso de evaluación de la lengua oral en el CLAM.
Asimismo, dicha información se corrobora a lo largo de las clases programa de estudios de
la actual maestría. Es decir, algunos de los docentes del CLAM, incluyendo la directora
académica, hacen parte del equipo que dictan las clases de formación de la maestría.
6.3.2.2. Descripción de los futuros beneficios de la prueba.
A propósito de esta fase los autores proponen articular tres aspectos importantes: los
participantes, los beneficios de usar la prueba y los beneficios de las decisiones
subsecuentes. A continuación, se presenta dicha descripción en relación con el objeto de
estudio de la presente investigación.
66
Tabla 2 :
Descripción de los futuros beneficios de la prueba oral de la clasificación para las
diferentes personas involucradas.
Personas
involucradas
Beneficios de usar la prueba Beneficios de las decisiones
tomadas.
1. Futuros
estudiantes
Los futuros estudiantes podrán ser
clasificados en el curso adecuado del
CLAM de acuerdo con su nivel de lengua.
Ésto en ocasiones determina la cohesión y
buen funcionamiento del grupo (Pastor,
2003). Podrán, a su vez, tener la
oportunidad de comunicarse en español,
como lengua extranjera, en un contexto
académico.
Los futuros estudiantes podrán ser
parte del CLAM y así disfrutar del
aprendizaje del Español como
Lengua Extranjera con compañeros
con los que comparten su nivel de
lengua. Asimismo, podrán asistir a
clases planeadas y pensadas en su
nivel de lengua y de acuerdo a sus
necesidades.
2.
Evaluadores
de la prueba
Los evaluadores de la prueba podrán
contar con una propuesta de herramienta
de evaluación más actualizada y
articulada con los programas del CLAM y
el MCER. Asimismo, podrán contar con
una propuesta de prueba oral que limite la
subjetividad de la clasificación a través de
la utilización de descriptores detallados.
Los evaluadores podrán ampliar su
campo de experiencia en el área de
evaluación y continuar participando
en futuros procesos investigativos
para desarrollar todo el examen de
clasificación del la PUJ.
3. Profesores
del CLAM
Los profesores del CLAM que también
sean evaluadores podrán contar con los
beneficios mencionados anteriormente.
Los profesores podrán tener grupos
de estudiantes cuya clasificación
corresponda a su nivel real de lengua.
6.3.2.3. Descripción de las decisiones que se tomarán y los encargados de éstas.
Con el fin de asegurar que los beneficios en el paso anterior descritos sean
realmente efectivos, en esta etapa es necesario describir y justificar las decisiones tomadas
en el diseño de la prueba. En efecto, serán dichas decisiones las que podrán garantizar los
beneficios planteados.
Tabla 3 :
67
Descripción de las decisiones relativas a la prueba y personas involucradas y
responsables.
Decisión Personas involucradas Responsable
Diseño de tareas evaluativas de
clasificación
Futuros estudiantes, comité de expertos,
profesores del CLAM, directora
académica del CLAM.
Investigadores del
presente PAP.
Diseño de las especificaciones
de la prueba
Futuros estudiantes, comité de expertos,
profesores del CLAM.
Investigadores del
presente PAP.
Reajuste de las tareas
evaluativas después del pilotaje.
Futuros estudiantes, comité de expertos,
profesores del CLAM.
Investigadores del
presente PAP.
Clasificación de estudiantes en
los niveles ofrecidos por el
CLAM.
Futuros estudiantes. Evaluadores del
CLAM.
6.3.2.4. Determinación de la gravedad de errores de clasificación y determinación de
estándares.
En esta fase se hace necesario determinar cuáles serían los errores de clasificación.
En el caso del presente PAP, esta fase consiste en determinar si la clasificación realizada
apunta a un nivel superior o a un nivel inferior con respecto a su nivel real de lengua. Para
minimizar dichos errores, es necesario entonces el establecimiento de niveles estándar que
permitan determinar el nivel mínimo de domino de la lengua para ser clasificado en un
determinado nivel. A continuación, se presenta una tabla que ilustra la correlación entre el
nivel estándar (expresado en términos de nivel de lengua propuestos por el MCER) y los
niveles del CLAM.
Tabla 4 :
68
Correlación entre niveles del CLAM y niveles del MCER
Nivel del CLAM Nivel del lengua del MCRE
Nivel 1 A1.1
Nivel 2 A1.2
Nivel 3 A2.1
Nivel 4 A2.2
Nivel 5 B1.1
Nivel 6 B1.2
Nivel 7 B2.1
Nivel 8 B2.2
Nivel 9 C1.1
Nivel 10 C1.2
Nivel 11 C2.1
Nivel 12 C2.2
6.3.2.5. Definición del constructo a ser evaluado
En esta fase el desarrollador de la prueba decide acerca de las habilidades que se
evalúan. A lo largo del presente documento investigativo se ha señalado que la lengua oral
se entiende como la habilidad para comunicar a otro interlocutor lo que se quiere decir en
un proceso de producción, comprensión, interacción y negociación (Pinilla, 2004) según
una situación comunicativa (Instituto Cervantes citado en Pinilla, 2004), y donde subyacen
no solamente elementos lingüísticos, pragmáticos, sociolingüísticos de la competencia
comunicativa (Consejo de Europa, 2002), sino también paralingüísticos y extralingüísticos
(Peris citado en Pinilla, 2004; Baralo, 1999).
Sin embargo, para la presente propuesta de diseño de prueba oral de clasificación,
siguiendo la propuesta del Instituto Cervantes en los exámenes DELE y la escala de
evaluación cualitativa de la lengua del MCER, se consideran el léxico, la gramática, y la
pronuciaicón (aspectos lingüísticos) y la interacción, la fluidez y la coherencia (aspectos
pragmáticos). A continuación se presentan las definiciones de cada uno de los criterios:
69
Alcance: Se refiere al número de palabras, expresiones hechas o memorizadas, temas,
ámbitos y vocabulario que el hablante controla o utiliza.
Corrección: Se refiere a la competencia gramatical del hablante. Es decir, la
capacidad de formar oraciones estructuralmente correctas que transmitan significado.
Pronunciación: Se refiere a la destreza de producción de sonidos, rasgos fonéticos
que distinguen fonemas, acento, entonación.
Fluidez: Se refiere a la capacidad de articular, de continuar el discurso y de
desenvolverse bien cuando se llega a un callejón sin salida.
Interacción: Se refiere a la alternancia del candidato entre ser receptor y productor y
a la manera en que se desenvuelve en una situación comunicativa.
Coherencia: Se refiere a la capacidad del hablante de ordenar oraciones en
secuencias para producir fragmentos coherentes de lengua.
Estos aspectos son los mismos que considera el MCER en los aspectos cualitativos
de la lengua (Consejo de Europa, 2002) y que pone a disposición, entre las 14 posibles
escalas, para evaluar la lengua oral (Consejo de Europa, 2002). De igual forma, estos
criterios los utilizan los exámenes internacionales DELE en español y IELTS en inglés para
evaluar la lengua oral. Estos sin duda alguna son un referente fiable, por su experiencia y
reconocimiento en el campo de la evaluación en sengundas lenguas. Por otra parte, es
importante mencionar que para los primeros niveles (A1 y A2), al igual que en el examen
DELE, se considera la pronunciación en lugar de la fluidez ya que es en estos niveles, fase
de aproximación, donde el candidato toma conciencia de las características fundamentales
de la pronunciación (Intistuto Cervantes, 2006). De igual forma, esta fase tiene como
70
objetivo el reconocimiento y producción de los patrones fónicos y esquemas básicos del
español (Instituto Cervantes, 2006).
6.3.2.6. Identificación y descripción del nivel de dominio de la lengua objetivo
En esta fase se realiza una descripción detallada del nivel de dominio de la lengua
objeto. Esta descripción puede servir igualmente para la formulación de las tareas
evaluativas. Para estos efectos, se crearon descriptores detallados y específicos (analíticos)
que dan cuenta de cada nivel de lengua correspondientes a los diferentes cursos del CLAM
(véase Anexo 9). El proceso de creación de dichos descriptores consistió en un análisis y
paralelo entre: la escala cualitativa de la lengua propuesta por el MCER para todos los
niveles15
, los criterios de evaluación de la banda dos (2) propuestos por el DELE para todos
los niveles, los objetivos generales del PCIC, el inventario de gramática y las nociones
específicas propuestas por el PCIC y los objetivos generales y los programas de cada nivel
del CLAM.
6.3.2.7. Selección de tareas de lengua como base para el desarrollo de tareas
evaluativas y descripción de las tareas de lengua seleccionadas.
Esta fase consiste en seleccionar tareas lingüísticas que puedan servir como base
para el desarrollo de tareas evaluativas. Los desarrolladores de la prueba realizaron dicha
selección teniendo en cuenta el enfoque adoptado por el CLAM (véase apartado 2), los
programas, los objetivos de cada nivel y el PCIC. Durante el proceso de escogencia de las
tareas se hizo un análisis de las tareas abiertas y cerradas propuestas por Luoma (2004) y
Pastor (2007) para identificar cuáles son las tareas más adecuadas para el nivel de lengua a
15 Manzanares (2014) también toma como punto de partida esta escala para definir los criterios de evaluación
(véase apartado 3.1)
71
evaluar. Asimismo, se identificó cuáles tareas llevan al candidato a emplar los mismos
procesos comunicativos que en las actividades del mundo real.
Una vez seleccionadas las tareas de lengua, es necesaria la descripción detallada de
las características de éstas. A continuación, se presenta de manera detallada el tipo de tarea,
la función de la tarea y la técnica de evaluación seleccionadas para cada una de las tareas de
la prueba oral de clasificación del CLAM.
TAREA A
Tipo de tarea y función:
Esta tarea consta de dos partes. Primero, se hace una entrevista estructurada de
precalentamiento y luego una interacción. La primera parte de precalentamiento tiene como
función evaluar el primer nivel (A1.1) y hacer que el candidato empiece a sentirse cómodo
en la prueba (véase apartado 5.2.1). La segunda parte de interacción tiene como función
llevar al candidato a describir su entorno más cercano a partir de una presentación y una
conversación con el entrevistador.
Técnica de tarea:
Para la segunda parte de esta tarea se utiliza la técnica de exposición (véase apartado 5.2.1).
Ésta consiste en preparar un tema a partir de un tiempo establecido para luego hacer una
presentación. El candidato no solo hace la presentación, sino responde a las preguntas sobre
el tema que hace el entrevistador.
TAREA B
Tipo de tarea y función:
Esta tarea es de tipo narrativa y de simulación de juego de rol (véase apartado 5.2.1). Esta
tarea tiene como función llevar al candidato, primero, a contar experiencias en el pasado
72
sobre viajes, segundo, a describir lugares y personas, y tercero, a tener una conversación
con el entrevistador donde expresa sus opiniones sobre el mismo tema.
Técnica de tarea:
El juego de rol consiste en una tarea donde se simula una situación de comunicación entre
el candidato y el entrevistador (véase apartado 5.2.1). El candidato asume el papel de un
estudiante que empieza una conversación sobre viajes en un club de conversación. A su
vez, el entrevistador juega el rol de otro estudiante que promueve la conversación sobre el
mismo tema.
TAREA C
Tipo de tarea y función:
Esta tarea es de tipo opinión, decisión y simulación de juego de rol (véase apartado 5.2.1).
La tarea tiene como función llevar al candidato, primero, a opinar y a argumentar acerca del
mejor sistema de transporte para solucionar los problemas de movilidad en Bogotá y
segundo, se pide que interactue en una conversación con el entrevistador, quien también
presentará argumentos para negociar y tomar juntos una decisión.
Técnica de tarea:
En esta tarea se utilizan varias técnicas. La exposición, el juego de rol y la discusión y toma
de decisiones (véase apartado 5.2.1). La combinación de estas técnicas consiste en simular
una situación de comunicación entre el candidato y el entrevistador, primero, para presentar
una opinión, segundo, para discutir sobre el tema en particular, y tercero, negociar y tomar
al final una decisión.
73
6.3.2.8. Desarrollo de un plan de recolección de retroalimentación.
Esta fase consiste en hacer explícita la manera en la cual el desarrollador del test
planea mejorar la herramienta evaluativa. Esta fase supone la realización de un plan que
guíe la recolección de retroalimentación de la prueba. Para efectos del presente PAP, a
continuación se presenta un gráfico del plan de acción para la recolección de
retroalimentación de la prueba.
Figura 2 : Proceso de recolección de retroalimentación de la investigación y prueba.
6.3.3 TERCERA ETAPA: PLAN DE ACCIÓN (BLUEPRINT)
La tercera etapa en la metodología propuesta por Bachman y Palmer (2010) es el
llamado Blueprint o plan de acción. Éste tiene como objetivo principal guiar el proceso de
diseño de las tareas evaluativas. El plan de acción consiste entonces en una descripción
detallada de la estructura del test o especificaciones de la prueba, las especificaciones de
Redacción del
documento
Retroalimentación asesora
Reajuste del
documento
Diseño de tareas
evaluativas
Consulta y retroalimentación
de expertos
Rediseño de la
prueba
Pilotaje de la prueba
Reajuste de la prueba
74
cada tarea, los procedimientos y formatos para reportar resultados y los procedimientos
para administrar la prueba.
6.3.3.1 Descripción de la estructura del test o especificaciones de la prueba
Las especificaciones de la prueba son todas aquellas características que describen la
estructura y organización de ésta. Dichas especificaciones deben tener en cuenta seis
consideraciones que se mencionarán a continuación: el número de partes constitutivas de la
prueba ; el número de tareas por cada parte de la prueba; la secuencia de partes y tareas y el
tiempo y duración de las secciones y de la prueba en general.
Tabla 5
Expecificaciones de la prueba
ESPECIFICACIONES
DE LA PRUEBA
PROPUESTA PARA LA PRUEBA ORAL DE CLASIFICACIÓN
1. Número de secciones Dado que le presente PAP pretende realizar una propuesta para una
nueva prueba oral del examen del clasificación del CLAM, ésta solo
constará de una sección. Sin embargo, es necesario mencionar que todo
el examen de clasificación consta de 4 secciones: comprensión oral y
escrita y producción oral y escrita.
2. Número de tareas
por sección
En conjunto con la dirección del Centro Latinoamericano, se
decidió que la prueba oral de clasificación constará de tres tareas
evaluativas. Cada una de ellas podrá clasificar en 4 cursos distintos del
CLAM. Así la tarea A podrá clasificar en el nivel 1, 2, 3 o 4. La tarea B
podrá clasificar en el nivel 5, 6, 7 u 8 y finalmente la tarea C podrá
clasificar en el nivel 9, 10, 11 o 12. Es necesario aclarar que la tarea A
consta de dos partes: una sección de calentamiento (para que el
candidato se familiarice con el evaluador y tenga un primer contacto con
la lengua) y la tarea comunicativa que apuntará a obtener información
acerca de los niveles A1.2, A2.1 y A2.2 (véase apartado 6.3.2.7)
3. Secuenciación de las
partes y tareas
Las tareas evaluativas de la prueba oral de clasificación del CLAM
estarán secuenciadas en orden ascendente en el grado de dificultad. Es
decir, se presentará primero la tarea de nivel A, después la de nivel B y
finalmente la de nivel C. Sin embargo, teniendo en cuenta que la prueba
en cuestión se trata de un examen clasificación, aquí cabe mencionar
que no todos los candidatos deberán tomar las tres tareas evaluativas
pues si no superan el nivel de una determinada tarea no será necesario
pasar a la siguiente. La decisión de finalizar la prueba de clasificación la
75
tomará el evaluador.
4. Importancia relativa
de cada sección y tarea
Dado que el presente PAP solo tiene como finalidad el diseño de la
prueba oral de clasificación, no se podría determinar la importancia que
esta prueba tiene dentro de todo el examen de clasificación. Esta será
una decisión que la dirección del Centro Latinoamericano así como los
encargados de desarrollar el proyecto investigativo encaminado a crear
nuevamente todo el examen de clasificación deberán tomar.
5. Especificación del
tiempo de cada sección
y de la prueba.
Los tiempos destinados para las diferentes tareas de la prueba oral de
clasificación se presentan a continuación:
-Tarea A: 5 minutos
-Tarea B: 5 minutos
-Tarea C: 7 minutos
-Calificación del candidato : 3 minutos
El tiempo total de la prueba oral de clasificación es de 20 minutos
aproximadamente.
6.3.3.2 Especificaciones de las tareas
La segunda fase del plan de acción consiste en determinar las especificaciones de
las tareas evaluativas. Estas especificaciones deben proveer una descripción detallada de
todo aquello que los desarrolladores de pruebas deben saber para diseñar las tareas
evaluativas (contexto evaluativo, constructo, tipo de input, instrucciones). En primera
instancia, es necesario definir el contexto evaluativo.
La presente propuesta de prueba oral de clasificación es desarrolló como producto
de una investigación de la Maestría en Lingüística Aplicada del Español como Lengua
Extranjera de la PUJ en el presente año, 2014. Esta prueba está diseñada para ser usada en
el Centro Latinoamericano (CLAM) de la Pontificia Universidad Javeriana en Bogotá
(PUJ).
La prueba oral hace parte de una evaluación más completa en donde también son
evaluadas las habilidades de comprensión oral, comprensión escrita, producción escrita,
gramática y vocabulario. No obstante, cabe resaltar que las otras partes del examen todavía
76
no se han diseñado. El objetivo principal de esta prueba es clasificar a los candidatos
extranjeros que desean estudiar el español en la PUJ en uno de los doce niveles del CLAM.
Una vez definidos el contexto y el constructo (véase apartado 6.3.2.5) es necesario
hacer una descripción de las características del input y de la respuesta esperada. Al respecto
se puede afirmar que el canal de comunicación del input es predominantemente oral. Sin
embargo, se decidió diseñar unas láminas del candidato con el fin de facilitar la
comprensión y guiar la actuación del mismo a través de un input visual (véase anexo 7).
Dado que se pretende con estas nuevas tareas evaluativas crear una consistencia entre los
procesos de aprendizaje-enseñanza y los procesos evaluativos del CLAM, el tipo de tareas
presentadas en el examen pretenden implicar el uso del lenguaje y no solo de la lengua
(véase apartado 5.2). Igualmente, la tarea evaluativa pretenderá propiciar todas las
condiciones para que el candidato emplee los mismos procesos comunicativos que en las
actividades del mundo real como afirma Ellis (citado en Soler, 2008). Por consiguiente, se
espera que la respuesta dada por los candidatos muestre esta concepción de la lengua en uso
y permita una interacción natural y centrada en el mensaje.
Finalmente, se encuentra la necesidad de desarrollar las instrucciones de las tareas
evaluativas. Este punto es de vital importancia dado que si las instrucciones son dadas de
manera eficaz y asertiva, éstas podrían garantizar la respuesta del estudiante, permitiéndole
presentar su nivel de lengua de la mejor manera (véase apartado 5.2.1.). Para la propuesta
de prueba oral, se diseñaron una serie de instrucciones para guiar al evaluador antes,
durante y al finalizar cada tarea. Adicional a esto, se creó un set de instrucciones
organizados en categorías para guíar de la mejor manera al evaluador durante toda la
prueba (véase especificaciones de la prueba). Asimismo se diseñaron instrucciones para el
alumno.
77
6.3.3.3 Procedimientos y formatos para reportar resultados
La cuarta fase del plan de acción consiste en desarrollar y describir los
procedimientos y formatos para informar al candidato y a otros involucrados acerca de los
resultados obtenidos en la prueba. Al respecto, las tareas comunicativas planteadas en el
presente PAP están agrupadas en bloques según los niveles del CLAM y del MCER, y en
relación con temas que podrian estar relacionados a la realidad experimental del candidato.
Ésto con el fin de ocasionar representaciones mentales y facilitar la comprensión y
producción de los mensajes por parte del candidato durante la prueba.
La producción de mensajes a lo largo de la prueba se relacionan con los criterios,
con sus respectivos descriptores, para darle una valoración a la actuación de candidato. El
evaluador-entrevistador, primero, toma nota de la producción del candidato en la hoja de
clasificación, y segundo, hace una negociación con los criterios para reportar los resultados
en tiempo real. Dichos resultados no se comunican inmediatamente al estudiante sino vía
correo electrónico o vía telefónica por parte de la secretaria del Centro Latinoamericano.
6.3.3.4 Procedimientos para administrar la prueba
Finalmente, la quinta fase del Blueprint o plan de acción consiste en describir y
desarrollar los procedimientos de administración de la prueba. En primer lugar, se debe
tener en cuenta el espacio y el tiempo destinados para la prueba. Así, en el caso de la
prueba oral de clasificación del CLAM, los candidatos y entrevistadores tienen que
disponer de un tiempo mínimo de 20 minutos para presentar la prueba y la prueba se debe
llevar a cabo en un espacio en donde factores exteriores de desconcentración pueden ser
minimizados (salones alejados del ruido de los pasillos o de las oficinas). Es importante
78
mencionar que la prueba se realiza entre un evaluador, que también juega el papel de
entrevistador, y un candidato, y los resultados se dan en tiempo real. Es decir, no hay una
grabación de la producción del candidato ni una segunda evaluación.
En segundo lugar, se deberá crear un procedimiento de identificación de los
candidatos. Aunque este procedimiento escapa el alcance de este trabajo, se sugiere la
presentación previa a la prueba de un documento de identidad con fotografía.
En tercer lugar, se sugiere asegurar un ambiente amable y de apoyo que facilite la
minimización del filtro afectivo de los candidatos para que éstos puedan realizar la prueba
sin ningún inconveniente y así presentar su real dominio de la lengua. Por otro lado, se hace
imperante poner especial atención a las instrucciones y asegurarse que éstas hayan sido
entendidas por los candidatos para que los resultados obtenidos reflejen realmente el
conocimiento lingüístico del estudiante. Todas estas consideraciones mencionadas
anteriormente fueron presentadas al evaluador en las especificaciones de la evaluación
(véase especificaciones de la prueba).
6.3.3.5 Aclaración al lector
Una vez descritas y expuestas las fases del Design Statement y Bluebrint se hace
necesario hacer una aclaración. Con el fin de presentar la propuesta de manera más concisa
y clara para el evaluador de la prueba oral y el comité de expertos (quienes no tiene acceso
al proceso investigativo que subyace a la creación de la propuesta) se decidió presentar la
propuesta de prueba oral siguiendo el modelo modular propuesto por Luoma (2004) ya que
para la autora la fases de Design statement y Blueprint corresponden a lo que ella ha
denominado la especificaciones de la prueba. Dicho modelo propone estructurar las
especificaciones de la prueba en tres partes: las especificaciones del constructo, las
79
especificaciones de las tareas y las especificaciones de la evaluación. En la sección de
especificaciones del constructo es necesario incluir la descripción del contexto evaluativo,
la descripción general de la prueba, la descripción del constructo y la descripción de los
criterios a evaluar. En las especificaciones de las tareas se debe incluir una descripción
general de cada tarea y los procedimiento e instrucciones necesarios para llevar a cabo las
mismas. Finalmente en las especificaciones de la evaluación es necesario presentar los
criterios de evaluación, las escalas o parrillas para evaluar y las instrucciones para la
evaluación (véase especificaciones de la prueba).
6.3.4 Cuarta etapa: la prueba experimental
Durante la etapa de la prueba experimental los diseñadores del test pueden recoger
retroalimentación que eventualmente puede servir para hacer modificaciones a las tareas y
para reflexionar acerca del uso del test en un contexto real, especialmente en lo que
concierne el uso de recursos como tiempo, espacio, profesores requeridos, etc.
La cantidad de retroalimentación requerida para cada test puede variar dependiendo
de la magnitud de éste y los cambios realizados en consecuencia pueden ser mínimos como
la edición, corrección de estilo o podrán ser mayores como la eliminación e inclusión de
nuevos tareas evaluativas. Existe la experimentación temprana, la cual se realiza de manera
más informal con individuos expertos o grupos pequeños que pueden evidenciar posibles
problemas, y la experimentación tardía que usualmente es el pilotaje del test en condiciones
reales (véase apartado 7)
6.3.4.1 Instrumentos de recolección de datos
80
Para efectos de esta investigación, se decidió utilizar diferentes instrumentos de
recolección de información: cuestionarios, comentarios escritos a las especificaciones de la
prueba, observación y pilotaje. A continuación, se presenta detalladamente cada
instrumento utilizado en este PAP.
Cuestionarios
En lo que se refiere a los cuestionarios, es necesario aclarar que se utilizaron con el
fin de obtener información acerca de la validez del constructo, la validez del contenido y la
fiabilidad (véase anexos 4, 5 y 6) (véase apartado 5.6). Los cuestionarios de fiabilidad y de
validez del constructo fueron tomados y traducidos de Bachman y Palmer (1996). El
cuestionario de validez del contenido fue diseñado por los autores del presente PAP
tomando la reflexión que hace Alderson (1995) sobre las especificaciones para los
responsables de la elaboración de una prueba (p.16-18) y elaborando una serie de
preguntas para que los expertos valoraran el constructo de las tareas, las instrucciones, el
material y el tiempo de cada tarea.
Comentarios escritos al documento de especificaciones de la prueba
Otra fuente de recolección de retroalimentación fueron comentarios escritos que un
comité de profesores expertos hizo al documento de especificaciones de la prueba (véase
6.3.3.5 y especificaciones de la prueba). En este proceso participaron cuatro profesores del
Departamento de Lenguas de la PUJ. Dos de ellos hicieron sus comentarios en el marco de
los procesos evaluativos de la asignatura Perspectivas de Investigación en ELE, nivel 2.
Observación
Durante el proceso de investigación y diseño de la propuesta de prueba oral, los
diseñadores observaron la presentación de la actual prueba oral de clasificación por parte de
tres candidatos. Esta observación se llevó a cabo el 31 de octubre de 2014 y en ella se
81
pudieron utilizar los descriptores diseñados por los desarroladores de la propuesta. Es
importante aclarar que fueron los mismos desarrolladores quienes los probaron.
Pilotaje
La evaluadora de las pruebas orales de clasificación designada por el CLAM en la
sesión del 31 de octubre de 2014 pilotó una vez la propuesta de prueba oral y a partir de
ello dio sus comentarios. Es importante mencionar que se realizó un único pilotaje de la
propuesta de prueba oral diseñada por lo que no se pudo medir la fiabilidad, pues ésta
implica la aplicación de varias veces de una misma propuesta evaluativa. Por otro lado,
durante el pilotaje se pretendía evaluar la validez de respuesta. Sin embargo, dado que la
dirección del CLAM no autorizó que los candidatos respondieran a este cuestionario porque
no se quería que el alumno fuera consciente del proceso de pilotaje, la validez de respuesta
no se pudo evaluar.
82
7. RESULTADOS
En este apartado se presenta la información recogida en la fase de experimentación
a través de los instrumentos de recolección de datos anteriormente presentados. Esta
información y su interpretación se organiza según las especificaciones de la prueba. Es
decir, las especifiaciones del constructo, las especificaciones de las tareas y las
especificaciones de la evaluación.
7.1 Resultados de las especificaciones del constructo
Uno de los principales resultados que arrojó el presente trabajo es que la definición
de cada aspecto cualitativo de la lengua oral debe ser clara y específica. Es decir, la
definición aportada a cada uno de los 6 criterios (alcance, corrección, pronunciación (solo
niveles A1 y A2), fluidez, interacción y coherencia) resultó superficial y dificultó la
interpretación de los mismo (véase especificaciones de la prueba y apartado 6.3.2.5)
En lo que concierne al criterio de alcance se determinó que debe hacerse una
aclaración de lo que son las expresiones hechas. Éstas no son simplemente fórmulas fijas
sino también modismos, locuciones o expresiones de régimen semántico (Consejo de
Europa 2002).
Con respecto al criterio de corrección, se determinó que éste no solo hace referencia
a la competencia gramatical del hablante y el uso de estructuras para transmitir un
significado, sino también a la corrección de errores por medio de estrategias como la
petición de aclaración, el ofrecimiento de aclaración y la reparación de la comunicación
(Consejo de Europa, 2002).
83
Para el criterio de pronunciación, se establece que no solamente se trata de la
habilidad de producción de sonidos, rasgos fonéticos y prosodía, sino también de la
habilidad de percibirlos. Por otra lado, se define que la fluidez no solo alude a “la capacidad
de articular, de seguir adelante y de desenvolverse bien cuando se llega a un callejón sin
salida” (Consejo de Europa, 2002, p. 125), sino también a la la habilidad de procesar
aspectos de la lengua como la gramática, el vocabulario, sonidos16
etc con agilidad
(Instituto Cervantes, 1996-2014).
Finalmente, aunque la coherencia se definió como la capacidad del hablante par
organizar fragmentos coherentes de lengua, los descriptores de este criterio (véase
especificaciones de la prueba y anexo 9) se enfocan más a evaluar la cohesión. En este
punto faltó aclarar que la coherencia se refiere a la capacidad del hablante de controlar,
crear y organizar un discurso coherente y cohesionado (Consejo de Europa, 2002).
Coherente en el sentido en que el significado del discurso que se produce no contradiga el
conocimiento del mundo que tiene el interlocutor (Instituto Cervantes, 1996-2014).
Cohesionado en la medida que se utilicen elementos de referencia17
, haya una progresión
temática. Es decir, que se añada información al tema del que se está hablando, y una
conexión con elementos como conectores y marcadores del discurso (Instituto Cervantes,
1996-2014).
Por otra parte, a pesar de que se hace una descripción coherente del constructo, faltó
aclarar en estas especificaciones el por qué de su elección. Es decir, se ve necesario tener
una mejor argumentación en cuanto a la escogencia de los criterios que definan el
16 Fulcher (2003) afirma que en la fluidez se encuentra el uso de pronombres para reemplazar objetos o
personas, sinónimos y circunloquios, y llenar las pausas con sonidos como “mmm”. 17
El instituto dervantes (1996-2004) define la referencia como la relación que se establece entre una unidad
lingüística y el mundo construido por el discurso. Por ejemplo, un libro (objeto material) o una sirena
(persona imaginaria).
84
constructo, cuando el MCER pone a disposición otros criterios de evaluación. De igual
forma, se propone intentar evaluar otros aspectos de la lengua como el aspecto
sociolinguístico y paralingüístico.
Por último, el comité de expertos señaló que en las especificaciones no se encuentra
una descripción clara del tipo de candidato que toma la prueba de clasificación. Por
consiguiente, se sugiere encuestar a la dirección del CLAM para conocer mejor la
descripción de los tipos de candidatos.
7.2 Resultados de las especificaciones de las tareas
En este apartado se presentan los resultados obtenidos en las especificaciones de las
tareas. Primero se presenta los resultados del precalentamiento, luego de la tarea A, después
de la tarea B y, finalmente los resultados de la tarea C.
7.2.1 Resultados del precalentamiento
Primero que todo se determina que el término que se debería utilizar es el
Calentamiento como lo indica la literatura (Luoma, 2004 ; Martínez, 2011). De igual forma,
la retroalimentación recogida apuntó a que el tratamiento de toda la prueba puede realizarse
con el registro tú para crear un acercamiento con el candidato.
En segundo lugar, se determinó que esta tarea no evidencia un esquema distinto al
de pregunta respuesta, estructura de la actual prueba oral. Por consiguiente, la tarea no es
comunicativa pero cumple su función de reducir la ansiedad y el estrés del candidato,
además de conocer los datos personales de éste (véase especificaciones de la prueba).
En tercer lugar, se sugiere incluir una actividad de deletreo y una pregunta que
indague sobre cursos anteriores de español que el candidato pueda haber tomado. Estas
85
preguntas tienen como objetivo evaluar el deletreo del nivel A1.1 y conocer si el candidato
conoce otras lenguas para tener en cuenta los posibles errores de interferencia lingüística o
las posibles ventajas cuando se conoce otra lengua. Finalmente, se determina que el
calentamiento da cuenta de los contenidos que se quieren evaluar en el nivel A1.1.
7.2.2 Resultados de la Tarea A
En el caso del análisis de la tarea A, se concluye que en la primera parte no se le
aclara al candidato de qué tipo de actividades debe hablar. Por esta razón, se aconseja que
esta tarea sea más guiada para facilitar la comprensión del candidato. De igual forma, esta
tarea no implica el uso del lenguaje que una persona utilizaría en el mundo real. No
obstante, da cuenta de algunos de los contenidos del nivel A1.2. Finalmente, en esta
primera parte se evidencia que solo se le especifica al candidato el tiempo de preparación
pero no de respuesta, y se subraya que esta tarea presenta similitudes con la tarea A del
examen DELE.
Por otro lado, en la segunda parte, se vuelve al formato de pregunta y respuesta y no
lleva al uso del lenguaje en el mundo real. De igual manera, se aconseja revisar algunas de
las preguntas ya que sus respuestas pueden ser de una sola palabra.
Finalmente, se sugiere para todas las tareas, disminuir la cantidad de instruciones
para ganar tiempo y, se sugiere que el entrevistador haga valoraciones al candidato con el
fin de motivarlo y promover la actuación, a diferencia de lo que se aconseja en las
especificaciones de la evaluación (véase especificaciones de la prueba).
86
7.2.3 Resultados de la Tarea B
En relación con la tarea B se afirma que se mantiene el formato de pregunta y
respuesta no solamente en las indicaciones para el candidato, sino también a lo largo del
juego de rol. De igual forma, se aconseja utilizar imágenes y hacer una tarea más libre. Es
decir, la tarea no debería condicionar al candidato en una situación hipotética cuando, en la
clasificación, lo que se quiere es conocer al candidato y no que asuma otro rol.
Por otra parte, se determinó que hay que hacer una revisión a las preguntas durante
el juego de rol ya que las respuestas pueden ser cerradas y cortas. A pesar de ésto, durante
el pilotaje llevado a cabo, se observó que el candidato realizó mejor la tarea B que la tarea
A. Adicionalmente, se aconseja realizar preguntas contextualizadas para llevar al candidato
a una situación mientras se le da un input en la lengua meta. Finalmente, se señaló que esta
tarea no especifíca el tiempo de respuesta del candidato en el juego de rol.
7.2.4 Resultados de la Tarea C
En el caso de la tarea C, se evidenció que dos imágenes no son claras. No hay una
distinción entre la imagen de un metro y la imagen de un tren, lo que puede confundir al
candidato. De igual manera, se determina que el tema no parece ser el apropiado para los
niveles C, pues un candidato de menor nivel de lengua podría resolver la tarea. Asimismo,
el tema de transporte podría no ser el más adecuado si el candidato no está familiarizado
con la movilidad en Bogotá. En suma, se aconseja subir el nivel de dificultad de esta tarea.
7.3 Resultados de las especificaciones de la evaluación.
Los resultados de las especificaciones de la evaluación arrojaron resultados en
relación con las especificaciones para el evaluador, la definición de los criterios de
87
evaluación y los descriptores que detallan cada uno de los niveles según los 5 criterios
establecidos: Alcance, Corrección, Pronunciación (niveles A), Fluidez (Niveles B y C),
Interacción y Coherencia.
En lo que concierne a las especificaciones para el evaluador, se evidencia que es
necesario tener en cuenta que en la prueba solo una persona cumple el papel de evaluador y
entrevistador, por lo que es necesario tomar en consideración un tiempo adicional después
de la presentación de la prueba para evaluar al candidato. Asimismo, surge la necesidad de
explicitar que el evaluador debe explicarle al candidato cómo y cuándo se le entregarán
resultados de la prueba y del examen de clasificación.
Con respecto a la definición de los criterios de evaluación, como ya se mencionó en
los resultados de las especificaciones del constructo, existe, en algunos casos, una
discrepancia entre la descripción detallada de los descriptores en cada uno de los niveles y
las definiciones dadas para cada criterio de evaluación. Es decir, los descriptores muestran
aspectos de la lengua que no se consideran en la definición de los criterios. Por ejemplo, la
definición del criterio de coherencia no contempla el uso de mecanismos de cohesión que sí
se describen en los descriptores.
En lo que concierne a los descriptores de los criterios para cada uno de los niveles,
se evidencian opiniones diferentes de los expertos. Por un lado, dos de los expertos afirman
que el uso de descriptores detallados y específicos son más apropiados para la clasificación
de la actuación de un candidato. Por otro lado, otros expertos, en función de la viabilidad,
afirman que los descriptores podrían resumirse en puntos clave para que sea visualmente
más fácil calificar al candidato.
Del mismo modo, se afirma que en los descriptores de pronunciación de los niveles
A2.1 y A2.2, el acento extranjero no debería estar incluido pues no supone un problema,
88
pues el acento es un problema, siempre y cuando no dificulte la comunicación. De igual
forma, se afirma que sería aconsejable incluir aspectos como el uso de la voz pasiva, los
condicionales y las marcaciones deícticas en los descriptores de Corrección para los niveles
C1.1, C1.2 y C2.1. Finalmente, se aconseja que exista una coherencia discursiva entre los
descriptores de cada nivel. Es decir, que se utilice el mismo formato de lengua desde los
descriptores del nivel A1.1 hasta el nivel C1.1.
7.4 Resultados del pilotaje
Antes de entrar en detalle del pilotaje realizado el 31 de Octubre de 2014, es importante
primero mencionar que solo se ralizó un pilotaje, como consecuencia de algunos problemas
administrativos, y éste solo se realizó para las tareas A y B. Es decir, no hubo un pilotaje
del precalentamiento y la tarea C.
Durante el pilotaje se observó, como se mencionó anteriormente, que el candidato
respondió mejor a la tarea B que a la tarea A. En efecto, se evidenció la necesidad de guíar
mejor al candidato en la tarea A para evitar respuestas cortas y cerradas que no permitían
establecer una conversación natural entre el candidato y el entrevistador. Dicho de otro
modo, el hecho de que la tarea A, para los niveles A1.1 a A2.2, solo diera un imput inicial
al candidato (hablar de la familia, lugar favorito, comida favorita o actividades), esto
ocasiona que el candidato tenga una producción corta y limitada. Por esta razón, se
demuestra la necesidad de ofrecer un imput extra proporcionado por el evaluador o por las
indicaciones de la tarea para formentar una descripción más amplia por parte del estudiante.
En lo que concierne la tarea B, el candidato mostró un nivel más alto de producción
como consecuencia del imput proporcionado en la tarea. El candidato no solamente tenía un
89
primer imput, hablar de un viaje interesante que haya tenido, sino también tenía cuatro
preguntas extras que hacían que pudiera guiarse para tener una producción más amplia.
Además, también tenía el imput proporcionado por el evaluador a lo largo de la
conversación. Por lo anterior, se demosntró que es indispensable dar más imput al
candidato en la tarea A.
Por otra parte, durante el pilotaje también se observó que la propuesta de prueba
oral podría ser poco viable en el contexto del CLAM pues, debido a la cantidad de
candidatos que presentaron la prueba de clasificación, la propuesta de prueba oral no
clasificaba en el tiempo esperado por el centro y por los candidatos. Es decir, en un rango
de 10 a 15 minutos. Por esta razón, se ve la necesidad de crear una prueba oral más corta y
con menos instrucciones para el evaluador y para el candidato.
90
8. CONCLUSIONES
Después de haber hecho un recorrido teórico de la evaluación de la lengua oral y
haber realizado un proceso de planificación, diseño, validación y experimentación de una
propuesta de prueba oral para la clasificación de los nuevos estudiantes del CLAM, se
presentan las siguientes conclusiones vistas, desde la perspectiva de la viabilidad, el diseño
de tareas de evaluación y los criterios de evaluación.
Como ya se mencionó en apartados anteriores, la viabilidad define los recursos
requeridos y disponibles para el diseño y desarrollo de una prueba. Para el diseño de una
prueba oral definitiva de clasificación es necesario contar no solamente con los recursos
humanos para su diseño, los desarrolladores de la prueba, sino también con el tiempo para
los procesos de validación, fiabilidad y pilotaje. Además, es importante que se cuente con
un grupo de expertos que puedan validar la prueba y sus contenidos, así como una
población a la que pueda aplicársele la prueba la cantidad de veces que sea necesaria para
obtener no solo una retroalimentación de los expertos, sino también de los candidatos,
quienes son finalmente lo que se verán afectados si la prueba no evalúa lo que debería
evaluar.
Aunque la literatura presente diferentes tipos y métodos para la validación de un
test, la viabilidad determinará si se cuenta con los recursos humanos y el tiempo para
probar su validez interna, externa y del constructo. Es decir, en función de la viabilidad se
decidirá qué tipo de validez se puede probar.
De igual manera, aunque se defina un constructo de lengua comunicativo para
evaluar en una prueba, la viabilidad determinará hasta qué punto se pueden desarrollar unas
tareas evaluativas que den cuenta de esa visión de lengua, pues establecer una conexión
91
entre el constructo a evaluar y los procedimientos para su evaluación, exige tiempo para el
desarrollo de unas especificaciones claras y un entrenamiento de los evaluadores. Puede
verse entonces que la viabilidad de la prueba, como consecuencia de un contexto evaluativo
y sus limitaciones, es una cualidad que predomina sobre otras cualidades como la validez,
la fiabilidad y la autenticidad.
En efecto la viabilidad, en el caso de la presente propuesta de prueba oral, afectó
dos aspectos principales: la validez y la fiabilidad. Dado que, no fue posible realizar una
encuesta de validez de respuesta con los candidatos, no fue posible recolectar información
acerca de cómo los candidatos respondieron a los ítems del test, qué habilidades y
conocimientos pusieron en práctica al momento de responder y qué comportamientos
presentaron durante la prueba.
Además, dado que la propuesta de prueba oral sólo se pilotó una vez, la fiabilidad
de la propuesta no pudo probarse. Esto tiene grandes implicaciones ya que al no determinar
la fiabilidad de una prueba no se pueda determinar la validez de ésta. En efecto “un test no
puede ser válido si no es fiable” (Alderson et al., 1995, p. 187). Por otro lado, al no medir la
fiabilidad tampoco puede estimarse los efectos de errores de clasificación.
En lo que concierne a las tareas de evaluación en el enfoque por tareas, se concluye
que el enfoque suave definido por McNamara (citado en Soler, 2008; en Luoma, 2004)
podría ser la mejor alternativa para evaluar la lengua oral, en una prueba de clasificación,
mediante tareas comunicativas por dos razones. En primer lugar, una tarea comunicativa de
corte suave lleva al candidato a utilizar las habilidades lingüísticas que se quieren valorar
para su clasificación. Es decir, el objetivo de la clasificación no es valorar lo que el
candidato podría hacer con la lengua en el mundo real (como en un examen de proficiencia
92
y evaluación de dominio), sino valorar las habilidades que se enmarcan en un determinado
programa para clasificarlo en un curso apropiado.
En segundo lugar, la aplicación de un enfoque duro implica llevar al estudiante a
que realice tareas del mundo real en un proceso de interacción y negociación de mensajes.
Por consiguiente, la dificultad radica en darle al candidato un input que le permita facilitar
las oportunidades de interacción y negociación con el evaluador. Sobre todo, cuando este
último ejerce un poder de control discursivo durante la evaluación, lo que hace que
difícilmente el candidato negocie con el evaluador no solo para mostrar sus habilidades con
la lengua, sino también para realizar la tarea en sí misma. Igualmente, se considera que este
enfoque podría verse afectado, como se mencionó anteriormente, por la viabilidad, pues
como se vio en la literatura (véase aparatado 5.6.3), una tarea no muy auténtica puede ser
recomendable en función de su viabilidad.
Por otro lado, en el desarrollo de tareas de evaluación, se concluye que pueden
utilizarse tanto tareas abiertas como cerradas cuando el objetivo de la prueba sea clasificar
al estudiante dentro del nivel apropiado en un currículo de lengua (Brown, 2005). De igual
manera, se aconseja que se realicen el número de tareas que sean necesarias según la
viabilidad, pero siempre promoviendo la variedad, pues, como ya se mencionó, diferentes
tareas ayudan a valorar la actuación de diferentes tipos de candidatos (véase apartado
5.2.1).
Finalmente, se evidencia que existe un vacio metodológico para el diseño de tareas
de evaluación, pues en la literatura encontrada, ésta se enfoca en los fundamentos teóricos
para su aplicación en el aprendizaje y no en la evaluación a pesar de que, como se explicó
anteriormente (veáse apartado 5.2) este enfoque se defiende tanto para la enseñanza-
aprendizaje como para la evaluación.
93
En lo que concierne a los criterios de evaluación, se evidencia que la literatura
aboga por el uso de criterios de evaluación positivos, lógicos y sencillos. Sin embargo,
después de analizar los criterios y los descriptores del MCER y de los exámenes DELE, y
las investigaciones que dan cuenta de la dificultad en el uso de los mismos (veáse apartado
3.1) se propone que para una prueba de clasificación, los criterios deberían ser específicos
y detallados para determinar minuciosamente las habilidades del candidato en cada uno de
los niveles del programa, pues, como ya se mencionó, el objetivo es clasificar y valorar el
dominio lingüístico. Para este nivel de detalle, se aconseja el uso del PCIC y los objetivos
comunicativos de los programas de la institución.
Por otro lado, en el MCER se encuentran 14 criterios que pueden ser utilizados para
valorar la actuación de la lengua oral. Sin embargo, se encuentra la dificultad en
argumentar el por qué de la elección. Es decir, se aconseja solamente considerar siete
criterios para evitar una carga cognitiva del evaluador, pero no existe una guía o una
explicación teórica o metodológica que especifique qué criterios se deben utilizar según un
determinado tipo de evaluación. Por consiguiente, los desarrolladores de una prueba pueden
encontrar dificultades en argumentar la elección de sus criterios.
Finalmente, se concluye que la creación de una prueba oral de clasificación, y
cualquier otro tipo de evaluación, no es un proceso definitivo sino continuo. En efecto, esta
primera propuesta solo es una posible alternativa de mejoramiento de la actual prueba oral
y no será la definitiva hasta que no se realicen mejores procesos de diseño, validación y
pilotaje. Igualmente, es importante mencionar que para facilitar este proceso, los futuros
desarrolladores de la prueba deberían ser idealmente personas vinculadas con la institución
para que puedan conocer a fondo el contexto, los programas y los procesos administrativos
involucrados.
94
REFERENCIAS
Alderson, J., Clapham, C., y Wall, D. (1995). Language Test Construction and Evaluation.
Cambridge: Cambridge University Press.
Alonso, E. (2002). Soy professor/a Aprender a enseñar. Madrid: EDELSA.
Association of language testers in Europe (ALTE) (2001), Principles of Good Practice fo
ALTE Examinations.Recuperado de
http://www.testdaf.de/fileadmin/Redakteur/PDF/TestDaF/ALTE/ALTE_good_pract
ice.pdf
Agray, N. (26 de Mayo de 2014). El Centro Latinoamericano con la directora Nancy
Agray / Entrevistador: Violeta Santamaría. Programa Maestría en Lingüística
Aplicada de ELE, Pontificia Universidad Javeriana, Bogotá.
Baralo, M. (1999). El desarrollo de la expresión oral en el aula de E/LE. Revista Nebrija de
lingüística aplicada en la enseñanza de las lenguas, (47), 164-171.
Bachman, L. y Palmer, A. (2010). Language Assessment in Practice Oxford: Oxford
University Press.
Bachman, L. (1990). Fundamental Considerations in language testing. Oxford: Oxford
University Press.
Bachman, L. y Palmer, A. (1996). Language Testing in Practice: Designing and
Developing Useful Language Test. Oxford: Oxford University Press.
Bordon, T. (2009). Evaluación y niveles de competencia comunicativa. Monogáficos
Marco ELE, (8), 37-60.
Bordon, T. (2004). La evaluación de la expresión oral y de la comprensión auditiva. En J.
Sánchez., y I. Santos. (Ed.), Vademécum para la formación de profesores (pp. 983-
1003). Madrid, España: Sgel.
Brown, J. (2005). Testing in language programs. A comprehensive guide to English
language assessment. New York: McGraw-Hill ESL / ELT.
Consejo de Europa. (2002). Marco común europeo de referencia para las lenguas:
95
aprendizaje, enseñanza, evaluación, Madrid, España: Ministerio de Educación,
Cultura y Deporte; Instituto Cervantes. [Título original: Common European
Framework of Reference for Languages Learning, teaching, assessment, (2001),
Strasbourg: Council of Europe].
Centro Lationoamericano. (12 de noviembre de 2014). Español para extranjeros.
Recuperado de http://antorchaweb.com/centrolatino/index.php/es/
Dominguez, P. (2008). Destrezas receptivas y destrezas productivas en la enseñanza del
espeañol como lengua extranjera. Breve curso para profesrores en formación.
Monogáficos Marco ELE, (6), 1-201.
Edeso, V (2007). ¿Qué es una prueba de nivel? Definición, objetivos y factores que hay que
tener en cuenta en su elaboración. En Pastor, S y Roca, S (Ed.), La evaluación en el
aprendizaje y la enseñanza del español como lengua extranjera / segunda lengua
(pp. 240-246). Alicante, España
Espejo, B., Flórez, M. y Zambrano, E. (2008). Tendencias de los estudios de ELE en
Bogotá, Revista Lenguas en Contacto y Bilingüismo, Instituto Caro y Cuervo, 1, 65-
91.
Estaire, S. (2010). Principios básicos y aplicación del aprendizaje mediante tareas. Revista
e didáctica español como lengua extranjera. Marco ELE.
Estaire, S. y Zanón, J. (1990).
y desarrollo. Comunicación, Lenguaje y Educación, 7.
Ferrerira, A., Vine, A., y Elejalde, J. (2013). Hacia una prueba de nivel en español como
lengua extranjera, Concepción, Universidad de concepción, Proyecto Fondecyt.
Figueras, N. (2008). El MCER, más allá de la polémica. Monogáficos Marco ELE
Evaluación, (7), 26-35.
Font, J. (1998): “Métodos y enfoques en la enseñanza de lenguas extranjeras”, en A.
Mendoza (coord.), Conceptos clave en didáctica de la lengua y la literatura.
Barcelona: Horsori.
Fulcher, G. (2003). Testing second language speaking. London: Pearson Logman.
96
González-Such, J., Jornet, J. M. y Bakieva, M. (2013). Consideraciones metodológicas
sovre la evaluación de la competencia oral en L2. Revista Electrónica de
Investigación Educativa, 15 (3), 1-20. Recuperado de
http://redie.uabc.mx/vol15no3/contenido-glez-jornet.html
Instituto Cervantes. (1996-2014). Competencia comunicativa, corrección, pronunciación.
Centro virtual Cervantes [versión electrónica]. Madrid, España:
http://cvc.cervantes.es/ensenanza/biblioteca_ele/diccio_ele/
Instituto Cervantes. (2006). Plan Curricular del Instituto Cervantes. Niveles de referencia
para el español. Recuperado de
http://cvc.cervantes.es/ensenanza/biblioteca_ele/plan_curricular/default.htm
Latorre, A. (2003). La investigación-acción. Conocer y cambiar la práctica educativa.
Barcelona: Graó.
Luoma, S. (2004). Assessing speaking. Cambridge, United Kindom: Cambridge University
Press.
McNamara, T. (2000). Language Testing. Oxford: Oxford University Press.
Manzanares, F. (2014). Dificultades en el uso de los descriptores en el proceso de
evaluaciónde la expresión oral de ELE. Revista Nebrija de lingüística aplicada a la
enseñanza de las lenguas, (16), 142-158.
Martínez, A (2011). Diseñar la evaluación para el alumnado inmigrante en la ESO:
evaluación académica / evaluación de habilidades. En Ballano, I (Ed.), Evaluar la
competencia lingüística del alumno inmigrante (pp. 51-70). Bilbao, España.
Universidad de Deusto.
Martínez, A. (2008a). La evaluación oral: una equivalencia entre las guidelines de ACTFL
y algunas escalas del MCER (Tesis doctoral). Universidad de granada, Granada,
España.
Martínez, A. (2008b). Dificultades y precauciones en la evaluación oral de la lengua.
Monográficos Marco ELE Evaluación, (7), 52-69.
97
Mingarro, P. (2008). Las escuelas oficiales de idiomas en Cataluña: marco normativo,
currículum y certificación. Monográficos Marco ELE Evaluación, (7), 70-77.
Navarro, P. y Navarro, R (2008). Cómo aplicar los niveles de referencia a la elaboración de
materiales didácticos: estudios sobre Pasaporte A1. Monográficos Marco ELE, (6),
1-28.
Pastor, S (2003). La evolución del proceso de aprendizaje de segundas lenguas”. En
Perspectivas teóricas y metodológicas: lengua de acogida, educación intercultural
y contextos inclusivos. Madrid, Comunidad de Madrid, Consejería de Educación.
Pp. 503-514
Pastor, C (2007). Sobre el diseño de pruebas orales. Actas del Programa de Formación
para el profesorado de Español como Lengua Extranjera (Múnich, 2006-
2007)[Versión electrónica]. Múnich: Instituto Cervantes de Múnich,
http://cvc.cervantes.es/Ensenanza/biblioteca_ele/publicaciones_centros/PDF/munic
h_2006-2007/08_pastor.pdf
Pinilla, R. (2004). La expresión oral. En J. Sánchez., y I. Santos. (Ed.), Vademécum para la
formación de profesores (pp. 879-897). Madrid, España: Sgel.
Puig, F. (2008). La evaluación, un reto. Monogáficos Marco ELE Evaluación, (7), 2-3.
Ferrerira, A., Vine, A., y Elejalde, J. (2013). Hacia una prueba de nivel en español como
lengua extranjera. RLA, Revista de Lingüística Teórica y Aplicada, 51 (2), 2-3.
doi:10.4067/S0718-48832013000200005.
Salaberri, S. (2007). Competencia comunicativa intercultural. Junta de
Andalucia.Recuperado de
http://www.juntadeandalucia.es/educacion/portal/com/bin/Contenidos/IEFP/Publica
ciones/PERSPECTIVA_CEP/1209368660027_05_opinion_compet.pdf
Soler, O. (2008). Diferentes enfoques para en la evaluación de lenguas mediante tareas.
Monográficos Marco ELE Evaluación, (7), 111-121.
98
Seliger, H., y Shohamy, E. (1989). Second language research methods. Oxford: Oxford
University Press.
Tardo, Y. (2005). Para un enfoque didáctico integral de las estrategias de comunicación
oral en la enseñanza del Español como lengua extranjera. Red ELE, Revista
electrónica de didáctica / español lengua extranjera. Recuperado de
http://www.mecd.gob.es/dctm/redele/MaterialRedEle/Revista/2005_03/2005_redEL
E_3_16Tardo.pdf?documentId=0901e72b80e06650
Universidad de los Andes. (2009). Informe del estudio sobre los exámenes en español como
lengua extranjera administrados en Colombia. Recuperado de
http://www.lenguasdecolombia.gov.co/sites/lenguasdecolombia.gov.co/files/inform
e_icc_andes.pdf
Yalden, J. (1987): Principles of Course Design for Language Teaching, Cambridge:
Cambridge University Press.
Zabaleta, F. (2007). Developing a multimedia, computer based Spanish placement test.
CALICO Journal, 24 (3), 675. Recuperado de http:
//search.proquest.com/docview/750618266? accountid=13250.
99
ANEXO 1- FICHA DE ENTREVISTA PERSONAL- ACTUAL
PRUEBA ORAL DEL EXAMEN DE CLASIFICACIÓN DEL CLAM
FICHA DE ENTREVISTA PERSONAL
FECHA:
NOMBRE:
NACIONALIDAD:
EDAD:
OCUPACIÓN:
FECHA DE LLEGADA A COLOMBIA:
TIEMPO DE PERMANENCIA EN COLOMBIA:
REFERENCIA DEL C.L:
MOTIVOS PARA ESTUDIAR ESPAÑOL
CURSOS ANTERIORES DE ESPAÑOL
OTROS IDIOMAS
NECESIDADES DE APRENDER E/LE:
OBSERVACIONES DEL ENTREVISTADOR:
Gramática:
_________________________________________________________________________
_________________________________________________________________________
__________
Pronunciación:
_________________________________________________________________________
_________________________________________________________________________
__________
100
Léxico:
_________________________________________________________________________
_________________________________________________________________________
__________
Fluidez:
_________________________________________________________________________
_________________________________________________________________________
__________
Firma
Entrevistador: _____________________________________________________________
Nivel recomendado:
_____________________________________________________________
Horario:________________
101
ANEXO 2- PRUEBA ORAL EXAMEN DE CLASIFICACIÓN PONTIFICIA UNIVERSIDAD JAVERIANA
FACULTAD DE COMUNICACIÓN Y LENGUAJE DEPARTAMENTO DE LENGUAS MODERNAS
CENTRO LATINOAMERICANO
CURSOS DE ESPAÑOL PARA EXTRANJEROS
EXAMEN DE CLASIFICACIÓN
FORMATO DE ENTREVISTA - MARZO DE 2006
Actualizado por Luz Mary Montaña de Amorocho
Preguntas nivel Básico (La segunda opción es para estudiantes más avanzados)
1. Saludar y responder al saludo (Para evaluar el registro formal e informal)
2. ¿Cuál es su nombre?/ ¿Cómo se llama?
3. ¿Cuál es su nacionalidad?/ ¿De dónde es usted?
4. ¿Cuál es su profesión?/ ¿Ud. qué hace?
5. ¿Es usted casado(a)/ ¿Cuál es su estado civil?
6. ¿Cómo es su familia?
7. ¿Dónde vive?
8. ¿Cómo es su casa/apartamento?
9. ¿Qué le gusta hacer los fines de semana/ en vacaciones?
10. ¿Cómo es un día normal en su vida?
11. ¿Qué hizo en sus últimas vacaciones?
102
12. ¿Qué va a hacer el próximo fin de semana?
Preguntas Nivel Intermedio
13. ¿Con quién vivía usted antes de venir a Colombia?
14. ¿Cómo era usted cuando era un(a) niño(a)?
15. Puede contar una anécdota chistosa de su vida? ¿Qué pasó, dónde, cuándo?
16. ¿Ha estudiado español antes?
17. ¿Cuáles son sus planes para las próximas vacaciones?
18. En el tiempo que lleva en Colombia, ¿Cuál cree que es la mayor diferencia con su país?
19. ¿Había visitado nuestro país antes?
20. ¿Qué sabía de Colombia antes de venir?
Preguntas Nivel Avanzado
21. ¿Qué le recomendaría a un amigo suyo que viene a Colombia por primera vez?
22. ¿Qué haría si se ganara la lotería?
23. Si hubiera tenido algún problema con el DAS en el aeropuerto cuándo entró al país, qué
hubiera hecho?
24. ¿Con quién habría hablado si por error se hubiera bajado en el aeropuerto de Medellín y no
en el de Bogotá?
ANEXO 3- TRANSCRIPCIÓN ENTREVISTA CON LA DIRECTORA
DEL CLAM: NANCY AGRAY. MAYO 26 DE 2014.
E: Nancy muchas gracias por habernos concedido esta entrevista.
N: no con mucho gusto
E: La primera pregunta es ¿Actualmente cómo se clasifican a los nuevos estudiantes
del Centro Latinoamericano?
N: Bueno tenemos un examen que fue diseñado entre el año de 1997 y 1998 que
inicialmente estaba pensado para ser una prueba escrita solamente. Posteriormente, dos
años después (siempre hacíamos entrevista pero no lo considerábamos parte del examen) la
adecuaron y se constituyó en la prueba oral del examen. Posteriormente digo yo por ahí dos
años después. Y cuando sale el Marco de Referencia pues se ajustan las dos pruebas tanto
N: Nancy Agray
E: Entrevistador
103
la oral como la escrita. Y con ese examen, con la parte escrita que dura dos horas y la
entrevista que dura 20 minutos se clasifican a los estudiantes
E: ¿Cuáles son los aspectos fuertes del examen de clasificación?
N: A mí me parece que hay tres aspectos fuertes. El primero que se hizo como un proceso
de investigación y fue construido por un grupo de profesores. Los ítems del examen fueron
validados en su momento. La otra ventaja que tiene es que es un examen que en un solo
examen mide el nivel de clasificación no es un examen de proficiencia, no es un examen de
progreso, no es un examen de nivel
E: y ¿Cuáles son los aspectos débiles del examen?
N: Creo que fundamentalmente hay uno y es que el examen ya tiene muchos años y cuando
se creó fue concebido bajo otro marco de referencia y bajo otros parámetros. Que fue
susceptible de ser adecuado, pero adecuado justamente porque había sido manejado como
un proceso de investigación y diseñado como un examen de clasificación, etc. Sin embargo,
primero ya es muy antiguo, segundo la parte oral del examen es una entrevista por eso no se
dice tanto examen oral. Esta entrevista es la que menos ajustada está a los parámetros y
depende mucho de la experticia de quien entreviste para poder clasificar.
E: Eso me lleva a la siguiente pregunta y es ¿Quién aplica la prueba?
N: La prueba la aplicamos los profesores del Centro. Particularmente el coordinador y
profesores que tenga ya experiencia haciendo la prueba oral. La prueba escrita no tiene
tanto problema en el sentido (tiene el problema que está vieja y hay que cambiarla) pero no
tiene problema en su clasificación porque se califica con planilla y digamos que el nivel de
error es muy poco. La otra si lo que pasa es que depende de la experiencia del profesor que
clasifique. En general hay poca equivocación pero no es una prueba que esté
suficientemente validada y que tenga unos criterios tan claros que le pueden decir a uno
quedó bien clasificado o mal clasificado el estudiante.
E: ¿Qué criterios tienen en cuenta durante la prueba oral?
N: En la prueba oral hay una planilla, hay una tabla entonces se le pregunta primero al
estudiante información personal. Una serie de preguntas sobre de dónde es, cuántos años,
cuánto tiempo ha estudiado español, para qué requiere el español. Toda esa parte se hace en
español y uno ahí va viendo cosas. Luego hay como cinco criterios relacionados con la
fluidez, la pronunciación, con el manejo de gramática, con el léxico y con la adecuación. Y
eso es lo que se va mirando a medida que el estudiante va respondiendo. Tenemos también
una planilla que tiene una serie de preguntas que cubren los niveles básico, intermedio y
avanzado de conocimiento. Entonces si en las primeras preguntas el estudiante sólo puede
contestar esas y le hago unas del intermedio, fundamentalmente enfocadas en el léxico y la
gramática, pues uno puede ya ir mirando donde debe quedar clasificado el estudiante a
través de una serie de preguntas. Son más o menos diez preguntas por cada nivel de los
niveles grandes los A, los B y los C.
104
E: ¿Qué otras dificultades ha encontrado en el instrumento?
N: Digamos que la gran dificultas para mí es que no sea tan sistemática como el escrito que
no tengan los criterios tan claros que cualquier persona con los criterios en la mano pudiera
evaluar independientemente de tener mucha o poca experiencia evaluando y que queda más
a la experiencia y si no más así uno tiene casos e que le gustaría volver a oír al estudiante
para saber en qué nivel queda. Hay unos que son muy difíciles, los que vienen en la
frontera entre un nivel y otro. Yo creo que esa es la mayor dificultad. Porque en últimas no
es una prueba que permita clasificar por la prueba misma.
E: ¿Sino por las personas que la aplican?
N: Exacto
E: ¿La información obtenida en la prueba oral corresponde al dominio lingüístico del
estudiante?
N: En general sí. Cuando se cruza la información de lo oral y lo escrito que es cuando se
saca el balance en donde vamos a ubicar al estudiante. No sé un porcentaje pero es muy
raro el estudiante que tenemos que devolver y decir no tenemos que reubicarlo. Que pasa
generalmente, y eso también es normal, y es que en las pruebas escritas algunos estudiantes
tienen unos puntajes muy altos y en la prueba oral no tanto. Eso es muy común en los
hablantes del portugués o del francés. ¿Por qué? Pues por la vecindad lingüística ellos son
capaces de adivinar una serie de cosas pero luego en la expresión oral, que es ya una
demostración muy fuerte de conocimiento de lengua, pus no pueden desempeñarse
igualmente bien. En ese caso lo que hacemos es que valoramos mucho más lo que pasa en
la prueba oral que lo que pasa en la prueba escrita. La prueba escrita puede ser mentirosa
porque como es de selección múltiple, mucha de esa selección puede darse por azar.
Entonces tenemos más en cuenta lo que haya sacado en la prueba oral. Pero digamos que en
general la prueba permite ubicar a la gente. Finalmente el examen si da para uno poder
decir y además en muchas ocasiones da muy cercano. En general, es muy raro el estudiante
muy alto en la prueba escrita y muy bajo en la prueba oral. En general casi que es muy
parejo y uno dice que ahí se corrobora que el estudiante está en x nivel. Solo en casos
excepcionales. Por ejemplo los estudiantes que son hijos de padres colombianos, ellos
tienen una pronunciación y un manejo de lengua oral muy alto y la escritura es súper pobre
porque se han acostumbrado es a hablar en español, pero ellos no conocen la gramática,
ellos no saben escribir. Ahí si se da una distancia bastante grande. Pero de resto sí permite
clasificar. Lo que pasa es que pienso que no puede ser el único criterio. Si nos está
permitiendo clasificar pero hay que desarrollar el examen mejor. Hay que mejorarlo y
actualizarlo.
E: Listo. Nancy, muchas gracias por esta entrevista.
N: Con mucho gusto y ojalá te sirva.
105
ANEXO 4- CUESTIONARIO DE FIABILIDAD
FORMULARIO: FIABILIDAD DE LA PRUEBA ORAL DEL EXAMEN DE
CLASIFICACIÓN CON EXPERTOS Y EVALUADORES DEL CENTRO
LATINOAMERICANO (CLAM).
Por medio del presente recurrimos a su experiencia para hacerle 5 preguntas que
contribuyen al proceso de comprobación de la fiabilidad en el proceso de pilotaje de la
nueva prueba oral del examen de clasificación del CLAM. Agradecemos enormemente por
responder a la siguientes preguntas abiertas donde usted evaluará la fiabilidad de la prueba.
Estas preguntas hacen parte de una lista de verificación (checklist) propuesta por Bachman
y Palmer (1996) para indicar qué tanto se satisface una cierta cualidad en una prueba.
Antes de empezar a responder, le solicitamos la siguiente información:
106
Nombres: _________________________________________
Apellidos: _________________________________________
Cargo en el CLAM: _________________________________
¿Cuánto tiempo ha trabajado en este cargo?: ______________
Preguntas
¿Qué tanto se satisface está
cualidad?
¿Por qué sí o por qué no se
satisface esta cualidad?
¿Las características del
lugar en donde se
realiza la prueba son
siempre las mismas?
¿En qué medida cambia
el input (oral u escrito)
dado de una tarea a
otra, de una sección de
la prueba a otra o en
diversas
administraciones de la
prueba?
107
¿En qué medida varían
las características de la
respuesta esperada de
una tarea a otra en
diversas
administraciones de la
prueba?
¿En qué medida cambia
la relación entre el
input y la respuesta de
una forma injustificada
en diversas
administraciones de la
prueba?
ANEXO 5- CUESTIONARIO VALIDACIÓN DEL CONSTRUCTO
FORMULARIO: VALIDACIÓN DEL CONSTRUCTO DE LA PRUEBA ORAL
DEL EXAMEN DE CLASIFICACIÓN CON EXPERTOS Y EVALUADORES DEL
CENTRO LATINOAMERICANO (CLAM)
Por medio del presente recurrimos a su experiencia para hacer un proceso de
validación del constructo en el proceso de pilotaje de la prueba oral del examen de
clasificación del CLAM.
Agradecemos enormemente por responder a la siguientes preguntas y por hacer
parte de este proceso de validación. A continuación encuentra 5 preguntas abiertas donde
usted hará una retroalimentación. Estas preguntas hacen parte de una lista de verificación
(checklist) propuesta por Bachman y Palmer (1996) para indicar qué tanto se satisface a una
108
cierta cualidad en una prueba. Antes de empezar a responder, le solicitamos la siguiente
información:
Nombres: _________________________________________
Apellidos: _________________________________________
Cargo en el CLAM: _________________________________
¿Cuánto tiempo ha trabajado en este cargo?: _____________
Preguntas
¿Qué tanto se satisface
está cualidad?
¿Por qué o por qué no se
satisface esta cualidad?
Comentarios /
sugerencias
¿Está la habilidad
lingüística (el
constructo) definida
claramente y sin
ambigüedades?
¿El constructo
evaluado en la prueba
es relevante y adecuad
para el propósito de
ésta?
¿En qué medida las
tareas reflejan la
definición del
constructo?
109
¿En qué medida el
sistema de
calificaciones refleja
la definición del
constructo?
¿Sirve el sistema de
valoración (criterios)
para hacer las
interpretaciones sobre
la habilidad de los
candidatos?
ANEXO 6- CUESTIONARIO VALIDACIÓN DEL CONTENIDO
FORMULARIO: VALIDACIÓN DEL CONTENIDO DE LA PRUEBA ORAL DEL
EXAMEN DE CLASIFICACIÓN CON EXPERTOS
Por medio del presente recurrimos a su experiencia para hacer un proceso de validación del
contenido en el proceso de pilotaje de la prueba oral del examen de clasificación del CLAM.
Agradecemos enormemente por responder a la siguientes preguntas y por hacer parte de
este proceso de validación. Primero que todo, usted responderá a una pregunta por medio de una
lista de verificación (checklist) sobre los contenidos que debería tener una prueba según las
110
propuestas hechas por Alderson (1995), Luoma (2004) y Bachman y Palmer (2010). En ese
formulario usted también podrá hacer una retroalimentación.
En segundo lugar, usted responderá a una serie de preguntas cerradas sobre los contenidos
de las tareas de evaluación. Finalmente, en un tercer formulario, usted responderá nuevamente a un
conjunto de preguntas cerradas, pero esta vez sobre los contenidos de los criterios de evaluación.
Estos últimos formularios fueron diseñados por los autores del presente PAP. Antes de empezar a
responder, le solicitamos complete la siguiente información:
Nombres: _________________________________________
Apellidos: _________________________________________
Cargo en el CLAM: _________________________________
¿Cuánto tiempo ha trabajado en este cargo?: ______________
1. Contenidos de una prueba de evaluación
Marque con una (X):
¿La siguiente información es clara en las
especificaciones de la prueba?
SÍ NO Si la respuesta es NO,
¿Por qué?
El propósito de la prueba
La descripción del tipo de candidato
Las secciones de la prueba
La definición del constructo ¿Este se simula
de alguna forma en el contenido y el método
de la prueba?
Los tipos de textos
Las destrezas lingüísticas que deberían
evaluarse.
111
Los elementos lingüísticos que deberían
evaluarse
Los tipos de tareas que se requieren
El método de evaluación
Las instrucciones para los candidatos
Las instrucciones para los evaluadores
Los criterios de evaluación
2. Contenidos de las tareas
Marque con una (X):
TAREA A
SÍ NO Si la respuesta es NO,
¿Por qué?
¿Considera que la tarea refleja la definición
del constructo?
¿Considera que las instrucciones son claras
para el candidato y están acordes con el
nivel?
¿Considera que la tarea implica el uso del
lenguaje donde se emplean los mismos
procesos comunicativos que en las
actividades del mundo real?
¿Considera que el material (la lámina) es
sencillo y está en concordancia con los
contenidos que se desean evaluar?
112
¿Considera que el tiempo es el apropiado
para desarrollar la tareas?
TAREA B
SÍ NO Si la respuesta es NO,
¿Por qué?
¿Considera que la tarea refleja la definición
del constructo?
¿Considera que las instrucciones son claras
para el candidato y están acordes con el
nivel?
¿Considera que la tarea implica el uso del
lenguaje donde se emplean los mismos
procesos comunicativos que en las
actividades del mundo real?
¿Considera que el material (la lámina) es
sencillo y está en concordancia con los
contenidos que se desean evaluar?
¿Considera que el tiempo es el apropiado
para desarrollar la tareas?
TAREA C
SÍ NO Si la respuesta es NO,
¿Por qué?
¿Considera que la tarea refleja la definición
del constructo?
¿Considera que las instrucciones son claras
para el candidato y están acordes con el
nivel?
¿Considera que la tarea implica el uso del
lenguaje donde se emplean los mismos
procesos comunicativos que en las
actividades del mundo real?
¿Considera que el material (la lámina) es
113
sencillo y está en concordancia con los
contenidos que se desean evaluar?
¿Considera que el tiempo es el apropiado
para desarrollar la tareas?
3. Contenidos de los criterios de evaluación
Marque con una (X)
Criterios y descriptores
SÍ NO Si la respuesta es NO,
¿Por qué?
¿Considera que los criterios son los
apropiados para evaluar el constructo?
¿Considera que los descriptores de los
criterios permiten hacer las interpretaciones
pertinentes para clasificar a un candidato?
¿Considera que hay una transición clara y
coherente entre los descriptores de cada
nivel?
¿Considera que existe coherencia entre los
descriptores de los criterios y las tareas de
evaluación?
ANEXO 7 – LÁMINAS DEL CANDIDATO
LÁMINA DEL CANDIDATO
TAREA A
“TÚ”
Prepara una presentación de un minuto en la que hables de ti . Utiliza la
siguiente imagen para guiarte.
LÁMINA DEL CANDIDATO
TAREA A
“USTED”
Prepare una presentación de un minuto en la que hable de usted. Utilice la
siguiente imagen para guiarse.
LÁMINA DEL CANDIDATO
TAREA B
“TÚ”
En Bogotá existen diferentes club de conversación. Cada semana se escogen temas
interesantes para que extranjeros practiquen el español. Hoy se va a hablar de viajes.
Imagina que el entrevistador y tú son parte de este club
Habla acerca de un viaje interesante que hiciste.
Guíate por las siguientes preguntas:
¿Dónde estuviste?
¿Cuánto tiempo estuviste allí?
¿Con quién fuiste?
¿Qué lugar te gustó más? ¿Qué había allí?
LÁMINA DEL CANDIDATO
TAREA B
“USTED”
En Bogotá existen diferentes club de conversación. Cada semana se escogen temas
interesantes para que extranjeros practiquen el español. Hoy se va a hablar de viajes.
Imagine que el entrevistador y usted son parte de este club
Hable acerca de un viaje interesante que hizo.
Guíese por las siguientes preguntas:
¿Dónde estuvo?
¿Cuánto tiempo estuvo allí?
¿Con quién fue?
¿Qué lugar le gustó más? ¿Qué había allí?
LÁMINA DEL CANDIDATO
TAREA C
“TÚ”
El alcalde de Bogotá ha convocado a un foro de participación ciudadana para buscar soluciones al problema de movilidad en
la ciudad.
De los siguientes medios de transporte, escoge el que creas que sea más apropiado para Bogotá y discútelo con
el entrevistador.
Presenta las ventajas y desventajas del medio de transporte que escogiste.
Guíate por los siguientes temas para organizar tus ideas
-Tiempo
-Comodidad
-Economía
-Impacto ambiental
Al final, intenta llegar a un acuerdo con el entrevistador.
LÁMINA DEL CANDIDATO
TAREA C
“USTED”
El alcalde de Bogotá ha convocado a un foro de participación ciudadana para buscar soluciones al problema de movilidad en la
ciudad.
De los siguientes medios de transporte, escoja el que crea que sea más apropiado para Bogotá y discútalo con el
entrevistador.
Presente las ventajas y desventajas del medio de transporte que escogió
Guíese por los siguientes temas para organizar sus ideas
-Tiempo
-Comodidad
-Economía
-Impacto ambiental
Al final, intente llegar a un acuerdo con el entrevistador.
ANEXO 8-ESPECIFICACIONES DE LA EVALUACIÓN SEGÚN
BACHMAN Y PALMER (2010) En este anexo se presentan los contenidos que presentan Bachman y Palmer (2010) para las
especificaciones de la evaluación (p.371-372). Éstas especificaciones hacen parte del plan de
acción (Blueprint) cuando se diseña un test.
Especificaciones de la evaluación
(a) Número de partes
(b) Número de tareas por parte
(c) Secuencia de las partes y las tareas
(d) Importancia de las partes y las tareas
(e) Tiempo establecido para cada parte y cada tarea
(f) Instrucciones.
ANEXO 9- PARRILLA DE DESCRIPTORES AGREGAR DOCUMENTO ANEXO 9