babar pauta de evaluación de resumenes

7/25/2019 BABAR Pauta de Evaluacin de Resumenes

1/38

Estudios de

lingstica inglesa aplicada

EL RESUMEN Y SU EVALUACIN: ASPECTOSTERICOS Y PEDAGGICOS EN EL CONTEXTO

DE LENGUAS EXTRANJERAS

Irina Argelles lvarezUniversidad Politcnica de Madrid, Espaa

[email protected]

A partir de investigaciones tericas previas en el rea de la com-

prensin lectora y el resumen, este trabajo presenta un modelo de baremo

de bandas analticas para evaluar resmenes de textos expositivos en el

aula de lenguas extranjeras y profundiza en su elaboracin. La primera

parte del trabajo trata de responder a las preguntas relacionadas con laproduccin de resmenes desde una perspectiva cognitivo-textual. Se-

guidamente, se resumen algunas propuestas de adaptaciones pedaggi-

cas basadas en las teoras anteriores para su aplicacin en el aula. Por

ltimo, se repasan algunos de los modelos de evaluacin existentes y se

propone un mtodo de evaluacin y calicacin de resmenes en lengua

extranjera para su uso dentro del aula desde una perspectiva formativa.

La elaboracin del baremo ms que el producto nal centra esta ltima

parte del trabajo. Como conclusin, se resalta el valor formativo de lagua que puede servir, adems de como baremo para evaluar el resumen,

como apoyo para la enseanza de este tipo de destrezas, para la au-

toevaluacin o para la evaluacin entre pares, o como gua en grupos de

discusin de profesores o de alumnos.

Palabras clave:Resumen, enseanza, evaluacin, guas de cali-

cacin.

ELIA12, 2012, pp. 115-152


2/38

116 Irina Argelles lvarez

ELIA12, 2012, pp. 115-152

Based on previous research in the areas of reading and summary

writing, this paper has two goals: (1) to present a guide based on analyti-

cal bands to assess summaries of expository texts in a foreign language;

and (2) to elaborate on its design process. The rst part of the paper seeks

to address those questions related to the production of summaries from

a cognitive-textual perspective. The second part presents proposals for

the application of those theories in the classroom. Finally, some of the

existing models for the assessment of written summaries are evaluated

and an alternative method is presented for the assessment of summaries

in a foreign language with formative aims. The nal section focuses on

the process of the guide elaboration more than on the description of the

resulting guide. The conclusion highlights the formative value of the gui-

de, as it can be used not only to assess the product, but also as a support

in the teaching of skills involved in summary writing, for self assessment,

peer-evaluation or as guide in student or teacher discussion groups.

Key words:Summary writing, teaching, assessment, scoring guides.

1. INTRODUCCIN

Pensamos como Enrique Bernrdez en su prlogo al ResumenEscolarde lvarez Angulo (1998: 5) que tratar sobre el resumen no estratar sobre un tema local y particular sino todo lo contrario, por cuan-to que la prctica de dicha actividad presupone la puesta en marcha dehabilidades de comprensinlectora y de produccinescrita y por ende,de todas aquellas aptitudes cognitivas y comunicativas propias de talesactividades.

Pero adems de tales cuestiones de tipo cognitivo, existen otrosfactores que afectan a la produccin del resumen y que tienen que ver conlas relaciones entre sus componentes. Si, como proponen algunos autores(Cassany, Luna y Sanz 1994: 313), texto signica cualquier manifesta-cin verbal y completa que se produzca en una comunicacin, entoncesproponemos que los resmenes de cualquier tipo, y, concretamente, los


3/38

117El resumen y su evaluacin: aspectos tericos y pedaggicos...

ELIA12, 2012, pp. 115-152

escritos por nuestros estudiantes, son textos y, por lo tanto, debern ajus-tarse a las caractersticas que los identican como tales.

Por ltimo, nos parece importante que los estudiantes aprendan aresumir dentro del aula de primeras y segundas lenguas. Aunque hoy seaplican nuevas metodologas o enfoques (lvarez Angulo 2007; Chen ySu 2011; Frandsen 2011), esta concepcin de la enseanzaaprendizajedel resumen en el aula no es nueva y desde los primeros trabajos tericossobre tal habilidad, la prctica del resumen se entiende como una activi-dad que debe llevarse al aula (van Dijk 1979: 123). Si, como veremos msadelante, la evaluacin es consecuencia lgica de la enseanzaaprendi-

zaje, entonces evaluar la habilidad de resumir es el resultado esperablede la enseanza formal de tal actividad cognitivotextual. Pero previa acualquier consideracin pedaggica, es la denicin de resumen.

Denir un resumen ha ocupado el tiempo de muchos investiga-dores durante aos. De hecho, contamos hoy con numerosas propuestas1.Adoptamos en nuestro trabajo la denicin de lvarez Angulo (1998:102) porque intenta conciliar las anteriores por un lado, y recoge, porotro, esa doble perspectiva cognitiva y textual que compartimos y queharemos nuestra a lo largo de esta investigacin.

Independientemente de su denominacin y del tipo de aplicacin de que

se trate (resumen escolar; documentacin (indexacin) o de prctica

profesional), el resumen es una habilidad textual compleja, una estrategia

para procesar informacin, de gran utilidad social. Tal complejidad

se justica porque requiere una serie de operaciones cognitivas y

lingsticas (escoger, jerarquizar informaciones y organizarlas en otro

texto: comprensin), as como la reformulacin de las mismas en un

nuevo texto, sometido a las exigencias de coherencia y cohesin de todotexto: produccin. Consiste dicha estrategia en una parfrasis selectiva

textual, generalmente ms corta, que se establece sobre el mantenimiento

de una equivalencia informativa, economa de medios en el signicante

y adaptacin a una situacin nueva de comunicacin. El tipo de texto

de partida, base, inicial (T), con la correspondiente superestructura, la


4/38


ELIA12, 2012, pp. 115-152

nalidad y el destinatario condicionan la realizacin del producto nal:

el resumen (t).

La psicologa cognitiva, que trata de explicar esos complicadosmecanismos que intervienen en la tarea de resumir un texto, por un lado,y, la lingstica textual, que se centra en el resumen como texto, por otro,constituyen el marco terico de esta parte del trabajo.

2. ASPECTOS COGNITIVOS RELACIONADOS CON EL RESUMEN

Tratar de hablar sobre el resumen, de su metodologa o de suevaluacin es labor prcticamente imposible si no partimos de teorascognitivas bien conocidas y ampliamente aceptadas como las de WalterKintsch y Teun A. van Dijk. Desde la publicacin en 1978 de su artculoTowards a model of text comprehension and productiony hasta nuestrosdas, el estudio de aspectos cognitivos relacionados con la comprensiny produccin de textos, y, ms concretamente, con el resumen, incluye,en mayor o menor medida, referencias a dicho trabajo y a otros de losmismos autores, como, por ejemplo: Johns y Mayes 1990; Vega de M. et

al. 1990; Castell 1992; Hare 1992; Carson 1993; Milian Gubern 1997;Downing 1998; Bernrdez 1999 y Luque et al. 1999 entre otros.

Queremos adems aadir a las investigaciones de Kintsch y vanDijk las de otros investigadores que con anterioridad (Rumelhart 1977) obasados en los primeros (Garner1982; Brown y Day 1983; Brown, Dayy Jones 1983; Bean y Steenwyk 1984; Hare y Borchardt 1984; Taylor yBeach 1984; Winograd 1984; Hidi y Anderson 1986; Sherrard 1989 en L1y Edge 1983; Johns y Mayes 1990; Kirkland y Saunders 1991; Sarig 1993

en L2) han permitido el desarrollo de distintos trabajos, unos tericos yotros pedaggicos, cuyo objetivo es responder cuatro difciles preguntas:qu se entiende por resumen; qu es un buen resumen; cmo se debe re-sumir; y cmo llevar al aula el resumen tanto en la lengua materna comoen lengua extranjera.


5/38


ELIA12, 2012, pp. 115-152

Kintsch y van Dijk entendieron la comprensin de un texto comoun proceso de resumen del mismo y consideraron los resmenes como lamacroestructura del texto que se construye durante la lectura. Segn losinvestigadores, los componentes esenciales de este modelo cognitivo son:la microestructura, la macroestructura del texto y el esquema que el lectortiene. Los investigadores parten de que las proposiciones que conformanel discurso se relacionan semnticamente en el proceso de interpretacin,a veces explcitamente y, en ocasiones, a travs de la inferencia.

Los resmenes se entienden como expresiones de la macroes-tructura de otro discurso (van Dijk y Kintsch 1985: 8052), que gozan de

las propiedades de los discursos naturales. La macroestructura es, en smisma, un resumen de una secuencia de frases o proposiciones vincula-das por un tpico, aunque ms que hablar de una macroestructura de untexto, deberamos hablar de distintas macroestructuras si nos atenemos ala recursividad de las reglas (van Dijk y Kintsch 1985: 801). Nos interesaesta precisin porque explica que puedan darse distintos niveles de reduc-cin en un resumen.

Aunque como hemos dicho, no pretendemos profundizar en ladescripcin de las macrorreglas por ya conocidas, las presentamos breve-mente a continuacin siguiendo la clasicacin original de Kintsch y vanDijk (1978: 366) dada su pertinencia para estudios posteriores relaciona-dos con la pedagoga del resumen, as como su evaluacin:

1. Supresin. Las proposiciones que no condicionan directa o indi-rectamente la interpretacin de una proposicin posterior debeneliminarse.

2. Generalizacin. Cada secuencia de proposiciones debe sustituir-se por la proposicin general que denota la clase superordinadainmediata.

3. Seleccin3. De una secuencia de proposiciones, debemos su-primir todas las que representan una condicin, componente o


6/38


ELIA12, 2012, pp. 115-152

consecuencia normal de un hecho denotado por otra proposicin(segn el postulado general o marco) (van Dijk y Kintsch 1985:801)

4. Construccin. Cada secuencia de proposiciones puede sustituirsepor una proposicin que denote un hecho global del que los he-chos denotados por las proposiciones de la microestructura soncondiciones, componentes o consecuencias normales.

Segn Kintsch y van Dijk, las macrorreglas no se aplican de for-ma aleatoria sino probabilstica y estn determinadas por las necesidadesu objetivos del lector. Es de suma importancia en este sentido el conoci -

miento del mundo por parte del individuo ya que aquel, determinar engran medida que un lector sea capaz de entender un texto o lo mismo queotro lector. El conocimiento previo del lector determina el signicado queextraer de un texto. En los aos 60, el concepto de lo ya conocido seentiende como un puente que permite entender las ideas en un texto (Au-subel y Robinson 1969). Ms adelante, en los 70, se desarrolla la teora delos esquemas como un modelo que representa cmo se almacena el cono-cimiento en la memoria (Rumelhart 1977). La teora de los esquemas seaplica posteriormente a la enseanza de Ingls como Lengua Extranjera(Carrell 1983a; Carrell 1983b; Carrell y Eisterhold 1983).

Siguiendo con van Dijk y Kintsch (1983: 54), existe un tipo es-pecial de esquema que se aplica a la macroestructura: las superestructu-ras o estructuras esquemticas4. Las superestructuras son esquemas paralas formas de texto ms convencionales y facilitan la formacin de lamacroestrutura durante la comprensin, el recuerdo y la reproduccin.

Como veremos, son muy importantes para la comprensin y la produc-cin de discurso, y para la aplicacin de las macrorreglas.

Con respecto a la comprensin, las superestructuras se denenmediante una serie de categoras y reglas de formacin y transformacinque permiten a los hablantes reconocer el tipo de discurso (gnero, enDowning 1996) al que se enfrentan gracias al conocimiento de su estruc-


7/38


ELIA12, 2012, pp. 115-152

tura global. Las superestructuras no deben entenderse como esquemas -jos, porque la estructura esquemtica del discurso slo se puede entendermediante la aplicacin de tales reglas, que especican posibles organiza-ciones o transformaciones de las categoras superestructurales. Se sabepoco sobre los procesos mediante los cuales los hablantes de una lenguacomprenden tales superestructuras (Meyer 1975 y Kintsch y van Dijk1978 tratan sobre los esquemas superestructurales), pero s se sabe quedicho reconocimiento resulta de un aprendizaje directamente relacionadocon el individuo y su entorno social. Con respecto a la actividad de resu-mir, el esquema especica qu tipo de informacin es importante en sucontexto, adems del propsito con el que se resume.

2.1. La adaptacin pedaggica de las macrorreglas

Hasta ahora hemos presentado aspectos tericos relacionados conla comprensin del texto y la produccin del resumen. Nos interesan, ade-ms de tales aspectos, su posible repercusin en el aula ya que las reglasde Kintsch y van Dijk siguen adaptndose y ensendose ms o menosexplcitamente.

Basndose en las investigaciones de Kintsch y van Dijk (1978),Brown, Day y Jones (1983: 974) estudiaron en profundidad, con estu-diantes de distintos cursos en la escuela y el instituto, la estrategia copiarborrar (copydelete), que supona bsicamente:

a. leer los elementos secuencialmente,

b. decidir sobre su inclusin o exclusin, y

c. si se decide incluirlo, copiarlo ms o menos literalmente.

Brown, Day y Jones (1983: 977) o Winograd (1984: 421) distin-guieron que los lectores ms jvenes o ms inexpertos tienden a tomardecisiones sobre qu aspectos del texto original incluir en el resumen ba-sndose en un procedimiento oracin a oracin, mientras que los lectoresmayores o ms expertos lo hacen tomando el texto en su conjunto. Los


8/38


ELIA12, 2012, pp. 115-152

autores concluyeron que con la edad y el aprendizaje, los estudiantes ad-quieren la habilidad para generalizar informacin, aunque tienden ms asintetizar ideas dentro del mismo prrafo que entre prrafos. Apoyndoseen las investigaciones anteriores, Hare y Borchardt (1984) extendieron lalista de reglas para resumir (rulesheet) e incluyeron, adems de las reglasde Brown y Day (1983), consejos generales para su aplicacin, una reglade combinacin de prrafos (paragraph combining rule) y una estrategiade perfeccionamiento del ltimo borrador (polishing strategy), basadasen las investigaciones de Winograd (1984). Se trata de un intento claropor adaptar la teora a la prctica y, en concreto, a la enseanza explcitade las reglas dentro del aula.

Pero el principal objetivo de la investigacin de Hare y Borchardt,ms all de la formacin de estudiantes, es analizar si la instruccin facili-ta al alumno la identicacin de ideas principales en un texto expositivo.Hare y Borchardt (1984: 77) entienden que el reconocimiento de las ideasprincipales es una habilidad fundamental que subyace a la destreza deresumir, si bien es la habilidad que ms se resiste a ser llevada de formadirecta al aula. Asocian la enseanza directa a objetivos concretos y la

describen en trminos de atencin acadmica especca, es decir, dedi-cacin de tiempo acadmico y prctica controlada.

Hasta ahora, las investigaciones examinadas nos hacen pensarque un buen resumen supone la aplicacin de reglas de invencin y com-binacin que, aparentemente, se desarrollan en edades avanzadas y quesolo llegan a dominar algunos sujetos. Los estudiantes encuentran dicul-tades para seleccionar lo fundamental de un texto por la representacin de

la que se sirven para esta tarea (Whittaker 1991: 466) y, en este sentido,el conocimiento del mundo y de los distintos tipos de texto facilitan yguan la comprensin de un texto, as como la produccin de un resumen.Tambin sabemos que las macrorreglas se han llevado al aula y que suenseanza puede mejorar la calidad de los productos, aunque no mejora,aparentemente, la identicacin de ideas principales.


9/38


ELIA12, 2012, pp. 115-152

3. ASPECTOS TEXTUALES RELACIONADOS CON EL RESUMEN

Hoy en da se entiende que existe una clara relacin entre la es-

tructura del texto y el proceso de comprensin del mismo. Se asume quelos lectores con menor capacidad no se aprovechan de tales propiedadesdel texto, y que con instruccin, los sujetos pueden mejorar su capacidadde comprensin (Meyer et al. 1980, Meyer 1985: 12,13). Siguiendo aMeyer (1984), Snchez Miguel (1990: 23) propone que los mejores lec-tores aplican una estrategia estructural que les permite detectar la or-ganizacin interna de los textos que les sirve como patrn para organizarlos recuerdos.

La competencia textual puede mejorarse y, como dice Bernrdez(1999: 2), el estudio lingstico del texto est hoy en da perfectamenteinstitucionalizado. Distintos procedimientos, como el de cohesinco-herencia, se conocen y utilizan en la enseanzaaprendizaje de lecturaen lengua nativa y en una lengua extranjera. La LT se preocupa, por unlado, del conocimiento de las estructuras del lenguaje, y por otro, de lascondiciones en las que puede aplicarse cada estructura. Para ello se hacenecesaria la distincin de tipos de texto, que Bernrdez (1999: 26) de-ne como conguraciones prototpicas de organizacin textual5. Talesconguraciones incluyen, segn el mismo autor, ciertas superestructurastextuales tambin denominadas estructuras retricas. Como ya vimos,la superestructura de un texto se reconoce intuitivamente. Sin embargo,adems del prototipo, podemos reconocer como el mismo tipo de textootros que conservan ciertas caractersticas primordiales, pero que sufrenvariaciones ms o menos acusadas. Adems, las secuencias textuales pro-

totpicas no suelen presentarse de forma homognea en un texto, sinoestrechamente relacionadas con otras (Calsamiglia y Tusn 1999: 308).Por su importancia para nuestro estudio, vamos a centrarnos en el textoexpositivo y en el resumen desde una perspectiva textual.


10/38


ELIA12, 2012, pp. 115-152

3.1. El resumen como texto

Los resmenes se componen de oraciones conectadas lineal-

mente y tienen su propia macroestrutura; los resmenes pueden contenerdatos redundantes o irrelevantes como cualquier otro tipo de discurso, es-pecialmente en discursos orales (van Dijk 1980: 103). Dada la naturalezareconstructiva de los procesos de recuerdo, es frecuente que se produzcanciertas transformaciones. Algunas de ellas tienen lugar durante la com-prensin y dependen de factores cognitivos. Las que siguen son algunasformas de transformacin, todas ellas importantes en nuestra investiga-cin por cmo afectan al producto:

Supresin: se asume que la informacin no es importante o noestaba en el texto original

Aadido: se asume cierta informacin como incluida en el textooriginal porque hace el texto ms lgico o coherente

Permutacin: cambio en el orden de la informacin porque seconsidera que facilita la comprensin

Sustitucin: ciertas unidades de informacin se sustituyen porotras que se consideran ms coherentes

Recombinacin: algunos elementos se recombinan reorganizan

Cambio de nivel: al aplicar las transformaciones, se alteran los fac-tores de relevancia y, como consecuencia, la importancia relativade la informacin de una proposicin vara (van Dijk 1980: 262).

Adems de tales transformaciones, nos interesa detenernos en el

resumen como texto independiente. Si el resumen es un texto (Kintsch yvan Dijk 1978: 374; lvarez Angulo 1998: 89), ha de cumplir con una seriede propiedades caractersticas del texto como mensaje comunicativo. Se-gn Cassany, Luna y Sanz (1994: 316) estas propiedades textuales son seis:adecuacin, coherencia, cohesin, gramtica, presentacin y estilstica.


11/38


ELIA12, 2012, pp. 115-152

Adecuacin: Tiene que ver con el hecho de que el texto cumplacon su propsito comunicativo, es decir, si informa, argumenta o narra,por ejemplo.

Coherencia y cohesin: Estos conceptos han sido consideradospor algunos estudiosos como los hitos ms importantes de la lingsti-ca del texto (Cassany, Luna y Sanz 1994: 319). Para De Beaugrande yDressler (1981: 113), la cohesin supercial del texto y la coherencia quesubyace al mismo son los indicadores ms obvios de su grado de textua-lidad, ya que revelan cmo se relacionan los elementos que componen eltexto para que tenga sentido.

La coherencia toca aspectos relacionados con la cantidad de in-formacin que debe incluirse teniendo en cuenta factores contextuales, yla calidad de dicha informacin. La calidad tiene que ver con conceptoscomo la claridad de las ideas, las palabras elegidas para expresarlas y lacombinacin adecuada de los grados de informacin para conseguir unsignicado variado y completo. Adems, la coherencia tiene relacin conla estructuracin u organizacin de la informacin, que a su vez se basaen aspectos tratados aqu con anterioridad, como la macroestructura y lasuperestructura, el equilibrio entre el tema (tpico) y el rema (comenta-rio), y una unidad signicativa tan importante como el prrafo.

Gramtica o correccin: Tiene relacin con la formacin de lasoraciones. Si nos atenemos a las teoras de la gramtica generativa de

Chomsky (1965), las oraciones tienen una estructura supercial y unaestructura profunda en la que se establecen relaciones de cohesin dentrode la frase.

Presentacin y estilstica: Son dos aspectos menos lingsticos(Cassany, Luna y Sanz 1994: 316) que tienen que ver con la ejecucin deltexto y con los recursos retricos empleados respectivamente.


12/38


ELIA12, 2012, pp. 115-152

4. VARIABLES QUE AFECTAN A LA PRODUCCIN DE RES-MENES

Producir un resumen es una actividad distinta de otras de escritu-ra porque adems de necesitar de planicacin, generacin de ideas ge-nerales y detalles supone la puesta en marcha de operaciones basadas enotro discurso ya planicado y generado. Apoyndose en anteriores inves-tigaciones, Hidi y Anderson (1986: 473) consideran los que siguen comolos factores generales que inuyen en la actividad de resumir (1986: 475-479):

1. Las caractersticas del texto original o de partida, y de ellas, las

ms importantes son: la longitud, el gnero y la complejidad.

2. Las caractersticas de la actividad, es decir, cmo la presencia oausencia del texto origen afecta a la produccin del resumen.

3. El tipo de resumen requerido: el basado en el escritor es ms sen-cillo que el basado en el lector, en tanto en cuanto las reglas gra-maticales o la ortografa necesitan menos atencin.

Adems, Hare (1992: 102-110) recuerda que las habilidades decomprensin lectora y expresin escrita se ven afectadas al resumir portres variables que, individual o conjuntamente, pueden tener repercusinen las estrategias de seleccin y condensacin que Brown y otros autoresconsideran crticas para la elaboracin de un resumen: la personacmoentiende el ejercicio, la calidad de sus habilidades de seleccin y con-densacin o su grado de familiaridad con el contenido del texto, laactividadel acceso al texto, el propsito o las restricciones de longitud

del resumeny el textola longitud, el tipo de texto y su complejidad.Pero adems de las variables que afectan a la actividad de resumir

en L1, el resumen en lenguas no nativas parece tener caractersticas parti-culares por la carga cognitiva de procesamiento extra que produce la L2,especialmente en textos difciles. Dicha sobrecarga suele conllevar unapeor comprensin del texto y, lgicamente, una reduccin en la habilidad


13/38


ELIA12, 2012, pp. 115-152

de seleccionar la informacin ms importante (Sherrard 1989: 9). Peroadems de esa capacidad de comprensin o de seleccin, la segunda len-gua puede afectar la produccin del resumen en L2. Como en otras reasde investigacin, los factores que afectan a la actividad de resumir en L2parten de las investigaciones en L1 y dos parecen ser los ms importantes:los factores lingsticos y los factores cognitivos.

Long y Harding-Esch (1978) compararon a sujetos con alto nivelde competencia en su segunda lenguaingls y francscon hablan-tes nativos y basaron su investigacin en textos expositivos, encontrandoun esperable dcit por segunda lengua. Las conclusiones de este ex-

perimento sealan que sujetos con una alta competencia en la segundalengua sufren dcit si la tarea es difcil lingstica o psicolgicamente:se reproducen menos proposiciones principales y la seleccin de ideasimportantes es peor.

Como Edge (1983: 93), ms preocupado por aspectos pedaggi-cos, pensamos que la extraccin y el resumen de las ideas fundamentalesde un texto en L2 conllevan adems de un problema lingstico o cogni-tivo, un problema de formacin.

Cabe aadir a las variables cognitivas y textuales mencionadas,las relacionadas con el producto, es decir, con el resumen escrito por el es-tudiante. Segn Lucisano y Kdr-Flp (1988: 126,127) estas variablesson causa de dicultades a la hora de evaluar y calicar los resmenes:

el contenido: los estudiantes muestran estrategias distintas al re-sumir un texto; a) comentan el texto basados en la idea general;b) reejan la idea general; c) recogen las ideas fundamentales dealgunos prrafos; d) hacen un listado de ideas principales de cadaprrafo; e) explican las ideas de cada prrafo; f) explican las ideasde cada prrafo y ejemplican; g) reducen a un texto breve todoel contenido del texto original


14/38


ELIA12, 2012, pp. 115-152

la organizacin: desde los estudiantes que mantienen exactamen-te la misma organizacin hasta los que reorganizan todo el texto.

el estilo: los dos extremos son el texto totalmente reformulado enpalabras propias, y aqul que mantiene las palabras originales.

Tales variables nos preocupan por cuanto afectan directamentea la evaluacin. Aunque resumir supone un complicado proceso, es elproducto lo que llega a manos de los profesores o correctores y, por ello,ha de ser muy tenido en cuenta con respecto a su evaluacin. Los correc -tores deben tener muy claro las caractersticas de un buen resumen parano centrar ms su atencin en aspectos gramaticales o de presentacin

ortografa por ejemploa costa de otros igualmente importantesconte-nido u organizacin. Como acabamos de ver, todos estos aspectos varanenormemente de unos productos a otros.

Ms preocupadas por los aspectos pedaggicos de actividades delectoescritura, Kirkland y Saunders (1991) investigan sobre metodologay materiales para la enseanza de tales destrezas. Desde esta perspectivams entroncada con la realidad del aula, las investigadoras aaden a las

variables de tipo cognitivo y lingstico otros factores que afectan a lahabilidad de resumir:

Factores externos: aquellos que tienen que ver con el texto que se vaa resumir, como la familiaridad con el contenido, la complejidad y la longi-tud. Se trata bsicamente de los condicionantes que hemos recogido relacio-nados con los factores que afectan a la produccin del resumen en L1.

Factores internos: la competencia en la L2. Para poder resumir,

los estudiantes deben ser capaces de leer y comprender adems de tenerun adecuado control de los aspectos gramaticales, del vocabulario y deaspectos relacionados con la expresin escrita en general:

El esquema de contenido. Se trata de un factor muy importante ala hora de resumir y est demostrado que los estudiantes necesitanpartir de esquemas adecuados para entender y manipular un texto.


15/38


ELIA12, 2012, pp. 115-152

Factores de tipo afectivo. Factores culturales y religiosos tienenimplicaciones importantes en la comprensin de un. Por esta ra-zn, debe concederse especial atencin al tema del texto.

El esquema formal. La organizacin de un texto est muchas ve-ces ligada a convenciones de una comunidad discursiva.

Los aspectos cognitivos. Como Garner (1985); Johns (1985) oHidi y Anderson (1986), Kirkland y Saunders (1991) advirtieronen sus experimentos con hablantes no nativos jvenes, o menospreparados, ciertos problemas para generalizar. Aquellos con unnivel de competencia menor en la L2 demostraron cierta incapa-

cidad para usar en la L2 las mismas habilidades que se ponen enprctica en la lengua nativa para resumir o recordar.

Las habilidades de tipo metacognitivo. Igual que los estudiantesen su L1, los estudiantes de L2 pueden beneciarse del entrena-miento en el uso de estrategias de tipo metacognitivo (Devine1993). Sarig (1993: 177,179) compara en su estudio experimentallos procesos y productos de resmenes escritos en L1 y en L2,

llegando a la conclusin de que en el proceso de resumen en laL2, se produce una transferencia de habilidades que existen enla L1, incluso cuando se trata de estudiantes de nivel intermedio.

Parece que los procesos de lectura y resumen de un texto en unalengua extranjera son parecidos a aquellos que operan en la lengua ma-terna. Los sujetos con experiencia aplican las mismas estrategias cogni-tivas y textuales en ambas lenguas. La calidad de un resumen en lenguaextranjera depende, por lo tanto, de tales procesos de comprensin y pro-duccin, pero tambin de la competencia en L2 y de otros factores. Desdeuna perspectiva ms pedaggica, parece que las estrategias que afectan aestos procesos a los que nos referimos pueden ensearse (Scardamalia etal. 1982) y creemos que deberan de incluirse como parte de la metodolo-ga del aula, adems de la instruccin relacionada con la lengua extranjeraa un nivel ms sintctico o lxico.


16/38


ELIA12, 2012, pp. 115-152

5. LA EVALUACIN DEL RESUMEN

Si, como hemos visto, la evaluacin y calicacin es consecuen-

cia lgica de la enseanza y el aprendizaje dentro de nuestro sistema es-colar y universitario, entonces se hace imprescindible encontrar mediosque faciliten al profesor juzgar el trabajo de sus estudiantes dentro delaula y, en muchos casos, dar una puntuacin al producto de tal trabajo.Aunque hemos encontrado algunas propuestas para la evaluacin del re-sumen en lengua extranjera, extraamente, no parece haber ejemplos deguas de demostrada validez y abilidad especialmente diseadas parasu aplicacin dentro del aula o con la suciente repercusin dentro del

mbito acadmico6.La gua de Lucisano y Kdr-Flp (1988) para la calicacin de

resmenes a gran escala es una de las ms especcas. Los autores traba-jaron con lo que denominaron esquema de puntuacin (scoring sche-me) para la evaluacin y calicacin de pruebas directas de expresinescrita. Este esquema dene los aspectos de los textos escritos que debentenerse en cuenta y describe los criterios aplicables para juzgar dichosaspectos. Adems, presenta una escala de puntuacin (scoring scale) yun conjunto de redacciones que ejemplican la evaluacin de cada aspec-to de acuerdo con los criterios descritos. Los rasgos evaluados y lo quesupone una realizacin perfecta se determinan a priori, y los evaluadoresson formados en el uso de los criterios. El grado de abilidad se establecemediante la comparacin de notas de varios evaluadores o del mismo trasla correccin de varios ejercicios (Purves et al. 1988: 41).

Sin embargo, la gua de Lucisano y Kdr-Flp adolece de dos

inconvenientes: el primero, que fue creada para pruebas a gran escala ydeja muchos criterios sin especicar7; el segundo, que introduce una listade ideas fundamentales que debe ser elaborada ad hocpara cada pruebay que se tiene en cuenta para la organizacin y el contenido. Elaborar unlistado de este tipo para cada prueba que se lleva al aula nos parece pocoeconmico por cuanto impide la generalizacin.


17/38


ELIA12, 2012, pp. 115-152

6. CONFECCIN DEL BAREMO DE BANDAS ANALTICASPARA RESMENES (BABAR)

Parte de la investigacin dentro de esta rea de evaluacin dela expresin escrita se centra en la relevancia del gnero y propone que,ms que medir la capacidad de un estudiante para componer en general,debemos evaluar su capacidad para componer en un determinado gnero.Siguiendo esta idea, pensamos que las guas, en el caso de que se usen,habrn de ser creadas expresamente para la evaluacin de ese gnero y,por lo tanto, debern recoger las caractersticas que lo denen. Para ela-borar esta gua (ver Apndice), partimos de la aseveracin de algunos

investigadores como Fulcher (1997: 102,103) de la necesidad de elaborarescalas de calicacin con el propsito de evaluar productos escritos quetengan en cuenta el gnero al que pertenecen.

Nuestra gua, en particular, ha sido especcamente diseada parala correccin de resmenes de textos expositivos en lengua extranjeray es especialmente til para niveles B1 y B2 segn el Marco ComnEuropeo de Referencia para las Lenguas (MCERL). De acuerdo con ladescripcin del Marco, en el apartado dedicado al procesamiento textual(2001: 96), un usuario de la lengua en el nivel B1 puede parafrasear textosescritos breves usando las palabras y el orden del texto original, mientrasque un usuario del nivel B2 puede resumir una variedad de textos sobrehechos concretos. Los niveles A1 y A2 usan estrategias de copiar y pe-garlas estrategias mnimas que contempla nuestra guamientras quelos niveles C1 y C2 implican una mayor longitud y dicultad del texto oque el resumen se realiza a partir de ms de un texto fuente.

El baremo toma como referencia la gua ESL Composition Pro-le, de Jacobs y sus colaboradores (1981) por varias razones:

La gua posee reconocida validez y abilidad para la evaluacinde textos expositivos en ILE


18/38


ELIA12, 2012, pp. 115-152

La unicacin de criterios entre correctores se simplica graciasa la especicidad en la denicin de los rasgos

Adems, las guas analticas con rasgos tan denidos facilitan lacrtica y la retroalimentacin al alumno porque permite distinguiraquellos aspectos que necesitan menos atencin de otros que ne-cesitan ms

La divisin en bandas numricas ayuda al corrector en la asigna-cin de una puntuacin para cada rasgo

Su carcter comunicativo se ajusta al enfoque actual en la ense-

anza de lenguas extranjeras Sus criterios, los aspectos evaluables y el peso especco que

cada uno de ellos tiene en la calicacin global se ajustan en granmedida a aquellos que intuitiva o explcitamente aplican los co-rrectores dentro del contexto particular en el que trabajamos.

Siguiendo a Jacobs, el baremo para resmenes de textos expositi-vos evala cinco aspectos que afectan a la produccin escrita: contenido,

organizacin, uso de la lengua, vocabulario y presentacin. La revisinbibliogrca previa a su elaboracin y las entrevistas ms o menos for-males con profesorescorrectores conrman que estos aspectos son losms relevantes en una actividad de comunicacin escrita que suponga laredaccin de un texto. Los aspectos enumerados son los que recogen tam-bin las guas de tipo analtico u holstico ms conocidas. Por ello, dichosaspectos han sido aqu retomados, en tanto en cuanto criterios semejantesde correccin de la expresin escrita, se usan en el contexto en el que se

aplicar nuestro baremo.

6.1. El contexto experimental

Antes de describir el baremo, sus principales caractersticas y loscriterios que condicionan el establecimiento de unos pesos especcos


19/38


ELIA12, 2012, pp. 115-152

para distintos aspectos evaluables, resumimos brevemente el contexto enel que se desarrollan las partes experimentales del trabajo.

Como Kirkland y Saunders (1991: 108), entendemos que el nivelde competencia de un estudiante que va a resumir en un contexto acad-mico debe ser intermedio alto o avanzado. Participaron en nuestro estudio127 alumnos de Traduccin e Interpretacin de la Universidad AlfonsoX el Sabio de Madrid; 42 estudiantes de primer curso, 38 estudiantes desegundo curso, y 47 estudiantes de tercer curso. Dando por hecho que losestudiantes siguen mejorando su competencia en lengua inglesa a lo largode sus aos de estudios de traduccin, trabajar con alumnos de tres cursos

distintos nos permite contar con escritos de calidades variadas. Partimosde la idea de Johns y Mayes (1990: 265) de que aquellos alumnos con altacompetencia en lengua extranjera producirn escritos de mejor calidadque aquellos que tienen una competencia menor.

Los resmenes del texto elegido para el experimento se reco-gieron en una maana por tres profesoras de la Facultad de Traduccine Interpretacin; se eliminaron los siete resmenes que sobrepasaban las100 palabras, segn indicaban las instrucciones, y los resmenes res-tantes (120) se agruparon de forma aleatoria en cinco carpetas de 23-25textos cada una. Los textos de cada carpeta se multicopiaron de maneraque contsemos con tres copias iguales de cada una de las cinco carpetasoriginales, es decir, un total de quince.

La correccin de pruebas se llev a cabo en dos fases: para laprimera, se aplic un mtodo de impresin general y los correctores nofueron formados previamente; para la segunda, que tuvo lugar cuatro

meses despus, se us el baremo de bandas analticas que los mismoscorrectores aplicaran a los mismos trabajos, despus de someterse a unperiodo de formacin. Contamos con la colaboracin de quince correc-tores, todos profesores del mismo Centro donde cursan sus estudios lossujetos colaboradores.


20/38


ELIA12, 2012, pp. 115-152

6.2. Bandas numricas

Tratamos de recoger en este baremo aquellas puntuaciones con

las que suele calicar el profesor en distintos contextos acadmicosdentro del aulaal menos en Espaay trabajamos con un sistema depuntos enteros, medios y cuartos. Para cada aspecto se han creado unasbandas numricas que se incrementan de 0.25 en 0.25 puntos desde unacifra mnima hasta una mxima distinta para cada rasgo. La variacin demximas y mnimas establecida en cada banda se justica por dos razo-nes: la primera, por el peso estimado que cada uno de dichos aspectostiene a priori en la composicin de resmenes escritos; la segunda, por la

necesidad de plasmar en el baremo las realidades observadas en la cali-cacin de este tipo de pruebas.

El establecimiento del peso estimado de los distintos aspectoscon respecto al ejercicio en su globalidad se llev a cabo a priori medianteel anlisis de calicaciones dadas a un corpus de trabajos de expresinescritano resmenesanteriores a nuestro experimento por parte delequipo de colaboradores. A travs de entrevistas informales con estosprofesores, donde opinan sobre los pesos especcos de distintos aspec-tos en otros trabajos de expresin escrita y junto con la revisin biblio -grca (principalmente Jacobs et al. 1981), se estableci que los aspectosrelacionados con el contenido y la organizacin supondran el 50 % dela nota nal y aquellos conectados con el vocabulario, uso de la lengua ypresentacin el restante 50 %.

El establecimiento del peso estimado de los distintos aspectoscon respecto al ejercicio en su globalidad se reajust a posteriori a travs

del anlisis de las 360 primeras calicaciones dadas a los resmenes denuestra prueba piloto por parte de los colaboradores. Dentro del primer50 %, el contenido tendra ms peso que la organizacin. En cuanto al se-gundo 50 %, el uso de la lengua tendra ms peso que el vocabulario y lapresentacin y esta ltima tendra una importancia mnima con respectoal resto. La importancia que debe tener el vocabulario supuso un motivo


21/38


ELIA12, 2012, pp. 115-152

importante de divergencia entre los profesores a los que se les plante lacuestin de la importancia relativa de cada uno de estos aspectos en unresumen. El peso nal estimado para el vocabulario es el resultado de unacuerdo entre la mayora.

Debemos recordar que partimos de la idea de que la elaboracinde un baremo de estas caractersticas no supone una actividad de mate-mtica pura, sino que, ms bien, intenta describir y formalizar el procesode la correccin de los resmenes, explicando o haciendo explcitos loscriterios. Acogindonos a tal circunstancia, uno de los aspectos que pro-ponemos, la presentacin, no est subdividido simtricamente con res-

pecto al resto; es decir, si contenido, organizacin, vocabulario y uso dela lengua se subdividen en cuatro posibles bandas de ejecucinmuybien, bien, regular y mal, la presentacin slo recibe tres posibles pun-tuaciones0.5, 0.25 y 0para adecuar este aspecto a la proporcin querepresenta con respecto al todo (5 %) manteniendo a la vez el criterio demedios puntos y cuartos.

6.3. Calicaciones mximas y mnimas

El primer acercamiento a la notas de impresin general de nues-tros colaboradores nos hizo considerar oportuno jar un mnimo de dospuntos (2) y un mximo de nueve (9) para las futuras puntuaciones conel baremo. Entre 360 notas recogidas por el mtodo de impresin generalno aparece ninguna calicacin de diez (10 0 %) y slo tres de uno (10.83 %).

Con esta idea, se dise una gua de bandas analticas cuyas pun-tuaciones mximas y mnimas coincidiesen con las observadas por el m-todo de impresin general y se hizo una primera distribucin de puntosaproximada para las distintas franjas teniendo en cuenta el peso que sehaba estimado deba tener cada una de las franjas, segn el apartadoanterior.


22/38


ELIA12, 2012, pp. 115-152

As, llegamos al resultado de que al contenido se le puede daruna calicacin mxima de 2.5 puntos; a la organizacin 2; al vocabu-lario 1.75; al uso de la lengua 2.25 y a la presentacin 0.5 que suma unmximo total de 9 puntos. La razn para desestimar 10 como nota mxi-ma es que, atenindonos a resultados de pruebas informales previas a lasevaluaciones, y como hemos indicado, el nmero de veces que aparecedicha calicacin en una prueba directa de expresin escrita en lenguaextranjera es tan reducido que prcticamente no tiene representacin es-tadstica alguna.

Pero a pesar de la nula representatividad estadstica, en ocasio-

nes el alumno recibe de hecho la calicacin mxima. Por tanto, para nolimitar las posibilidades del alumno, recomendamos la calicacin de 10para aquellos trabajos que alcancen la nota mxima en cada uno de losaspectos.

La nota mnima, un 2, reeja los resultados de la primera parte denuestro experimento, recogidos de la primera correccinla primera faseque sigue criterios de impresin general, segn se describe en el apartado6.1. , as como apreciaciones de los correctores basadas en la prcticadiaria del aula. Se considera que un 0 debera slo ser la consecuencia deun trabajo en blanco o no entregado y un 1 una calicacin por debajo delos lmites del baremorealmente extrema y difcil de encontrar si par-timos de que la prueba es adecuada para el nivel en el que se aplica. Esafranja de 2 a 9 reeja, por lo tanto, una realidad observada y no es extraasi la comparamos con otros baremos de este tipo (Diederich, French yCarlton 1971 citados en Jacobs et al. 1981: 25 usan una escala de 9 puntos

y la nota mnima en Jacobs es de 34 sobre 100).

6.4. Criterios

Por ltimo, por cada banda o franja numrica ofrecemos una des-cripcin bajo el ttulo de criterios que recoge aquellas particularidadesque deben observarse para cada uno de los aspectos en un trabajo de


23/38


ELIA12, 2012, pp. 115-152

resumen de textos expositivos. Como en el caso de las bandas numricas,dichos criterios son el resultado de:

la revisin bibliogrca sobre caractersticas del resumen por unlado, y sobre evaluacin de la expresin escrita, y ms concreta-mente en el contexto de ILE, por otro (Argelles lvarez 2004).

el anlisis de los 120 resmenes escritos en ingls por estudiantesespaoles y calicados por el mtodo de impresin general porparte de 15 profesores (ver seccin 6.1.).

A travs de las calicaciones obtenidas mediante el mtodo de

impresin general, identicamos aspectos concretos que son comunes enlos resmenes con puntuaciones similares. Estudiamos la aplicacin delas macrorreglas y otros aspectos ms lingsticos o textuales, adems detener en cuenta la L2. Analizamos cada resumen desde la perspectiva decada uno de los aspectos evaluables:

Contenido: en general, nos centramos en observar si los resme-nes recogan la idea principal, cmo se presentaba, qu otras ideasrecoga y su importancia.

Organizacin: cmo se organizaban esas ideas en el resumen, esdecir, siguiendo la estructura del texto original o reorganizando.

Uso de la lengua: la adecuacin de la gramtica segn la activi-dadtransformacionesy tambin que los estudiantes se expre-san en una lengua extranjeranivel oracional, concordancias ytiempos verbales.

Vocabulario: si los estudiantes producan transformaciones ocopiaban; si las palabras del texto original permanecan en elresumen o si los estudiantes usaban sinnimos, antnimos, hi-pernimos etc. En el caso de mantenerse las palabras originales,tambin analizamos si eran imprescindibles, y si se usaban ade-cuadamente.


24/38


ELIA12, 2012, pp. 115-152

Presentacin: ortografa y legibilidad en el sentido de claridad deltexto manuscrito.

Del anlisis de los resmenes desde la perspectiva de cada unode los aspectos evaluables, elaboramos una lista de tendencias o po-sibilidades en la que intentbamos recoger lo que suceda en la mayorade los resmenes y con respecto a tales aspectos. El siguiente paso fuerecoger y conectar, de la lista de tendencias para cada uno de los aspectos,aquellas que se consideraban caractersticas de un buen resumen y aque-llas que se consideraban caractersticas de uno malo. Estos seran los dosextremos: muy bien y mal. Para los resmenes de calidades intermedias

trabajaramos, basndonos en Jacobs et al. (1981), con combinacionesde los extremos anteriores que, como habamos observado, de hecho seproducan en los resmenes de los estudiantes. Establecimos dos nivelesintermedios: bien y regular.

Siguiendo los criterios de importancia establecidos con anteriori-dad, asignamos valores numricos a cada una de las bandas de perfeccin.El resultado de la asignacin de puntos, que, como vimos, se produjo des-de un valor total mximo y uno mnimo preconcebidos, es una distribu-cin desigual que sufri variaciones, aunque mnimas, repetidas, durantela elaboracin del baremo debido a los matices en la interpretacin quese daba a las notas. Tambin posteriormente, durante las sesiones de for-macin y con los correctores, se ajustaron los valores para adaptarlos loms posible a la importancia subjetiva que estos estaban dando a distintosaspectos. Los valores asignados a cada una de las bandas ascienden y des-cienden en cuartos, y de un mnimo de 0 puntos a un mximo de 2.5 den -

tro de nuestro sistema decimal. Algunas bandascontenido, vocabularioy presentacintienen un nico valor numrico para la calidad extremamal, y otrasorganizacin y uso de la lenguatiene asignados dos.Esta decisin, que fue la nal, es ms intuitiva que la basada en otros es-tudios tericos aunque la gua de Jacobs, por ejemplo, tampoco establecevalores simtricos para cada una de las bandas y no explica claramentequ criterios concretos se siguieron para tomar decisiones con respecto a


25/38


ELIA12, 2012, pp. 115-152

estos valores. Se trataba de un tema ms prctico que matemtico y quedeba resolverse basndose en lo que supone la actividad de resumir y enlo que esperamos conseguir con la evaluacin, no en aspectos matem-ticos.

7. RESULTADOS

El concepto de abilidad en el que basamos el breve anlisis delos resultados que presentamos a continuacin, se reere a si con el ba-remo se obtienen o no, resultados consistentes. Normalmente, el gradode abilidad se expresa con un coeciente entre 0.00, que indica que los

resultados no son consistentes, y 1.00, que indica que los resultados sonmuy ables. En el caso que nos ocupa, tal coeciente suele establecerse apartir de correlaciones entre correctores y entre notas, entre mtodos o, enel caso de sistemas analticos como este, de correlaciones de las distintasbandas o reas con el total.

En investigaciones relacionadas con la evaluacin de la expre-sin escrita, se consideran adecuados niveles de abilidad entre correcto-

res de .85 (Jacobs et al. 1981: 69), aunque el propsito de la evaluacindetermina en la prctica si una abilidad menor es aceptable segn lasdecisiones que se vayan a tomar como consecuencia de la misma. Aunquesuele aceptarse como vlida una abilidad de .80 (Hamp-Lyons 1991: 69o Cooper y Odell 1977: 18), en la prctica, se encuentran muchos casosen los que esta no supera un .67 y es difcil alcanzar ms de .50 entre doscorrectores incluso con sesiones previas de entrenamiento de los correc-tores (Diederich 1974: 33).

En la Tabla 1 se aprecia cmo mediante la aplicacin de nuestromtodo, los coecientes de abilidad para uno, dos, tres y cuatro correc-tores, son ms altos que en el caso del mtodo de impresin general (IG).La que se alcanza mediante la aplicacin de BABAR para tres correctoreses 0.799, muy cercana a ese .80 considerado aceptable.


26/38


ELIA12, 2012, pp. 115-152

Nmero de jueces 1 2 3 4 Intervalo de abilidad

para 3 jueces

Mtodo IG 0.476 0.645 0.732 0.784 .6363-.8051

Mtodo BABAR 0.571 0.727 0.799 0.842 .7282-.8544

TABLA1. COEFICIENTESDECORRELACINENTREAMBOSMTODOSCALCULADOS

CONELPROGRAMASPSS8

Con respecto a la consistencia del mtodo, el uso de la lengua y elvocabulario, como es esperable, tienen un grado alto de correlacin; sonlos aspectos ms lingsticos de los resmenes. Tambin el contenido y laorganizacin se entienden como reas directamente relacionadas (Tabla2).

Aspectos Contenido Organizacin VocabularioUso de la

lengua

Organizacin .841

Vocabulario .726 .763

Uso de la lengua .798 .809 .852

Presentacin .403 .501 .483 .517

TABLA2. COEFICIENTESDECORRELACINENTREREAS

APLICANDOLAGUABABAR CALCULADOSCONELPROGRAMASPSS.

8. CONCLUSIONES

En este trabajo hemos querido dar al resumen la relevancia quemerece como actividad social y pedaggica. Parece que, aunque estu-diantes y trabajadores lo practican constantemente, su aproximacin aesta actividad es muy intuitiva y no se suele tener en cuenta las dicul-tades cognitivas y textuales que resumir entraa. Nos hemos referido atales dicultades y se han presentado estudios que tratan sobre ellas, peroadems hemos tratado sobre la prctica del resumen en el aula que, sor-prendentemente no parece estar totalmente institucionalizada a pesar de


27/38


ELIA12, 2012, pp. 115-152

su evidente importancia. A pesar de ello, nos consta que en algunos mbi-tos se ensea cmo resumir.

Con respecto a su pedagoga, es evidente que hasta hoy en dalas investigaciones de Kintsch y van Dijk son las que ms repercusinhan tenido directa o indirectamente dentro del aula. Adems, parece quela enseanza del resumen, aunque estima otros factores, se centra espe-cialmente en el reconocimiento de ideas importantes y su combinacin.Se ha teorizado mucho sobre la produccin de resmenes, pero es difcilencontrar propuestas metodolgicas concretas; ms difcil an, rigurosas.

Como tambin hemos visto, el resumen, tanto en el aula como

fuera de ella, se ve condicionado por una serie de factores que afectan a suproduccin; evidentemente el hecho de resumir en una lengua extranjeraafecta todava ms a su calidad y nos interesa saber no solo cmo llevarloal aula teniendo en cuenta tales variables, sino tambin y ms concreta-mente cmo evaluarlo.

Las propuestas de evaluacin, hasta la fecha, son, si cabe, anms escasas que las pedaggicas y apenas tienen en cuentas las distin-

tas variables que condicionan la produccin de un resumen, a las quelas investigaciones que hemos recogido apuntan. Con respecto al uso delBaremo de Bandas Analticas para Resmenes (BABAR) como gua parala correccin de resmenes escritos por nuestros estudiantes, hemos vistoque, bien usado, el baremo puede favorecer la abilidad de las notas.Aunque para tomar decisiones importantes sobre alumnos en particular esimportante la participacin de ms correctores (Argelles 2004), creemosque para decisiones de menor importancia, como por ejemplo, aqullas

que tienen relacin con el grupo y su evolucin dentro del curso para queel profesor oriente sus clases siguientes, un solo profesor puede usar suspropias calicaciones como gua orientativa. Adems, BABAR puede seralgo ms que una gua de evaluacin para el profesor. Si enseamos aresumir en el aula, los estudiantes pueden beneciarse de la gua corri-giendo sus propios trabajos y los de otros compaeros para facilitar que


28/38


ELIA12, 2012, pp. 115-152

se hagan conscientes, como lo hicieron los profesores de nuestro expe-rimento, del tipo de habilidades cognitivas y lingsticas que implica laactividad de resumir.

Agradecimientos

Agradezco a los revisores annimos de la Revista ELIA sus co-mentarios y sugerencias sobre el borrador original.

Notas

1 lvarez Angulo recoge en su tesis doctoral (1994: 246-253) distintasdeniciones de resumen, as como explicaciones lingstico-textualesy lgico-cognitivas de tal actividad.

2 Reeditado de W. U. Dressler, ed. 1977. Current trends in text linguis-tics.Nueva York: De Gruyter.

3 La regla de seleccin no aparece en Kintsch y van Dijk, 1978.

4 Usan ambos trminos por razones estilsticas aunque entienden que eltrmino esquema es ms general y se usa tambin con referenciaa patrones lingsticos u organizacin del conocimiento (van Dijk yKintsch 1983: 236).

5 Prototypical organization is also about the structure of the world butin a different sense: It says something about how things, especially so-cial complex things, normally, usually, typically, etc., are. (van Dijk1980: 232).

6 En el Congreso de TESOL, marzo de 2002, Cambridge UniversityPress dio a conocer prcticas de examen para niveles de prociency(CPE). En la seccin de uso de la lengua, este examen introduce unaactividad de resumen. La actividad est dirigida a evaluar producciny no comprensin lectora, y la gua holstica para su calicacin se


29/38


ELIA12, 2012, pp. 115-152

centra en aspectos de uso de la lengua y no de contenido. Se trata deuna escala de seis bandasde 0 a 6 puntos.

7 En la gua los aspectos relacionados con el vocabulario, la gramtica ola presentacin se dejan abiertos al criterio del pas donde se llevan acabo las pruebas y nos falta por lo tanto informacin para juzgarla ensu conjunto.

8 Originalmente acrnimo de Statistical Package for the Social Scien-

ces y en la actualidad nombre del software de IBM

Referencias bibliogrcaslvarez Angulo, T. 1998.El resumen escolar: Teora y prctica. Barce-

lona: Octaedro.

lvarez Angulo, T. 2007. A vueltas con el resumen escolar: esta vez, enla pizarra, con tiza y borrador. Didctica. Lengua y Literatura19:13-20.

Argelles lvarez, I. 2004. Evaluacin y calicacin de resmenes de

textos expositivos en el aula de ILE/IFE: la gua BABAR.Ibrica8:81-100.

Ausubel , D. P. y F. G. Robinson. 1969. School learning. Nueva York:Holt, Rinehart and Winston.

Bean, T. W. y F. L. Steenwyk. 1984. The effect of three forms of sum-marization instruction on sixth graders summary writing and compre-hension.Journal of Reading Behavior 16: 297-306.

Beaugrande, R. A. y W. U. Dressler. 1981.Introduction to text Linguis-tics. Londres: Longman.

Bernrdez, E. 1999.Reexiones sobre el texto. Artculo indito presenta-do en los Cursos de Doctorado de la UAM, Programa de LingsticaAplicada, Filologa Inglesa.


30/38


ELIA12, 2012, pp. 115-152

Brown, A. L. y J. D. Day. 1983. Macrorules for summarizing texts: Thedevelopment of expertise.Journal of Verbal Learning and Verbal Be-havior 22: 1-14.

Brown, A. L., J. D. Day y R. S. Jones. 1983. The development of plansfor summarizing texts. Child Development54: 968-979.

Calsamiglia, H. y A. Tusn .1999.Las cosas del decir: Manual de anli-sis del discurso. Barcelona: Ariel.

Carrell, P. L. 1983a. Some issues in studying the role of schemata, orbackground knowledge, in L2 comprehension.Reading in a Foreign

Language 1: 81-92.Carrell, P. L. 1983b. Three components of background knowledge in

reading comprehension.Language Learning33: 183-205.

Carrell, P. y J. Eisterhold. 1983. Schema theory and ESL reading pe-dagogy. TESOL Quarterly 17, 4: 553-73. Reeditado en P. Carrell,J. Devine y D. Eskey, eds. 1988. Interactive approaches to secondlanguage reading. Cambridge: CUP. 73-92.

Carson, J. G. 1993. Reading for writing: Cognitive perspectives.Rea-ding in the composition classroom: Second language perspectives.

Eds. J. G. Carson e I. Leki. Boston: Heinle and Heinle. 85-104.

Cassany, D., M. Luna y G. Snz. 1994.Ensear lengua. Barcelona: Gra.

Castell, J. M. 1992.De la frase al texto. Barcelona: Empries.

Cooper, C. R. y L. Odell, eds. 1977.Evaluating writing: describing, mea-suring, judging. Urbana, IL: NCTE.

Council of Europe. 2001. Common European framework of reference forlanguages: Learning, teaching, assessment. Cambridge: CUP.

Cunningham, J.W. y Moore, D. W. 1985. The confused world of mainidea. Teaching main idea comprehension. Ed. B. F. Baumann.Newark, DE: IRA.


31/38


ELIA12, 2012, pp. 115-152

Chen Y. y S. Su. 2011. A genre-based approach to teaching EFL sum-mary writing. ELT Journal. [Documento de Internet disponible enhttp://eltj.oxfordjournals.org/content/early/2011/09/07/elt.ccr061.short?rss=1]

Chomsky, N. 1965.Aspects of the theory of syntax. Cambridge, MA: MITPress.

Devine, J. 1993. The role of metacognition in second language readingand writing.Reading in the composition classroom: Second langua-

ge perspectives. Eds. J. G. Carson e I. Leki. Boston: Heinle y Heinle.105-127.

Diederich, P. 1974. Measuring growth in English.National Council ofTeachers of English. USA.

Downing, A. 1996. Register and/or genre? Current Issues in GenreTheory. Eds. I. Vzquez y A. Hornero. Zaragoza: Mira Editores.

Downing, A. 1998. Organisational frameworks of coherence in discour-se and text. Patterns in discourse and text. Ensayos de anlisis del

discurso en lengua inglesa. Eds. A. Downing, J. Moya Guijarro y J. I.Albentosa Hernndez. Cuenca: Universidad de Castilla-La Mancha.

Edge, J. 1983. Reading to take notes and to summarise: A classroomprocedure.Reading in a Foreign Language1: 93-98.

Frandsen, B. 2011. Slaying the Dragons. 21stCentury Literacy. Bloom-ington, IN: AuthorHouse.

Fulcher, G. 1997. Assessing writing. Writing in the English language

classroom. Ed. G. Fulcher. Londres: Prentice Hall Europe ELT.Garner, R. 1982. Efcient text summarization: Costs and benets.

Journal of Educational Research75: 275-279.


32/38


ELIA12, 2012, pp. 115-152

Garner, R. 1985. Text summarization deciencies among older students:Awareness or production ability? American Educational ResearchJournal 22: 549-560.

Hamp-Lyons, L. 1991. Second language writing: assessment issues.Second language writing: Research insights for the classroom. Ed. B.Kroll. Nueva York: CUP. 69-87.

Hare, V. 1992. Summarizing text.Reading / writing connections: Lear-ning from research. Eds. J. W. Irwin y M. A. Doyle. Newark, DE:International Reading Association. 96-118.

Hare, V. y K. M. Borchardt. 1984. Direct instruction of summarizationskills.Reading Research Quarterly20: 62-68.

Hidi, S. y V. Anderson. 1986. Producing written summaries: Task de-mands, cognitive operations, and implications for instruction.Reviewof Educational Research56: 473-493.

Jacobs, H. L., S. A. Zinkgraf, D. R. Wormuth, V. F. Hartel y J. B. Hugey.1981. Testing ESL composition: A practical approach. Rowley, MA:

Newbury House.Johns, A. 1985. Summary protocols of underprepared and adept

university students: Replications and distortions of the original.Lan-guage Learning35: 495-517.

Johns, A. y P. Mayes. 1990. An analysis of summary protocols of univer-sity ESL students.Applied Linguistics11: 253-271.

Kintsch, E. 1989. Macroprocesses and microprocesses in the develop-

ment of summarization skill.ICS Technical Report No. 89-5, Boulder,CO: Institute of Cognitive Science.

Kintsch, W. y T. van Dijk. 1978. Towards a model of text comprehensionand production. Psychological Review85: 363-394.


33/38


ELIA12, 2012, pp. 115-152

Kirkland, M. R., y M. A. P. Saunders. 1991. Maximizing students per-formance in summary writing: Managing the cognitive load. TESOLQuarterly25: 123-144.

Long, J. y E. Harding-Esch. 1978. Summary and recall of text in rstand second languages: some factors contributing to performance di-fferences.Language interpretation and communication. Eds. D. Ger-ver y W. Sinaiko. Nueva York: Plenum. 273-287.

Lucisano P. y J. Kdr-Flp. 1988. The summary tasks. The IEA studyof written composition I: The international writing tasks and scoring

scales. T. P. Gorman, A. C. Purves y R. E. Degenhart. Oxford: Perga-

mon Press. Vol.5: 112-127.

Luque, J. L., J. A. Garca Madruga, F. Gutirrez, M R. Elosa y M. Gra-te. 1999. La construccin de la representacin semntica de los tex-tos. J. A. Garca Madruga, M R. Elosa, F. Gutirrez, J. L. Luquey M. Grate, Comprensin lectora y memoria operativa. Barcelona:Paids. 55-96.

Meyer, B. J. F. 1975. The organization of prose and its effects on memory.

Amsterdam: North Holland Publishing.

Meyer, B. J. F. 1984. Text dimensions and cognitive processing.Lear-ning and comprehension of text. Comps. H. Mandl, N. Stein y T. Tra-basso. Hillsdale, NJ: Lawrence Erlbaum.

Milian Gubern, M. 1997. Avaluar els textos escrits. Comp. T. Ribas.Lavaluaci formativa en lrea de llengua. Barcelona: Gra. 109-129.

Rumelhart, D.E. 1977. Understanding and summarizing brief stories.Basic processes in reading: Perception and comprehension. Eds. D.Laberge y S. J. Samuels. Hillsdale, NJ: Erlbaum. 265-303.


34/38


ELIA12, 2012, pp. 115-152

Sarig G. 1993. Composing a study-summary: A reading-writing encoun-ter. Reading in the composition classroom: Second language pers-

pectives. Eds. J. G. Carson e I. Leki. Boston: Heinle y Heinle. 161-182.

Scardamalia, M., C. Bereiter y H. Goelman. 1982. The role of produc-tion factors in writing ability. What writers know: The language, pro-cess, and structure of written discourse. Ed. M. Nystrand. Londres:Academic Press.

Sherrard, C. 1989. Teaching students to summarize: Applying text lin-guistics. System17, 1: 1-11.

Taylor, B. y R. W. Beach. 1984. The effects of text structure instructionon middle - grade students comprehension and production of exposi-tory text.Reading Research Quarterly 19: 134-146.

Van Dijk, T. A. 1977. Text and context. London: Longman.

Van Dijk, T. A. 1979. Relevance assignment in discourse comprehen-sion.Discourse Processes2: 113-126.

Van Dijk, T. A. 1980.Macrostructures. Hillsdale, NJ: Lawrence Erlbaum.

Van Dijk, T. A. y W. Kintsch. 1983. Strategies of discourse comprehen-sion. Orlando, FL: Academic Press.

Van Dijk, T. A. y W. Kintsch. 1985. Cognitive psychology and dis-course: Recalling and summarizing stories. Theoretical models andprocesses of reading. Eds. H. Singer y R. B. Rudell. Newark, DE:IRA. 794-812. Reeditado de W.U. Dressler, ed. 1977. Current trendsin textlinguistics. Nueva York: De Gruyter.

Vega de, M., M. Carreiras, M. Gutirrez Calvo y M. L. Alonso-Quecuty.1990. Lectura y comprensin: Una perspectiva cognitiva. Madrid:Alianza Editorial.

Whittaker Dovey, R. 1991. Textualidad y comprensin de textos:Artcu-los cientcos de economa y lologa.Madrid: UCM.


35/38


ELIA12, 2012, pp. 115-152

Winograd, P. N. 1984. Strategic difculties in summarizing text. Rea-ding Research Quarterly19: 404-425.


36/38


ELIA12, 2012, pp. 115-152

APNDICE

La gua (BABAR)

CONTENIDO Calicacin Criterios

Muy bien

Bien

Regular

Mal

2.5 / 2.25

2 / 1.75

1.5/ 1.25

1

Resalta la idea central y la conclusin. In-

cluye las ideas relevantes y las desarrolla

con precisin y concisin. Omite informa-cin redundante o no importante.

Expone la idea central y la conclusin. In-cluye muchas ideas relevantes y las desarro-lla con bastante precisin y concisin. Pocainformacin es redundante o no importante.

Menciona la idea principal y/o conclusinadems de algunas ideas relevantes. Desa-rrollo adecuado. Incluye informacin re-dundante o no importante.

Algunas ideas son relevantes pero confun-de otras o no las desarrolla con claridad.

Puede omitir alguna(s) ideas importante(s).Incluye mucha informacin no importanteo redundante.

ORGANIZACIN Calicacin CriteriosMuy bien

Bien

Regular

Mal

2 / 1.75

1.5 / 1.25

1 / 0.75

0.5 / 0.25

Se aprecia una clara estructuracin exposi-tiva. Evidente relacin entre ideas y secuen-

ciacin lgica. Muy coherente.

Se aprecia una estructura expositiva. Existecierta conexin entre ideas. Secuenciacinlgica, quizs algo incompleta. Coherente.

Estructura clara, pero relacin entre ideaspoco evidente. Tiene cierta coherencia, perofalla en la secuenciacin de ideas.

Carece de estructuracin o se aprecia condicultad. No existe relacin entre ideasy le falta coherencia. Secuenciacin muyafectada.


37/38


ELIA12, 2012, pp. 115-152

VOCABULARIO Calicacin Criterios

Muy bien

Bien

Regular

Mal

1.75 / 1.5

1.25 / 1

0.75 / 0.5

0.25

Usa sus propias palabras y mantiene sloaqullas que son clave. Preciso. Registro y

forma son apropiados.Expresa las ideas con sus propias palabrasaunque mantiene algunas prescindibles.Bastante preciso. Pocos errores de registroy forma.

Intenta no usar las mismas palabras peromantiene muchas prescindibles. Algo /pocopreciso. Errores de registro y forma.

Usa las mismas palabras o se aprecia desco-

nocimiento de vocabulario apropiado. Mu-chos errores de registro o forma.

USO DE LA LEN-GUA

Calicacin Criterios

Muy bien

Bien

Regular

Mal

2.25 / 2

1.75 / 1.5

1.25 / 1

0.75 / 0.5

Parafrasea correctamente. Usa recursos lin-gsticos adecuados para combinar /enlazarideas. Produce transformaciones con com-petencia. Apenas errores de tiempo, concor-dancia, preposiciones u orden.

Parafrasea. Tiene recursos lingsticosadecuados para combinar/ enlazar ideas.Produce transformaciones con cierta com-petencia. Pocos errores de tiempo, concor-dancia, preposiciones u orden.

Parafrasea pero usa recursos lingsticos b-sicos para combinar/ enlazar ideas. Producepocas transformaciones o no son adecuadas.Bastantes errores de tiempo, concordancia,preposiciones u orden.

Prcticamente copia. No usa recursos lin-gsticos para combinar/ enlazar ideas. Nosabe producir transformaciones, o no lodemuestra. Muchos errores de tiempo, con-cordancia, preposiciones u orden.


38/38


PRESENTACIN Calicacin Criterios

Muy bien

Normal

Mal

0.5

0.25

0

No tiene errores ortogrcos ni de puntua-cin. Marca los prrafos. El nmero de pa-

labras es exacto. Muy limpio.Tiene algunos errores ortogrcos o de pun-tuacin. Prrafos poco claros. El nmero depalabras no es exacto. Limpio.

Tiene varios errores ortogrcos y de pun-tuacin. Prrafos muy poco claros. El n-mero de palabras no es exacto. Poco limpio.

Primera versin recibida: enero de 2012.

Versin nal aceptada: mayo de 2012.

babar pauta de evaluación de resumenes

Documents