tese sobre celpebras

8/12/2019 Tese Sobre Celpebras

1/101

UNIVERSIDADE FEDERAL DO RIO GRANDE DO SULINSTITUTO DE LETRAS

PROGRAMA DE PS-GRADUAO EM LETRASREA DE CONCENTRAO: AQUISIO DE LINGUAGEM

Avaliao de proficincia oral em lngua estrangeira:descrio dos nveis de candidatos falantes de espanhol no

exame Celpe-Bras

JULIANA ROQUELE SCHOFFEN

Dissertao apresentada Banca Examinadoracomo exigncia parcial para a obteno dograu de Mestre em Letras

Orientadora: Profa. Dra. MARGARETE SCHLATTER

Porto Alegre, outubro de 2003.


2/101

2

AGRADECIMENTOS

Aos meus pais, Roque e Jurandira, e ao meu irmo Jlio, por todo o incentivo e por

serem sempre, em suas vidas, exemplos de trabalho e retido.

Ao Alexandre, pelo carinho dispensado durante a elaborao desta dissertao, e por ter

me ensinado que no devemos desistir dos nossos objetivos, no importa o quanto

demoremos para alcan-los.

Professora Dra. Margarete Schlatter, por todas as oportunidades de desenvolvimento

e crescimento profissional e pessoal, e pelo brilhante exemplo de profissional e de ser

humano.

Ao Programa de Portugus para Estrangeiros da UFRGS, pelas possibilidades de

aprendizado e de formao.

Aos colegas professores do Programa de Portugus para Estrangeiros, pelos

ensinamentos, pelas trocas de experincias e pelo auxlio nas horas necessrias.

A todos os meus amigos que, de uma forma ou outra, tornaram mais ameno o caminho

de construo desta dissertao.

Universidade Federal do Rio Grande do Sul, pela qualificada formao oferecida.

comisso tcnica do exame Celpe-Bras, pela oportunidade de participar das

aplicaes e das correes do exame, e por ter me disponibilizado os dados analisadosneste trabalho.

Capes, pela concesso da bolsa de mestrado.


3/101

3

RESUMO

Avaliar proficincia oral em uma lngua estrangeira um processo que requer

um criterioso treinamento dos avaliadores e grades de avaliao precisas o suficiente

para abarcar as caractersticas da proficincia dos candidatos. O processo de avaliao

oral pode tornar-se mais complexo quando se trata de avaliar lnguas prximas, como o

portugus e o espanhol, pois a semelhana entre as lnguas traz particularidades que

podem no estar previstas na grade de avaliao. O exame de proficincia em Portugus

para Estrangeiros Celpe-Bras, desenvolvido pelo Ministrio da Educao do Brasil,

testa a capacidade do candidato de compreender e de produzir a lngua de forma

adequada em situaes reais de comunicao. Para tanto, a grade de avaliao do exame

expressa em descritores de desempenho do candidato. Esses descritores, no entanto,

nem sempre contemplam toda a variao no desempenho dos candidatos e, por serem

ainda bastante amplos, dificultam a determinao do nvel de proficincia,

principalmente quando os candidatos so falantes de lnguas prximas ao portugus.

Este trabalho tem como objetivo fazer uma descrio detalhada do desempenho de

candidatos falantes de espanhol no exame Celpe-Bras, apontando as caractersticas da

sua proficincia. O corpus para essa anlise constitudo de doze entrevistas de

candidatos falantes de espanhol, dos quais quatro obtiveram Certificado Avanado,quatro Certificado Intermedirio e quatro no receberam certificao. A partir da anlise

dos dados, foram selecionadas categorias relevantes para a avaliao dos candidatos e,

de acordo com a adequao ou inadequao apresentadas nessas categorias, pudemos

descrever o desempenho dos candidatos em cada um dos nveis de certificao e

explicitar melhor qual a diferena entre um nvel de certificao e outro. Os resultados

deste trabalho pretendem contribuir para que os avaliadores possam se basear em

descries mais detalhadas de desempenho para avaliar a proficincia oral de falantes deespanhol, aperfeioando assim o processo de avaliao.


4/101

4

ABSTRACT

Assessing oral proficiency in a foreign language is a complicated process that

requires criterion-based training for the rater, and accurate rating scales to account forthe candidates proficiency characteristics. The oral assessment process is further

complicated when assessing similar languages such as Portuguese and Spanish, as the

similarity between them highlights singularities that may not have been anticipated in

the assessment scale. The Portuguese for Foreigners Proficiency Exam, Celpe-Bras,

developed by Brazils Ministry of Public Instruction, tests the candidates capacity to

comprehend and produce proper language in communicative situations. To achieve this,

the exams rating scale is expressed in descriptors of the candidates performance.Occasionally however, the descriptors are insufficiently detailed enough to cover the

variation in candidates performance, and this can make the determination of the

proficiency level difficult. This is particularly evident when the candidates are speakers

of languages similar to Portuguese. The aim of this paper is to give a detailed

description of Spanish speaker candidates performance in the Celpe-Bras exam,

highlighting the characteristics of their proficiency. The data for this paper was obtained

from the results of twelve Spanish speaker candidate interviews, comprising of four

Advanced Certificate passes, four Intermediate Certificate passes, and four non

certifications. After performing data analysis, categories that appeared to be relevant for

the candidates evaluation were selected. By assessing the adequacy or inadequacy

presented in these categories, it was then possible to differentiate each certification

level, and describe the candidates performance in that level. The results of this paper

are intended to provide further detailed performance descriptors for the raters when

assessing Spanish speakers oral proficiency, thus improving the assessment process.


5/101

5

SUMRIO

1- INTRODUO ............................................................................................................7

2- BREVE HISTRICO DA AVALIAO DE PROFICINCIA EM LNGUAESTRANGEIRA ...............................................................................................................9

2.1- O perodo pr-cientfico .............................................................................................9

2.2- As teorias estruturalistas ..........................................................................................10

2.3- Competncia Lingstica e Competncia Comunicativa .........................................11

2.4- A proficincia comunicativa ....................................................................................13

2.5- Os testes comunicativos ...........................................................................................14

2.6- A busca por testes de desempenho...........................................................................152.7- Testes de proficincia oral .......................................................................................19

2.8- Escalas de avaliao de desempenho .......................................................................23

3- O EXAME CELPE-BRAS..........................................................................................25

3.1- Origens .....................................................................................................................25

3.2- Formato do exame....................................................................................................27

3.3- Proximidade entre as lnguas portuguesa e espanhola .............................................30

4- METODOLOGIA .......................................................................................................334.1- Percurso da pesquisa ................................................................................................33

4.2- Objetivos ..................................................................................................................34

4.3- A entrevista oral do exame Celpe-Bras....................................................................34

4.4- Perfil da amostra selecionada...................................................................................34

4.5- Transcries .............................................................................................................35

4.6- A grade de avaliao do exame................................................................................36

4.7- Categorias selecionadas para a anlise.....................................................................41

5- DESCRIO DOS NVEIS DE PROFICINCIA ....................................................59

5.1- Certificado Avanado...............................................................................................59

5.2- Certificado Intermedirio .........................................................................................67

5.3- Sem Certificao ......................................................................................................77

6- CONSIDERAES FINAIS......................................................................................86

7- REFERNCIAS BIBLIOGRFICAS........................................................................96


6/101

6

QUADROS E TABELAS

Tabela 1 ....................................................................................................... 63

Tabela 2 ....................................................................................................... 64

Tabela 3 ....................................................................................................... 65

Tabela 4 ....................................................................................................... 71

Tabela 5 ....................................................................................................... 72

Tabela 6 ....................................................................................................... 73

Tabela 7 ....................................................................................................... 80

Tabela 8 ....................................................................................................... 81Tabela 9 ....................................................................................................... 83

Quadro 1 ...................................................................................................... 66

Quadro 2 ...................................................................................................... 74

Quadro 3 ...................................................................................................... 83


7/101


8/101

8

nvel de certificao atribudo aos candidatos. A partir da adequao ou inadequao

dos candidatos nessas categorias, pudemos estabelecer quais as que parecem ser mais

definidoras da diferena entre os nveis de certificao. Elaboramos, ainda, uma grade

descritiva da proficincia dos candidatos em cada um dos nveis certificados pelo

exame, de acordo com as categorias selecionadas para a anlise.

Este trabalho visa a promover um conhecimento maior das caractersticas da

proficincia em portugus dos falantes de espanhol. Por serem lnguas muito

semelhantes, a avaliao da proficincia oral torna-se complexa e requer muito cuidado,

j que esses falantes, mesmo no sendo proficientes, apresentam caractersticas muito

particulares, que candidatos falantes de outras lnguas no apresentariam, como uma

muito boa compreenso, por exemplo. Fazendo uma descrio mais detalhada da

proficincia dos falantes de espanhol e propondo uma grade descritiva do desempenho

dos falantes para cada um dos nveis, acreditamos estar contribuindo para que o

avaliador tenha mais subsdios no momento da avaliao desses candidatos.

Para cumprir os objetivos expostos acima, no captulo dois fazemos um estudo

da histria da avaliao em lngua estrangeira, desde os testes de pontos discretos at os

testes de desempenho, como o exame Celpe-Bras. Apresentamos tambm a histria da

avaliao de proficincia oral. Discutimos, ainda, as escalas de avaliao instrumento

utilizado para avaliar os testes de desempenho. No captulo trs, apresentamos o exame

Celpe-Bras, mostrando as caractersticas e o formato do exame, e descrevendo tambm

os desempenhos esperados em cada um dos nveis de certificao concedidos. A seguir,

fazemos uma discusso das peculiaridades que a proximidade existente entre o

portugus e o espanhol pode trazer para a avaliao de proficincia entre essas duas

lnguas. No quarto captulo descrevemos a metodologia utilizada no trabalho,

apresentamos a amostra de dados analisada, bem como descrevemos como foram

selecionadas e quais so as categorias utilizadas na anlise. O quinto captulo se destina anlise dos dados e descrio dos nveis de proficincia. tambm neste captulo

que apresentamos a nossa proposta de grade descritiva do desempenho dos candidatos e

discutimos quais categorias seriam as provveis responsveis pela diferenciao entre os

nveis de proficincia. O captulo das consideraes finais retoma algumas discusses

feitas no decorrer do trabalho, apresenta comentrios acerca das categorias de avaliao

e prope uma possvel interpretao para os nveis de certificao do exame Celpe-Bras.


9/101

9

2- BREVE HISTRICO DA AVALIAO DE PROFICINCIA EM LNGUA

ESTRANGEIRA

Segundo Brown (1993), percebamos ou no, ns avaliamos1 todos os dias, em

virtualmente todos os esforos cognitivos que fazemos. Carroll (1968:46) define teste

como: um procedimento feito para elicitar determinado comportamento, do qual pode-

se fazer inferncias sobre certas caractersticas de um indivduo2. Esse conceito , de

certa maneira, retomado por Brown (1993), quando o autor diz que um teste um

mtodo de medir a habilidade ou conhecimento de uma pessoa em determinada rea.

Existem testes para quase todas as reas do conhecimento humano, e esses testes

podem ser de naturezas bastante diferentes. Quase todos os testes, indiferentemente da

rea de conhecimento que estejam medindo, usam a linguagem como instrumento de

avaliao. em uma determinada lngua que so dadas as instrues do teste,

formuladas as questes, e, na maioria das vezes, tambm as respostas. Mas quando o

teste em questo um teste de capacidade lingstica, esse uso da linguagem como

instrumento dificulta a definio do que est sendo testado.

Testar proficincia em lngua , por isso, uma tarefa complexa. Como vimos, em

testes de outras reas usa-se a lngua para medir a habilidade do candidato (fsica ou

geografia, por exemplo). Nesses casos, a lngua o instrumento, no o objeto da

testagem. J nos testes de lngua, usa-se a prpria lngua para medir a habilidade

lingstica. A lngua o instrumento e tambm o objeto em si. A seguir, veremos

como a prtica de avaliao de lnguas passou por transformaes ao longo do tempo.

2.1- O perodo pr-cientfico

Antes da dcada de 1950, eram muito raros os estudos na rea de avaliao de

lngua estrangeira. Como o ensino de lngua em si no era considerado uma disciplinaindependente (fazia parte das chamadas cincias humanas), tambm a avaliao das

lnguas no era objeto de estudos mais especficos. Spolsky (1995) chama esse perodo

dos estudos sobre testagem de lngua de perodo pr-cientfico.

1Neste trabalho as palavras avaliaoe testagemso empregadas como sinnimas.2As tradues das citaes originariamente em ingls so de minha responsabilidade.


10/101

10

2.2- As teorias estruturalistas

Foi a partir da dcada de 50 e das teorias estruturalistas que o ensino de lngua

passou a ser considerado uma disciplina em si, e muitos estudos comearam a surgir na

rea de aquisio de linguagem. O estruturalismo foi, assim, a primeira corrente terica

a se preocupar cientificamente com os estudos da linguagem, e foi tambm a primeira

escola a pensar cientificamente em testes de lngua e a buscar a definio de

proficincia.

Nessa poca, as lnguas eram vistas como um inventrio de componentes

discretos (como gramtica e vocabulrio) e de habilidades (ouvir, falar, ler e escrever)

(ver Bachman e Cohen, 1998). A aquisio de uma lngua estrangeira se dava, pensava-

se, atravs da formao de hbitos, e era a automatizao desses hbitos que formava a

proficincia. Segundo Vollmer (1983), devido grande influncia da teoria lingstica

do estruturalismo, durante muito tempo os estudos lingsticos aceitaram, sem grande

discusso, que ser proficiente em uma lngua significava conhecer os seus elementos e

ter automatizado diferentes formas de coloc-los em uso. Nesse sentido, podemos dizer

que a escola estruturalista forneceu um dos primeiros arcabouos tericos para a

definio de proficincia. De acordo com essa viso, aprender uma lngua estrangeira ou

ser proficiente nessa lngua pressupunha dominar seus elementos (Fries, 1945; Lado,

1961).

Assim como a aquisio de lngua estrangeira e o conceito de proficincia foram

diretamente influenciados pelos estudos estruturalistas, tambm os estudos na rea de

avaliao de lngua eram, nessa poca, subordinados a essa teoria. Uma vez que a lngua

era vista como um conjunto de vrios elementos diferentes, os estudos de Lado (1957,

1961) argumentavam que era possvel medir cada um desses elementos. Conhecimento

de vocabulrio, pronncia, gramtica, e tambm as habilidades de ler, escrever, ouvir e

falar eram testadas em separado, e a produo e a compreenso eram vistas comohabilidades distintas.

Como a proficincia em uma lngua era medida pela testagem dos diversos

aspectos de maneira independente, cada um desses aspectos era medido de forma

restrita, isto , na maioria das vezes os testes de lngua baseados nessa teoria no

apresentavam atividades contextualizadas, ao contrrio, os itens lingsticos eram

testados independentemente do contexto e da sua relao com os demais.

Tambm por essa separao entre os nveis lingsticos, e por causa da procurapor testes confiveis e prticos, criou-se a tradio de testes de lngua objetivos, muito


11/101

11

confiveis e fceis de serem aplicados e avaliados (pontuados). Esses testes consistem,

em sua maioria, de atividades em que o candidato no necessita criar uma resposta

nova, mas apenas classificar como certas ou erradas alternativas j existentes. Nesse

tipo de teste, so bastante comuns tarefas (na maioria das vezes descontextualizadas) de

mltipla escolha, preencher lacunas ou de verdadeiro ou falso, que aceitam apenas uma

resposta correta. Esse mtodo, por sua objetividade de correo e por medir as

habilidades separadamente, chamado mtodo de pontos discretos.

Os testes de pontos discretos foram construdos baseados na crena de que a

lngua podia ser desmembrada em suas partes componentes e cada parte podia ser

adequadamente testada (Brown, 1993). O mtodo de pontos discretos, por ser

extremamente prtico e confivel, ainda usado hoje em dia, combinado com tarefas

mais globais, em muitos testes de proficincia disponveis no mercado, como os exames

Cambridge, Michigan e Toefl.

2.3- Competncia Lingstica e Competncia Comunicativa

Em 1965, Chomsky apresenta o conceito de competncia lingstica, que seria

baseada em um falante-ouvinte ideal de uma comunidade de fala homognea, que

domina a sua lngua perfeitamente. A teoria lingstica proposta por Chomsky no est

preocupada com limitaes da memria, distraes, mudanas de ateno e interesse e

erros na aplicao do conhecimento da lngua no desempenho real, situaes que ele

chama de condies gramaticalmente irrelevantes. Segundo o autor, a propriedade

mais caracterstica do comportamento lingstico que ele inovativo. Todo falante

nativo de uma lngua tem internalizada uma gramtica gerativa, descrita como um

sistema de regras que pode ser usado em novas combinaes para formar novas

sentenas e que permite a integrao semntica das mesmas (Chomsky, 1973:32).

Essa definio de competncia lingstica proposta por Chomsky encontraoposio quando Hymes prope o termo competncia comunicativa. Segundo Hymes,

existem regras de uso sem as quais as regras da gramtica seriam inteis (Hymes,

1972:278). Para ele, as condies de produo das sentenas, bem como o propsito e o

lugar social que elas expressam so regidos por regras to rgidas e importantes quanto

as regras da gramtica descritas por Chomsky.

Segundo Widdowson (1989), a diferena entre Chomsky e Hymes est no fato

de que a lingstica de Hymes est centrada no uso da linguagem, enquanto a deChomsky no est. Para o autor, a noo de competncia de Chomsky o conhecimento


12/101

12

de algo muito mais abstrato que a linguagem: o conhecimento do sistema de regras,

parmetros e princpios ou configuraes mentais para os quais a linguagem

simplesmente serve de evidncia. Widdowson diz ainda que Chomsky v competncia

como conhecimento gramatical, um estado mental abaixo do nvel do uso da linguagem.

Competncia no , necessariamente, segundo essa viso, habilidade para fazer alguma

coisa. Para Hymes (1972), ao contrrio, competncia seria a habilidade para usar a

linguagem.

A partir da idia de competncia comunicativa, inicia-se nos estudos lingsticos

uma corrente bastante forte de estudos da pragmtica e da sociolingstica, e comea-se

a perceber que no possvel ser proficiente em uma lngua sem ser proficiente no seu

uso. A partir da, a pesquisa na rea de avaliao de lngua comeou a procurar formas

de incluir o uso da lngua em contexto nos testes, e iniciou-se a procura por testes de

proficincia que apresentassem tarefas mais contextualizadas e que permitissem ao

candidato respostas menos restritas do que as que os testes de pontos discretos

permitiam at ento.

Os estudos na rea da competncia comunicativa levaram os lingistas a

acreditar que o todo comunicativo era consideravelmente maior que a soma dos seus

elementos lingsticos (Clark 1983:432). Essa crena levou os estudos lingsticos a se

preocuparem mais com a lngua como um todo e a dar mais valor ao seu uso em

contexto, ao contrrio do que acontecia antes, quando o uso era praticamente renegado.

Essa corrente de pesquisas na rea de avaliao foi chamada por Brown (1993) de

integrativa-sociolingstica.

A abordagem dos pontos discretos obviamente encontrou crticas quando

comeou a era do integrativo-sociolingustico e sua nfase na comunicao,

autenticidade e contexto. A crtica veio largamente de Oller (1979), que argumentava

que competncia lingstica era uma gama unificada de habilidades interacionais queno poderiam ser separadas. Pensava-se que competncia comunicativa seria to global

e requereria tal integrao (da o termo avaliao integrativa) que no poderia ser

capturada em testes somados de gramtica, leitura, vocabulrio e outros pontos discretos

da lngua. Se itens discretos separam as habilidades lingsticas, os testes integrativos

os unem de novo. Enquanto itens discretos tentam testar conhecimento de lngua um

pouco de cada vez, os testes integrativos tentam avaliar uma capacidade do aprendiz de

usar todos os pedaos ao mesmo tempo (Oller, 1979:37).


13/101

13

Foi nessa poca que surgiu a hiptese da proficincia unitria, que propunha a

viso da proficincia como sendo indivisvel. Segundo essa hiptese, vocabulrio,

gramtica, fonologia, bem como as quatro habilidades de ler, escrever, ouvir e falar no

poderiam ser separadas. Essa hiptese foi largamente defendida por Oller (1979), que

argumentava que existiria uma proficincia lingstica global que a soma de todos os

pontos discretos no chegaria a atingir.

A hiptese da proficincia unitria foi bastante contestada por outros tericos,

como Farhady (1982), que evidenciavam que era possvel a um aprendiz, dependendo

da sua lngua materna, grau de estudo ou campo de interesse, ter um aproveitamento

muito melhor em algumas habilidades do que em outras. Segundo esses autores, a

proficincia no seria formada por um todo unitrio, mas por habilidades que,

integradas, dariam condies pessoa de interagir na lngua.

2.4- A proficincia comunicativa

A partir do conceito de competncia proposto por Chomsky (1965), e, mais

tarde, do conceito de competncia comunicativa proposto por Hymes (1972), teve incio

nos estudos lingsticos uma nova representao de proficincia, que leva em conta

fatores comunicativos, socioculturais e situacionais. Bachman (1990) descreve

habilidade lingstica comunicativa como consistindo de conhecimento (ou

competncia) e capacidade para implementar ou executar essa competncia em uso

comunicativo da lngua apropriado e contextualizado.

Os estudos chamados comunicativos foram, a partir do final dos anos 70,

muito importantes na rea de aquisio e descrio da linguagem, tomando, quase que

totalmente, o lugar dos estudos estruturalistas que dominavam at ento. Vrios

modelos de competncia comunicativa j foram propostos, sendo que um dos mais

conhecidos, o de Canale e Swain (1980), conclui que no provvel que a competnciacomunicativa possa ser reduzida a apenas uma dimenso global de proficincia

lingstica. Segundo esse modelo, a competncia comunicativa dividida em (pelo

menos) trs dimenses diferentes: competncia gramatical (que inclui lxico,

morfologia, sintaxe e fonologia), competncia sociolingstica (que consiste de regras

socioculturais e discursivas que regulam o uso da lngua) e competncia estratgica

(estratgias de comunicao verbal e no verbal que entram em ao para compensar

eventuais problemas na comunicao).


14/101

14

Ser proficiente em uma lngua estrangeira, segundo Widdowson (1991),

significa mais do que compreender, ler, falar e escrever oraes nessa lngua. Significa

tambm saber utilizar essas oraes de modo a conseguir o efeito comunicativo

desejado. Tambm segundo o autor, nas interaes sociais em nossa vida cotidiana,

geralmente se exige que usemos o nosso conhecimento do sistema lingstico com o

objetivo de obter algum tipo de efeito comunicativo. Isso equivale a dizer que

geralmente se exige que produzamos exemplos de uso da linguagem (Widdowson,

1991:16 grifo do autor). Sendo assim, o que um falante precisa para ser proficiente

no somente conhecer o sistema abstrato da lngua, mas saber como us-la

adequadamente em determinada situao.

Seguindo a idia da proficincia comunicativa, de que as habilidades lingsticas

funcionam de maneira integrada em situaes reais, no suficiente que um teste de

proficincia mea as habilidades lingsticas do candidato descontextualizadas da sua

situao de uso. Um exame assim poderia certificar como proficiente um candidato que

apenas tem conhecimento abstrato da lngua, mas que no de fato proficiente em

situaes reais de comunicao. Para Widdowson (1991:97), a aprendizagem das

habilidades lingsticas no parece garantir a conseqente aquisio da capacidade

comunicativa numa dada lngua. A pessoa que proficiente em uma lngua estrangeira

sabe mais do que compreender, falar, ler e escrever oraes. Ela tambm conhece as

formas como as oraes so utilizadas para conseguir um efeito comunicativo.

2.5- Os testes comunicativos

Se a partir da dcada de 70 os mtodos de ensino de lngua, em sua grande

maioria, foram influenciados pelos estudos comunicativos e a nfase passou a ser a

interao, a prtica de avaliao tambm foi influenciada por esses estudos e os testes,

que antes eram em sua maioria objetivos (de pontos discretos), passaram a contemplartambm o uso da lngua em situaes de comunicao.

Segundo Brown (1993), um teste comunicativo tem que ser pragmtico no

sentido de exigir que o candidato use a lngua dentro de um contexto apropriado. Alm

disso, ainda segundo o autor, para um teste ser chamado de comunicativo necessrio

que ele teste o aprendiz em uma variedade de funes da linguagem. Os testes

comunicativos devem medir uma gama variada de habilidades lingsticas incluindo

conhecimento de coeso, funes da linguagem e conhecimentos sociolingsticos.


15/101

15

Harrison (1983) diz que um teste no se torna comunicativo ao se misturar nele

um pouco de realidade: ele comunicativo por causa do uso que se faz dele, e se ele no

puder ser usado para representar um propsito comunicativo, ele no um teste

comunicativo.

2.6- A busca por testes de desempenho

Como vimos, o conceito de proficincia lingstica j foi objeto de desacordo

entre muitos estudiosos e ainda necessita de definies mais claras. Vollmer (1983:152)

diz que depois de vrios anos de investigao, o que ainda se pode dizer sobre

proficincia que ela o que os testes de proficincia medem. E os testes de

proficincia acabam por medir aquilo que os seus elaboradores querem que eles meam,

baseados nas teorias lingsticas em que acreditam, e de acordo com as definies de

lngua e linguagem em que acreditam.

Por essa razo, Bachman (1990) acredita que todos os testes de lngua devem ser

baseados em uma definio clara das habilidades lingsticas. Nessa mesma linha,

Scaramucci (2000) afirma que as divergncias maiores no residem na interpretao do

termo proficincia, mas nas concepes do que saber uma lngua que o termo

representa. Ao se elaborar um teste, muito importante definir o que se entende por

saber uma lngua, porque a maneira como definimos as habilidades est intimamente

relacionada com as caractersticas do teste que vamos usar.

Alm da definio clara das habilidades lingsticas que um exame de

proficincia vai avaliar, outros critrios tambm precisam ser levados em conta na

elaborao de um teste. Em primeiro lugar, um teste precisa ser prtico existem

limitaes financeiras e restries de tempo, ento importante que o teste seja fcil de

administrar, pontuar e interpretar. A praticidade depende de aspectos como tempo

disponvel, nmero de candidatos, disponibilidade de avaliadores e disponibilidadefinanceira. Um teste que exija entrevista individual, por exemplo, pode ser considerado

prtico se o nmero de candidatos for pequeno ou se existirem vrios avaliadores, mas

certamente ser impraticvel se forem muitos os candidatos e um s o avaliador.

Outro aspecto importante para um teste a confiabilidade. A confiabilidade de

um teste reside em minimizar os efeitos na avaliao dos fatores externos ao teste,

fazendo com que a habilidade lingstica do candidato seja avaliada de maneira

uniforme. Existem vrios fatores que podem afetar o desempenho do candidato em umteste e assim provocar equvocos na avaliao da habilidade lingstica comunicativa.


16/101

16

Dentre esses fatores est o cansao do candidato ou do avaliador, o domnio ou

desconhecimento de determinado tpico, discrepncia de referenciais tericos entre os

avaliadores, preferncia ou aptido pessoal para um determinado tipo de teste, bem

como o conhecimento ou desconhecimento da situao de avaliao. Quanto menos

esses fatores afetarem a avaliao de um teste, maior importncia ter no teste o

domnio das habilidades lingsticas que queremos medir e, conseqentemente, maior a

confiabilidade dos escores do teste.

Para que possamos diminuir o efeito dos fatores externos, no entanto,

necessria uma especificao cuidadosa e analtica do instrumento e das grades de

avaliao. Segundo Brown and Bailey (1984), essa especificao maior pode aumentar

significativamente a confiabilidade do teste. Tambm a uniformidade das condies de

aplicao e um treinamento uniforme de todos os avaliadores pode colaborar

sensivelmente para o aumento da confiabilidade do exame, uma vez que assim eles

tero a oportunidade de compreender melhor as grades e o prprio instrumento de

avaliao.

Mas segundo Bachman (1990), o critrio mais importante a ser considerado nos

processos de desenvolvimento, interpretao e uso de um teste no deve ser se os seus

escores so confiveis, mas se a interpretao e o uso que fazemos desses escores so

vlidos. Para o autor, quando aumentamos a confiabilidade das nossas medies,

estamos tambm satisfazendo uma condio necessria para a validade: para o escore de

um teste ser vlido, necessrio que ele seja primeiro confivel.

Para Brown (1993), validade o grau segundo o qual o teste realmente mede o

que ele se prope a medir. Essa idia segue a definio formulada por Lado: o teste

mede o que ele deve medir? Se ele mede, ele vlido (Lado, 1961:321). A literatura na

rea de avaliao apresenta trs tipos de validade: validade de contedo, validade de

construto e validade de face. Segundo Brown (1993), em um teste com validade decontedo as tarefas devem ser representativas do contedo ou das habilidades a que o

teste se prope, isto , o teste deve testar as habilidades ou conhecimentos sobre as

quais quer arbitrar valor. Um teste que tem como objetivo medir a habilidade

conversacional em lngua estrangeira, por exemplo, ter validade de contedo se

apresentar tarefas que exijam do candidato interao oral dentro de um contexto. Se o

teste se limitar a apresentar questes escritas de mltipla escolha, por exemplo, no ter

validade de contedo.


17/101

17

Validade de construto diz respeito a como definimos o que queremos medir e ao

fato de que o teste realmente mede as habilidades necessrias para o que se prope um

teste que quer medir habilidade de comunicao oral mas apresenta apenas tarefas de

gramtica no possui validade de construto, pois o domnio da gramtica apenas um

dos conhecimentos necessrios para a comunicao oral, por exemplo. Construto a

definio terica do objeto a ser medido. Quando um pesquisador interpreta a pontuao

de um aprendiz em um teste de vocabulrio, por exemplo, como um indicador de

conhecimento de vocabulrio, ento conhecimento de vocabulrio o construto que

d sentido pontuao.

Para ter validade de face importante que as tarefas do teste paream estar de

acordo com o construto que o teste pretende medir. Se um teste quer medir habilidade

de leitura em lngua estrangeira, por exemplo, importante que ele possua questes de

leitura, e no apenas de gramtica. Segundo Brown (1993), a validade de face

importante do ponto de vista dos candidatos que se submetem ao teste, pois estes se

sentem mais seguros com relao validade do teste se puderem perceber uma relao

entre as tarefas propostas e o construto que o teste diz medir.

Outro ponto importante ressaltado por Bachman (1990) o aspecto preditivo da

validade. Esse aspecto diz respeito s predies que podemos fazer sobre as situaes

para as quais os candidatos esto aptos, com base no resultado dos testes. Assim, testes

como o Celpe-Bras, em que no se busca aferir conhecimentos a respeito da lngua,

por meio de questes sobre a gramtica e o vocabulrio, mas sim a capacidade de uso

dessa lngua e em que a competncia do candidato avaliada pelo seu desempenho

em tarefas que se assemelham a situaes da vida real (Schlatter et ali, 2003:4), podem

predizer a habilidade do candidato para realizar um curso universitrio ou trabalhar no

pas, objetivo de muitos candidatos que se submetem a esse exame. Um teste que no

preditivamente vlido pode no ser de muito uso na sociedade.Ainda segundo Bachman (1990), a interpretao e o uso que fazemos do

desempenho nos testes podem no ser igualmente vlidos para todas as habilidades e em

todos os contextos. Isso quer dizer que um teste s pode ser considerado vlido dentro

de um determinado contexto e em determinadas circunstncias. Um teste que apresenta

apenas tarefas de compreenso de leitura ou de gramtica, por exemplo, no pode ser

considerado vlido para definir habilidade de fluncia oral. Tambm um teste que se

prope a verificar as habilidades lingsticas de candidatos adultos com um certo graude estudo (caso do Toefl, por exemplo) no ser vlido se for aplicado em crianas.


18/101

18

Outro aspecto importante, ressaltado por Messick (1989, apud McNamara,

1996), o que o autor chama de validade de impacto (consequential validity). Segundo

o autor, toda avaliao causa algum tipo de impacto nos contextos educacionais em que

praticada. Esse impacto dos testes nos contextos educacionais descrito pelos

estudiosos como efeito retroativo (washback effect).

Os defensores dos testes comunicativos de desempenho apontam o efeito

retroativo como um dos grandes argumentos para a adoo desses testes. Segundo esses

estudiosos, como Frederiksen and Collins (1989, apud McNamara, 1996), a adoo de

testes de desempenho teria como conseqncia um ensino direcionado para a

preparao dos alunos para as tarefas presentes nesses testes, e assim, indiretamente, os

alunos seriam tambm preparados para usar a lngua em situaes reais de

comunicao, devido semelhana entre as tarefas desses testes e as situaes reais de

uso da lngua. Essa conseqncia, chamada pelos autores de efeito retroativo positivo,

se ope conseqncia dos testes cujas tarefas esto relacionadas apenas indiretamente

ao desempenho lingstico esperado dos candidatos, como os testes de mltipla escolha,

por exemplo. Esses testes desencadeariam o que os autores chamam de efeito retroativo

negativo, fazendo com que professores e alunos centrassem seus esforos na preparao

para o teste, e no no desenvolvimento do desempenho das habilidades lingsticas em

si.

Apesar de ser bastante comentado na teoria sobre avaliao, existem ainda

poucos estudos que comprovem esse efeito retroativo benfico dos testes de

desempenho nos contextos educacionais. Scaramucci (1999b) relata que, algumas vezes,

a influncia de um teste pode afetar o objeto do ensino (o que ensinado), mas no se

refletir na metodologia utilizada (como ensinado). Segundo a autora, outros elementos

existentes na escola, na educao e na sociedade exercem sua influncia sobre o que

ensinado e como se ensina na sala de aula, fazendo com que essas duas coisas no sejamexplicadas unicamente a partir das caractersticas do exame para o qual o ensino

prepara.

No possvel, dessa forma, pensar em efeito retroativo de uma maneira

determinista, imaginando que o teste tenha influncia imediata no ensino em sala de

aula. Outros fatores, alm do instrumento em si, parecem tambm ser muito importantes

para a determinao do contedo e do mtodo de ensino, como a formao do professor,

a crena dos alunos e do prprio professor na possibilidade ou no de aprovao noexame, o currculo proposto e a crena dos sujeitos envolvidos do que seja ensinar e


19/101

19

aprender uma lngua estrangeira. Para Scaramucci, necessrio relativizar o efeito

retroativo conseguido com os testes de desempenho, porque inovaes educacionais

no so conseguidas automtica e unicamente, atravs da implementao de propostas

direcionadoras e exames externos (Scaramucci, 1999b:18).

2.7- Testes de proficincia oral

Para os testes tradicionais, a avaliao oral no era considerada importante na

determinao da proficincia. Esses testes, como j vimos, se preocupavam mais em

medir estruturas gramaticais e habilidades de leitura, e a habilidade oral era deixada de

lado.

Segundo Shohamy (1988), foi s nos anos 60 que a avaliao oral da lngua

comeou a receber maior ateno. Pimsleur (1965, apud Shohamy, 1988) descreve os

primeiros testes orais como consistindo na repetio de palavras e frases, e tambm em

respostas-padro a perguntas-padro, executados em laboratrios equipados de

gravadores. Apesar de terem sua validade comunicativa bastante comprometida, esses

testes tiveram o mrito de inserir a avaliao oral nas discusses e estudos sobre a

avaliao de lngua, abrindo caminho para os testes mais elaborados e teoricamente

embasados que vieram depois.

Nos anos 70, o fluxo muito grande de estudos de teorias comunicativas trouxe

crticas bastante severas aos testes orais. Estudos dessa poca argumentavam que a

linguagem oral produzida nessas ocasies era artificial, pois os candidatos, ao invs de

interagirem com outras pessoas, como em situaes naturais, falavam com mquinas.

Comeou ento a ser necessrio o desenvolvimento de testes orais que exigissem do

candidato produo na lngua-alvo e interao com pessoas reais.

Devido a essa necessidade, na dcada de 70 foi desenvolvida a estrutura da

Entrevista Oral, teste que vem sendo o mais usado durante os ltimos anos para medirproficincia oral em lngua estrangeira. A entrevista oral consiste na interao oral de

um (ou mais de um) candidato e um (ou mais de um) avaliador. O avaliador faz ao

candidato perguntas sobre vrios tpicos, e as respostas do candidato, que representam a

amostra da sua habilidade oral, so medidas pelo avaliador com a ajuda de uma escala

de avaliao.

A entrevista oral desde o seu incio foi considerada como um grande avano em

relao aos testes orais anteriores, e em pouco tempo foi tomando o lugar deles, masganhou ainda mais popularidade quando o Conselho Americano para o Ensino de


20/101

20

Lnguas Estrangeiras (ACTFL American Council on the Teaching of Foreing

Languages) a adotou como instrumento oficial para avaliar a proficincia em lngua

estrangeira em escolas e universidades americanas.

Desde a popularizao da entrevista oral, no entanto, muito se tem criticado o

seu mtodo de avaliao. O primeiro problema apontado no uso das entrevistas orais

como medidoras de proficincia oral comunicativa que uma entrevista em muito

pouco se assemelha com um evento comunicativo real, possvel de ocorrer em situaes

naturais de interao.

Silverman (1976, apud Ross and Berwick, 1992) define entrevista como um

encontro marcado entre participantes desiguais, no qual um desses participantes (o

avaliador) assume o direito de fazer as perguntas e de organizar o tpico e a conversa. A

entrevista oral, enquanto parte de um teste de proficincia, vista como um mtodo

apropriado para determinar a habilidade de um indivduo para trocar informaes

atravs de comportamento conversacional, que inclui, por exemplo, o exerccio de

direitos recprocos para negociar significados e manter a responsabilidade pela

explorao dos tpicos em uma conversa. A alocao do controle nas mos do

avaliador, no entanto, distingue claramente as entrevistas dos processos

conversacionais. Segundo Ross and Berwick (1992), esse controle assimtrico da

interao constitui um problema para a validade do procedimento de entrevista oral.

Um outro elemento que separa as entrevistas de proficincia das conversas

naturais, segundo Ross and Berwick (1992), o fato de muitas das perguntas em uma

entrevista serem planejadas para elicitar apenas amostras de conhecimento, competncia

e informao lingstica possudas pelo entrevistado. Para Clark and Clifford (1988),

uma entrevista bem conduzida, mesmo parecendo na superfcie ser uma conversa

informal sobre uma variedade de tpicos, ao mesmo tempo uma tentativa

cuidadosamente estruturada para determinar a habilidade ou falta de habilidade docandidato em cumprir as tarefas de uso da lngua de acordo com cada um dos nveis da

escala de avaliao. Segundo Van Lier (1989), as regras que regem a entrevista de

proficincia oral freqentemente enfatizam a necessidade de o entrevistador prestar

ateno lngua usada pelo candidato ao invs de prestar ateno na informao que

est sendo expressa (afinal, a lngua, e no o contedo da conversa, que est sendo

avaliada). Ao contrrio das situaes naturais de uso da lngua, em que as perguntas e

respostas em uma conversa giram em torno do contedo, na entrevista de proficincia


21/101

21

com a forma que os avaliadores esto mais preocupados, porque ela que levada em

conta na hora de atribuir uma determinada certificao ao candidato.

Outro grande problema das entrevistas de proficincia oral que elas buscam

medir a proficincia dos candidatos com base no que seria feito por um falante

proficiente em situaes reais de comunicao. Segundo Lantolf and Frawley (1985,

1988, apud Ross and Berwick, 1992), as grades de proficincia existentes no esto

ligadas a nenhuma observao ou descrio de como se d a comunicao natural, mas

so listas de caractersticas que, presumivelmente, deveriam representar um falante

proficiente. O problema, segundo os autores, que esse falante proficiente ideal ainda

no foi definido, e que pouco se sabe sobre como os falantes, nativos ou no,

relacionam a estrutura lingstica s funes da linguagem e como as colocam em uso

nas situaes de comunicao que enfrentam no dia-a-dia.

Para Lantolf & Frawley (1988), o grande entrave da validade das entrevistas de

proficincia oral que os indivduos reais foram deixados de lado. Essas entrevistas so

baseadas em escalas de proficincia construdas arbitrariamente, sem estudos de

observao da realidade. Isso bastante problemtico porque, segundo os autores, para

uma real investigao do que seja proficincia, necessrio que o principal foco de

ateno sejam indivduos reais, em ao no seu mundo. Pienemann and Johnston (1987,

apud Van Lier, 1989) reforam essa posio quando dizem que a falta de estudos

descritivos sobre o que seja proficincia acaba nos levando a pensar que a proficincia

oral consiste dos aspectos de competncia comunicativa que so exibidos e avaliados

nas entrevistas de proficincia oral, j que esses so praticamente os nicos aspectos da

proficincia descritos at hoje.

Muitos estudiosos apontam, ainda, o fato de a entrevista oral no ser

representativa da proficincia oral necessria a um falante proficiente. Shohamy, Reves

and Bejerano (1986, apud Shohamy, 1988), por exemplo, questionam o fato de aentrevista oral s apresentar um tipo de situao de uso da linguagem, a entrevista, no

sendo representativa de outros tipos de interao com os quais o candidato certamente

vai se deparar no dia-a-dia, como a narrao, a conversa, a exposio oral, entre outros.

Esses questionamentos levaram vrios tericos (ver Shohamy 1988, Bachman 1990,

Lantolf and Frawley, 1988) a concluir que a entrevista oral, sozinha, tem muitas

restries para ser considerada um instrumento vlido de medio da habilidade oral, e

que outras interaes orais so necessrias para, junto com a entrevista, poder formarum teste oral vlido.


22/101

22

As questes aqui expostas so altamente relevantes para a continuidade das

pesquisas na rea da avaliao de proficincia oral em lngua estrangeira. Sabemos da

necessidade de estudos nessa rea que descrevam as caractersticas da proficincia oral

e que venham a contribuir para a melhoria dos mtodos de avaliao. Tambm

acreditamos que a anlise mais detalhada das avaliaes de proficincia oral em testes

de desempenho, como o Celpe-Bras, possam colaborar para essa discusso.

Outra questo problemtica levantada pelos pesquisadores em relao

entrevista de proficincia oral diz respeito subjetividade da avaliao. Ao contrrio

dos antigos testes discretos, na entrevista oral, por representar uma interao entre duas

pessoas, impossvel fugir de uma avaliao subjetiva. Segundo Shohamy (1988), a

entrevista oral depende muito da relao que se estabelece entre o avaliador e o

candidato, as suas personalidades, o propsito da interao, o tpico e o contexto, entre

outras variveis, e isso faz com que a avaliao se torne complexa e difcil de controlar

(ver Shohamy, 1988, e McNamara, 1996).

Segundo McNamara (1996), a avaliao nos testes de desempenho (como a

entrevista oral, por exemplo) necessariamente envolve julgamentos subjetivos. Segundo

o autor, isso apropriado: a avaliao de qualquer desempenho humano complexo

muito dificilmente pode ser feita automaticamente. Julgamentos que envolvem

subjetividade vo inevitavelmente ser complexos e envolver atos de interpretao por

parte do avaliador, e ento estar sujeitos discordncia. Para identificar e quantificar a

extenso de discordncia entre os avaliadores, e para reduzi-la a nveis aceitveis, o

autor prope trs procedimentos importantes a serem tomados quando do processo de

avaliao (McNamara 1996:117):

1- o uso de descries de desempenho (grades de avaliao) cuidadosamente

formuladas para cada nvel de avaliao possvel, incluindo exemplos

ilustrativos das caractersticas do desempenho em cada nvel;2- treinamento cuidadoso dos avaliadores no uso dos procedimentos de avaliao;

3- avaliao de cada candidato mais de uma vez e adoo de procedimentos para

lidar com a discrepncia que possa surgir.

Essa necessidade de reduzir a subjetividade da avaliao nos testes que avaliam

desempenho, como a entrevista oral, afeta diretamente, como j vimos, as escalas de

avaliao. Quanto mais precisos e restritos forem os descritores dessas escalas, mais

uniforme e pontual ser a avaliao, aumentando assim, conseqentemente, aconfiabilidade do exame. Por essa razo, existe uma preocupao dos estudiosos que


23/101

23

desenvolvem as escalas de avaliao de descrever e refinar esses descritores, de maneira

a qualificar o trabalho dos avaliadores e uniformizar a avaliao. Esta , tambm, a

razo deste trabalho.

2.8- Escalas de avaliao de desempenho

Para Turner and Upshur (2002), entre as mudanas mais promissoras na

avaliao em segunda lngua nos ltimos 20 anos est o crescimento do uso de testes

que apresentam tarefas que requerem que os candidatos realmente produzam lngua

escrita ou falada. Em contraste com os testes discretos de segunda lngua, que requerem

que os candidatos respondam a perguntas escolhendo entre vrias alternativas, os testes

comunicativos, em que os candidatos precisam produzir lngua, oferecem a promessa de

uma descrio mais completa e complexa da habilidade do candidato para usar a lngua.

Mas o cumprimento dessa promessa depende largamente da qualidade do procedimento

utilizado para avaliar as respostas dos candidatos, isto , da escala de avaliao.

McNamara (1996:32) considera muito importante a determinao dos critrios

segundo os quais a avaliao do exame ser feita. Segundo Clark (1972:128, apud

McNamara, 1996:32), a base conceitual da avaliao de proficincia oral no (ou no

somente) o procedimento de exigir demonstraes da proficincia do candidato, a

entrevista em si, mas so os critrios de desempenho nas escalas de avaliao atravs

das quais o desempenho julgado. Para o autor, a viso que o teste tem de lngua e

proficincia lingstica est, inevitavelmente, descrita na escala de avaliao utilizada.

Dessa forma, segundo McNamara (1996:32), ainda que os exames no faam referncia

explcita a nenhuma teoria, a posio terica fica implcita nos critrios pelos quais os

avaliadores fazem os seus julgamentos.

As escalas de avaliao dos testes comunicativos so esquemas de pontuao

que incluem descries dos diferentes nveis de lngua em um continuum, normalmenteda falta de conhecimento at o nvel mais alto de conhecimento. O processo de

avaliao da qualidade das amostras lingsticas obtidas envolve combin-las com as

descries da escala e definir um grau para o candidato de acordo com essa escala.

Para Kunnan (1999), a primeira preocupao de um exame deve ser se a sua

grade de avaliao tem igual validade para diferentes candidatos ou grupos de

candidatos definidos por caractersticas como idade, gnero, raa/etnia, lngua e cultura.

Em outras palavras, a preocupao primeira deve ser a clarificao dos instrumentos deavaliao. Essa clarificao dos instrumentos de avaliao pode ser entendida como


24/101

24

uma descrio mais fina do desempenho esperado pelos candidatos em cada nvel de

proficincia certificado, e tambm por exemplos de cada nvel de proficincia que

possam ser usados em treinamentos para os avaliadores. Quanto mais finos e mais bem

descritos forem os descritores da escala de avaliao, menor a probabilidade de os

avaliadores enfrentarem dificuldades na avaliao do desempenho do candidato.

Clarificando os instrumentos de avaliao estamos, assim, aumentando a confiabilidade

do exame.

Segundo Turner (1998), a validao (descrio dos parmetros) das grades de

avaliao dos testes de proficincia , em geral, dada somente depois de aplicado o

exame. Para a autora, um dos maiores problemas dessas grades a falta de base

emprica para os descritores. Fulcher (1996, apud Turner, 1998) props uma abordagem

para o desenvolvimento da escala de avaliao que seria a priori baseada

empiricamente. Dos resultados da sua pesquisa, ele concluiu que as escalas baseadas

empiricamente poderiam ser mais especficas e informativas para o examinador, pois

permitiriam uma uniformidade maior aos exames do que as grades baseadas somente na

opinio dos especialistas ou na teoria. Fulcher (1996:228, apud Turner, 1998) diz que

at que os pesquisadores estudem seriamente a validao das grades de avaliao dos

testes, o problema da indeterminao e da ininterpretabilidade dessas grades vai

permanecer. no sentido de auxiliar na melhor descrio e refinamento da grade de

avaliao do exame Celpe-Bras que se justifica o presente estudo.

Neste captulo, apresentamos um histrico das teorias que guiaram o

desenvolvimento dos testes de proficincia em lngua estrangeira, do perodo chamado

por Spolsky (1995) de pr-cientfico at as avaliaes comunicativas, como o caso do

exame Celpe-Bras. A seguir, apresentaremos um breve histrico do exame, suas

caractersticas, e discutiremos a influncia que a proximidade entre as lnguasportuguesa e espanhola pode ter para a avaliao.


25/101

25

3- O EXAME CELPE-BRAS

3.1-Origens

O exame para obteno do Celpe-Bras (Certificado de Proficincia em Lngua

Portuguesa para Estrangeiros), que comeou a ser elaborado a partir da constituio da

Comisso Permanente para a Elaborao do Exame de Proficincia de Portugus para

Estrangeirospela Secretaria de Ensino Superior (SESu), do Ministrio da Educao do

Brasil, em junho de 1993, era h muito tempo uma necessidade e um desejo antigo dos

profissionais da rea de Portugus para estrangeiros. Segundo Schlatter (1999), era

necessrio um exame que servisse como referncia de proficincia tanto para

professores de portugus/lngua estrangeira como para estrangeiros que quisessem ou

necessitassem comprovar seu conhecimento da lngua.

A necessidade da realizao de um exame de proficincia em Portugus do

Brasil aumentou ainda mais em razo do crescimento do nmero de intercmbios

econmicos, culturais e cientficos do Brasil com outros pases, especialmente depois da

criao do Mercosul, e da crescente procura por cursos de graduao e ps-graduao

no pas, para os quais a comprovao do domnio da lngua portuguesa fundamental.

Esse exame, que passou pelas fases de elaborao e testagem nos anos de 1993 e

1994, e j aplicado sistematicamente desde 1998, comeou a ser exigido pelo MEC e

pela CAPES, a partir do ano 2000, como requisito bsico para o ingresso de alunos

estrangeiros no programa Estudante-Convnio de Graduao (PEC-G) e de Ps-

Graduao (PEC-PG)3em Instituies de Ensino Superior do pas. Hoje o Celpe-Bras

tambm j exigido por rgos e conselhos de classe, como o Conselho Federal de

Medicina, para reconhecimento do diploma de indivduos estrangeiros que cursaram a

graduao fora do pas.

Segundo Davies (1977:46, apud McNamara 1996:28), proficincia em umalngua implica controle adequado das habilidades lingsticas para um propsito

extralingstico. Para o autor, um exame de proficincia deve avaliar a adequao em

segunda lngua tendo em vista as possibilidades que o candidato tem de fazer outras

3 O PEC-G (Programa de Estudante-Convnio de Graduao) e PEC-PG (Programa de Estudante-Convnio de Ps-Graduao) so atividades de cooperao entre o Brasil e outros pases emdesenvolvimento, cujo objetivo a formao de recursos humanos, a fim de possibilitar aos cidadosdesses pases com os quais o Brasil mantm acordos educacionais ou culturais realizarem estudos

universitrios no pas, em nvel de graduao ou de ps-graduao, nas Instituies de Ensino Superior(IES) brasileiras participantes do PEC-G e do PEC-PG. Para mais informaes sobre os programas, verhttp://www.mec.gov.br/sesu/convgrad.shtm(acessado em 16-08-2003).
http://www.mec.gov.br/sesu/convgrad.shtmhttp://www.mec.gov.br/sesu/convgrad.shtm


26/101

26

coisas por meio dessa lngua. O Manual do Candidato do Celpe-Bras (Schlatter et ali,

2003:3) define exame de proficincia como aquele que tem objetivos de avaliao e

contedo definidos com base nas necessidades de uso da lngua-alvo. No caso do

Celpe-Bras, essas necessidades incluem as habilidades necessrias para realizar estudos

ou desempenhar funes de trabalho no Brasil ou no exterior, quando o uso do

portugus se fizer necessrio.

O Celpe-Bras se props, desde o seu incio, a ser um exame de proficincia com

base comunicativa. Para Scaramucci (1995), uma avaliao comunicativa aquela

centrada no desenvolvimento de uma habilidade de expresso ou de uma competncia

de uso. Ela o uso de um cdigo em situaes reais de comunicao, que requer muito

mais do que a manipulao de formas e de regras lingsticas, mas o conhecimento

tambm de regras de comunicao, de forma que sejam no apenas gramaticalmente

corretas, mas socialmente adequadas.

Segundo Scaramucci (1999a), as principais caractersticas do exame Celpe-Bras

so a nfase na comunicao/interao e a utilizao de contedos autnticos ou

contextualizados. Para McNamara (1996), a caracterstica definidora de um teste de

proficincia nesses moldes que o aprendiz precisa demonstrar no somente

conhecimento da lngua, mas habilidade no uso desse conhecimento em cenrios que

sejam de alguma maneira comunicativos. Um teste assim pode requerer uma

demonstrao de conhecimento, mas vai demandar tambm demonstrao de habilidade

no desempenho.

Como vimos anteriormente, uma pessoa que possui conhecimentos tericos

sobre a lngua mas que ainda no aprendeu a aplicar em usos prticos seus

conhecimentos provavelmente no ser bem sucedida em um teste comunicativo. Sendo

a comunicao o foco central do Celpe-Bras, um candidato que domine a gramtica da

lngua, mas que no seja capaz de colocar em prtica, em situaes reais decomunicao, o seu conhecimento, no considerado apto para ser aprovado no exame.

Por ser um exame de natureza comunicativa, ao Celpe-Bras interessa a capacidade do

candidato de interagir na lngua e o uso de regras e funes gramaticais

contextualizadamente adequadas para as diversas situaes de uso da linguagem.

Segundo McNamara (1996:43), um exame dessa natureza no um teste

estritamente lingstico. As tarefas do mundo real requerem essa capacidade de interagir

na e com a lngua, e de grande ajuda que os testes de proficincia investiguem asprticas de avaliao natural no dia-a-dia e na vida profissional.


27/101

27

3.2- Formato do Exame

O exame Celpe-Bras composto de duas partes: uma coletiva, com durao de

aproximadamente duas horas, e outra individual, que dura cerca de 20 minutos. Na parte

coletiva, os candidatos respondem por escrito a quatro diferentes tarefas a partir da

compreenso de textos escritos, de um trecho de vdeo e de uma gravao em udio. A

parte individual consiste de uma conversa, com durao de cerca de 20 minutos, e

avaliada pelo aplicador e por um observador, por meio de uma grade de avaliao que

inclui os seguintes aspectos (ver Schlatter et ali, 2003:17 Manual do Candidato):

Compreenso

- Compreenso do fluxo natural da conversao.

Produo- Recursos interacionais e estratgicos: contribuio para o desenvolvimento da

conversa, flexibilidade na mudana de tpico, uso de estratgias comunicativas,

adequao ao interlocutor.

- Fluncia: manuteno do fluxo da conversa.

- Pronncia: adequao na pronncia, ritmo e entoao.- Gramtica: variedade e adequao no uso de estruturas lingsticas.

- Lxico: extenso e adequao no uso do vocabulrio.

O exame, na poca da coleta dos dados analisados no presente trabalho,

concedia dois nveis de certificao4: Certificado Intermedirio, que corresponde

competncia parcial na lngua, e Certificado Avanado, que corresponde competncia

4 A partir da aplicao de abril de 2003, o exame passou a certificar quatro nveis de proficincia,descritos a seguir (folder do Celpe-Bras verso 2003):

Certificado Intermedirio: conferido ao candidato que evidencia um domnio operacional parcialda lngua portuguesa, demonstrando compreenso e produo de textos orais e escritos, especialmente emcontextos conhecidos, podendo apresentar algumas imprecises, inadequaes e interferncias nacomunicao.

Certificado Intermedirio Superior: conferido ao candidato que preenche as caractersticasdescritas no nvel Intermedirio, apresentando inadequaes e interferncias na pronncia e na escritamenos freqentes do que no nvel anterior.

Certificado Avanado: conferido ao candidato que evidencia um domnio operacional amplo dalngua portuguesa, demonstrando compreenso e produo fluente de textos orais e escritos, podendoapresentar inadequaes ocasionais na comunicao, especialmente em contextos desconhecidos.

Certificado Avanado Superior: conferido ao candidato que preenche todos os requisitos do nvelAvanado, apresentando raras inadequaes na comunicao.


28/101

28

ampla, como descrito a seguir5. O desempenho do candidato avaliado de forma global,

a partir de um desempenho integrado em todas as tarefas do exame. A obteno de um

ou de outro certificado est condicionada a esse desempenho global do candidato no

exame, o que pressupe um equilbrio no desenvolvimento das tarefas.

Segundo Schlatter et ali (2003:6), o desempenho do candidato corresponde,

respectivamente, ao seguinte perfil para cada nvel:

- Certificado Intermedirio: conferido ao candidato que evidencia um domnio

operacional parcial da lngua portuguesa, demonstrando ser capaz de

compreender e produzir textos orais e escritos sobre assuntos limitados, em

contextos conhecidos e situaes do cotidiano; trata-se de algum que usa

estruturas simples da lngua e vocabulrio adequado a contextos conhecidos,

podendo apresentar inadequaes e interferncias da lngua materna e/ou de

outra(s) lngua(s) estrangeira(s) mais freqentes em situaes desconhecidas.

- Certificado Avanado: conferido ao candidato que evidencia domnio

operacional amplo da lngua portuguesa, demonstrando ser capaz de

compreender e produzir textos orais e escritos, de forma fluente, sobre assuntos

variados, em contextos conhecidos e desconhecidos. Trata-se de algum,

portanto, que usa estruturas complexas da lngua e vocabulrio adequado,

podendo apresentar inadequaes ocasionais na comunicao, especialmente em

contextos desconhecidos. O candidato que obtm este certificado tem condies

de interagir com desenvoltura nas mais variadas situaes que exigem domnio

da lngua-alvo.6

Partindo do princpio de que um exame comunicativo, a avaliao no exame

Celpe-Bras deve refletir o uso da lngua em situaes reais de comunicao. O exame

testa, portanto, a capacidade de compreender e de produzir a lngua de forma adequada

em situaes cotidianas. Para tal fim, a grade de avaliao expressa em descritores decompetncia e desempenho do candidato, hierarquizados por uma pontuao, segundo

os objetivos comunicativos a serem atingidos em cada tarefa. Segundo Schlatter et ali

(2003:5) a tarefa um convite para agir no mundo, um convite para o uso da

linguagem com um propsito social. Em outras palavras, uma tarefa envolve

basicamente uma ao, com um propsito, direcionada a um ou mais interlocutores.

5Abaixo da competncia parcial no h certificao, embora a comisso elaboradora do exame esteja

pensando, atualmente, na atribuio de um Certificado Bsico, ainda em estudo.6Os certificados Intermedirio e Avanado mantiveram a mesma descrio aps a ampliao dos nveisde certificao.


29/101

29

Ainda segundo Schlatter et ali (2003:5), em cada tarefa h sempre um propsito

claro de comunicao e um interlocutor, de forma que o candidato possa adequar seu

texto situao de comunicao. Na correo, esses aspectos so importantes para se

julgar a adequao da resposta do candidato. Segundo Cunha e Santos (1999), a

avaliao dos conjuntos de tarefas feita por meio de procedimentos qualitativos e

holsticos, sendo expressa por descritores de competncia e desempenho (por exemplo,

o examinando reconhece o ponto de vista do autor expresso explcita e implicitamente

ou reconhece o ponto de vista do autor expresso explicitamente, tem dificuldade

quando esse ponto de vista expresso implicitamente).

Como vimos anteriormente, todos os testes de desempenho como o Celpe-Bras

caracterizam-se pela subjetividade presente na avaliao. Tambm j foi discutida a

importncia de se tomarem alguns cuidados para controlar os efeitos dessa subjetividade

na avaliao dos candidatos, de maneira a garantir que o resultado do exame possa ser

considerado confivel e vlido. Para que a subjetividade no extrapole os nveis

aceitveis, no Celpe-Bras as condies de aplicao do exame so padronizadas (todas

as instituies aplicadoras necessitam de infra-estrutura mnima para a aplicao, e

seguem as mesmas instrues quando da aplicao do exame). Os aplicadores do

exame, tanto da parte coletiva quanto da parte individual (entrevista oral), bem como os

corretores do exame, so em sua maioria professores qualificados e com experincia no

ensino de Portugus para estrangeiros, e passam por treinamento. A avaliao do

exame, tanto da parte oral como da parte escrita, feita sempre por dois avaliadores, e

as grades de avaliao passam por um processo de elaborao e testagem antes de serem

aplicadas.

Por ser um teste discursivo e necessitar avaliao individual de cada tarefa, o

Celpe-Bras, assim como os demais testes de desempenho, pode ser considerado pouco

prtico, j que demanda aplicadores e corretores especializados e requer mais tempo doque os testes objetivos, que podem ser corrigidos por mquinas. Apesar de exigir uma

avaliao mais demorada, os testes de desempenho possibilitam uma melhor descrio

das habilidades do candidato do que os testes objetivos, porque se propem a avaliar o

desempenho do candidato em situaes similares s que ele poderia encontrar no mundo

real. Para aumentar a validade e a praticidade do exame necessrio que as escalas de

avaliao estejam bem descritas, dando ao avaliador condies de definir de maneira

clara o nvel de proficincia dos candidatos.


30/101

30

Por ser um exame muito recente, ainda no h estudos que descrevam os nveis

de proficincia oral do Celpe-Bras e proponham refinamentos na sua grade de

avaliao. Existe j um estudo feito sobre o desempenho dos candidatos nas tarefas de

compreenso e produo textual no exame, e que prope refinamentos para a grade de

avaliao da parte escrita. Esse estudo, desenvolvido por Sidi (2002), buscou descrever

de forma mais detalhada o desempenho em leitura e escrita dos candidatos falantes de

espanhol. Aps definir as inadequaes mais recorrentes aos critrios da grade de

avaliao do exame e realizar uma anlise qualitativa, o estudo apontou os aspectos

salientes para caracterizar cada um dos nveis de certificao, e props ajustes nos

descritores das grades de avaliao. Os resultados desse estudo demonstraram

consistncia com a proposta de avaliao do exame, uma vez que apresentaram o

cumprimento da tarefa de forma satisfatria como caracterstica do Certificado

Avanado, de forma parcial como caracterstica do Certificado Intermedirio e de forma

insatisfatria como caracterstica da no certificao.

Estudos como o relatado acima (e tambm como o presente trabalho) tornam-se

ainda mais relevantes em se tratando de descrever a proficincia dos candidatos falantes

de espanhol (em torno de 70% dos candidatos ao exame, como j mencionado

anteriormente). Os falantes de espanhol, devido proximidade das duas lnguas,

costumam cumprir com xito as tarefas propostas, porm muitas vezes o fazem com

problemas de pronncia, sintaxe e adequao lexical, entre outros, devido

transferncia de elementos do espanhol para o portugus. Uma descrio mais detalhada

dos nveis de proficincia considerados no exame poder auxiliar os examinadores a

avaliar os candidatos falantes de espanhol.

A seguir, discutiremos o importante papel da proximidade entre as lnguas

portuguesa e espanhola na avaliao de proficincia.

3.3- Proximidade entre as Lnguas Portuguesa e Espanhola

Dentre as lnguas romnicas, o portugus e o espanhol so as que mantm maior

afinidade entre si. Segundo Almeida Filho (1995), a condio de serem lnguas assim

to prximas encapsula uma subjacente proximidade tipolgica das duas lnguas. A

ordem cannica da orao nas duas lnguas altamente coincidente, a fonte maior do

lxico basicamente a mesma e as bases culturais onde se assentam so em larga

medida compartilhadas. Ulsh (1971) estabelece, por exemplo, que mais de 85% dovocabulrio portugus tem cognatos em espanhol.


31/101

31

Devido proximidade das duas lnguas, os falantes de espanhol tm amplas

vantagens na aquisio do portugus em comparao com falantes de outras lnguas,

uma vez que eles j trazem consigo conhecimentos e habilidades que so comuns s

duas lnguas. De acordo com Almeida Filho (1995), o elevado grau de

compreensibilidade da lngua-alvo permite ao falante de espanhol mais segurana e

maior capacidade de risco.

Mas se a semelhana entre as lnguas um elemento favorvel aquisio, a

proximidade entre elas tambm pode causar problemas. Segundo Ferreira (1997), a

proximidade entre o Portugus e o Espanhol faz com que os falantes percebam mais as

semelhanas do que as diferenas entre as duas lnguas. Dessa forma, muitos falantes de

espanhol, ao achar que esto falando portugus, acabam falando portunhol, termo que

usado para designar a produo de um falante de espanhol ou de portugus tentando

falar a outra lngua.

Colin Rodea (1990, apud Ferreira, 1995) define o portunhol como a expresso

mais imediata do contato entre as lnguas portuguesa e espanhola, que pode ser

observado como um estgio de interlngua muitas vezes com nveis de fossilizao

bastante acentuados. Selinker (1992, apud Villalba, 2002:27) entende fossilizao como

a manuteno de certas estruturas lingsticas da L1 que pareciam ter sido erradicadas,

independentemente da idade do aluno e da quantidade de prtica que tenha realizado. A

produo de aspectos fonolgicos segmentais (por exemplo, a nasalizao, a distino

entre fonemas voclicos abertos e fechados, o ensurdecimento de consoantes sonoras

fricativas intervoclicas) e de aspectos fonolgicos suprasegmentais (por exemplo,

portugus como lngua de ritmo acentual, espanhol como lngua de ritmo silbico) so,

segundo Colin Rodea (1990), alguns exemplos de transferncia evidenciados na fala de

aprendizes de portugus que tm o espanhol como lngua materna.

Segundo Odlin (1989), transferncia lingstica a influncia resultante dassimilaridades e diferenas entre a lngua-alvo e qualquer outra lngua que j tenha sido

previamente adquirida (Odlin, 1989:27). Entre o portugus e o espanhol, j que essas

similaridades so muitas, a transferncia acaba por se mostrar uma constante no

desenvolvimento dos aprendizes. Para Villalba (2002), a semelhana lexical e a

percepo dessa semelhana entre as duas lnguas que favorece a ocorrncia de

transferncia. Tambm segundo a autora, a falta de percepo de que o lxico das duas

lnguas diferente favorece a ocorrncia de fossilizao.


32/101

32

Por ser um exame recente, como j foi dito acima, o Celpe-Bras ainda no

possui estudos que descrevam seus nveis de proficincia. Essa lacuna fica ainda mais

evidente quando os examinadores se deparam com candidatos que provm de uma

lngua materna em vrios aspectos to parecida com o portugus. Os candidatos falantes

de espanhol, como j foi citado, normalmente no costumam ter problemas de

compreenso quanto s tarefas do exame, e as realizam sem maiores dificuldades.

Contudo, nem sempre esses candidatos realizam as tarefas em lngua portuguesa.

Muitas vezes, ao pensar que est falando portugus, o candidato expressa-se em

portunhol ou mesmo em espanhol. Esse comportamento pode criar dificuldades para o

entrevistador porque os candidatos falantes de espanhol costumam ser fluentes e, muitas

vezes, so compreendidos pelos entrevistadores mesmo que apresentem muita

interferncia da sua lngua materna. Como os descritores da grade de avaliao

especificam interferncia da lngua materna em nveis ainda muito amplos, como

rara, alguma e muita, a avaliao do candidato depender da interpretao que

cada avaliador far desses descritores.

O exame Celpe-Bras portanto, tambm, ainda carente de descries mais

refinadas das suas grades de avaliao. Partindo dessa necessidade de descrever melhor

as grades de avaliao da entrevista oral do exame, este estudo pretende fazer uma

anlise das produes orais de candidatos que obtiveram o Certificado Avanado, o

Certificado Intermedirio e de candidatos que no receberam certificao no exame

Celpe-Bras, para descrever as caractersticas da proficincia desses candidatos e propor,

baseado nessa descrio, refinamentos nos descritores presentes na grade de avaliao,

de maneira a auxiliar o avaliador na hora de tomar a deciso sobre qual certificao

deve ser concedida ao candidato.

Neste captulo, apresentamos o exame Celpe-Bras, falando um pouco da sua

histria e dos nveis de proficincia por ele certificados. Tratamos tambm daimportncia da proximidade entre as lnguas portuguesa e espanhola para a avaliao da

proficincia. No captulo que segue, descreveremos a metodologia utilizada para a

anlise dos dados, discutindo as categorias selecionadas, e mostraremos os

procedimentos adotados para descrever a proficincia dos candidatos nos trs nveis

certificados pelo exame Celpe-Bras.

4- METODOLOGIA


33/101

33

4.1- Percurso da pesquisa

Este trabalho iniciou com uma anlise de trs entrevistas de cada um dos nveis

certificados pelo exame Celpe-Bras (avanado e intermedirio), e tambm de trs

entrevistas de candidatos que no obtiveram certificao com base em dados gerados na

aplicao de 1998. Aps o refinamento das transcries j existentes, passou-se a uma

anlise preliminar dos dados, que evidenciou uma srie de restries quanto ao uso

dessas entrevistas, principalmente relativas mudanas na Parte Individual do exame,

ocorridas nas aplicaes seguintes coleta dos dados.

Foram enfrentados ainda outros percalos metodolgicos decorrentes da

antigidade dos dados. Uma das fitas que continha parte dos dados havia sido

extraviada, e em algumas outras a gravao no estava boa. Tambm tentamos ampliar

a amostra, mas no existiam mais fitas disponveis de um dos nveis de certificao.

Todos esses problemas, somados vontade de tornar o trabalho mais atualizado e

possvel de ajudar na descrio refinada dos nveis de certificao atuais, bem como no

refinamento da grade de avaliao oral do exame, fizeram com que preferssemos optar

pela troca dos dados a serem analisados, mesmo que isso significasse reiniciar o

trabalho de seleo e transcrio das entrevistas.

Pelas razes acima expostas, acabamos por selecionar novos dados, gerados na

aplicao do exame Celpe-Bras de outubro de 2002. A princpio, pensamos em ampliar

a nossa amostra, abarcando mais entrevistas de cada nvel, para que pudssemos propor

ajustes na grade de avaliao com uma base de sustentao maior. Foram ouvidas, no

total, cerca de dez fitas de cada nvel, sendo que muitas no puderam ser aproveitadas,

seja por problemas tcnicos (gravao ruim, o que inviabilizava a anlise), seja por

falhas do avaliador (o gravador era desligado e religado durante a entrevista, fazendo

com que no tivssemos acesso ntegra da interao ocorrida). Foram transcritas seis

entrevistas de candidatos avanados, seis entrevistas de candidatos intermedirios equatro entrevistas de candidatos sem certificao. Optou-se, finalmente, por limitar a

amostra analisada para quatro entrevistas de cada nvel, julgando-se que essa amostra

ilustrava exemplares tpicos da Parte Individual do exame Celpe-Bras.

4.2- Objetivos

Este estudo visa a fazer uma descrio detalhada das caractersticas da fala doscandidatos falantes de espanhol no exame Celpe-Bras, apontando as caractersticas da


34/101

34

sua proficincia. Tambm objetivo deste trabalho saber de que maneira a grade de

avaliao do exame, atravs dos seus descritores, contempla tais caractersticas, e

verificar que refinamentos poderiam ser feitos nesses descritores para que a grade se

tornasse mais objetiva, dando mais subsdios para o examinador avaliar a proficincia

oral dos candidatos falantes de espanhol. Por fim, pretendemos tambm elaborar uma

sugesto de grade descritiva para cada um dos nveis de certificao, baseada nas

entrevistas analisadas.

4.3- A entrevista oral do exame Celpe-Bras

Segundo o Manual do Exame (Schlatter et ali, 2003:17), a entrevista oral do

exame Celpe-Bras

constitui-se de uma conversa, com durao de 20 minutos, entre candidato eentrevistador, sobre atividades e interesses do candidato, a partir dos tpicos queconstam no questionrio de inscrio (famlia, hobbies, profisso, dentre outros), esobre tpicos do cotidiano e de interesse geral (ecologia, educao, esportes, dentreoutros), com base em fotos, cartuns, quadrinhos, textos curtos, etc..

A Parte Individual avaliada por dois aplicadores, um entrevistador e um

observador, que para tanto se utilizam de uma grade de avaliao. O objetivo da

entrevista avaliar a produo oral do candidato, que solicitado a conversar com o

avaliador a respeito dos tpicos abordados. Os textos que servem como ponto de partida

para a discusso dos tpicos so acompanhados de sugestes de perguntas para o

avaliador desenvolver a discusso.

4.4- Perfil da amostra selecionada

Foram analisadas quatro entrevistas que obtiveram certificado avanado, quatro

entrevistas que obtiveram certificado intermedirio e quatro entrevistas que no

obtiveram certificao, o que totaliza doze entrevistas. A amostra analisada constitui-se

de trs candidatos argentinos (Ana, Fbio e Paula), um candidato chileno (Fernando),

trs candidatos equatorianos (Felipe, Joo e Jos) e cinco candidatos bolivianos (Joana,

Andr, Marcelo, Antonio e Carla)7. Todas as entrevistas foram realizadas nos pases de

origem dos candidatos entre os dias 22 e 23 de outubro de 2002. A idade dos candidatos

varia de 22 a 35 anos, sendo que a mdia de idade de 26,5 anos. Dos doze candidatos

analisados, oito so homens e quatro so mulheres. Todos os candidatos declararam

possuir grau de instruo universitrio, sendo que trs so engenheiros, um socilogo,

7Os nomes foram alterados para preservar a identidade dos candidatos.


35/101

35

um economista, trs so estudantes, um contador e trs so mdicos. Essa amostra

foi escolhida considerando-se as condies tcnicas das gravaes e a observao das

normas do exame por parte dos aplicadores. Todos os avaliadores do exame so

professores de portugus e falantes nativos de portugus do Brasil.

4.5- Transcries

Foram transcritas, ao todo, dezesseis entrevistas realizadas na aplicao do

exame de outubro de 2002, sendo que doze delas foram utilizadas para a anlise final.

As entrevistas tm cerca de 20 minutos de durao, sendo que a mais curta tem 16

minutos e 36 segundos de durao, e a mais longa tem 26 minutos e 13 segundos8.

As transcries dos dados analisados foram feitas levando em conta critrios que

acreditamos ser relevantes para a anlise e descrio dos dados. Dessa forma, foram

consideradas as pausas ocorridas na interao, indicando-se se as pausas foram curtas

ou mais longas, conforme simbologia expressa a seguir. Pausas de at um segundo

foram consideradas pausas curtas, e pausas entre um e trs segundos, pausas longas. A

partir de trs segundos, as pausas foram cronometradas, estando o tempo de durao

entre parnteses. Incompreenses ou dvidas na compreenso de trechos de fala

tambm foram marcadas, assim como os reparos e os prolongamentos de vogal. Outros

critrios normalmente utilizados em transcries, como nfase em uma determinada

slaba, por exemplo, no foram marcados por no terem sido julgados relevantes para

esta anlise.

A seguir, expomos a simbologia utilizada nas transcries:

( . ) indica pausa curta (menos de um segundo)

( ... ) indica pausa mais longa (entre um e trs segundos)

(0.0) indica o tempo exato da pausa (para pausas maiores que trs segundos)

( ? ) indica que no foi possvel compreender o trecho

8

Est em curso na comisso de elaborao do Celpe-Bras uma avaliao da Parte Individual do exame,que tem como objetivo uniformizar os procedimentos da entrevista oral em todas as instituiesaplicadoras (entre os quais a observao do tempo estipulado para a Parte Individual).


36/101

36

(palavra?) indica que a palavra ou trecho entre parnteses provavelmente o que foi

dito, mas a compreenso difcil

/ indica que a palavra foi cortada, e que houve reparo na fala

: indica alongamento da vogal precedente

4.6- A grade de avaliao do exame

Com base em uma primeira anlise dos dados, faremos a seguir uma

problematizao das categorias de avaliao do exame, mostrando como elas so

descritas na grade de avaliao vigente e quais, a partir de uma primeira anlise, so

relevantes para o aplicador.

Essa problematizao inicial das categorias da grade de avaliao tem como

objetivo ressaltar os aspectos importantes presentes na grade e localizar possveis

carncias ainda no contempladas pelas categorias e descritores atuais. Este

mapeamento servir como base para a seleo das categorias utilizadas posteriormente

em nossa anlise. Ressalva-se que a abrangncia do presente estudo limitada, uma vez

que analisamos aqui somente entrevistas de candidatos falantes de espanhol. Estudos

com amostras maiores de dados, que inclussem falantes de outras lnguas, seriam

necessrios para diagnosticar a aplicabilidade ou no dos resultados aqui obtidos para a

avaliao de falantes no hispanos.

A grade de avaliao da parte oral do exame Celpe-Bras, apresentada abaixo9,

est dividida em 6 grandes categorias, que se dividem depois em subcategorias. Essas

seis categorias so: Competncia Interacional, Fluncia, Pronncia, Adequao

Gramatical, Adequao Lexical e Compreenso.

Certificado Avanado

Competnciainteracional

Fluncia Pronncia Adequaogramatical

Adequaolexical

Compreenso

> Flexibilidade namudana de tpico.> Adequao da

> Pausas ehesitaespara

> Pronncia(sons, ritmo eentoao)

> Uso de umavariedade ampla deestruturas na

> Vocabulrioamplo eadequado para

> Compreensodo fluxo naturalda

9A partir da aplicao de abril de 2003 foram descritos dois novos nveis de certificao na grade deavaliao, Intermedirio Superior e Avanado Superior, j apresentados anteriormente. A descriodesses novos nveis visa a tornar mais precisa a avaliao e a certificao do exame, j que reduz a

amplitude de cada um dos nveis. Como os dados aqui analisados foram gerados na aplicao de outubrode 2002, antes da descrio desses novos nveis, optamos por apresentar a grade antiga do exame, emvigor quando da seleo dos dados.


37/101

37

conversa ao interlocutor,ao assunto e aocontexto.> Contribui para odesenvolvimento daconversa.> Usa estratgias(reformulaes,

parfrases, correes)para resolver problemaslexicais, gramaticais e/oufonolgicos.

organizao dopensamento e,eventualmente,para resolveralgum problemade construolingstica, seminterrupes no

fluxo daconversao.

adequada.>Sotaque/algumasinterfernciasda lnguamaterna.

discusso de tpicosdo cotidiano e naexpresso de idiase opinies sobreassuntos variados.> Poucasinadequaes nautilizao de

estruturas maiscomplexas e rarasinadequaes nouso de estruturasmais bsicas.

discusso detpicos docotidiano eexpresso deidias eopinies sobreassuntosvariados

conversao, >Raros pedidosde repetio edereestruturaoocorrem nocaso depalavras menos

freqentes e /ouacelerao dafala.

Certificado Intermedirio

Competnciainteracional

Fluncia Pronncia Adequaogramatical

Adequaolexical

Compreenso

> Dificuldade em ajustar-

se mudana de tpico.&g

tese sobre celpebras

Documents