Upload
aline-lund
View
222
Download
0
Embed Size (px)
Citation preview
8/12/2019 Tese Sobre Celpebras
1/101
UNIVERSIDADE FEDERAL DO RIO GRANDE DO SULINSTITUTO DE LETRAS
PROGRAMA DE PS-GRADUAO EM LETRASREA DE CONCENTRAO: AQUISIO DE LINGUAGEM
Avaliao de proficincia oral em lngua estrangeira:descrio dos nveis de candidatos falantes de espanhol no
exame Celpe-Bras
JULIANA ROQUELE SCHOFFEN
Dissertao apresentada Banca Examinadoracomo exigncia parcial para a obteno dograu de Mestre em Letras
Orientadora: Profa. Dra. MARGARETE SCHLATTER
Porto Alegre, outubro de 2003.
8/12/2019 Tese Sobre Celpebras
2/101
2
AGRADECIMENTOS
Aos meus pais, Roque e Jurandira, e ao meu irmo Jlio, por todo o incentivo e por
serem sempre, em suas vidas, exemplos de trabalho e retido.
Ao Alexandre, pelo carinho dispensado durante a elaborao desta dissertao, e por ter
me ensinado que no devemos desistir dos nossos objetivos, no importa o quanto
demoremos para alcan-los.
Professora Dra. Margarete Schlatter, por todas as oportunidades de desenvolvimento
e crescimento profissional e pessoal, e pelo brilhante exemplo de profissional e de ser
humano.
Ao Programa de Portugus para Estrangeiros da UFRGS, pelas possibilidades de
aprendizado e de formao.
Aos colegas professores do Programa de Portugus para Estrangeiros, pelos
ensinamentos, pelas trocas de experincias e pelo auxlio nas horas necessrias.
A todos os meus amigos que, de uma forma ou outra, tornaram mais ameno o caminho
de construo desta dissertao.
Universidade Federal do Rio Grande do Sul, pela qualificada formao oferecida.
comisso tcnica do exame Celpe-Bras, pela oportunidade de participar das
aplicaes e das correes do exame, e por ter me disponibilizado os dados analisadosneste trabalho.
Capes, pela concesso da bolsa de mestrado.
8/12/2019 Tese Sobre Celpebras
3/101
3
RESUMO
Avaliar proficincia oral em uma lngua estrangeira um processo que requer
um criterioso treinamento dos avaliadores e grades de avaliao precisas o suficiente
para abarcar as caractersticas da proficincia dos candidatos. O processo de avaliao
oral pode tornar-se mais complexo quando se trata de avaliar lnguas prximas, como o
portugus e o espanhol, pois a semelhana entre as lnguas traz particularidades que
podem no estar previstas na grade de avaliao. O exame de proficincia em Portugus
para Estrangeiros Celpe-Bras, desenvolvido pelo Ministrio da Educao do Brasil,
testa a capacidade do candidato de compreender e de produzir a lngua de forma
adequada em situaes reais de comunicao. Para tanto, a grade de avaliao do exame
expressa em descritores de desempenho do candidato. Esses descritores, no entanto,
nem sempre contemplam toda a variao no desempenho dos candidatos e, por serem
ainda bastante amplos, dificultam a determinao do nvel de proficincia,
principalmente quando os candidatos so falantes de lnguas prximas ao portugus.
Este trabalho tem como objetivo fazer uma descrio detalhada do desempenho de
candidatos falantes de espanhol no exame Celpe-Bras, apontando as caractersticas da
sua proficincia. O corpus para essa anlise constitudo de doze entrevistas de
candidatos falantes de espanhol, dos quais quatro obtiveram Certificado Avanado,quatro Certificado Intermedirio e quatro no receberam certificao. A partir da anlise
dos dados, foram selecionadas categorias relevantes para a avaliao dos candidatos e,
de acordo com a adequao ou inadequao apresentadas nessas categorias, pudemos
descrever o desempenho dos candidatos em cada um dos nveis de certificao e
explicitar melhor qual a diferena entre um nvel de certificao e outro. Os resultados
deste trabalho pretendem contribuir para que os avaliadores possam se basear em
descries mais detalhadas de desempenho para avaliar a proficincia oral de falantes deespanhol, aperfeioando assim o processo de avaliao.
8/12/2019 Tese Sobre Celpebras
4/101
4
ABSTRACT
Assessing oral proficiency in a foreign language is a complicated process that
requires criterion-based training for the rater, and accurate rating scales to account forthe candidates proficiency characteristics. The oral assessment process is further
complicated when assessing similar languages such as Portuguese and Spanish, as the
similarity between them highlights singularities that may not have been anticipated in
the assessment scale. The Portuguese for Foreigners Proficiency Exam, Celpe-Bras,
developed by Brazils Ministry of Public Instruction, tests the candidates capacity to
comprehend and produce proper language in communicative situations. To achieve this,
the exams rating scale is expressed in descriptors of the candidates performance.Occasionally however, the descriptors are insufficiently detailed enough to cover the
variation in candidates performance, and this can make the determination of the
proficiency level difficult. This is particularly evident when the candidates are speakers
of languages similar to Portuguese. The aim of this paper is to give a detailed
description of Spanish speaker candidates performance in the Celpe-Bras exam,
highlighting the characteristics of their proficiency. The data for this paper was obtained
from the results of twelve Spanish speaker candidate interviews, comprising of four
Advanced Certificate passes, four Intermediate Certificate passes, and four non
certifications. After performing data analysis, categories that appeared to be relevant for
the candidates evaluation were selected. By assessing the adequacy or inadequacy
presented in these categories, it was then possible to differentiate each certification
level, and describe the candidates performance in that level. The results of this paper
are intended to provide further detailed performance descriptors for the raters when
assessing Spanish speakers oral proficiency, thus improving the assessment process.
8/12/2019 Tese Sobre Celpebras
5/101
5
SUMRIO
1- INTRODUO ............................................................................................................7
2- BREVE HISTRICO DA AVALIAO DE PROFICINCIA EM LNGUAESTRANGEIRA ...............................................................................................................9
2.1- O perodo pr-cientfico .............................................................................................9
2.2- As teorias estruturalistas ..........................................................................................10
2.3- Competncia Lingstica e Competncia Comunicativa .........................................11
2.4- A proficincia comunicativa ....................................................................................13
2.5- Os testes comunicativos ...........................................................................................14
2.6- A busca por testes de desempenho...........................................................................152.7- Testes de proficincia oral .......................................................................................19
2.8- Escalas de avaliao de desempenho .......................................................................23
3- O EXAME CELPE-BRAS..........................................................................................25
3.1- Origens .....................................................................................................................25
3.2- Formato do exame....................................................................................................27
3.3- Proximidade entre as lnguas portuguesa e espanhola .............................................30
4- METODOLOGIA .......................................................................................................334.1- Percurso da pesquisa ................................................................................................33
4.2- Objetivos ..................................................................................................................34
4.3- A entrevista oral do exame Celpe-Bras....................................................................34
4.4- Perfil da amostra selecionada...................................................................................34
4.5- Transcries .............................................................................................................35
4.6- A grade de avaliao do exame................................................................................36
4.7- Categorias selecionadas para a anlise.....................................................................41
5- DESCRIO DOS NVEIS DE PROFICINCIA ....................................................59
5.1- Certificado Avanado...............................................................................................59
5.2- Certificado Intermedirio .........................................................................................67
5.3- Sem Certificao ......................................................................................................77
6- CONSIDERAES FINAIS......................................................................................86
7- REFERNCIAS BIBLIOGRFICAS........................................................................96
8/12/2019 Tese Sobre Celpebras
6/101
6
QUADROS E TABELAS
Tabela 1 ....................................................................................................... 63
Tabela 2 ....................................................................................................... 64
Tabela 3 ....................................................................................................... 65
Tabela 4 ....................................................................................................... 71
Tabela 5 ....................................................................................................... 72
Tabela 6 ....................................................................................................... 73
Tabela 7 ....................................................................................................... 80
Tabela 8 ....................................................................................................... 81Tabela 9 ....................................................................................................... 83
Quadro 1 ...................................................................................................... 66
Quadro 2 ...................................................................................................... 74
Quadro 3 ...................................................................................................... 83
8/12/2019 Tese Sobre Celpebras
7/101
8/12/2019 Tese Sobre Celpebras
8/101
8
nvel de certificao atribudo aos candidatos. A partir da adequao ou inadequao
dos candidatos nessas categorias, pudemos estabelecer quais as que parecem ser mais
definidoras da diferena entre os nveis de certificao. Elaboramos, ainda, uma grade
descritiva da proficincia dos candidatos em cada um dos nveis certificados pelo
exame, de acordo com as categorias selecionadas para a anlise.
Este trabalho visa a promover um conhecimento maior das caractersticas da
proficincia em portugus dos falantes de espanhol. Por serem lnguas muito
semelhantes, a avaliao da proficincia oral torna-se complexa e requer muito cuidado,
j que esses falantes, mesmo no sendo proficientes, apresentam caractersticas muito
particulares, que candidatos falantes de outras lnguas no apresentariam, como uma
muito boa compreenso, por exemplo. Fazendo uma descrio mais detalhada da
proficincia dos falantes de espanhol e propondo uma grade descritiva do desempenho
dos falantes para cada um dos nveis, acreditamos estar contribuindo para que o
avaliador tenha mais subsdios no momento da avaliao desses candidatos.
Para cumprir os objetivos expostos acima, no captulo dois fazemos um estudo
da histria da avaliao em lngua estrangeira, desde os testes de pontos discretos at os
testes de desempenho, como o exame Celpe-Bras. Apresentamos tambm a histria da
avaliao de proficincia oral. Discutimos, ainda, as escalas de avaliao instrumento
utilizado para avaliar os testes de desempenho. No captulo trs, apresentamos o exame
Celpe-Bras, mostrando as caractersticas e o formato do exame, e descrevendo tambm
os desempenhos esperados em cada um dos nveis de certificao concedidos. A seguir,
fazemos uma discusso das peculiaridades que a proximidade existente entre o
portugus e o espanhol pode trazer para a avaliao de proficincia entre essas duas
lnguas. No quarto captulo descrevemos a metodologia utilizada no trabalho,
apresentamos a amostra de dados analisada, bem como descrevemos como foram
selecionadas e quais so as categorias utilizadas na anlise. O quinto captulo se destina anlise dos dados e descrio dos nveis de proficincia. tambm neste captulo
que apresentamos a nossa proposta de grade descritiva do desempenho dos candidatos e
discutimos quais categorias seriam as provveis responsveis pela diferenciao entre os
nveis de proficincia. O captulo das consideraes finais retoma algumas discusses
feitas no decorrer do trabalho, apresenta comentrios acerca das categorias de avaliao
e prope uma possvel interpretao para os nveis de certificao do exame Celpe-Bras.
8/12/2019 Tese Sobre Celpebras
9/101
9
2- BREVE HISTRICO DA AVALIAO DE PROFICINCIA EM LNGUA
ESTRANGEIRA
Segundo Brown (1993), percebamos ou no, ns avaliamos1 todos os dias, em
virtualmente todos os esforos cognitivos que fazemos. Carroll (1968:46) define teste
como: um procedimento feito para elicitar determinado comportamento, do qual pode-
se fazer inferncias sobre certas caractersticas de um indivduo2. Esse conceito , de
certa maneira, retomado por Brown (1993), quando o autor diz que um teste um
mtodo de medir a habilidade ou conhecimento de uma pessoa em determinada rea.
Existem testes para quase todas as reas do conhecimento humano, e esses testes
podem ser de naturezas bastante diferentes. Quase todos os testes, indiferentemente da
rea de conhecimento que estejam medindo, usam a linguagem como instrumento de
avaliao. em uma determinada lngua que so dadas as instrues do teste,
formuladas as questes, e, na maioria das vezes, tambm as respostas. Mas quando o
teste em questo um teste de capacidade lingstica, esse uso da linguagem como
instrumento dificulta a definio do que est sendo testado.
Testar proficincia em lngua , por isso, uma tarefa complexa. Como vimos, em
testes de outras reas usa-se a lngua para medir a habilidade do candidato (fsica ou
geografia, por exemplo). Nesses casos, a lngua o instrumento, no o objeto da
testagem. J nos testes de lngua, usa-se a prpria lngua para medir a habilidade
lingstica. A lngua o instrumento e tambm o objeto em si. A seguir, veremos
como a prtica de avaliao de lnguas passou por transformaes ao longo do tempo.
2.1- O perodo pr-cientfico
Antes da dcada de 1950, eram muito raros os estudos na rea de avaliao de
lngua estrangeira. Como o ensino de lngua em si no era considerado uma disciplinaindependente (fazia parte das chamadas cincias humanas), tambm a avaliao das
lnguas no era objeto de estudos mais especficos. Spolsky (1995) chama esse perodo
dos estudos sobre testagem de lngua de perodo pr-cientfico.
1Neste trabalho as palavras avaliaoe testagemso empregadas como sinnimas.2As tradues das citaes originariamente em ingls so de minha responsabilidade.
8/12/2019 Tese Sobre Celpebras
10/101
10
2.2- As teorias estruturalistas
Foi a partir da dcada de 50 e das teorias estruturalistas que o ensino de lngua
passou a ser considerado uma disciplina em si, e muitos estudos comearam a surgir na
rea de aquisio de linguagem. O estruturalismo foi, assim, a primeira corrente terica
a se preocupar cientificamente com os estudos da linguagem, e foi tambm a primeira
escola a pensar cientificamente em testes de lngua e a buscar a definio de
proficincia.
Nessa poca, as lnguas eram vistas como um inventrio de componentes
discretos (como gramtica e vocabulrio) e de habilidades (ouvir, falar, ler e escrever)
(ver Bachman e Cohen, 1998). A aquisio de uma lngua estrangeira se dava, pensava-
se, atravs da formao de hbitos, e era a automatizao desses hbitos que formava a
proficincia. Segundo Vollmer (1983), devido grande influncia da teoria lingstica
do estruturalismo, durante muito tempo os estudos lingsticos aceitaram, sem grande
discusso, que ser proficiente em uma lngua significava conhecer os seus elementos e
ter automatizado diferentes formas de coloc-los em uso. Nesse sentido, podemos dizer
que a escola estruturalista forneceu um dos primeiros arcabouos tericos para a
definio de proficincia. De acordo com essa viso, aprender uma lngua estrangeira ou
ser proficiente nessa lngua pressupunha dominar seus elementos (Fries, 1945; Lado,
1961).
Assim como a aquisio de lngua estrangeira e o conceito de proficincia foram
diretamente influenciados pelos estudos estruturalistas, tambm os estudos na rea de
avaliao de lngua eram, nessa poca, subordinados a essa teoria. Uma vez que a lngua
era vista como um conjunto de vrios elementos diferentes, os estudos de Lado (1957,
1961) argumentavam que era possvel medir cada um desses elementos. Conhecimento
de vocabulrio, pronncia, gramtica, e tambm as habilidades de ler, escrever, ouvir e
falar eram testadas em separado, e a produo e a compreenso eram vistas comohabilidades distintas.
Como a proficincia em uma lngua era medida pela testagem dos diversos
aspectos de maneira independente, cada um desses aspectos era medido de forma
restrita, isto , na maioria das vezes os testes de lngua baseados nessa teoria no
apresentavam atividades contextualizadas, ao contrrio, os itens lingsticos eram
testados independentemente do contexto e da sua relao com os demais.
Tambm por essa separao entre os nveis lingsticos, e por causa da procurapor testes confiveis e prticos, criou-se a tradio de testes de lngua objetivos, muito
8/12/2019 Tese Sobre Celpebras
11/101
11
confiveis e fceis de serem aplicados e avaliados (pontuados). Esses testes consistem,
em sua maioria, de atividades em que o candidato no necessita criar uma resposta
nova, mas apenas classificar como certas ou erradas alternativas j existentes. Nesse
tipo de teste, so bastante comuns tarefas (na maioria das vezes descontextualizadas) de
mltipla escolha, preencher lacunas ou de verdadeiro ou falso, que aceitam apenas uma
resposta correta. Esse mtodo, por sua objetividade de correo e por medir as
habilidades separadamente, chamado mtodo de pontos discretos.
Os testes de pontos discretos foram construdos baseados na crena de que a
lngua podia ser desmembrada em suas partes componentes e cada parte podia ser
adequadamente testada (Brown, 1993). O mtodo de pontos discretos, por ser
extremamente prtico e confivel, ainda usado hoje em dia, combinado com tarefas
mais globais, em muitos testes de proficincia disponveis no mercado, como os exames
Cambridge, Michigan e Toefl.
2.3- Competncia Lingstica e Competncia Comunicativa
Em 1965, Chomsky apresenta o conceito de competncia lingstica, que seria
baseada em um falante-ouvinte ideal de uma comunidade de fala homognea, que
domina a sua lngua perfeitamente. A teoria lingstica proposta por Chomsky no est
preocupada com limitaes da memria, distraes, mudanas de ateno e interesse e
erros na aplicao do conhecimento da lngua no desempenho real, situaes que ele
chama de condies gramaticalmente irrelevantes. Segundo o autor, a propriedade
mais caracterstica do comportamento lingstico que ele inovativo. Todo falante
nativo de uma lngua tem internalizada uma gramtica gerativa, descrita como um
sistema de regras que pode ser usado em novas combinaes para formar novas
sentenas e que permite a integrao semntica das mesmas (Chomsky, 1973:32).
Essa definio de competncia lingstica proposta por Chomsky encontraoposio quando Hymes prope o termo competncia comunicativa. Segundo Hymes,
existem regras de uso sem as quais as regras da gramtica seriam inteis (Hymes,
1972:278). Para ele, as condies de produo das sentenas, bem como o propsito e o
lugar social que elas expressam so regidos por regras to rgidas e importantes quanto
as regras da gramtica descritas por Chomsky.
Segundo Widdowson (1989), a diferena entre Chomsky e Hymes est no fato
de que a lingstica de Hymes est centrada no uso da linguagem, enquanto a deChomsky no est. Para o autor, a noo de competncia de Chomsky o conhecimento
8/12/2019 Tese Sobre Celpebras
12/101
12
de algo muito mais abstrato que a linguagem: o conhecimento do sistema de regras,
parmetros e princpios ou configuraes mentais para os quais a linguagem
simplesmente serve de evidncia. Widdowson diz ainda que Chomsky v competncia
como conhecimento gramatical, um estado mental abaixo do nvel do uso da linguagem.
Competncia no , necessariamente, segundo essa viso, habilidade para fazer alguma
coisa. Para Hymes (1972), ao contrrio, competncia seria a habilidade para usar a
linguagem.
A partir da idia de competncia comunicativa, inicia-se nos estudos lingsticos
uma corrente bastante forte de estudos da pragmtica e da sociolingstica, e comea-se
a perceber que no possvel ser proficiente em uma lngua sem ser proficiente no seu
uso. A partir da, a pesquisa na rea de avaliao de lngua comeou a procurar formas
de incluir o uso da lngua em contexto nos testes, e iniciou-se a procura por testes de
proficincia que apresentassem tarefas mais contextualizadas e que permitissem ao
candidato respostas menos restritas do que as que os testes de pontos discretos
permitiam at ento.
Os estudos na rea da competncia comunicativa levaram os lingistas a
acreditar que o todo comunicativo era consideravelmente maior que a soma dos seus
elementos lingsticos (Clark 1983:432). Essa crena levou os estudos lingsticos a se
preocuparem mais com a lngua como um todo e a dar mais valor ao seu uso em
contexto, ao contrrio do que acontecia antes, quando o uso era praticamente renegado.
Essa corrente de pesquisas na rea de avaliao foi chamada por Brown (1993) de
integrativa-sociolingstica.
A abordagem dos pontos discretos obviamente encontrou crticas quando
comeou a era do integrativo-sociolingustico e sua nfase na comunicao,
autenticidade e contexto. A crtica veio largamente de Oller (1979), que argumentava
que competncia lingstica era uma gama unificada de habilidades interacionais queno poderiam ser separadas. Pensava-se que competncia comunicativa seria to global
e requereria tal integrao (da o termo avaliao integrativa) que no poderia ser
capturada em testes somados de gramtica, leitura, vocabulrio e outros pontos discretos
da lngua. Se itens discretos separam as habilidades lingsticas, os testes integrativos
os unem de novo. Enquanto itens discretos tentam testar conhecimento de lngua um
pouco de cada vez, os testes integrativos tentam avaliar uma capacidade do aprendiz de
usar todos os pedaos ao mesmo tempo (Oller, 1979:37).
8/12/2019 Tese Sobre Celpebras
13/101
13
Foi nessa poca que surgiu a hiptese da proficincia unitria, que propunha a
viso da proficincia como sendo indivisvel. Segundo essa hiptese, vocabulrio,
gramtica, fonologia, bem como as quatro habilidades de ler, escrever, ouvir e falar no
poderiam ser separadas. Essa hiptese foi largamente defendida por Oller (1979), que
argumentava que existiria uma proficincia lingstica global que a soma de todos os
pontos discretos no chegaria a atingir.
A hiptese da proficincia unitria foi bastante contestada por outros tericos,
como Farhady (1982), que evidenciavam que era possvel a um aprendiz, dependendo
da sua lngua materna, grau de estudo ou campo de interesse, ter um aproveitamento
muito melhor em algumas habilidades do que em outras. Segundo esses autores, a
proficincia no seria formada por um todo unitrio, mas por habilidades que,
integradas, dariam condies pessoa de interagir na lngua.
2.4- A proficincia comunicativa
A partir do conceito de competncia proposto por Chomsky (1965), e, mais
tarde, do conceito de competncia comunicativa proposto por Hymes (1972), teve incio
nos estudos lingsticos uma nova representao de proficincia, que leva em conta
fatores comunicativos, socioculturais e situacionais. Bachman (1990) descreve
habilidade lingstica comunicativa como consistindo de conhecimento (ou
competncia) e capacidade para implementar ou executar essa competncia em uso
comunicativo da lngua apropriado e contextualizado.
Os estudos chamados comunicativos foram, a partir do final dos anos 70,
muito importantes na rea de aquisio e descrio da linguagem, tomando, quase que
totalmente, o lugar dos estudos estruturalistas que dominavam at ento. Vrios
modelos de competncia comunicativa j foram propostos, sendo que um dos mais
conhecidos, o de Canale e Swain (1980), conclui que no provvel que a competnciacomunicativa possa ser reduzida a apenas uma dimenso global de proficincia
lingstica. Segundo esse modelo, a competncia comunicativa dividida em (pelo
menos) trs dimenses diferentes: competncia gramatical (que inclui lxico,
morfologia, sintaxe e fonologia), competncia sociolingstica (que consiste de regras
socioculturais e discursivas que regulam o uso da lngua) e competncia estratgica
(estratgias de comunicao verbal e no verbal que entram em ao para compensar
eventuais problemas na comunicao).
8/12/2019 Tese Sobre Celpebras
14/101
14
Ser proficiente em uma lngua estrangeira, segundo Widdowson (1991),
significa mais do que compreender, ler, falar e escrever oraes nessa lngua. Significa
tambm saber utilizar essas oraes de modo a conseguir o efeito comunicativo
desejado. Tambm segundo o autor, nas interaes sociais em nossa vida cotidiana,
geralmente se exige que usemos o nosso conhecimento do sistema lingstico com o
objetivo de obter algum tipo de efeito comunicativo. Isso equivale a dizer que
geralmente se exige que produzamos exemplos de uso da linguagem (Widdowson,
1991:16 grifo do autor). Sendo assim, o que um falante precisa para ser proficiente
no somente conhecer o sistema abstrato da lngua, mas saber como us-la
adequadamente em determinada situao.
Seguindo a idia da proficincia comunicativa, de que as habilidades lingsticas
funcionam de maneira integrada em situaes reais, no suficiente que um teste de
proficincia mea as habilidades lingsticas do candidato descontextualizadas da sua
situao de uso. Um exame assim poderia certificar como proficiente um candidato que
apenas tem conhecimento abstrato da lngua, mas que no de fato proficiente em
situaes reais de comunicao. Para Widdowson (1991:97), a aprendizagem das
habilidades lingsticas no parece garantir a conseqente aquisio da capacidade
comunicativa numa dada lngua. A pessoa que proficiente em uma lngua estrangeira
sabe mais do que compreender, falar, ler e escrever oraes. Ela tambm conhece as
formas como as oraes so utilizadas para conseguir um efeito comunicativo.
2.5- Os testes comunicativos
Se a partir da dcada de 70 os mtodos de ensino de lngua, em sua grande
maioria, foram influenciados pelos estudos comunicativos e a nfase passou a ser a
interao, a prtica de avaliao tambm foi influenciada por esses estudos e os testes,
que antes eram em sua maioria objetivos (de pontos discretos), passaram a contemplartambm o uso da lngua em situaes de comunicao.
Segundo Brown (1993), um teste comunicativo tem que ser pragmtico no
sentido de exigir que o candidato use a lngua dentro de um contexto apropriado. Alm
disso, ainda segundo o autor, para um teste ser chamado de comunicativo necessrio
que ele teste o aprendiz em uma variedade de funes da linguagem. Os testes
comunicativos devem medir uma gama variada de habilidades lingsticas incluindo
conhecimento de coeso, funes da linguagem e conhecimentos sociolingsticos.
8/12/2019 Tese Sobre Celpebras
15/101
15
Harrison (1983) diz que um teste no se torna comunicativo ao se misturar nele
um pouco de realidade: ele comunicativo por causa do uso que se faz dele, e se ele no
puder ser usado para representar um propsito comunicativo, ele no um teste
comunicativo.
2.6- A busca por testes de desempenho
Como vimos, o conceito de proficincia lingstica j foi objeto de desacordo
entre muitos estudiosos e ainda necessita de definies mais claras. Vollmer (1983:152)
diz que depois de vrios anos de investigao, o que ainda se pode dizer sobre
proficincia que ela o que os testes de proficincia medem. E os testes de
proficincia acabam por medir aquilo que os seus elaboradores querem que eles meam,
baseados nas teorias lingsticas em que acreditam, e de acordo com as definies de
lngua e linguagem em que acreditam.
Por essa razo, Bachman (1990) acredita que todos os testes de lngua devem ser
baseados em uma definio clara das habilidades lingsticas. Nessa mesma linha,
Scaramucci (2000) afirma que as divergncias maiores no residem na interpretao do
termo proficincia, mas nas concepes do que saber uma lngua que o termo
representa. Ao se elaborar um teste, muito importante definir o que se entende por
saber uma lngua, porque a maneira como definimos as habilidades est intimamente
relacionada com as caractersticas do teste que vamos usar.
Alm da definio clara das habilidades lingsticas que um exame de
proficincia vai avaliar, outros critrios tambm precisam ser levados em conta na
elaborao de um teste. Em primeiro lugar, um teste precisa ser prtico existem
limitaes financeiras e restries de tempo, ento importante que o teste seja fcil de
administrar, pontuar e interpretar. A praticidade depende de aspectos como tempo
disponvel, nmero de candidatos, disponibilidade de avaliadores e disponibilidadefinanceira. Um teste que exija entrevista individual, por exemplo, pode ser considerado
prtico se o nmero de candidatos for pequeno ou se existirem vrios avaliadores, mas
certamente ser impraticvel se forem muitos os candidatos e um s o avaliador.
Outro aspecto importante para um teste a confiabilidade. A confiabilidade de
um teste reside em minimizar os efeitos na avaliao dos fatores externos ao teste,
fazendo com que a habilidade lingstica do candidato seja avaliada de maneira
uniforme. Existem vrios fatores que podem afetar o desempenho do candidato em umteste e assim provocar equvocos na avaliao da habilidade lingstica comunicativa.
8/12/2019 Tese Sobre Celpebras
16/101
16
Dentre esses fatores est o cansao do candidato ou do avaliador, o domnio ou
desconhecimento de determinado tpico, discrepncia de referenciais tericos entre os
avaliadores, preferncia ou aptido pessoal para um determinado tipo de teste, bem
como o conhecimento ou desconhecimento da situao de avaliao. Quanto menos
esses fatores afetarem a avaliao de um teste, maior importncia ter no teste o
domnio das habilidades lingsticas que queremos medir e, conseqentemente, maior a
confiabilidade dos escores do teste.
Para que possamos diminuir o efeito dos fatores externos, no entanto,
necessria uma especificao cuidadosa e analtica do instrumento e das grades de
avaliao. Segundo Brown and Bailey (1984), essa especificao maior pode aumentar
significativamente a confiabilidade do teste. Tambm a uniformidade das condies de
aplicao e um treinamento uniforme de todos os avaliadores pode colaborar
sensivelmente para o aumento da confiabilidade do exame, uma vez que assim eles
tero a oportunidade de compreender melhor as grades e o prprio instrumento de
avaliao.
Mas segundo Bachman (1990), o critrio mais importante a ser considerado nos
processos de desenvolvimento, interpretao e uso de um teste no deve ser se os seus
escores so confiveis, mas se a interpretao e o uso que fazemos desses escores so
vlidos. Para o autor, quando aumentamos a confiabilidade das nossas medies,
estamos tambm satisfazendo uma condio necessria para a validade: para o escore de
um teste ser vlido, necessrio que ele seja primeiro confivel.
Para Brown (1993), validade o grau segundo o qual o teste realmente mede o
que ele se prope a medir. Essa idia segue a definio formulada por Lado: o teste
mede o que ele deve medir? Se ele mede, ele vlido (Lado, 1961:321). A literatura na
rea de avaliao apresenta trs tipos de validade: validade de contedo, validade de
construto e validade de face. Segundo Brown (1993), em um teste com validade decontedo as tarefas devem ser representativas do contedo ou das habilidades a que o
teste se prope, isto , o teste deve testar as habilidades ou conhecimentos sobre as
quais quer arbitrar valor. Um teste que tem como objetivo medir a habilidade
conversacional em lngua estrangeira, por exemplo, ter validade de contedo se
apresentar tarefas que exijam do candidato interao oral dentro de um contexto. Se o
teste se limitar a apresentar questes escritas de mltipla escolha, por exemplo, no ter
validade de contedo.
8/12/2019 Tese Sobre Celpebras
17/101
17
Validade de construto diz respeito a como definimos o que queremos medir e ao
fato de que o teste realmente mede as habilidades necessrias para o que se prope um
teste que quer medir habilidade de comunicao oral mas apresenta apenas tarefas de
gramtica no possui validade de construto, pois o domnio da gramtica apenas um
dos conhecimentos necessrios para a comunicao oral, por exemplo. Construto a
definio terica do objeto a ser medido. Quando um pesquisador interpreta a pontuao
de um aprendiz em um teste de vocabulrio, por exemplo, como um indicador de
conhecimento de vocabulrio, ento conhecimento de vocabulrio o construto que
d sentido pontuao.
Para ter validade de face importante que as tarefas do teste paream estar de
acordo com o construto que o teste pretende medir. Se um teste quer medir habilidade
de leitura em lngua estrangeira, por exemplo, importante que ele possua questes de
leitura, e no apenas de gramtica. Segundo Brown (1993), a validade de face
importante do ponto de vista dos candidatos que se submetem ao teste, pois estes se
sentem mais seguros com relao validade do teste se puderem perceber uma relao
entre as tarefas propostas e o construto que o teste diz medir.
Outro ponto importante ressaltado por Bachman (1990) o aspecto preditivo da
validade. Esse aspecto diz respeito s predies que podemos fazer sobre as situaes
para as quais os candidatos esto aptos, com base no resultado dos testes. Assim, testes
como o Celpe-Bras, em que no se busca aferir conhecimentos a respeito da lngua,
por meio de questes sobre a gramtica e o vocabulrio, mas sim a capacidade de uso
dessa lngua e em que a competncia do candidato avaliada pelo seu desempenho
em tarefas que se assemelham a situaes da vida real (Schlatter et ali, 2003:4), podem
predizer a habilidade do candidato para realizar um curso universitrio ou trabalhar no
pas, objetivo de muitos candidatos que se submetem a esse exame. Um teste que no
preditivamente vlido pode no ser de muito uso na sociedade.Ainda segundo Bachman (1990), a interpretao e o uso que fazemos do
desempenho nos testes podem no ser igualmente vlidos para todas as habilidades e em
todos os contextos. Isso quer dizer que um teste s pode ser considerado vlido dentro
de um determinado contexto e em determinadas circunstncias. Um teste que apresenta
apenas tarefas de compreenso de leitura ou de gramtica, por exemplo, no pode ser
considerado vlido para definir habilidade de fluncia oral. Tambm um teste que se
prope a verificar as habilidades lingsticas de candidatos adultos com um certo graude estudo (caso do Toefl, por exemplo) no ser vlido se for aplicado em crianas.
8/12/2019 Tese Sobre Celpebras
18/101
18
Outro aspecto importante, ressaltado por Messick (1989, apud McNamara,
1996), o que o autor chama de validade de impacto (consequential validity). Segundo
o autor, toda avaliao causa algum tipo de impacto nos contextos educacionais em que
praticada. Esse impacto dos testes nos contextos educacionais descrito pelos
estudiosos como efeito retroativo (washback effect).
Os defensores dos testes comunicativos de desempenho apontam o efeito
retroativo como um dos grandes argumentos para a adoo desses testes. Segundo esses
estudiosos, como Frederiksen and Collins (1989, apud McNamara, 1996), a adoo de
testes de desempenho teria como conseqncia um ensino direcionado para a
preparao dos alunos para as tarefas presentes nesses testes, e assim, indiretamente, os
alunos seriam tambm preparados para usar a lngua em situaes reais de
comunicao, devido semelhana entre as tarefas desses testes e as situaes reais de
uso da lngua. Essa conseqncia, chamada pelos autores de efeito retroativo positivo,
se ope conseqncia dos testes cujas tarefas esto relacionadas apenas indiretamente
ao desempenho lingstico esperado dos candidatos, como os testes de mltipla escolha,
por exemplo. Esses testes desencadeariam o que os autores chamam de efeito retroativo
negativo, fazendo com que professores e alunos centrassem seus esforos na preparao
para o teste, e no no desenvolvimento do desempenho das habilidades lingsticas em
si.
Apesar de ser bastante comentado na teoria sobre avaliao, existem ainda
poucos estudos que comprovem esse efeito retroativo benfico dos testes de
desempenho nos contextos educacionais. Scaramucci (1999b) relata que, algumas vezes,
a influncia de um teste pode afetar o objeto do ensino (o que ensinado), mas no se
refletir na metodologia utilizada (como ensinado). Segundo a autora, outros elementos
existentes na escola, na educao e na sociedade exercem sua influncia sobre o que
ensinado e como se ensina na sala de aula, fazendo com que essas duas coisas no sejamexplicadas unicamente a partir das caractersticas do exame para o qual o ensino
prepara.
No possvel, dessa forma, pensar em efeito retroativo de uma maneira
determinista, imaginando que o teste tenha influncia imediata no ensino em sala de
aula. Outros fatores, alm do instrumento em si, parecem tambm ser muito importantes
para a determinao do contedo e do mtodo de ensino, como a formao do professor,
a crena dos alunos e do prprio professor na possibilidade ou no de aprovao noexame, o currculo proposto e a crena dos sujeitos envolvidos do que seja ensinar e
8/12/2019 Tese Sobre Celpebras
19/101
19
aprender uma lngua estrangeira. Para Scaramucci, necessrio relativizar o efeito
retroativo conseguido com os testes de desempenho, porque inovaes educacionais
no so conseguidas automtica e unicamente, atravs da implementao de propostas
direcionadoras e exames externos (Scaramucci, 1999b:18).
2.7- Testes de proficincia oral
Para os testes tradicionais, a avaliao oral no era considerada importante na
determinao da proficincia. Esses testes, como j vimos, se preocupavam mais em
medir estruturas gramaticais e habilidades de leitura, e a habilidade oral era deixada de
lado.
Segundo Shohamy (1988), foi s nos anos 60 que a avaliao oral da lngua
comeou a receber maior ateno. Pimsleur (1965, apud Shohamy, 1988) descreve os
primeiros testes orais como consistindo na repetio de palavras e frases, e tambm em
respostas-padro a perguntas-padro, executados em laboratrios equipados de
gravadores. Apesar de terem sua validade comunicativa bastante comprometida, esses
testes tiveram o mrito de inserir a avaliao oral nas discusses e estudos sobre a
avaliao de lngua, abrindo caminho para os testes mais elaborados e teoricamente
embasados que vieram depois.
Nos anos 70, o fluxo muito grande de estudos de teorias comunicativas trouxe
crticas bastante severas aos testes orais. Estudos dessa poca argumentavam que a
linguagem oral produzida nessas ocasies era artificial, pois os candidatos, ao invs de
interagirem com outras pessoas, como em situaes naturais, falavam com mquinas.
Comeou ento a ser necessrio o desenvolvimento de testes orais que exigissem do
candidato produo na lngua-alvo e interao com pessoas reais.
Devido a essa necessidade, na dcada de 70 foi desenvolvida a estrutura da
Entrevista Oral, teste que vem sendo o mais usado durante os ltimos anos para medirproficincia oral em lngua estrangeira. A entrevista oral consiste na interao oral de
um (ou mais de um) candidato e um (ou mais de um) avaliador. O avaliador faz ao
candidato perguntas sobre vrios tpicos, e as respostas do candidato, que representam a
amostra da sua habilidade oral, so medidas pelo avaliador com a ajuda de uma escala
de avaliao.
A entrevista oral desde o seu incio foi considerada como um grande avano em
relao aos testes orais anteriores, e em pouco tempo foi tomando o lugar deles, masganhou ainda mais popularidade quando o Conselho Americano para o Ensino de
8/12/2019 Tese Sobre Celpebras
20/101
20
Lnguas Estrangeiras (ACTFL American Council on the Teaching of Foreing
Languages) a adotou como instrumento oficial para avaliar a proficincia em lngua
estrangeira em escolas e universidades americanas.
Desde a popularizao da entrevista oral, no entanto, muito se tem criticado o
seu mtodo de avaliao. O primeiro problema apontado no uso das entrevistas orais
como medidoras de proficincia oral comunicativa que uma entrevista em muito
pouco se assemelha com um evento comunicativo real, possvel de ocorrer em situaes
naturais de interao.
Silverman (1976, apud Ross and Berwick, 1992) define entrevista como um
encontro marcado entre participantes desiguais, no qual um desses participantes (o
avaliador) assume o direito de fazer as perguntas e de organizar o tpico e a conversa. A
entrevista oral, enquanto parte de um teste de proficincia, vista como um mtodo
apropriado para determinar a habilidade de um indivduo para trocar informaes
atravs de comportamento conversacional, que inclui, por exemplo, o exerccio de
direitos recprocos para negociar significados e manter a responsabilidade pela
explorao dos tpicos em uma conversa. A alocao do controle nas mos do
avaliador, no entanto, distingue claramente as entrevistas dos processos
conversacionais. Segundo Ross and Berwick (1992), esse controle assimtrico da
interao constitui um problema para a validade do procedimento de entrevista oral.
Um outro elemento que separa as entrevistas de proficincia das conversas
naturais, segundo Ross and Berwick (1992), o fato de muitas das perguntas em uma
entrevista serem planejadas para elicitar apenas amostras de conhecimento, competncia
e informao lingstica possudas pelo entrevistado. Para Clark and Clifford (1988),
uma entrevista bem conduzida, mesmo parecendo na superfcie ser uma conversa
informal sobre uma variedade de tpicos, ao mesmo tempo uma tentativa
cuidadosamente estruturada para determinar a habilidade ou falta de habilidade docandidato em cumprir as tarefas de uso da lngua de acordo com cada um dos nveis da
escala de avaliao. Segundo Van Lier (1989), as regras que regem a entrevista de
proficincia oral freqentemente enfatizam a necessidade de o entrevistador prestar
ateno lngua usada pelo candidato ao invs de prestar ateno na informao que
est sendo expressa (afinal, a lngua, e no o contedo da conversa, que est sendo
avaliada). Ao contrrio das situaes naturais de uso da lngua, em que as perguntas e
respostas em uma conversa giram em torno do contedo, na entrevista de proficincia
8/12/2019 Tese Sobre Celpebras
21/101
21
com a forma que os avaliadores esto mais preocupados, porque ela que levada em
conta na hora de atribuir uma determinada certificao ao candidato.
Outro grande problema das entrevistas de proficincia oral que elas buscam
medir a proficincia dos candidatos com base no que seria feito por um falante
proficiente em situaes reais de comunicao. Segundo Lantolf and Frawley (1985,
1988, apud Ross and Berwick, 1992), as grades de proficincia existentes no esto
ligadas a nenhuma observao ou descrio de como se d a comunicao natural, mas
so listas de caractersticas que, presumivelmente, deveriam representar um falante
proficiente. O problema, segundo os autores, que esse falante proficiente ideal ainda
no foi definido, e que pouco se sabe sobre como os falantes, nativos ou no,
relacionam a estrutura lingstica s funes da linguagem e como as colocam em uso
nas situaes de comunicao que enfrentam no dia-a-dia.
Para Lantolf & Frawley (1988), o grande entrave da validade das entrevistas de
proficincia oral que os indivduos reais foram deixados de lado. Essas entrevistas so
baseadas em escalas de proficincia construdas arbitrariamente, sem estudos de
observao da realidade. Isso bastante problemtico porque, segundo os autores, para
uma real investigao do que seja proficincia, necessrio que o principal foco de
ateno sejam indivduos reais, em ao no seu mundo. Pienemann and Johnston (1987,
apud Van Lier, 1989) reforam essa posio quando dizem que a falta de estudos
descritivos sobre o que seja proficincia acaba nos levando a pensar que a proficincia
oral consiste dos aspectos de competncia comunicativa que so exibidos e avaliados
nas entrevistas de proficincia oral, j que esses so praticamente os nicos aspectos da
proficincia descritos at hoje.
Muitos estudiosos apontam, ainda, o fato de a entrevista oral no ser
representativa da proficincia oral necessria a um falante proficiente. Shohamy, Reves
and Bejerano (1986, apud Shohamy, 1988), por exemplo, questionam o fato de aentrevista oral s apresentar um tipo de situao de uso da linguagem, a entrevista, no
sendo representativa de outros tipos de interao com os quais o candidato certamente
vai se deparar no dia-a-dia, como a narrao, a conversa, a exposio oral, entre outros.
Esses questionamentos levaram vrios tericos (ver Shohamy 1988, Bachman 1990,
Lantolf and Frawley, 1988) a concluir que a entrevista oral, sozinha, tem muitas
restries para ser considerada um instrumento vlido de medio da habilidade oral, e
que outras interaes orais so necessrias para, junto com a entrevista, poder formarum teste oral vlido.
8/12/2019 Tese Sobre Celpebras
22/101
22
As questes aqui expostas so altamente relevantes para a continuidade das
pesquisas na rea da avaliao de proficincia oral em lngua estrangeira. Sabemos da
necessidade de estudos nessa rea que descrevam as caractersticas da proficincia oral
e que venham a contribuir para a melhoria dos mtodos de avaliao. Tambm
acreditamos que a anlise mais detalhada das avaliaes de proficincia oral em testes
de desempenho, como o Celpe-Bras, possam colaborar para essa discusso.
Outra questo problemtica levantada pelos pesquisadores em relao
entrevista de proficincia oral diz respeito subjetividade da avaliao. Ao contrrio
dos antigos testes discretos, na entrevista oral, por representar uma interao entre duas
pessoas, impossvel fugir de uma avaliao subjetiva. Segundo Shohamy (1988), a
entrevista oral depende muito da relao que se estabelece entre o avaliador e o
candidato, as suas personalidades, o propsito da interao, o tpico e o contexto, entre
outras variveis, e isso faz com que a avaliao se torne complexa e difcil de controlar
(ver Shohamy, 1988, e McNamara, 1996).
Segundo McNamara (1996), a avaliao nos testes de desempenho (como a
entrevista oral, por exemplo) necessariamente envolve julgamentos subjetivos. Segundo
o autor, isso apropriado: a avaliao de qualquer desempenho humano complexo
muito dificilmente pode ser feita automaticamente. Julgamentos que envolvem
subjetividade vo inevitavelmente ser complexos e envolver atos de interpretao por
parte do avaliador, e ento estar sujeitos discordncia. Para identificar e quantificar a
extenso de discordncia entre os avaliadores, e para reduzi-la a nveis aceitveis, o
autor prope trs procedimentos importantes a serem tomados quando do processo de
avaliao (McNamara 1996:117):
1- o uso de descries de desempenho (grades de avaliao) cuidadosamente
formuladas para cada nvel de avaliao possvel, incluindo exemplos
ilustrativos das caractersticas do desempenho em cada nvel;2- treinamento cuidadoso dos avaliadores no uso dos procedimentos de avaliao;
3- avaliao de cada candidato mais de uma vez e adoo de procedimentos para
lidar com a discrepncia que possa surgir.
Essa necessidade de reduzir a subjetividade da avaliao nos testes que avaliam
desempenho, como a entrevista oral, afeta diretamente, como j vimos, as escalas de
avaliao. Quanto mais precisos e restritos forem os descritores dessas escalas, mais
uniforme e pontual ser a avaliao, aumentando assim, conseqentemente, aconfiabilidade do exame. Por essa razo, existe uma preocupao dos estudiosos que
8/12/2019 Tese Sobre Celpebras
23/101
23
desenvolvem as escalas de avaliao de descrever e refinar esses descritores, de maneira
a qualificar o trabalho dos avaliadores e uniformizar a avaliao. Esta , tambm, a
razo deste trabalho.
2.8- Escalas de avaliao de desempenho
Para Turner and Upshur (2002), entre as mudanas mais promissoras na
avaliao em segunda lngua nos ltimos 20 anos est o crescimento do uso de testes
que apresentam tarefas que requerem que os candidatos realmente produzam lngua
escrita ou falada. Em contraste com os testes discretos de segunda lngua, que requerem
que os candidatos respondam a perguntas escolhendo entre vrias alternativas, os testes
comunicativos, em que os candidatos precisam produzir lngua, oferecem a promessa de
uma descrio mais completa e complexa da habilidade do candidato para usar a lngua.
Mas o cumprimento dessa promessa depende largamente da qualidade do procedimento
utilizado para avaliar as respostas dos candidatos, isto , da escala de avaliao.
McNamara (1996:32) considera muito importante a determinao dos critrios
segundo os quais a avaliao do exame ser feita. Segundo Clark (1972:128, apud
McNamara, 1996:32), a base conceitual da avaliao de proficincia oral no (ou no
somente) o procedimento de exigir demonstraes da proficincia do candidato, a
entrevista em si, mas so os critrios de desempenho nas escalas de avaliao atravs
das quais o desempenho julgado. Para o autor, a viso que o teste tem de lngua e
proficincia lingstica est, inevitavelmente, descrita na escala de avaliao utilizada.
Dessa forma, segundo McNamara (1996:32), ainda que os exames no faam referncia
explcita a nenhuma teoria, a posio terica fica implcita nos critrios pelos quais os
avaliadores fazem os seus julgamentos.
As escalas de avaliao dos testes comunicativos so esquemas de pontuao
que incluem descries dos diferentes nveis de lngua em um continuum, normalmenteda falta de conhecimento at o nvel mais alto de conhecimento. O processo de
avaliao da qualidade das amostras lingsticas obtidas envolve combin-las com as
descries da escala e definir um grau para o candidato de acordo com essa escala.
Para Kunnan (1999), a primeira preocupao de um exame deve ser se a sua
grade de avaliao tem igual validade para diferentes candidatos ou grupos de
candidatos definidos por caractersticas como idade, gnero, raa/etnia, lngua e cultura.
Em outras palavras, a preocupao primeira deve ser a clarificao dos instrumentos deavaliao. Essa clarificao dos instrumentos de avaliao pode ser entendida como
8/12/2019 Tese Sobre Celpebras
24/101
24
uma descrio mais fina do desempenho esperado pelos candidatos em cada nvel de
proficincia certificado, e tambm por exemplos de cada nvel de proficincia que
possam ser usados em treinamentos para os avaliadores. Quanto mais finos e mais bem
descritos forem os descritores da escala de avaliao, menor a probabilidade de os
avaliadores enfrentarem dificuldades na avaliao do desempenho do candidato.
Clarificando os instrumentos de avaliao estamos, assim, aumentando a confiabilidade
do exame.
Segundo Turner (1998), a validao (descrio dos parmetros) das grades de
avaliao dos testes de proficincia , em geral, dada somente depois de aplicado o
exame. Para a autora, um dos maiores problemas dessas grades a falta de base
emprica para os descritores. Fulcher (1996, apud Turner, 1998) props uma abordagem
para o desenvolvimento da escala de avaliao que seria a priori baseada
empiricamente. Dos resultados da sua pesquisa, ele concluiu que as escalas baseadas
empiricamente poderiam ser mais especficas e informativas para o examinador, pois
permitiriam uma uniformidade maior aos exames do que as grades baseadas somente na
opinio dos especialistas ou na teoria. Fulcher (1996:228, apud Turner, 1998) diz que
at que os pesquisadores estudem seriamente a validao das grades de avaliao dos
testes, o problema da indeterminao e da ininterpretabilidade dessas grades vai
permanecer. no sentido de auxiliar na melhor descrio e refinamento da grade de
avaliao do exame Celpe-Bras que se justifica o presente estudo.
Neste captulo, apresentamos um histrico das teorias que guiaram o
desenvolvimento dos testes de proficincia em lngua estrangeira, do perodo chamado
por Spolsky (1995) de pr-cientfico at as avaliaes comunicativas, como o caso do
exame Celpe-Bras. A seguir, apresentaremos um breve histrico do exame, suas
caractersticas, e discutiremos a influncia que a proximidade entre as lnguasportuguesa e espanhola pode ter para a avaliao.
8/12/2019 Tese Sobre Celpebras
25/101
25
3- O EXAME CELPE-BRAS
3.1-Origens
O exame para obteno do Celpe-Bras (Certificado de Proficincia em Lngua
Portuguesa para Estrangeiros), que comeou a ser elaborado a partir da constituio da
Comisso Permanente para a Elaborao do Exame de Proficincia de Portugus para
Estrangeirospela Secretaria de Ensino Superior (SESu), do Ministrio da Educao do
Brasil, em junho de 1993, era h muito tempo uma necessidade e um desejo antigo dos
profissionais da rea de Portugus para estrangeiros. Segundo Schlatter (1999), era
necessrio um exame que servisse como referncia de proficincia tanto para
professores de portugus/lngua estrangeira como para estrangeiros que quisessem ou
necessitassem comprovar seu conhecimento da lngua.
A necessidade da realizao de um exame de proficincia em Portugus do
Brasil aumentou ainda mais em razo do crescimento do nmero de intercmbios
econmicos, culturais e cientficos do Brasil com outros pases, especialmente depois da
criao do Mercosul, e da crescente procura por cursos de graduao e ps-graduao
no pas, para os quais a comprovao do domnio da lngua portuguesa fundamental.
Esse exame, que passou pelas fases de elaborao e testagem nos anos de 1993 e
1994, e j aplicado sistematicamente desde 1998, comeou a ser exigido pelo MEC e
pela CAPES, a partir do ano 2000, como requisito bsico para o ingresso de alunos
estrangeiros no programa Estudante-Convnio de Graduao (PEC-G) e de Ps-
Graduao (PEC-PG)3em Instituies de Ensino Superior do pas. Hoje o Celpe-Bras
tambm j exigido por rgos e conselhos de classe, como o Conselho Federal de
Medicina, para reconhecimento do diploma de indivduos estrangeiros que cursaram a
graduao fora do pas.
Segundo Davies (1977:46, apud McNamara 1996:28), proficincia em umalngua implica controle adequado das habilidades lingsticas para um propsito
extralingstico. Para o autor, um exame de proficincia deve avaliar a adequao em
segunda lngua tendo em vista as possibilidades que o candidato tem de fazer outras
3 O PEC-G (Programa de Estudante-Convnio de Graduao) e PEC-PG (Programa de Estudante-Convnio de Ps-Graduao) so atividades de cooperao entre o Brasil e outros pases emdesenvolvimento, cujo objetivo a formao de recursos humanos, a fim de possibilitar aos cidadosdesses pases com os quais o Brasil mantm acordos educacionais ou culturais realizarem estudos
universitrios no pas, em nvel de graduao ou de ps-graduao, nas Instituies de Ensino Superior(IES) brasileiras participantes do PEC-G e do PEC-PG. Para mais informaes sobre os programas, verhttp://www.mec.gov.br/sesu/convgrad.shtm(acessado em 16-08-2003).
http://www.mec.gov.br/sesu/convgrad.shtmhttp://www.mec.gov.br/sesu/convgrad.shtm8/12/2019 Tese Sobre Celpebras
26/101
26
coisas por meio dessa lngua. O Manual do Candidato do Celpe-Bras (Schlatter et ali,
2003:3) define exame de proficincia como aquele que tem objetivos de avaliao e
contedo definidos com base nas necessidades de uso da lngua-alvo. No caso do
Celpe-Bras, essas necessidades incluem as habilidades necessrias para realizar estudos
ou desempenhar funes de trabalho no Brasil ou no exterior, quando o uso do
portugus se fizer necessrio.
O Celpe-Bras se props, desde o seu incio, a ser um exame de proficincia com
base comunicativa. Para Scaramucci (1995), uma avaliao comunicativa aquela
centrada no desenvolvimento de uma habilidade de expresso ou de uma competncia
de uso. Ela o uso de um cdigo em situaes reais de comunicao, que requer muito
mais do que a manipulao de formas e de regras lingsticas, mas o conhecimento
tambm de regras de comunicao, de forma que sejam no apenas gramaticalmente
corretas, mas socialmente adequadas.
Segundo Scaramucci (1999a), as principais caractersticas do exame Celpe-Bras
so a nfase na comunicao/interao e a utilizao de contedos autnticos ou
contextualizados. Para McNamara (1996), a caracterstica definidora de um teste de
proficincia nesses moldes que o aprendiz precisa demonstrar no somente
conhecimento da lngua, mas habilidade no uso desse conhecimento em cenrios que
sejam de alguma maneira comunicativos. Um teste assim pode requerer uma
demonstrao de conhecimento, mas vai demandar tambm demonstrao de habilidade
no desempenho.
Como vimos anteriormente, uma pessoa que possui conhecimentos tericos
sobre a lngua mas que ainda no aprendeu a aplicar em usos prticos seus
conhecimentos provavelmente no ser bem sucedida em um teste comunicativo. Sendo
a comunicao o foco central do Celpe-Bras, um candidato que domine a gramtica da
lngua, mas que no seja capaz de colocar em prtica, em situaes reais decomunicao, o seu conhecimento, no considerado apto para ser aprovado no exame.
Por ser um exame de natureza comunicativa, ao Celpe-Bras interessa a capacidade do
candidato de interagir na lngua e o uso de regras e funes gramaticais
contextualizadamente adequadas para as diversas situaes de uso da linguagem.
Segundo McNamara (1996:43), um exame dessa natureza no um teste
estritamente lingstico. As tarefas do mundo real requerem essa capacidade de interagir
na e com a lngua, e de grande ajuda que os testes de proficincia investiguem asprticas de avaliao natural no dia-a-dia e na vida profissional.
8/12/2019 Tese Sobre Celpebras
27/101
27
3.2- Formato do Exame
O exame Celpe-Bras composto de duas partes: uma coletiva, com durao de
aproximadamente duas horas, e outra individual, que dura cerca de 20 minutos. Na parte
coletiva, os candidatos respondem por escrito a quatro diferentes tarefas a partir da
compreenso de textos escritos, de um trecho de vdeo e de uma gravao em udio. A
parte individual consiste de uma conversa, com durao de cerca de 20 minutos, e
avaliada pelo aplicador e por um observador, por meio de uma grade de avaliao que
inclui os seguintes aspectos (ver Schlatter et ali, 2003:17 Manual do Candidato):
Compreenso
- Compreenso do fluxo natural da conversao.
Produo- Recursos interacionais e estratgicos: contribuio para o desenvolvimento da
conversa, flexibilidade na mudana de tpico, uso de estratgias comunicativas,
adequao ao interlocutor.
- Fluncia: manuteno do fluxo da conversa.
- Pronncia: adequao na pronncia, ritmo e entoao.- Gramtica: variedade e adequao no uso de estruturas lingsticas.
- Lxico: extenso e adequao no uso do vocabulrio.
O exame, na poca da coleta dos dados analisados no presente trabalho,
concedia dois nveis de certificao4: Certificado Intermedirio, que corresponde
competncia parcial na lngua, e Certificado Avanado, que corresponde competncia
4 A partir da aplicao de abril de 2003, o exame passou a certificar quatro nveis de proficincia,descritos a seguir (folder do Celpe-Bras verso 2003):
Certificado Intermedirio: conferido ao candidato que evidencia um domnio operacional parcialda lngua portuguesa, demonstrando compreenso e produo de textos orais e escritos, especialmente emcontextos conhecidos, podendo apresentar algumas imprecises, inadequaes e interferncias nacomunicao.
Certificado Intermedirio Superior: conferido ao candidato que preenche as caractersticasdescritas no nvel Intermedirio, apresentando inadequaes e interferncias na pronncia e na escritamenos freqentes do que no nvel anterior.
Certificado Avanado: conferido ao candidato que evidencia um domnio operacional amplo dalngua portuguesa, demonstrando compreenso e produo fluente de textos orais e escritos, podendoapresentar inadequaes ocasionais na comunicao, especialmente em contextos desconhecidos.
Certificado Avanado Superior: conferido ao candidato que preenche todos os requisitos do nvelAvanado, apresentando raras inadequaes na comunicao.
8/12/2019 Tese Sobre Celpebras
28/101
28
ampla, como descrito a seguir5. O desempenho do candidato avaliado de forma global,
a partir de um desempenho integrado em todas as tarefas do exame. A obteno de um
ou de outro certificado est condicionada a esse desempenho global do candidato no
exame, o que pressupe um equilbrio no desenvolvimento das tarefas.
Segundo Schlatter et ali (2003:6), o desempenho do candidato corresponde,
respectivamente, ao seguinte perfil para cada nvel:
- Certificado Intermedirio: conferido ao candidato que evidencia um domnio
operacional parcial da lngua portuguesa, demonstrando ser capaz de
compreender e produzir textos orais e escritos sobre assuntos limitados, em
contextos conhecidos e situaes do cotidiano; trata-se de algum que usa
estruturas simples da lngua e vocabulrio adequado a contextos conhecidos,
podendo apresentar inadequaes e interferncias da lngua materna e/ou de
outra(s) lngua(s) estrangeira(s) mais freqentes em situaes desconhecidas.
- Certificado Avanado: conferido ao candidato que evidencia domnio
operacional amplo da lngua portuguesa, demonstrando ser capaz de
compreender e produzir textos orais e escritos, de forma fluente, sobre assuntos
variados, em contextos conhecidos e desconhecidos. Trata-se de algum,
portanto, que usa estruturas complexas da lngua e vocabulrio adequado,
podendo apresentar inadequaes ocasionais na comunicao, especialmente em
contextos desconhecidos. O candidato que obtm este certificado tem condies
de interagir com desenvoltura nas mais variadas situaes que exigem domnio
da lngua-alvo.6
Partindo do princpio de que um exame comunicativo, a avaliao no exame
Celpe-Bras deve refletir o uso da lngua em situaes reais de comunicao. O exame
testa, portanto, a capacidade de compreender e de produzir a lngua de forma adequada
em situaes cotidianas. Para tal fim, a grade de avaliao expressa em descritores decompetncia e desempenho do candidato, hierarquizados por uma pontuao, segundo
os objetivos comunicativos a serem atingidos em cada tarefa. Segundo Schlatter et ali
(2003:5) a tarefa um convite para agir no mundo, um convite para o uso da
linguagem com um propsito social. Em outras palavras, uma tarefa envolve
basicamente uma ao, com um propsito, direcionada a um ou mais interlocutores.
5Abaixo da competncia parcial no h certificao, embora a comisso elaboradora do exame esteja
pensando, atualmente, na atribuio de um Certificado Bsico, ainda em estudo.6Os certificados Intermedirio e Avanado mantiveram a mesma descrio aps a ampliao dos nveisde certificao.
8/12/2019 Tese Sobre Celpebras
29/101
29
Ainda segundo Schlatter et ali (2003:5), em cada tarefa h sempre um propsito
claro de comunicao e um interlocutor, de forma que o candidato possa adequar seu
texto situao de comunicao. Na correo, esses aspectos so importantes para se
julgar a adequao da resposta do candidato. Segundo Cunha e Santos (1999), a
avaliao dos conjuntos de tarefas feita por meio de procedimentos qualitativos e
holsticos, sendo expressa por descritores de competncia e desempenho (por exemplo,
o examinando reconhece o ponto de vista do autor expresso explcita e implicitamente
ou reconhece o ponto de vista do autor expresso explicitamente, tem dificuldade
quando esse ponto de vista expresso implicitamente).
Como vimos anteriormente, todos os testes de desempenho como o Celpe-Bras
caracterizam-se pela subjetividade presente na avaliao. Tambm j foi discutida a
importncia de se tomarem alguns cuidados para controlar os efeitos dessa subjetividade
na avaliao dos candidatos, de maneira a garantir que o resultado do exame possa ser
considerado confivel e vlido. Para que a subjetividade no extrapole os nveis
aceitveis, no Celpe-Bras as condies de aplicao do exame so padronizadas (todas
as instituies aplicadoras necessitam de infra-estrutura mnima para a aplicao, e
seguem as mesmas instrues quando da aplicao do exame). Os aplicadores do
exame, tanto da parte coletiva quanto da parte individual (entrevista oral), bem como os
corretores do exame, so em sua maioria professores qualificados e com experincia no
ensino de Portugus para estrangeiros, e passam por treinamento. A avaliao do
exame, tanto da parte oral como da parte escrita, feita sempre por dois avaliadores, e
as grades de avaliao passam por um processo de elaborao e testagem antes de serem
aplicadas.
Por ser um teste discursivo e necessitar avaliao individual de cada tarefa, o
Celpe-Bras, assim como os demais testes de desempenho, pode ser considerado pouco
prtico, j que demanda aplicadores e corretores especializados e requer mais tempo doque os testes objetivos, que podem ser corrigidos por mquinas. Apesar de exigir uma
avaliao mais demorada, os testes de desempenho possibilitam uma melhor descrio
das habilidades do candidato do que os testes objetivos, porque se propem a avaliar o
desempenho do candidato em situaes similares s que ele poderia encontrar no mundo
real. Para aumentar a validade e a praticidade do exame necessrio que as escalas de
avaliao estejam bem descritas, dando ao avaliador condies de definir de maneira
clara o nvel de proficincia dos candidatos.
8/12/2019 Tese Sobre Celpebras
30/101
30
Por ser um exame muito recente, ainda no h estudos que descrevam os nveis
de proficincia oral do Celpe-Bras e proponham refinamentos na sua grade de
avaliao. Existe j um estudo feito sobre o desempenho dos candidatos nas tarefas de
compreenso e produo textual no exame, e que prope refinamentos para a grade de
avaliao da parte escrita. Esse estudo, desenvolvido por Sidi (2002), buscou descrever
de forma mais detalhada o desempenho em leitura e escrita dos candidatos falantes de
espanhol. Aps definir as inadequaes mais recorrentes aos critrios da grade de
avaliao do exame e realizar uma anlise qualitativa, o estudo apontou os aspectos
salientes para caracterizar cada um dos nveis de certificao, e props ajustes nos
descritores das grades de avaliao. Os resultados desse estudo demonstraram
consistncia com a proposta de avaliao do exame, uma vez que apresentaram o
cumprimento da tarefa de forma satisfatria como caracterstica do Certificado
Avanado, de forma parcial como caracterstica do Certificado Intermedirio e de forma
insatisfatria como caracterstica da no certificao.
Estudos como o relatado acima (e tambm como o presente trabalho) tornam-se
ainda mais relevantes em se tratando de descrever a proficincia dos candidatos falantes
de espanhol (em torno de 70% dos candidatos ao exame, como j mencionado
anteriormente). Os falantes de espanhol, devido proximidade das duas lnguas,
costumam cumprir com xito as tarefas propostas, porm muitas vezes o fazem com
problemas de pronncia, sintaxe e adequao lexical, entre outros, devido
transferncia de elementos do espanhol para o portugus. Uma descrio mais detalhada
dos nveis de proficincia considerados no exame poder auxiliar os examinadores a
avaliar os candidatos falantes de espanhol.
A seguir, discutiremos o importante papel da proximidade entre as lnguas
portuguesa e espanhola na avaliao de proficincia.
3.3- Proximidade entre as Lnguas Portuguesa e Espanhola
Dentre as lnguas romnicas, o portugus e o espanhol so as que mantm maior
afinidade entre si. Segundo Almeida Filho (1995), a condio de serem lnguas assim
to prximas encapsula uma subjacente proximidade tipolgica das duas lnguas. A
ordem cannica da orao nas duas lnguas altamente coincidente, a fonte maior do
lxico basicamente a mesma e as bases culturais onde se assentam so em larga
medida compartilhadas. Ulsh (1971) estabelece, por exemplo, que mais de 85% dovocabulrio portugus tem cognatos em espanhol.
8/12/2019 Tese Sobre Celpebras
31/101
31
Devido proximidade das duas lnguas, os falantes de espanhol tm amplas
vantagens na aquisio do portugus em comparao com falantes de outras lnguas,
uma vez que eles j trazem consigo conhecimentos e habilidades que so comuns s
duas lnguas. De acordo com Almeida Filho (1995), o elevado grau de
compreensibilidade da lngua-alvo permite ao falante de espanhol mais segurana e
maior capacidade de risco.
Mas se a semelhana entre as lnguas um elemento favorvel aquisio, a
proximidade entre elas tambm pode causar problemas. Segundo Ferreira (1997), a
proximidade entre o Portugus e o Espanhol faz com que os falantes percebam mais as
semelhanas do que as diferenas entre as duas lnguas. Dessa forma, muitos falantes de
espanhol, ao achar que esto falando portugus, acabam falando portunhol, termo que
usado para designar a produo de um falante de espanhol ou de portugus tentando
falar a outra lngua.
Colin Rodea (1990, apud Ferreira, 1995) define o portunhol como a expresso
mais imediata do contato entre as lnguas portuguesa e espanhola, que pode ser
observado como um estgio de interlngua muitas vezes com nveis de fossilizao
bastante acentuados. Selinker (1992, apud Villalba, 2002:27) entende fossilizao como
a manuteno de certas estruturas lingsticas da L1 que pareciam ter sido erradicadas,
independentemente da idade do aluno e da quantidade de prtica que tenha realizado. A
produo de aspectos fonolgicos segmentais (por exemplo, a nasalizao, a distino
entre fonemas voclicos abertos e fechados, o ensurdecimento de consoantes sonoras
fricativas intervoclicas) e de aspectos fonolgicos suprasegmentais (por exemplo,
portugus como lngua de ritmo acentual, espanhol como lngua de ritmo silbico) so,
segundo Colin Rodea (1990), alguns exemplos de transferncia evidenciados na fala de
aprendizes de portugus que tm o espanhol como lngua materna.
Segundo Odlin (1989), transferncia lingstica a influncia resultante dassimilaridades e diferenas entre a lngua-alvo e qualquer outra lngua que j tenha sido
previamente adquirida (Odlin, 1989:27). Entre o portugus e o espanhol, j que essas
similaridades so muitas, a transferncia acaba por se mostrar uma constante no
desenvolvimento dos aprendizes. Para Villalba (2002), a semelhana lexical e a
percepo dessa semelhana entre as duas lnguas que favorece a ocorrncia de
transferncia. Tambm segundo a autora, a falta de percepo de que o lxico das duas
lnguas diferente favorece a ocorrncia de fossilizao.
8/12/2019 Tese Sobre Celpebras
32/101
32
Por ser um exame recente, como j foi dito acima, o Celpe-Bras ainda no
possui estudos que descrevam seus nveis de proficincia. Essa lacuna fica ainda mais
evidente quando os examinadores se deparam com candidatos que provm de uma
lngua materna em vrios aspectos to parecida com o portugus. Os candidatos falantes
de espanhol, como j foi citado, normalmente no costumam ter problemas de
compreenso quanto s tarefas do exame, e as realizam sem maiores dificuldades.
Contudo, nem sempre esses candidatos realizam as tarefas em lngua portuguesa.
Muitas vezes, ao pensar que est falando portugus, o candidato expressa-se em
portunhol ou mesmo em espanhol. Esse comportamento pode criar dificuldades para o
entrevistador porque os candidatos falantes de espanhol costumam ser fluentes e, muitas
vezes, so compreendidos pelos entrevistadores mesmo que apresentem muita
interferncia da sua lngua materna. Como os descritores da grade de avaliao
especificam interferncia da lngua materna em nveis ainda muito amplos, como
rara, alguma e muita, a avaliao do candidato depender da interpretao que
cada avaliador far desses descritores.
O exame Celpe-Bras portanto, tambm, ainda carente de descries mais
refinadas das suas grades de avaliao. Partindo dessa necessidade de descrever melhor
as grades de avaliao da entrevista oral do exame, este estudo pretende fazer uma
anlise das produes orais de candidatos que obtiveram o Certificado Avanado, o
Certificado Intermedirio e de candidatos que no receberam certificao no exame
Celpe-Bras, para descrever as caractersticas da proficincia desses candidatos e propor,
baseado nessa descrio, refinamentos nos descritores presentes na grade de avaliao,
de maneira a auxiliar o avaliador na hora de tomar a deciso sobre qual certificao
deve ser concedida ao candidato.
Neste captulo, apresentamos o exame Celpe-Bras, falando um pouco da sua
histria e dos nveis de proficincia por ele certificados. Tratamos tambm daimportncia da proximidade entre as lnguas portuguesa e espanhola para a avaliao da
proficincia. No captulo que segue, descreveremos a metodologia utilizada para a
anlise dos dados, discutindo as categorias selecionadas, e mostraremos os
procedimentos adotados para descrever a proficincia dos candidatos nos trs nveis
certificados pelo exame Celpe-Bras.
4- METODOLOGIA
8/12/2019 Tese Sobre Celpebras
33/101
33
4.1- Percurso da pesquisa
Este trabalho iniciou com uma anlise de trs entrevistas de cada um dos nveis
certificados pelo exame Celpe-Bras (avanado e intermedirio), e tambm de trs
entrevistas de candidatos que no obtiveram certificao com base em dados gerados na
aplicao de 1998. Aps o refinamento das transcries j existentes, passou-se a uma
anlise preliminar dos dados, que evidenciou uma srie de restries quanto ao uso
dessas entrevistas, principalmente relativas mudanas na Parte Individual do exame,
ocorridas nas aplicaes seguintes coleta dos dados.
Foram enfrentados ainda outros percalos metodolgicos decorrentes da
antigidade dos dados. Uma das fitas que continha parte dos dados havia sido
extraviada, e em algumas outras a gravao no estava boa. Tambm tentamos ampliar
a amostra, mas no existiam mais fitas disponveis de um dos nveis de certificao.
Todos esses problemas, somados vontade de tornar o trabalho mais atualizado e
possvel de ajudar na descrio refinada dos nveis de certificao atuais, bem como no
refinamento da grade de avaliao oral do exame, fizeram com que preferssemos optar
pela troca dos dados a serem analisados, mesmo que isso significasse reiniciar o
trabalho de seleo e transcrio das entrevistas.
Pelas razes acima expostas, acabamos por selecionar novos dados, gerados na
aplicao do exame Celpe-Bras de outubro de 2002. A princpio, pensamos em ampliar
a nossa amostra, abarcando mais entrevistas de cada nvel, para que pudssemos propor
ajustes na grade de avaliao com uma base de sustentao maior. Foram ouvidas, no
total, cerca de dez fitas de cada nvel, sendo que muitas no puderam ser aproveitadas,
seja por problemas tcnicos (gravao ruim, o que inviabilizava a anlise), seja por
falhas do avaliador (o gravador era desligado e religado durante a entrevista, fazendo
com que no tivssemos acesso ntegra da interao ocorrida). Foram transcritas seis
entrevistas de candidatos avanados, seis entrevistas de candidatos intermedirios equatro entrevistas de candidatos sem certificao. Optou-se, finalmente, por limitar a
amostra analisada para quatro entrevistas de cada nvel, julgando-se que essa amostra
ilustrava exemplares tpicos da Parte Individual do exame Celpe-Bras.
4.2- Objetivos
Este estudo visa a fazer uma descrio detalhada das caractersticas da fala doscandidatos falantes de espanhol no exame Celpe-Bras, apontando as caractersticas da
8/12/2019 Tese Sobre Celpebras
34/101
34
sua proficincia. Tambm objetivo deste trabalho saber de que maneira a grade de
avaliao do exame, atravs dos seus descritores, contempla tais caractersticas, e
verificar que refinamentos poderiam ser feitos nesses descritores para que a grade se
tornasse mais objetiva, dando mais subsdios para o examinador avaliar a proficincia
oral dos candidatos falantes de espanhol. Por fim, pretendemos tambm elaborar uma
sugesto de grade descritiva para cada um dos nveis de certificao, baseada nas
entrevistas analisadas.
4.3- A entrevista oral do exame Celpe-Bras
Segundo o Manual do Exame (Schlatter et ali, 2003:17), a entrevista oral do
exame Celpe-Bras
constitui-se de uma conversa, com durao de 20 minutos, entre candidato eentrevistador, sobre atividades e interesses do candidato, a partir dos tpicos queconstam no questionrio de inscrio (famlia, hobbies, profisso, dentre outros), esobre tpicos do cotidiano e de interesse geral (ecologia, educao, esportes, dentreoutros), com base em fotos, cartuns, quadrinhos, textos curtos, etc..
A Parte Individual avaliada por dois aplicadores, um entrevistador e um
observador, que para tanto se utilizam de uma grade de avaliao. O objetivo da
entrevista avaliar a produo oral do candidato, que solicitado a conversar com o
avaliador a respeito dos tpicos abordados. Os textos que servem como ponto de partida
para a discusso dos tpicos so acompanhados de sugestes de perguntas para o
avaliador desenvolver a discusso.
4.4- Perfil da amostra selecionada
Foram analisadas quatro entrevistas que obtiveram certificado avanado, quatro
entrevistas que obtiveram certificado intermedirio e quatro entrevistas que no
obtiveram certificao, o que totaliza doze entrevistas. A amostra analisada constitui-se
de trs candidatos argentinos (Ana, Fbio e Paula), um candidato chileno (Fernando),
trs candidatos equatorianos (Felipe, Joo e Jos) e cinco candidatos bolivianos (Joana,
Andr, Marcelo, Antonio e Carla)7. Todas as entrevistas foram realizadas nos pases de
origem dos candidatos entre os dias 22 e 23 de outubro de 2002. A idade dos candidatos
varia de 22 a 35 anos, sendo que a mdia de idade de 26,5 anos. Dos doze candidatos
analisados, oito so homens e quatro so mulheres. Todos os candidatos declararam
possuir grau de instruo universitrio, sendo que trs so engenheiros, um socilogo,
7Os nomes foram alterados para preservar a identidade dos candidatos.
8/12/2019 Tese Sobre Celpebras
35/101
35
um economista, trs so estudantes, um contador e trs so mdicos. Essa amostra
foi escolhida considerando-se as condies tcnicas das gravaes e a observao das
normas do exame por parte dos aplicadores. Todos os avaliadores do exame so
professores de portugus e falantes nativos de portugus do Brasil.
4.5- Transcries
Foram transcritas, ao todo, dezesseis entrevistas realizadas na aplicao do
exame de outubro de 2002, sendo que doze delas foram utilizadas para a anlise final.
As entrevistas tm cerca de 20 minutos de durao, sendo que a mais curta tem 16
minutos e 36 segundos de durao, e a mais longa tem 26 minutos e 13 segundos8.
As transcries dos dados analisados foram feitas levando em conta critrios que
acreditamos ser relevantes para a anlise e descrio dos dados. Dessa forma, foram
consideradas as pausas ocorridas na interao, indicando-se se as pausas foram curtas
ou mais longas, conforme simbologia expressa a seguir. Pausas de at um segundo
foram consideradas pausas curtas, e pausas entre um e trs segundos, pausas longas. A
partir de trs segundos, as pausas foram cronometradas, estando o tempo de durao
entre parnteses. Incompreenses ou dvidas na compreenso de trechos de fala
tambm foram marcadas, assim como os reparos e os prolongamentos de vogal. Outros
critrios normalmente utilizados em transcries, como nfase em uma determinada
slaba, por exemplo, no foram marcados por no terem sido julgados relevantes para
esta anlise.
A seguir, expomos a simbologia utilizada nas transcries:
( . ) indica pausa curta (menos de um segundo)
( ... ) indica pausa mais longa (entre um e trs segundos)
(0.0) indica o tempo exato da pausa (para pausas maiores que trs segundos)
( ? ) indica que no foi possvel compreender o trecho
8
Est em curso na comisso de elaborao do Celpe-Bras uma avaliao da Parte Individual do exame,que tem como objetivo uniformizar os procedimentos da entrevista oral em todas as instituiesaplicadoras (entre os quais a observao do tempo estipulado para a Parte Individual).
8/12/2019 Tese Sobre Celpebras
36/101
36
(palavra?) indica que a palavra ou trecho entre parnteses provavelmente o que foi
dito, mas a compreenso difcil
/ indica que a palavra foi cortada, e que houve reparo na fala
: indica alongamento da vogal precedente
4.6- A grade de avaliao do exame
Com base em uma primeira anlise dos dados, faremos a seguir uma
problematizao das categorias de avaliao do exame, mostrando como elas so
descritas na grade de avaliao vigente e quais, a partir de uma primeira anlise, so
relevantes para o aplicador.
Essa problematizao inicial das categorias da grade de avaliao tem como
objetivo ressaltar os aspectos importantes presentes na grade e localizar possveis
carncias ainda no contempladas pelas categorias e descritores atuais. Este
mapeamento servir como base para a seleo das categorias utilizadas posteriormente
em nossa anlise. Ressalva-se que a abrangncia do presente estudo limitada, uma vez
que analisamos aqui somente entrevistas de candidatos falantes de espanhol. Estudos
com amostras maiores de dados, que inclussem falantes de outras lnguas, seriam
necessrios para diagnosticar a aplicabilidade ou no dos resultados aqui obtidos para a
avaliao de falantes no hispanos.
A grade de avaliao da parte oral do exame Celpe-Bras, apresentada abaixo9,
est dividida em 6 grandes categorias, que se dividem depois em subcategorias. Essas
seis categorias so: Competncia Interacional, Fluncia, Pronncia, Adequao
Gramatical, Adequao Lexical e Compreenso.
Certificado Avanado
Competnciainteracional
Fluncia Pronncia Adequaogramatical
Adequaolexical
Compreenso
> Flexibilidade namudana de tpico.> Adequao da
> Pausas ehesitaespara
> Pronncia(sons, ritmo eentoao)
> Uso de umavariedade ampla deestruturas na
> Vocabulrioamplo eadequado para
> Compreensodo fluxo naturalda
9A partir da aplicao de abril de 2003 foram descritos dois novos nveis de certificao na grade deavaliao, Intermedirio Superior e Avanado Superior, j apresentados anteriormente. A descriodesses novos nveis visa a tornar mais precisa a avaliao e a certificao do exame, j que reduz a
amplitude de cada um dos nveis. Como os dados aqui analisados foram gerados na aplicao de outubrode 2002, antes da descrio desses novos nveis, optamos por apresentar a grade antiga do exame, emvigor quando da seleo dos dados.
8/12/2019 Tese Sobre Celpebras
37/101
37
conversa ao interlocutor,ao assunto e aocontexto.> Contribui para odesenvolvimento daconversa.> Usa estratgias(reformulaes,
parfrases, correes)para resolver problemaslexicais, gramaticais e/oufonolgicos.
organizao dopensamento e,eventualmente,para resolveralgum problemade construolingstica, seminterrupes no
fluxo daconversao.
adequada.>Sotaque/algumasinterfernciasda lnguamaterna.
discusso de tpicosdo cotidiano e naexpresso de idiase opinies sobreassuntos variados.> Poucasinadequaes nautilizao de
estruturas maiscomplexas e rarasinadequaes nouso de estruturasmais bsicas.
discusso detpicos docotidiano eexpresso deidias eopinies sobreassuntosvariados
conversao, >Raros pedidosde repetio edereestruturaoocorrem nocaso depalavras menos
freqentes e /ouacelerao dafala.
Certificado Intermedirio
Competnciainteracional
Fluncia Pronncia Adequaogramatical
Adequaolexical
Compreenso
> Dificuldade em ajustar-
se mudana de tpico.&g