Upload
vanhuong
View
217
Download
0
Embed Size (px)
Citation preview
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 1 -
AVALIA: SOFTWARE PARA AVALIAR A APRENDIZAGEM EM AMBIENTES VIRTUAIS DE ENSINO
Lanylldo Araujo dos Santos1 (UEMA.) Luís Carlos Costa Fonseca2 (UEMA.)
Lidinalva de Almada Coutinho3 (UEMA
Resumo: Este trabalho propõe estudar a possibilidade de automação do processo de avaliação da aprendizagem escolar, utilizando os dados obtidos a partir da análise de provas com o uso da Teoria de Resposta ao Item. O interesse em pesquisa sobre esta temática vem ao encontro de utilizar os recursos computacionais para auxiliar os educadores durante o processo de criação e analise das avaliações. O software AVALIA, criado durante esta pesquisa, disponibiliza para os docentes: interfaces para cadastrar e editar as prova e fornecer relatórios sobre os níveis de proficiências e habilidades dos alunos. Para os discentes, a ferramenta oferece um ambiente para realização dos testes e acesso as mensagens de feedback, que são enviadas pelo software.
Palavras-chave: informática na educação, Avaliação da aprendizagem, software educacional. Abstract. This paper proposes to study the possibility of automating the assessment of school learning process, using data obtained from the analysis of evidence with the use of Item Response Theory. The interest in research on this topic is in line to use computational resources to assist educators in the process of creation and analysis of ratings. The ASSESS software created during this study provides for teachers: interfaces for registering and edit the test and provide reports on the levels of skills and abilities of students. For students, the tool provides an environment for testing and access feedback messages that are sent by the software. Palavras-chave: information technology in education, evaluation of learning, educational software.
1 Lanylldo Araujo dos Santos, Licenciado em computação.
Universidade Estadual do Maranhãi (UEMA) Departamento, Engenharia da Computação E-mail: [email protected]
2 Dr. Luís Carlos Costa Fonseca, Professor adjunto do Departamento de Engenharia da Computação
Email: [email protected] 3 Ma. Lidinalva de Almada Coutinho, Professora do Departamento de Matemática.
Email: [email protected]
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 2 -
Introdução
Na escola, o processo de humanização do homem acontece por meio
das atividades pedagógicas desenvolvidas na sala de aula, que buscam criar
condições favoráveis para a aprendizagem dos conceitos científicos. Pois, o
conhecimento científico representa a cultura produzida por uma sociedade, e
é através dele, que o homem adquire condições para desenvolver habilidades
como a escrita e a fala, utilizadas na interação do homem com a sociedade e
consequentemente com a cultura.
Nesse sentido, o ensino de qualidade ofertado pela escola torna-se
imprescindível para o desenvolvimento humano, pois é através da apropriação
dos conceitos científicos que o homem se desenvolve. Diante disso, surge a
seguinte inquietação, como garantir que o ensino e a aprendizagem sejam
realizados com excelência e qualidade na escola?
A avaliação deve ou pode subsidiar um modo eficiente de fazer o
ensino, se for utilizada como fundamento das decisões tomadas para
direcionar o aprendizado e consequentemente o desenvolvimento do aluno.
Por meio da avaliação, é possível incluir o estudante no sentido adequado a
sua aprendizagem, respeitando os seus níveis de proficiência. E, ainda
verificar se, a ação pedagógica corresponde adequadamente às intenções
buscadas pelo educador, com isso, o professor poderá constatar como as
atividades pedagógicas que estão sendo desenvolvidas na sala de aula, estão
contribuindo para a aprendizagem dos discentes. Dessa forma, portanto, a
avaliação constitui-se um importante recurso didático e pedagógico para
garantir a democratização do ensino, através da excelência no processo de
ensino e aprendizagem ofertado na escola.
Nessa perspectiva da avaliação para garantir a democratização do
ensino, no Brasil são realizados periodicamente programas de pesquisas
educacionais sobre o rendimento dos alunos. Uma das instituições de destaque
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 3 -
nacional que realiza esses programas é o INEP - Instituto Nacional de Estudos
e Pesquisas Educacionais Anísio Teixeira, que têm como missão promover
estudos, pesquisas e avaliações sobre o sistema educacional brasileiro, estas
pesquisas são utilizadas pelo governo federal para subsidiar a formulação de
políticas na área da educação, mediante a elaboração de diagnósticos e
recomendações decorrentes da avaliação do ensino na educação básica e
superior.
Buscando cumprir seus objetivos, o INEP realiza levantamentos
estatísticos em todos os níveis e modalidades de ensino, a partir da aplicação
de provas que utilizam como fundamento teórico para desenvolvimento das
questões a Teoria de Resposta ao Item – TRI. A TRI é referência na criação e
análise de testes, no Brasil é utilizada nas provas do ENEM – Exame Nacional
do Ensino Médio, realizado pelo INEP, na Prova Brasil realizada pelo SAEB –
Sistema Nacional de Ensino Básico, e ainda, nas avaliações do SARESP –
Sistema de Avaliação de Rendimento escolar do Estado de São Paulo.
No entanto, a TRI também pode ser utilizada no âmbito do cotidiano
escolar, ou seja, os educadores podem recorrer a essa metodologia de criação
de testes, para subsidiar o desenvolvimento das atividades docentes na sala
de aula, porém quando a TRI é utilizada por um grupo de educadores em uma
escola todo o processo de criação, aplicação e análise dos resultados dos
testes, fica na responsabilidade destes professores. E, junto a essas
atribuições, os educadores das escolas públicas brasileiras ainda devem
desempenha todas as suas atividades de rotina como ministrar aulas nos três
turnos, para várias turmas que na maioria das vezes possuem grande
contingente de estudantes.
Diante dessa problemática, essa pesquisa propõe estudar a
possibilidade de automação do processo de avaliação da aprendizagem
escolar, utilizando os dados obtidos a partir da análise de provas com o uso da
Teoria de Resposta ao Item.
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 4 -
Sendo assim, nosso interesse em pesquisa sobre esta temática no
âmbito do espaço escolar, vem ao encontro de através dos recursos
computacionais (Banco de Dados, Agentes de Softwares, criação de interfaces
em HTML e programação na linguagem PHP) utilizados no desenvolvimento dos
testes, esperamos contribuir com os docentes na criação e analise das provas,
por meio da implementação do software AVALIA para gerenciar a criação das
avaliações, bem como, fornece relatórios sobre os níveis de proficiências dos
discentes. Para o discente, a ferramenta propicia um ambiente virtual para
realização das avaliações e acesso as mensagens de feedbacks com indicações
referencias de arquivos da internet.
Por fim, convém citar que o AVALIA foi utilizada para gerenciar os
dados coletados em uma teste aplicado no Centro de Estudos Superiores de
Caxias da Universidade Estadual do Maranhão (CESC/UEMA) com os discentes
do curso de Matemática Licenciatura.
1 FUNDAMENTAÇÃO TEÓRICA
Avaliação da educação escolar
É certo que o ato de avaliar é uma das atividades docentes de maior
complexidade e segundo (PERRENOUD, 1999), vem sendo utilizada desde o
século XVII d.c e torna-se indissociável do ensino de massa que conhecemos
desde o século XIX, com a escolaridade obrigatória.
A avaliação tem profundas influências nas orientações pedagógicas da
escola, pois como explica (PERRENOUD, 1999), ela deve ser utilizada como
ferramenta para regular a atividade docente, buscando mais qualidade no
processo de ensino e aprendizagem. Sobre isso, (LUCKESI, 2006) enfatiza na
sua obra que, a avaliação deve ou pode subsidiar um modo eficiente de fazer
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 5 -
o ensino, se for utilizada como fundamento das decisões tomadas para
direcionar o aprendizado e consequentemente o desenvolvimento do aluno.
Desse modo, o conceito de avaliação para a aprendizagem é definida
por (LUCKESI, 2006), como um ato crítico que subsidia o educador na analise
de como esta sendo construindo o seu projeto político pedagógico, já que a
partir da avaliação, o educador pode conhecer: quais as consequências
geradas pelo trabalho docente na sala de aula.
Nesse sentido, Perrenoud (2000) bem explica a avaliação como um
recurso pedagógico imprescindível para fundamentar as decisões futuras dos
educadores sobre a prática pedagógica em que estão atuando e ainda é
através dela que os professores podem criar novas estratégias de ensino, em
outras palavras, a partir da avaliação o professor tem recursos para fazer uma
analise sobre todas as suas atividades desenvolvidas em sala, buscando
conhecer qual o impacto das suas ações no processo de aprendizagem.
Logo, entende-se que durante o processo de ensino e aprendizagem é
essencial á realização da avaliação na prática educacional, porque é através
da coleta de informações sobre as proficiências dos discentes que podemos
verificar se o trabalho docente esta proporcionando meios para a
aprendizagem dos conceitos transmitidos pelos professores(as).
Avaliação e democratização do ensino
Não há como negar que, a democratização do ensino, está
condicionada à expansão da aprendizagem com qualidade dos conceitos
científicos ensinados pela escola. Para viabilizar esta democratização Luckesi
(2006) recomenda a aplicação da avaliação diagnóstica, como um recurso
pedagógico imprescindível para os educadores, pois é através da sua aplicação
que a escola tem conhecimento se o trabalho docente está sendo eficiente e
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 6 -
quais desvios estão ocorrendo. Dessa forma é possível saber em qual nível de
aprendizagem o aluno esta, ou seja, conhecer qual (ais) habilidade(s) o
discente já possui e qual (ais) ele ainda não aprendeu.
Luckesi (2006) ainda explica que, a avaliação tem a função de
informar o professor(a) sobre em qual estágio da aprendizagem o discente se
encontrar, e com isso, o docente poderá orientar o discente no sentido
adequado a sua aprendizagem. Desse modo, o professor(a) tem como garantir
a excelência na aprendizagem, por meio de um ambiente propício ao
desenvolvimento do processo de ensino e aprendizagem dos alunos/alunas.
Diante do contexto apresentado, compreendemos a relevância da
avaliação como uma fonte de informações utilizadas pelos educadores(ras)
para orientar os discentes no curso adequado da sua aprendizagem
respeitando os seus níveis de proficiências. Dessa maneira é a partir da
avaliação que o professor poderá constatar como as atividades pedagógicas
que estão sendo desenvolvidas na sala de aula, estão contribuindo (ou não)
para a aprendizagem dos alunos/alunas.
Teoria de resposta ao item
A Teoria de resposta ao item (TRI) é metodologia para a criação de
provas capazes de suprir as limitações da teoria clássica dos testes (TCT).
Algumas dessas limitações correspondem ao fato de a TCT não possui recursos
para: informar aos pesquisadores qual a capacidade de um item discriminar
sobre as aptidões de uma pessoa e ainda identificar quando o testando acerta
uma questão sem ter o mínimo de conhecimento exigido, ou seja, a
probabilidade de um indivíduo responder uma questão ao acaso (chute).
No Brasil, a TRI vem sendo usada desde 1995 na análise das provas
aplicadas pelo Sistema Nacional de Ensino Básico – SAEB. Com o sucesso do
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 7 -
uso da teoria pelo SAEB, outras grandes instituições se interessaram como
SARESP – Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo,
uma lista com as pesquisas e publicação da TRI no Brasil pode ser encontrado
em (MOREIRA, 2010).
Definição de TRI
A Teoria de Resposta ao Item é conceituada por Andrade (1999) como
um conjunto de modelos matemáticos que procuram representar a
probabilidade de um indivíduo dar uma certa resposta a um item como função
dos parâmetros do item e das proficiências do respondente. Essa relação é
sempre expressa de tal forma que quanto maior a habilidade, maior a
probabilidade de acerto no item.
Indo em direção ao conceito de TRI de Andrade (2000), Valle (1999)
explica a teoria de resposta ao item como sendo uma teoria de criação de
avaliações que objetiva identificar as proficiências, ou seja, os conhecimentos
que uma pessoa possui. Essa identificação é estimada a partir da analise feita
nas respostas dadas por um aluno no teste, pois quando um discente acerta
um item, significa que ele já aprendeu os conceitos abordados naquele item.
Desse modo se torna imprescindível que a TRI calcule a probabilidade
de uma questão ser acertada pelo educando, sem ele ter conhecimento para
respondê-la, para que as informações coletadas durante o processo de
avaliação possam ser consideradas confiáveis.
Modelo matemático de três parâmetros
A Teoria de Resposta ao Item é formada por vários modelos
matemáticos, e por isso pode ser utilizada em diversas áreas como: serviços,
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 8 -
gestão pela qualidade total, qualidade de vida, avaliação de intangíveis nas
organizações, usabilidades em sites e e-commerce e outros (TEZZA, 2009). No
entanto nesta pesquisa foi utilizado o Modelo Logístico (Matemático) de Três
Parâmetros (ML3), porque o objetivo de estudo deste trabalho está centrado
na análise de questões objetivas, para identificar quais as proficiências e
habilidades dos discentes.
A fórmula para se calcular o ML3 conforme explica (ANDRADE et al
2000) usa como variáveis cada um dos três parâmetros existentes neste
modelo que são: a dificuldade de um item, a capacidade de um item
discriminar sobre a aptidão do testando, e a probabilidade de acerto ao acaso
de um item. A fórmula usada para calcular estes parâmetros é:
Onde:
- 8 -D- 8 -Dd- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -䭚⪨Ƹɜ- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -
- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 -- 8 - P é a probabilidade de um indivíduo j com habilidade y
responder corretamente o item i e é chamada da Função Resposta do Item – FRI.
b é o parâmetro de dificuldade (ou de posição) do item i, medido na mesma escala de habilidade.
a é o parâmetro de discriminação (ou de inclinação) do item i, isto é, identifica a capacidade do item de informar sobre as proficiências do testando.
c corresponde ao parâmetro do item em representa a probabilidade de indivíduos com baixa habilidade responderem corretamente o item i, ou seja, com esta variável é possível ter noção se o sujeito acertou a questão por acaso (chute).
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 9 -
Agentes de software
Na literatura, o termo agente vem sendo discutido em diferentes
grupos de pesquisadores e ainda não existe um consenso sobre a definição de
agente. Nesta pesquisa temos como referencial teórico os estudos de
inteligência artificial desenvolvidos por Norvig e Russell (2003), que definem
um agente de software como sendo tudo o que pode ser considerado capaz de
perceber seu ambiente por meio de sensores e de agir sobre esse ambiente
por intermédio de atuadores.
Na perspectiva de Norvig e Russuell sobre o conceito de agentes,
convêm explicar que ambiente: trata-se da plataforma em que o agente esta
desenvolvendo todas as suas atividades, sensores: refere-se à capacidade dos
agentes tem de captar informações de um ambiente, e os atuadores:
significar que os agentes podem a partir de informações coletadas pelos
sensores criar ações a serem executadas no Ambiente.
Nesse sentido (GARCIA, 2005) explica que os agentes são personagens
computacionais que atuam de acordo com um script definido por um
desenvolvedor de software, entretanto, a complexidade utilizada na
programação de um agente é o que o diferencia dos demais algoritmos. Sobre
isso, (HUNS e SINGH 1997 apud GARCIA, 2005) cita duas características que
contribuem para a conceituação de um agente. São elas: Autonomia de
decisão onde em uma determinada situação (problema), os agentes criam
várias alternativas (soluções) e escolhem a melhor opção para alcançar seu
objetivo de resolver o problema, e a segunda a Autonomia de execução onde
os Agentes desenvolvem suas ações em um ambiente sem a intervenção de
seres humanos;
Portanto, podemos perceber, tanto na definição dada por Norvig e
Russell (2003), e nas particularidades de um agente apresentadas por Garcia
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 10 -
(2005), os agentes são algoritmos que a partir de uma complexa estrutura de
dados podem ter funções ou capacidades semelhantes às de um ser humano e
é justamente esta peculiaridade que os diferencia dos demais softwares.
2 MATERIAIS E MÉTODOS
Para concretização desta pesquisa faz-se necessário o uso de uma
metodologia que, na visão de Richardson (2010), são procedimentos e regras
utilizadas por determinado método. De acordo com Pacheco Junior et al.
(2007), através do método pode-se chegar a determinado objetivo. Desse
modo, compreende-se que método é a forma de proceder ao longo de um
caminho, seguindo os diferentes processos necessários para atingir um
determinado fim. Nesta seção, delineia-se o aporte metodológico utilizado
para implementação desta pesquisa, bem como o desenvolvimento da
sistemática proposta e análise estatística da situação.
Caracterização da Pesquisa
Essa pesquisa é do tipo teórico-aplicada, pois visa propor, aplicar e
validar uma sistemática para a implantação de um sistema de Avaliação
utilizando a TRI. Gil (2010) considera que o objetivo da pesquisa aplicada é
gerar conhecimentos com o propósito de aplicá-los em uma determinada
situação.
Entretanto, é uma pesquisa é do tipo quantitativa, pois utiliza
perguntas baseadas em instrumento, dados de desempenho e análise
estatística para o tratamento dos dados (GIL,2010). Richardson (2010)
consideram que o método quantitativo é amplamente utilizado na condução
das pesquisas, representando a intenção de garantir a precisão dos resultados
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 11 -
e evitar distorções de análise e interpretação, possibilitando uma margem de
segurança quanto às inferências.
Assim sendo, na visão de Gil (2010), temos uma pesquisa exploratória
porque utiliza pesquisa bibliográfica Gil (2010) ressalta que, “pesquisas
exploratórias são desenvolvidas com o objetivo de proporcionar visão geral,
de tipo aproximativo, acerca de determinado fato”. Portanto, visa
proporcionar maior familiaridade com a questão, com vistas a torná-lo mais
explicito, facilitando a construção de hipóteses. Com o objetivo de
proporcionar melhor entendimento do tema estudado. Realizou-se uma
pesquisa bibliográfica sobre TRI, onde a mesma é utilizada na elaboração de
uma sistemática para a implementação de uma ferramenta avaliativa, levando
em consideração a problemática apresentada.
Dessa forma, essa pesquisa compreende os procedimentos técnicos de
pesquisa bibliográfica, pelo levantamento de referências relacionadas a:
teoria de resposta ao item, avaliação da aprendizagem e os conceitos de
agente de software. Também são utilizados procedimentos experimentais,
pela utilização do software AVALIA nas simulações e análises de dados
coletados, a partir da aplicação de testes nos discentes do curso de
Matemática Licenciatura do CESC/UEMA.
Etapas da Pesquisa
O desenrolar deste trabalho aconteceu obedecendo três fases
centrais, sendo a primeira, a realização de uma breve revisão da literatura, a
segunda o modelagem e desenvolvimento da ferramenta AVALIA, e por fim,
analise dos relatórios criados pelo AVALIA a partir da aplicação de testes junto
aos discentes do Curso de Matemática Licenciatura do CESC/UEMA.
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 12 -
O inicio deste trabalho aconteceu com uma breve revisão da literatura
onde foi discutido a avaliação em uma perspectiva de subsidiar as decisões
tomadas pelos educadores na sala de aula, e para garantir a eficiência e
qualidade do ensino ofertado pela escola. Essa revisão literária representa
parte da fundamentação teórica desta pesquisa, e contribuiu para a criação
dos algoritmos do Agente de Software.
Por exemplo, os relatórios de desempenhos que foram criados, pois,
segundo (LUCKESI, 2006, p.93), (ROMÃO, 2005, p.57), (PERRENOUD, 1999,
p.47) e (Coll, 2006, p.149) os professores precisam saber em qual estágio de
aprendizagem o discente se encontra e quais habilidades ela já aprendeu,
com essas informações, o educador poderá regular a atividade docente,
criando novas estratégias ou ações no processo de ensino e aprendizagem dos
discentes.
Neste sentido, também foi desenvolvido à função de feedback do
Agente de Software, que representa uma ajuda pedagógica do educador para
os discentes durante processo de avaliação, ou seja, o professor(ar) ao
identificar o nível de conhecimento dos discentes, propõem aos estudantes
que conheça alguns arquivos que irão lhe ajudar na aprendizagem de novos
conceitos. Estas mensagens são inseridas na ferramenta junto ao cadastro das
questões, sendo que para cada questão existirá um feedback.
Desse modo, as mensagens podem ser anexadas pelos educadores
utilizando diversos tipos de arquivos como: links de páginas na web, vídeo,
links áudio, documentos nos formatos txt e pdf. Ainda existe a possibilidade
do docente redigir um texto para explicar o conteúdo trabalhado na questão,
por conta disso, a interface para criação de sugestões foi planejada levando
em consideração as principais funções de um edito de texto, onde o professor
poderá usar recursos como: definir tamanho e tipo da letra, alinhamento do
texto, possibilidade de inserção de formulas matemáticas, imagens e vídeo. A
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 13 -
figura 1 mostra a interface utilizada pelos professores para cadastrar o
feedback.
Na sequência, o trabalho também proporcionou uma revisão da Teoria
de Resposta ao Item, com ênfase na explicação do Modelo Logístico de Três
Parâmetros, utilizado na analise de provas objetivas. E, ao fim da
fundamentação teórica expomos, as considerações sobre as principais
características sobre a tecnologia de Agente de Software.
Após a revisão da literatura, a pesquisa entra na etapa de criação e
modelagem do software. Nesta fase, foram criados os casos de uso, bem como
o diagrama da arquitetura do software, onde todas as funções da ferramenta
foram documentadas. Para a criação dos casos de usos levou-se em
consideração os princípios da UML (Unified Modeling Language), que segundo
BOOCH (2005), é uma linguagem padrão para a elaboração da estrutura de
projetos de softwares.
Sobre a arquitetura do software, convém explicar que ela está
dividida em dois módulos, o primeiro, correspondente ao sensor do Agente
que é a interface gráfica do AVALIA, esta é responsável por captar as
respostas dos discentes ao resolver um determinado item. E o segundo
módulo, corresponde aos atuadores (ações) do Agente de software que, a
partir das informações (resposta dos itens) coletadas pelos sensores, reagem
criando os relatórios contendo dados referentes às resposta dos testes, e
ainda recomendam para os discentes referencias literárias para estudo, ou
seja, os feedbacks. A figura 1 a seguir apresentar o Sensor e o Atuador do
Agente de Software.
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 14 -
Figura 1: Diagrama do Agente de software
Fonte: do autor
Desse modo, com o fim da criação do projeto contendo todas as
funcionalidades da ferramenta, o AVALIA foi criado utilizando a tecnologia
Linguagem de Marcação de Hipertexto – HTML para criação das páginas web e
a linguagem de programação PHP - Personal Home Page. Para armazenar as
informações dos discentes e docentes, bem como as provas foi utilizamos o
banco de dados MYSQL.
Ao fim da fase de desenvolvimento do software, iniciou a fase de
analise dos relatórios criados pelo AVALIA a partir da aplicação de testes junto
aos discentes do Curso de Matemática Licenciatura do Centro de Estudos
Superiores de Caxias da Universidade Federal do Maranhão CECS/UEMA.
Esta etapa teve inicio com a realização de um estudo, envolvendo os
alunos(as) do curso supracitado, que compreende uma população de 150
alunos. A amostra se constitui por 45 discentes do 6º período do curso citado
acima, realizando uma prova de 25 itens, retirados de um banco de itens do
Exame Nacional do Desempenho dos Estudantes - ENADE 2005/2008/2011, e
aplicadas em junho de 2013.
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 15 -
Nesse estudo, foi feita a análise dos itens das provas de Matemática
aplicada aos alunos do 6º período do curso de Matemática Licenciatura do
CESC/UEMA 2013, bem como, das habilidades dos indivíduos referentes à
disciplina. Ressalta-se que 45 alunos participaram dessa avaliação. As provas
de Matemática foram constituídas de 25 itens de múltipla escolha. De acordo
com temas a seguir:
Quadro 1: Itens Analisados
Item Descrição do Item
01 Operações envolvendo números racionais e área de figuras planas
02 Resolução de Equação quadrática e elementos de Geometria
03 Números decimais e sua forma racional
04 Modelagem e solução de problemas do 1º grau
05 Solução de problemas do 1º grau envolvendo figuras espaciais
06 Problemas envolvendo Porcentagem
07 Problemas envolvendo operações fundamentais
08 Investigação de dados e tabelas envolvendo números primos
09 Funções exponenciais e suas variações
10 Problemas envolvendo equações do 2º grau
11 Construções geométricas
12 Igualdade de números irracionais
13 Mudança de linguagem escrita para a linguagem Matemática
14 Soluções e discussões de Sistemas Lineares
15 Composições de funções
16 Limites de Função
17 Razão entre áreas de figuras planas
18 Números complexos na forma Polar
19 Polinômios e porcentagem
20 Aplicação da Integral definida
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 16 -
21 Funções Diferenciáveis em R³
22 Estudo das Cônicas
23 Teoria dos Números
24 Aplicação da Derivada em funções reais
25 Derivadas Parciais
Fonte: do autor
A ideia da aplicação de uma avaliação do conhecimento do conteúdo
específico do curso de Matemática Licenciatura ministrado no CESC/UEMA
nasce a partir do reconhecimento da realidade imposta pelo MEC, obrigando
os estudantes do ensino superior a submeter-se à avaliação do ENADE a cada
ciclo de três anos.
Nesse sentido, o resultado da aplicação da avaliação com o uso do
Software AVALIA torna-se um recurso pedagógico imprescindível para
fundamentar as decisões futuras dos educadores sobre a prática pedagógica
em que estão atuando, e ainda é através dela que o corpo docente do
CECS/UEMA tem meios para criar novas estratégias de ensino que busquem
incentivar a aprendizagem dos educandos e consequentemente melhore o
desempenho dos discentes nas provas do ENADE.
A análise dos dados foi feita baseada na TRI, e para a estimação dos
parâmetros do modelo da TRI, foi utilizado o software AVALIA para gerenciar
o grande volume de dados e transformá-los em informação legível, para que
possa ser utilizada pelo corpo docente da CESC/UEMA.
Nesta pesquisa, utilizou-se o software AVALIA para analisar os dados
do experimento planejado para a “turma teste 1”, abaixo encontra-se o
recorte da tela da ferramenta com as resposta do “aluno 1”. Ver figura 2.
As estatísticas da TRI são salvas no banco de dados, juntamente com
as fontes de dados originais, que podem ser exportados para um arquivos de
texto para melhor compreensão das informações.
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 17 -
Para a elaboração dos itens e aplicação do teste foram utilizadas 25
itens retirados de um banco de itens relativos às provas do
ENADE/2005/2008/2011. As questões foram escolhidas por uma equipe de
professores de Matemática do Departamento de Matemática e Física do
CESC/UEMA. A avaliação foi aplicada para 45 alunos do 6º período do Curso de
Matemática Licenciatura e teve duração de 3 horas, apresentou questões de
múltipla escolha, relativas a conteúdo específico da Área de Matemática. A
figura 2 apresenta a captura da tela com a listagem das resposta de um dos
discentes que realizou o teste.
Figura 2: Captura de tela com listagem das respostas do aluno 1
Fonte: do autor
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 18 -
Atendendo as exigências do ENADE 2011, no componente específico da
área de Matemática, utilizou como referência o perfil de um profissional
capaz de:
i) conceber a Matemática como um corpo de conhecimentos rigoroso,
formal e dedutivo, produto da atividade humana, historicamente
construído;
ii) dominar os conhecimentos matemáticos e compreender o seu uso
em diferentes contextos interdisciplinares;
iii) analisar criticamente a contribuição do conhecimento matemático
na formação de indivíduos e no exercício da cidadania;
iv) identificar, formular e solucionar problemas;
v) valorizar a criatividade e a diversidade na elaboração de hipóteses,
de proposições e na solução de problemas;
vi) identificar concepções, valores e atitudes em relação à Matemática
e seu ensino, visando à atuação crítica no desempenho profissional.
Para tanto, buscou-se investigar a formação de um profissional ético,
competente e comprometido com a sociedade em que vive. Priorizando o
domínio de conhecimentos específicos com níveis diversificados de
habilidades e competências para que evidenciem a compreensão de temas
que transcendam ao seu ambiente próprio de formação e que sejam
importantes para a realidade contemporânea.
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 19 -
Figura 3: representação da frequência das respostas dadas pelos discentes
Fonte: do autor
De acordo com a figura 4 pôde perceber que as respostas dadas pelos
alunos aos itens, foram bastante diversificadas, o que não dar para avaliar o
grupo como um todo. Entretanto, destacam-se os itens: 5, 6, 10 e 11, que
estão relacionados respectivamente aos conteúdos: solução de problemas do
1º grau envolvendo figuras espaciais; problemas envolvendo porcentagem;
problemas envolvendo equações do 2º grau e construções geométricas. Tais
itens apresentaram maior concentração de respostas em uma determinada
alternativa.
Todavia, as informações obtidas não são suficientes para afirmar que
os referidos alunos foram bem ou mal no teste. Desse modo recorre-se a
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 20 -
análise dos itens, o que garantirá uma informação mais precisa sobre a prova
aplicada.
Análise da Prova
A interpretação da distribuição das respostas dos estudantes em cada
questão da prova foi feita inicialmente a partir dos seguintes parâmetros
descritivos de cada questão:
i) índice de facilidade – proporção de participantes que responderam
ao item corretamente;
ii) correlação ponto bisserial entre a resposta correta no item e a
pontuação total na prova;
iii) a média do total de acertos dos participantes que acertaram um
determinado item.
iv)
Os resultados revelaram que a prova apresenta questões difíceis (com
índices de facilidade inferiores a 20% de acertos – questões (2, 7,13,16,17,24
e 25). De acordo com a análise realizada, a prova não apresentou questões
fáceis, pois nenhum índice de acertos foi superior a 90%. As questões difíceis
envolvem conceitos como problemas envolvendo operações fundamentais,
Limites e Derivadas parciais.
Os resultados mostram as dificuldades apresentadas pelos estudantes,
na sua maioria de conceitos básicos de matemática, havendo assim, uma
necessidade de retomada desses conceitos antes da realização do ENADE.
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 21 -
3 RESULTADOS E DISCUSSÕES
As principais contribuições deste trabalho estão relacionadas aos
recursos tecnológicos e pedagógicos do software AVALIA que auxilia o docente
no processo de criação e analise dos resultados das avaliações aplicadas. As
funções desenvolvidas para os docentes no sistema são: automação do
processo de cadastro e edição das questões e das provas, bem como acesso a
relatórios contendo informações sobre o rendimento coletivo e individual dos
discentes nos testes. A figura 4 mostrar a interface criada para cadastro das
questões:
Figura 4: Interface para cadastrar questão
Fonte: do autor
Para contribuir com os discentes, a ferramenta desenvolvida oferece:
uma interface interativa para realização das provas, mensagens de feedback
contendo referências literárias que estão de acordo com estágio de
aprendizagem do aluno(a). Estas mensagens são enviadas pelo Agente de
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 22 -
Software, automaticamente, após o discente finaliza um teste, e ainda acesso
ao relatório individual de desempenho do discente na prova.
O AVALIA ainda disponibiliza outros recursos computacionais. São eles:
um banco de dados que armazena as informações dos usuários, todas as
provas, resultados e relatórios dos testandos. E ainda foi implementado um
módulo para gerenciar o cadastro e edição de todos os discentes e docentes
que utilizam a ferramenta.
4 CONCLUSÃO
A ferramenta desenvolvida torna-se um importante recurso que esta a
disposição dos docentes e discentes do ensino presencial e/ou à distância. Até
o momento o software AVALIA está sendo testada e serve para oferecer
informações tanto para professor(a) como para o aluno(a), simplificando o
trabalho de correção além de prover um diagnóstico mais preciso a respeito
dos alunos.
Com a análise dos dados realizada até o momento, conclui-se que a
através da ferramenta é possível identificar problemas tanto estruturais como
de ordem pedagógica e, sobretudo reavaliar as estratégias para o alcance dos
objetivos e do perfil proposto, buscando nortear um trabalho que venha
contribuir para melhor desempenho dos graduandos.
Ressalta-se que os resultados da prova realizada não foi animador,
mas foi uma excelente oportunidade de análise para os professores do
Departamento de Matemática e Física (re)pensarem o seu fazer pedagógico e,
no coletivo, construir ações, metas, realizar intervenções pedagógicas para
elevar o desempenho dos alunos, promovendo, assim, a equidade e a melhoria
da qualidade da educação, bem como a necessidade de identificar com
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 23 -
clareza o perfil dos alunos, compreendendo a realidade em que se encontram
e os rumos que almejam atingir.
Com a análise dos dados realizada até o momento, conclui-se que o
AVALIA é um recurso tecnológico que contribui na identificação das
proficiências dos discentes, sendo assim, a ferramenta cumprir o seu papel de
auxiliar docentes durante o processo de avaliação da aprendizagem escolar.
REFERÊNCIAS
ANDRADE, Dalton; TAVARES, Heliton; VALLE, Raquel. Teoria de resposta ao Item: conceitos e aplicações. Sinape, 2000.
BOOCH, Grady; RUMBAUGH, Jame; JACOBSON, Ivan. Uml: guia do usuário. Campus, 2005
CASTRO, Maria Helena Guimarães. Sistemas de avaliação da educação no Brasil: avanços e novos desafios. Revista São Paulo em Perspectiva, São Paulo, v.23, n.1. Disponível em: <http://www.seade.gov.br/produtos/spp/v23n01/v23n01_01.pdf>. Acessado em: 17 de junho de 2013.
GARCIA, Ana Cristina Bicharra.; SICHMAN, Jaime Simão. Agentes e sistemas multiagentes. In: REZENDE, Solange Oliveira. Sistemas inteligentes: fundamentos e aplicações. São Paulo: Manole, 2005. cap. 11.p. 269-306.
GIL, A.C. Métodos e técnicas de pesquisa social. São Paulo: Atlas, p.151, 2010;
LUCKESI, Cipriano Carlos. Avaliação da Aprendizagem Escolar: estudos e proposições. 18. ed. São Paulo: Cortez, 2006.
MOREIRA, Fernando de Jesus Junior. Aplicação da Teoria de Resposta ao Item (TRI) no Brasil. Revista brasileira de biometria, São Paulo, v.128, n.4.
NORVIG, Peter; RUSSELL, Stuart. Inteligência Artificial. Rio de Janeiro: Elsevier, 2004.
PASQUALI, Luiz; PRIMI, Ricardo. Fundamentos da teoria de resposta ao item- TRl. 2003. Disponível em: <http://pepsic.bvsalud.org/scielo.php?pid=S1677-04712003000200002&script=sci_arttext >. Acessado em: 23 de março de 2013.
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação
- 24 -
PERRENOUD, Philippe. Avaliação: da excelência à regulação das aprendizagens, entre duas lógicas. São Paulo: Artmed, 1999.
RICHARDSON, R. H. Pesquisa social: métodos e técnicas. São Paulo: Atlas, 2010;
TEZZA, Rafael.; BORNIA, Antonio Cesar. A Teoria de resposta ao item: vantagens e oportunidades para a engenharia de produção. IN: XXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO, 2009, Salvador. Anais... Salvador: Associação Brasileira de Engenharia de Produção, 2009.
VALLE, Raquel da Cunha. Teoria da Resposta ao Item. 1999. 136 f. Dissertação de mestrado (Programa de pós-graduação em Estatística) – Departamento de Ciências Exatas, Universidade de São Paulo, São Paulo, 1999.