Upload
internet
View
117
Download
1
Embed Size (px)
Citation preview
-- PNOTA -- Uma Aplicação para Correção
Assistida de Questões DiscursivasFilipe Wall Mutz
Agenda
• Motivação• Revisão de Literatura• A Interface de Correção• Componentes do Software• Experimentos• O Framework• Conclusão e Trabalhos Futuros
Motivação
“Para se tornar um bom piloto são necessárias muitas horas de vôo.”
Para se tornar um aluno eficaz, é necessária muita prática
Responsabilidades Burocráticas e Cargos a desempenhar
Turmas maiores, com grupos heterogêneos
Proposta
Criar uma ferramenta para auxiliar o especialista humano a corrigir respostas
em menos tempo.
Automatização
Revisão de Literatura
Sistema Online de Atividades de Classificação [1]
• Disciplina Representação Temática no curso de Biblioteconomia da UFES
• O Aluno deveria classificar notícias de jornal• O sistema corrigia automaticamente as
respostas dos alunos
• Alunos motivados a realizarem mais exercícios• Identificação de perfis por meio de relatórios
gráficos
Resultados
Nivelamento do Aprendizado na Turma
Sistema Online de Atividades de Indexação [2]
• Disciplina Representação Temática II no curso de Biblioteconomia da UFES
• O aluno deveria preencher quadros de indexação com base na análise sistemática de textos
• Professor passou a corrigir grupos de respostas.
Resultados
De 7009 respostas, apenas 6 precisaram ser corrigidas manualmente!
A Interface de Correção
10
10
10
Componentes do Software
O Modelo Vetorial de Representação de Documentos
• Objetivo: transformar textos em vetores (pontos no espaço)
• Como: Contando a frequência das palavras importantes
Resposta 1: “Itens de dados como = Entidade, atributo e relacionamento.”
Resposta 2: “Entidades, relacionamentos e atributos.”
Resposta 3: “Entre os elementos de um banco de dados podemos citar: a entidade, o relacionamento e os atributos.”
Pergunta: “Segundo o livro da disciplina, quais são os elementos básicos do modelo ER?”
Resposta 1: “Itens dados Entidade atributo relacionamento”
Resposta 2: “Entidades relacionamentos atributos.”
Resposta 3: “Entre elementos banco dados podemos citar entidade relacionamento atributos.”
Palavra Resposta 1 Resposta 2 Resposta 3
Atributos 1 1 1
Banco 0 0 1
Citar 0 0 1
Dados 1 0 1
Elementos 0 0 1
Entidade 1 1 1
Itens 1 0 0
Relacionamentos 1 1 1
A Seleção da Ordem de Correção
• Corrigir primeiro respostas que provavelmente possuem notas diferentes
• Farthest Insertion usando as representações vetoriais das respostas
1
23
4
1
23
4
5
6
7
8
9
A Predição de Notas
• Respostas parecidas terão notas parecidas• A Predição é atualizada a cada rodada de
correções
Nota 10
Nota 0Nota 5
5.78
8.40
3.70
3.55
2.39
4.90
Pontos de Parada
• A predição será boa quando se aproximar da nota dada pelo humano
• Uma variação de nota de mais ou menos 0.5 pontos é imperceptível
Nota 10
Nota 0Nota 5
Nota Estimada: 4.89
Nota Estimada: 7.59Nota Estimada: 5.63
Erro Médio Estimado: 4.43
Experimentos
Turma de SGBD da UFES
• 25 questões e 320 respostas
Turma de SGBD da UFES
Turma de SGBD da UFES
• Tempo para correção manual: 5h 18min• Tempo com uso do sistema: 54min
Economia de 4h e 26min com uma taxa de acerto de 69.43%
Turma de Introdução à Computação da Universidade do Norte do Texas
• 80 questões e 2273 respostas
Turma de Introdução à Computação da Universidade do Norte do Texas
Turma de Introdução à Computação da Universidade do Norte do Texas
• Tempo para correção manual: 1d 13h 41min• Tempo com uso do sistema: 5h 31min
Economia de 1d 8h e 21min com uma taxa de acerto de 55.01%
Conclusão e Trabalhos Futuros
Contribuições
• Framework para estudo de ferramentas para auxílio à correção de questões com pequenas respostas discursivas
• Protótipo de ferramenta.• Experimentos com bases de dados em
português e em inglês.
Resultados
• O protótipo alcançou uma taxa de acerto satisfatória na base de dados em português e uma taxa de acerto baixa na base de dados em inglês
• Foi verificado que a utilização da ferramenta pode trazer economia de esforço para o especialista humano
Trabalhos Futuros
• Estudo de novos algoritmos de seleção, predição e de parada
• Estudo da possibilidade de uso das estruturas de similaridade entre as respostas para cálculo das notas
• Realização de experimentos– Bases de Dados– Ferramentas de Recuperação da Informação
Referências
1. OLIVEIRA, M. et al. Uma Metodologia para Avaliação Formativa em um Ambiente de Ensino e Aprendizagem de Classificação em Biblioteconomia. XI ENACIB, 2008.
2. OLIVEIRA, M. et al. Uma Tecnologia de Agrupamento de Respostas para Redução de Esforço de Correção de Atividades em Sistema Online de Apoio à Avaliação Formativa em Indexação. Proceedings of XI Encontro Nacional de Pesquisa em Ciência da Informação, 2010.