Uso de mineração nos dados do Moodle para predição e

combate à evasão

Rodrigo de Moraes

Analista de negócios e cientista de dados - GVDASA

Mestre em Computação Aplicada - UNISINOS

Uso de mineração nos dados do Moodlepara predição e combate à evasão

GVwise StudentUsuário: moodlemoot2015

Senha: 123456

GVDASA: Perfil da empresa

• Localizada no TECNOSINOS (São Leopoldo)

• 28 anos de atuação

• Especialista em Sistema de Gestão Educacional

• Atuação exclusiva no segmento educacional

• Aproximadamente 700 clientes no Brasil

• Mais de 130 colaboradores

Predição de Evasão

Evasão

• ~40% dos alunos de IES públicas não completam o curso (Agência Senado, 2014)

• ~30% dos alunos de IES privadas não completam o curso (Agência Senado, 2014)

• Evasão de cursos totalmente EaD ~19% (CENSO ABED, 2013)

• Evasão de cursos semipresenciais ~15% (CENSO ABED, 2013)

• As perdas financeiras podem chegar a R$ 9 bilhões (NOGUEIRA, 2011)

Por que predizer a evasão?

• Possibilidade de realizar ações proativas e não apenas reativas

• Identificação individual de estudantes em risco

• Trabalho focado

• Ações personalizadas e, portanto, mais eficientes

Adaptado de Simpson, 2013

𝑅 = 𝐼𝑃𝑅 + 𝐴𝑃 + 𝐸𝐶𝐶 + 𝑆𝐸

R = RetençãoIPR = Identificação precoce de riscoAP = Ações proativasECC = Escolha Correta do CursoSE = Suporte Externo (Família, colegas...)

Mineração de Dados• Desde 1962 (Tukey, 1962)

• Processo de descoberta de conhecimento em base de dados (1996)

• Utilização de dados históricos para a descoberta de padrões

• Processo vs. técnicas

Processo de descoberta do conhecimento em base de dados, adaptado de Fayyad et al. 1996

Mineração de Dados Educacionais (MDE)

• Mineração de Dados + Dados Educacionais

• Desde 1995, “popularização” nos anos 2000

• Principais aplicações:

• Modelagem de comportamento de estudantes

• Realização de tarefas (associação)

• Otimização de ações (automatizadas ou recomendação)

• Associações com currículo, disciplinas e professores

MDE para Predição de Evasão (IES)

• Onde está a evasão???

MDE para Predição de Evasão (IES)

Rivergram, adaptado de Simpson, 2013

• Onde está a evasão???

Inscrições do Processo Seletivo

Realização do Processo Seletivo

Divulgação de Resultados

RematrículasAulasMatrículas

Etapas para a Predição de Evasão

• Unificação de dados (ERP, AVA, Biblioteca, Governo, Acesso e etc.)

• Análise do cenário da IE

• Definição do nível de evasão que será trabalhado

• Identificação dos dados mais relevantes

• Modelagem dos dados• Temporal• Tipo• Representação

Etapas para a Predição de Evasão

• Aplicação (treinamento) de técnicas de mineração de dados

• Validação e consolidação do modelo preditivo

• Classificação / Indicação

• Atualização do modelo

Dicas para a construção do modelo preditivo• Analise os dados e gaste tempo com isso

• Defina qual é o objetivo do modelo e deixe isso claro a todos os envolvidos

• Analise separadamente os diversos contextos existentes dentro da IE

• Certifique-se que os dados históricos são suficientes para se alcançar um grau de generalização satisfatório do modelo preditivo

• Esteja atento às mudanças que envolvem o registro de dados

• Versões das fontes de dados

• Ferramentas utilizadas na IE

• Desenvolva/utilize técnicas para qualificar os dados

E agora? O que fazer?

Learning Analytics

Adaptado de Greller e Drachsler 2012

Learning Analytics

Adaptado de Greller e Drachsler 2012

Learning Analytics

Adaptado de Greller e Drachsler 2012

Learning Analytics

Adaptado de Greller e Drachsler 2012

O que fazer com a predição de evasão?

• Montar uma equipe de permanência

• Elaborar um plano de ações para cada situação de risco

• Disseminar a cultura de combate a evasão na IE

• Utilizar um ambiente/ferramenta focada na gestão da evasão

• Avaliar constantemente os resultados de reversão de evasão

• Monitorar o uso das ferramentas disponíveis

GVwise: Integração de dados

Extração

Base de Dados do Moodle

Base Stagingdo Moodle

Transformação Base ODS

Consolidação

Data Warehouse

ETL do Moodle

GVwise: Integração de dados

Data Warehouse

ETL Moodle

ETL ERP

Mineração de Dados

GVwise: Processo de Mineração de Dados

• Para cada contexto há um processo de mineração diferente

• O pré-processamento dos dados é realizado dentro do processo de ETL

• Os mesmo passos são adotados para dados históricos e atuais

Seleção de contexto

Transformação

Treinamento

Avaliação de resultados

Consolidação do modelo

Classificação de dados atuais

Estudo de caso

Estudo de caso: cenário

• Cursos EaD de uma IES

• Histórico do Moodle desde 2010 (atualmente Moodle 2.5)

• LOGs históricos: ~ 89 milhões

• Média LOGs diários: ~ 225 mil

• Disciplinas bimestrais (9 semanas)

• Predição de evasão na disciplina

• Predição semanal a partir da 2ª semana

Estudo de caso

Estudo de caso

Estudo de caso

Estudo de caso

Estudo de caso

Estudo de caso

Estudo de caso: Mobile• Projeto desde 2013

• Motivação: qualificação dos LOGs

• Registro de LOG semelhante ao Moodle WEB

• Gestão de conteúdos baixados (off-line)

• Agregação de recursos sem vínculo com o Moodle

GVwise StudentUsuário: moodlemoot2015

Senha: 123456

Estudo de caso: MobileGVwise Student / Usuário: moodlemoot2015 / Senha: 123456

Estudo de caso: MobileGVwise Student / Usuário: moodlemoot2015 / Senha: 123456

Resultados: Predição de Evasão

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

80,00%

90,00%

100,00%

Módulo 2 Módulo 3 Módulo 4 Módulo 5 Módulo 6 Módulo 7

Geral

Evadidos

Não Evadidos

Resultados: Reversão de Evasão

Aprovados: melhoria de até 18%

Reversão: melhoria de até 25%

Conclusões• Modelos preditivos baseados em históricos de dados tendem a

ter melhores resultados

• A modelagem dos dados é a etapa mais importante do processo, sendo responsável por mais de 70% do sucesso do modelo e reversão

• Dependendo das técnicas utilizadas, o modelo pode ser sensível a mudanças nos cursos e materiais

• Deve-se medir o custo-benefício da modelagem adotada

• O modelo preditivo sozinho não é nada, é preciso ação!

Referências• AGÊNCIA SENADO. Despreparo de alunos leva a evasão nos cursos superiores, alerta Cristovam. Disponível em:

<http://www12.senado.leg.br/noticias/materias/2014/09/10/cristovam-buarque-evasao-no-ensino-superior>. Acesso em: 28 abr. 2015.

• ABED – ASSOCIAÇÃO BRASILEIRA DE EDUCAÇÃO A DISTANCIA. Censo EaD.br: relatório analítico da aprendizagem a distância no Brasil 2013. Disponível em: <http://www.abed.org.br/censoead2013/CENSO_EAD_2013_PORTUGUES.pdf>. Acesso em: 28 abr. 2015.

• EDUCATIONAL data mining. In: Wikipédia: a enciclopédia livre. Disponível em: <http://en.wikipedia.org/w/index.php?title=Educational_data_mining&oldid=649550795> Acesso em: 28 abr. 2015.

• FAYYAD, U. M.; PIATETSKY-SHAPIRO, G.; SMYTH, P. From data mining to knowledge discovery: an overview. In: Advances in KnowledgeDiscovery and Data Mining. [s.l: s.n.]. v. 17p. 1–34.

• GRELLER, W.; DRACHSLER, H. Translating Learning into Numbers: A Generic Framework for Learning Analytics. Educational Technology & Society, p. 42–57, 2012.

• NOGUEIRA, F. País perde R$ 9 bilhões com evasão no ensino superior, diz pesquisador. Disponível em: <http://g1.globo.com/educacao/noticia/2011/02/pais-perde-r-9-bilhoes-com-evasao-no-ensino-superior-diz-pesquisador.html>. Acessoem: 28 abr. 2015.

• PEÑA-AYALA, A. Educational data mining: A survey and a data mining-based analysis of recent Works. Expert Systems withApplications, 2014.

• PRESS, G. A Very Short History Of Data Science. Disponível em: <http://www.forbes.com/sites/gilpress/2013/05/28/a-very-short-history-of-data-science>. Acesso em: 28 abr. 2015.

• ROMERO, C.; VENTURA, S. Educational data mining: A survey from 1995 to 2005. Expert Systems with Applications, v. 33, n. 1, p. 135–146, jul. 2007.

• SIMPSON, O. Supporting students for success in online and distance education. [s.l.] Routledge, 2012.

Obrigado!

Rodrigo de MoraesGVDASA Informática

51 35911700

51 30915855

rmoraes@gvwise.com.br

www.gvwise.com.br

GVDASA: Perfil da empresa

Clientes

Matriz

Unidade

Caso de uso: Predição de Evasão

Resumo:

4 - Avaliação e realização de ações

Analise dos estudantes em risco Realização de ações

Aumento da Permanência

Gerência do Processo

3 - Predição e emissão de alertas

Emissão de alertaspersonalizados

Estudantes classificados conforme o risco

Classificação ou prediçãoIndicadores de estudantes (atuais)

2 - Geração e validação de padrões

Definição de perfis

Indicadores de estudantes (histórico)

Aprovados

Reprovados

Evadidos

Identificação dos grupos de interesse

Mineração de dados e identificação de padrões

1 – Mapeamento de indicadores

AVEA, ERP, CRM, ...Indicadores

Exploração dos dados

Estudo de caso: Predição de Evasão