43
Inteligência de dados no BNDES Rodrigo Gama Setembro 2019

Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

  • Upload
    others

  • View
    6

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Inteligência de dados no BNDES Rodrigo Gama Setembro 2019

Page 2: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Quem sou eu?

Disponibilização de dados

Futuro

10+ anos programador

3+ anos

gerente de projetos

2018 / 2019 Dados, Analytics, Storytelling, ML, IA...

Page 3: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Motivação

Page 4: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // O que é?

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

É a prática de transformar dados

crus em insights para o negócio.

Page 5: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Estrutura

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

Page 6: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Uma ciência interdisciplinar

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

Page 7: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // História

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

Page 8: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Quais as dimensões chave?

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

• Demandas do board • Dados (internos e externos) • Infraestrutura de TI • Pessoas

Page 9: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Quais as dimensões chave?

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

• Demandas do board • Dados (internos e externos) • Infraestrutura de TI • Pessoas

Page 10: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // História

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

Page 11: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Quais as dimensões chave?

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

• Demandas do board • Dados (internos e externos) • Infraestrutura de TI • Pessoas

Page 12: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science // Data Lake

Classificação: Controlado. Restrição de acesso: Empresas do Sistema BNDES. Uso no âmbito interno | Unidades Gestoras: ATI /DESIS4

Page 13: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Paradigma

Projeto de TI

Planilhas Relatórios

Desenhado pela TI! Que perguntas você quer

responder?

Page 14: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Self-service!

Data Science no BNDES // Novo Paradigma

Ingestão DataLake

Dados crus

Consumo

Bancos de dados, planilhas

Projeto do cliente! Que perguntas você quer

responder?

Page 15: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

3 meses

1 Novo Universo

Data Science no BNDES // Paradigmas

ETL +

Datalake 29 bases

De 6 meses a 1 ano

Page 16: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Estrutura

DATALAKE

Layer 1 Dados crus

D – 1 Cargas Diárias

Layer 2 Dados

Enriquecidos

Layer 3 Single Point of

Truth Camadas

semânticas

Page 17: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Casos de uso // Cruzamento de bases

4 Universos

3 Universos

Page 18: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Casos de uso // Cruzamento de bases

Ingestão

DATALAKE

2-3 horas; 2-3 dias

Automatização do processo!

Page 19: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Quais as dimensões chave?

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

• Demandas do board • Dados (internos e externos) • Infraestrutura de TI • Pessoas

Page 20: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science // Papéis

Data Engineer

Desenvolvedores de sistemas. Responsáveis técnicos pelos dados gerados.

Desenvolvedores de modelos. Exploram dados e produzem insights.

Elaboradores de relatórios e dashboards. Utilizam a informação para decisões de negócio.

Consumidores de relatórios e dashboards. Utilizam a informação para decisões de negócio.

Gestores de metadados, qualidade e compliance. Classificam as informações observando políticas existentes. Fazem interlocução com os Curadores.

Gestores do lake e dos processos relacionados. Realizam a ingestão, mantêm a pilha de aplicativos do lake e disponibilizam os dados para acesso.

Classificação: Controlado. Restrição de acesso: Empresas do Sistema BNDES. Uso no âmbito interno | Unidades Gestoras: ATI /DESIS4

Gestores das fontes de informação. Zelam pela qualidade, segurança e políticas de acesso aos dados.

Curador

Page 21: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Capacitação: Perfis

Page 22: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science // Treinamento

Classificação: Controlado. Restrição de acesso: Empresas do Sistema BNDES. Uso no âmbito interno | Unidades Gestoras: ATI /DESIS4

Page 23: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science // Treinamento

Page 24: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science // Pós graduação

Page 25: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Aplicações

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

E o que o BNDES está fazendo

com esses dados e essa estrutura?

Page 26: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Não esqueçam...

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

Page 27: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Aplicações

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

Projeto: Recomendação de Agentes

Financeiros

Page 28: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Recomendação de Agentes Financeiros

Page 29: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Recomendação de Agentes Financeiros

Page 30: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Aplicações

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

Métrica a otimizar: Taxa de conversão

das propostas do Canal MPME em

operações de crédito

Page 31: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Recomendação de Agentes Financeiros

Page 32: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Recomendação de Agentes Financeiros

Bases de dados do Banco e também externas

3 meses de trabalho

Testes com clientes!

Várias abordagens diferentes

Page 33: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Aplicações

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

Projeto: Detecção de Leads de

fomento

Page 34: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Geração de Leads

Page 35: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Aplicações

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

Métrica a otimizar: Em quais regiões geográficas estão concentradas as empresas que precisam de crédito BNDES e não têm

acesso a ele?

Page 36: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Aplicações

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

Projeto: Efetividade de uso dos

recursos do BNDES

Page 37: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Efetividade

Page 38: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Aplicações

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

Projeto: Previsão de default em

carteiras de crédito rural

Page 39: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Aplicações

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

Métrica a otimizar: Em quais regiões geográficas estão concentradas as empresas que precisam de crédito BNDES e não têm

acesso a ele?

Page 40: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Aplicações

Dados geográficos

Dados macroeconômicos

Diversas abordagens! Escolha da melhor abordagem baseada nos resultados preditivos

Fluxos financeiros de contratos de crédito rural

Fluxos financeiros de contratos de crédito rural

Page 41: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Data Science no BNDES // Aplicações

Paradigmas de Uso de Dados

Disponibilização de dados

Casos de uso

Futuro

Projeto: Dados abertos,

Transparência e controle social

Page 42: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

Dados no BNDES // Dados Abertos

Classificação: Controlado. Restrição de acesso: Empresas do Sistema BNDES. Uso no âmbito interno | Unidades Gestoras: ATI /DESIS4

Parceria com a CGU

Publicação de dados no dados.gov.br

Objetivo de permitir o controle social das atividades do banco

Page 43: Inteligência de dados no BNDES · Uma ciência interdisciplinar . Paradigmas de Uso de Dados . Disponibilização de dados . Casos de uso . Futuro

facebook.com/bndes.imprensa

twitter.com/bndes_imprensa

youtube.com/bndesgovbr

slideshare.net/bndes

Portal BNDES www.bndes.gov.br Atendimento Empresarial 0800 702 6337 Chamadas internacionais +55 21 2172 6337 Ouvidoria 0800 702 6307 www.bndes.gov.br/ouvidoria Fale Conosco www.bndes.gov.br/faleconosco

Obrigado.