Qualidade em Institutos de Estatística: a experiência internacional e
iniciativas no IBGE
Zélia Magalhães Bianchini (Diretoria de Pesquisas) Helena Piccinini (Diretoria de Informática)
Gestão da Qualidade Total
• Revolução conceitual nas últimas décadas
• Conceito que engloba não só o produto mas também a organização nas suas múltiplas facetas – Desde a concepção até o produto– Operacionalidade do processo de produção– Menor custo do produto e do processo de produção– Condições de trabalho
Qualidade da informação estatística • Usuário de produto
manufaturado
– examina, testa e usa
⇓
avaliação sobre a Qualidade do produto
• Usuário de informação estatística
– em geral não tem condições de assegurar sozinho a qualidade do produto
– apenas algumas dimensões da qualidade
– depende do produtor fornecer elementos sobre o gerencia-mento da qualidade e a mensuração de processos que permita o usuário avaliar “a adequação da informação para o uso”
Qualidade nos Institutos de Estatística
• Realidade diversa de cada instituição
• Enfoque baseado nos mesmos princípios – a existência dos usuários – a existência de processo para cada produto, que deve
ser padronizado para aumentar a qualidade do produto
• Boa relação com os informantes:– cooperação (e não competição) – carga de resposta
Qualidade nos Institutos de Estatística
• Os princípios e boas práticas são o que distingue o Instituto de Estatística de outros produtores
• Boas práticas ⇒⇒⇒⇒ Imagem ⇒⇒⇒⇒CREDIBILIDADE
Credibilidade
• Eficiência da organização depende da relevância e credibilidade da informação
• Credibilidade é baseada na reputação e confiança dos dados da organização e sustentada por todos os produtos
• Afetam diretamente a credibilidade:– Metodologia inapropriada – Suspeita de interferência política
Gestão da Qualidade Total nos INEs
• Discussão internacional e muitos avanços sobre o gerenciamento e a avaliação da qualidade nos INEs
– Eventos internacionais
– Rica bibliografia sobre “boas práticas”
• LEG - Leadership Expert Group– declaração comum para o Sistema Estatístico Europeu – modelo de gestão EFQM - European Foundation for Quality
Management
Qualidade em INEs – estratégias
• Credibilidade para a instituição e todos os produtos
• Relevância dos produtos
• Relacionamento efetivo com os informantes
• Processos que geram produtos de alta qualidade
• Avaliação e revisão regular das atividades
• Quadro de pessoal habilitado e motivado para assegurar qualidade
Qualidade em Estatísticas Oficiais: definida e avaliada em termos de
• Integridade (ambiente organizacional)
• Qualidade do produto
• Qualidade de processo
As dimensões da QualidadeIntegridade (ambiente organizacional)
• Independência• Marco institucional e legal• Confidencialidade• Adequação de recursos• Imparcialidade e objetividade• Profissionalismo• Transparência • Padrões éticos• Comprometimento com qualidade
As dimensões da QualidadeComponentes da qualidade do produto
• Relevância• Acurácia• Oportunidade• Pontualidade• Acessibilidade• Transparência do produto • Comparabilidade• Coerência • Exaustividade
Processos
• Processo estatístico • Processo de gerenciamento de dados • Processo administrativo • Processo de monitoramento / decisão • Processo analítico
� Cada processo deve ser:estruturado – monitorado – gerenciado – auditado -
melhorado
Componentes da qualidade de processo estatístico
• Metodologia sólida
• Procedimentos estatísticos apropriados
• Carga aos informantes não excessiva
• Eficiência nos custos
Análise de processo• Tipologias de processo produtivo estatístico
– pesquisas – registros administrativos
– estatísticas derivadas
• Decomposição do processo produtivo (macro-fases)
– planejamento – execução – validação– difusão
• Macro-fases avaliadas com relação:– fontes de erros – atividades de prevenção, correção e avaliação dos
erros
Qualidade em Estatísticas Oficiais:
• Várias formas de controle– o uso de frameworks de qualidade do produto
– a escolha dos indicadores-chave para avaliação de processos
– o processo de trabalho de padronização
– estudos para mensurar os componentes de erros
– a mensuração da performance organizacional e dos procedimentos de trabalho
– a identificação de potenciais fraquezas no sistema existente para revisão e melhoramento
Ferramentas de avaliação da qualidadeidentificar pontos fracos e fortes -
oportunidades de melhoria
• Auto-avaliação• Pesquisa de satisfação dos usuários • Pesquisa para medir motivação e profissiona-
lismo dos funcionários • Indicadores de perfomance • “Checklists” • Auditoria internas
– Grau de aplicação e adequação dos procedimentos
• US Bureau of the Census– Implementação de 3 tipos de auditorias voltadas para
qualidade nos últimos 2 anos
• Auditoria de Qualidade Interna dos programas de Pesquisa e Censos do Bureau
• Auditoria de Segurança da Qualidade – foco em produtos específicos ou atividades dentro do projeto, permitindo a avaliação das atividades do projeto e correção de ações
• Avaliações dos Padrões de Qualidade do Bureau -identificação das áreas para melhoramento e sua implementação.
Gerenciamento da qualidade nas estatísticas oficiais – experiências internacionais
• Statistics Canada– os processos e mecanismos caracterizados em 5
sistemas: ligação com o usuário, planejamento, métodos e padrões,disseminação, documentação
– Integrated Program Report - principal instrumento• cada programa é avaliado e revisto a cada 4 anos com uma
revisão seguida a cada 2º ano
– Quality Management Assessment - em desenvolvimento • avaliação global e sistemática de todas as pesquisas• preenchimento de questionários pelos gerentes • associação com a utilização com o Banco de Metadados
– cobre as fontes e métodos usados pelas pesquisas, indicadores de qualidade e definições das variáveis e classificações
Gerenciamento da qualidade nas estatísticas oficiais – experiências internacionais
• Relativamente fácil concordar com os princípios básicos e os frameworks sobre qualidade
• A implementação de um trabalho sistemático e gerenciamento da qualidade de todos os produtos e processos é um enorme desafio!– Produção de novas estatísticas ganha prioridade na
obtenção de recursos em relação aos relacionados com a avaliação da qualidade e a documentação das pesquisas já existentes.
• Treinamento, revisão sistemática de projetos ajudam a aumentar a sensibilidade p/ integrar a qualidade e agir em todas atividades
Gerenciamento da qualidade nas estatísticas oficiais – trabalho sistemático
Ferramentas de padronização e melhoria da qualidade dos processos e operações
• Manuais de boas práticas
• Relatórios de qualidade– simbolizam compromisso com a qualidade
• Documentação – assegurar e melhorar a qualidade e aumentar a compreensão e a
utilização dos usuários
Exemplos de relatórios / manuais
• Avaliações de qualidade para diferentes tipos de estatísticas econômicas (FMI)
• Quality guidelines (Stats Canada, Stats Finland)
• Frameworks nacional ou organizacional (OECD)
• Diretrizes para relatórios de qualidade(StatsCan, ONS, Stats Sweden, FCSM –Federal Committee on Statistics Methodology)
Código de Prática para um Sistema Estatístico Europeu de alta qualidade
• Implementação de ações de melhoramentos –projetos em melhores práticas
– Manual de métodos e ferramentas para avaliação da qualidade (jan/06 a jun/07)• Coordenado pela Alemanha em parceria com Hungria,
Portugal, Noruega, Suécia
– Manual de boas práticas para o compromisso entre acurácia e oportunidade (jan/06 a jun/07)• Coordenado pelo INSEE (France)
– Manual para avaliação e mensuração da carga aos informantes (jan a dez/06)• Coordenado pela Noruega em parceria com a Suécia e
Inglaterra
Ações relacionadas com a documentação da qualidade no IBGE
• Divulgação da Série Relatórios Metodológicos
• Desde março/2001 aderimos ao Padrão Especial de Disseminação de Dados (Special Data Dissemination Standard – SDDS) do FMI
• Aguardamos divulgação pelo FMI do Relatório sobre a Observância de Normas e Códigos (ROSC),para as Contas Nacionais e Índices de Preços • baseado no Data Quality Assessment Framework - DQAF
Convênio de cooperação União Europeía / Mercosul
• 2002 - Estudo metodológico “Sistema de indicadores de Qualidade” – objetivo de propor um sistema de indicadores como
instrumentos de medição da qualidade do produto e de processo
• 2006 – Grupo de trabalho sobre Qualidade –diagnóstico, assistência técnica e aplicação de um conjunto de indicadores comuns
Sistema de Indicadores de Qualidade implementação no IBGE
• Inserido no Sistema de Metadados do IBGE
• Desenvolvido em ambiente de microcomputador, disponível até o momento para usuários internos
• Banco de Metadados residente em um servidor usando SGBD Oracle e o sistema operacional MS Windows NT 2000 Server
• Atualizações da base de metadados são suportadas por uma aplicação cliente-servidor em Visual Basic 6
• Consultas aos Indicadores de Qualidade podem ser feitas através de aplicação web onde estão disponíveis também opções para geração de relatórios.
Extensões no Modelo MetaBD
FASES DO PROCESSO
(11)
UNIDADE DE AVALIACAO
(12)
COLETA DE DADOS(10)
INDICADOR DE QUALIDADE DA
UNIDADE DE AVALIAÇÃO (13)
PROCESSO DE PRODUÇÃO DE
ESTATÍSTICAS (1)
OCORRENCIA DO PROCESSO
(2)
INDICADOR DE QUALIDADE DO PROCESSO (6)
TIPO DE INDICADOR DE
QUALIDADE(5)
PERIODO(4)
UNIDADE DE INFORMAÇÃO
(3)
TECNICA INVESTIGAÇÃO
(8)
TIPO DE REGISTROADMINISTRATIVO
(9)
TIPO DEPROCESSO
(7)
Relatório Padrão para Pesquisas
Características do Processo Qualidade do Produto Qualidade do Processo
Nome do Processo Relevância Cadastro e coleta de dados
Descrição do Processo Erros amostrais Revisão e codificação
Cobertura ou Abrangência Erros não amostrais manual
Periodicidade Oportunidade Entrada de dados
Nível de Estimação Pontualidade Codificação automática
Tipo de Processo Acessibilidade Crítica e Imputação
Descrição da População Objetivo Transparência do produto Elaboração ou Preparação
Unidade de Informação Comparabilidade Período ou Duração
Técnica de Investigação Coerência Custos
Coleta de Dados Exaustividade
Principais Variáveis
Grandes transformações na produção de estatísticas
• Princípios fundamentais das estatísticas oficiais refletindo as boas práticas– Comissão de Estatística das Nações Unidas, 1994
• Novas tecnologias e métodos de produção– coleta dos dados, tratamento de não-resposta,
estimação, confidencialidade …
– Princípios de disseminação– divulgação de calendário, metadados, formas de
comunicação …
• Temos avanços significativos na produção de informações no IBGE nos últimos anos e um conjunto de exemplos de boas práticas estatísticas ou iniciativas de melhoramento
• Buscamos os melhores métodos e práticas de produção de pesquisas e de análises de seus resultados, sempre atentos às recomendações internacionais
• Temos perspectiva em responder as crescentes demandas com transparência, maior qualidadee rapidez