Aplicação do modelo EGIPSS às metas estratégicas do Departamento
de DST, Aids e Hepatites Virais
Seminário "Avaliação para a melhoria do Sistema Público de Saúde: Perspectivas e Controvérsias“
ENSP/DENSP
06/12/2012
Central de Monitoramento e Avaliação – CM&A
Equipe
Ruy BurgosAna Roberta Pascom
Elizabeth M SantosMarcela R Arruda
Thiago AmorimArtur Sousa
Juliana Givisiez
CM&A e avaliação de desempenho
• Necessidade de fortalecimento das estratégias de gestão eficiente e efetiva dos recursos públicos com necessidade de melhores resultados
• A redução de padrões e parâmetros de sucesso a alcance de metas estáticas com excessivo foco nos componentes técnicos
• Descompasso entre as abordagens e modelos de avaliação e as concepções do avaliando (dispositivo de normatização, sistema, rede)
• Ênfase nas teorias de causação em detrimento das teorias de ação transformadora
Objetivo
Aplicar o modelo EGIPSS para avaliação do desempenho das metas estratégicas do Departamento de DST, Aids e Hepatites Virais
Metodologia I• Revisão sistemática da literatura explorando a
capacidade avaliativa dos modelos de desempenho
• Definiu-se a capacidade avaliativa como a possibilidade dos modelos de descrever, explicar e julgar os domínios do avaliando, ou seja, a sua potência em modificar o problema (controle de riscos e danos), seus modos de funcionamento (produção, qualidade técnica e custo) e a sua interface interativa com os usuários
• Identificou-se o EGIPSS como o modelo com maior potência avaliativa
Metodologia II• Procedeu-se a classificação das estratégias,
marcos intermediários, metas e indicadores do planejamento do DDAHV para o ano de 2012 de acordo com os domínios e alinhamentos previstos no modelo
• Realizou-se ainda a análise estratégica (documento) a análise lógica e a apreciação normativa, caracterizando-se a implementação e alcance do proposto para cada meta
Modelo EGIPSS
Análise estratégica: Questões1. Quais são os problemas prioritários a serem
resolvidos no período proposto? 2. Existe um modelo causal que ligue as
intervenções e a resolução do problema? Existe uma priorização das causas a serem modificadas considerando a governabilidade?
3. A população que a intervenção visa é realmente aquela que sofre os efeitos do problema? Ela é numericamente delimitada?
4. O Plano especifica os parceiros levando em conta o ambiente estratégico, político e institucional da intervenção?
Análise lógica: Questões1. Existe uma modelização das intervenções?
2. Quais lacunas foram identificadas a partir do processo de modelização?
3. As atividades são tecnicamente suficientes e aplicáveis?
4. As ações e os recursos foram coordenados e alocados conforme as necessidades das atividades?
5. Como foram desenvolvidos os modelos lógicos das atividades? As barreiras e facilitadores foram identificados?
Análise de produção e implementação:Questões
1. Estamos executando o planejado?
2. Os insumos estão disponíveis para produção de atividades no momento oportuno, em quantidade e com a qualidade necessárias?
3. As atividades são coordenadas, seguem padrões de boas práticas e respondem as necessidades técnicas dos usuários?
4. As atividades se acomodam as necessidades “humanas”dos usuários?
RESULTADOS
Análise Estratégica1. O Documento não contem a metodologia de
elaboração e não há referencia a critérios de priorização de problemas ou de causas a serem resolvidos no período proposto
2. As metas estratégicas incorporadas ao documento expressam as relações com parceiros e não necessariamente aquelas específicas do Departameto
Análise Estratégica
Quadro 1. Distribuição das atividades segundo domínios e alinhamentos
Domínios Alinhamentos AIDS-SUSAgenda
EstratégicaOutros Total
Alcance de objetivos e metas e produção e coordenação
Tático 32 31 7 70
Adaptação e manutenção e criação de valores
Contextual 2 5 9 16
Adaptação e produção e coordenação
Alocativo 10 4 0 14
Adaptação e alcance de objetivos e metas
Estratégico 24 0 1 25
Manutenção e criação de valores e alcance de objetivos e metas
Legitimação 0 8 0 8
Total 68 48 17 133
Classificação dos marcos intermediários por domínio e alinhamento
Marco intermediário Domínio Alinhamento Desfecho de sucesso
Testes rápido para HIV adquiridos e distribuídos.
Produção e coordenação e alcance de objetivo
táticoConvergência entre aquisição, distribuição e dispensação
Multiplicadores em testagem rápida capacitados.
Populações vulneráveis de capitais com acesso à testagem ampliado.
Manutenção e criação de valores e alcance de
objetivolegitimação
Convergência entre missão e estratégia
específica para população alvo
Acesso à testagem pela população em geral ampliado.
Adaptação e produção alocativo
Consistência entre metas, plano de
implementação e execução financeira
Capital das regiões sul e sudeste com pelo menos um CTA de Referência para atendimento para as populações HSH e travesti estabelecidas
Manutenção e criação de valores e alcance de
objetivolegitimação
Convergência entre missão e estratégia
específica para população alvo
Análise Estratégica1. Metas referem-se aos domínios de adequação,
produção/ coordenação e alcance de objetivos (alinhamentos estratégicos e táticos)
2. Destaca-se a pouca relevância dada a legitimação, alocação e alinhamento contextual
3. Não há uma meta sequer para o alinhamento operacional (Valores e Produção/coordenação)
Análise Lógica• Intervenções são propostas sem modelização
• As metas não se integram entre si e não espelham o conjunto das atividades do Departamento
• Tratadas isoladamente as metas evidenciam ausência de marcos intermediários chaves
Pressuposto: O diagnóstico precoce da infecção pelo HIV/aids está associado ao melhor prognóstico, reduzindo a transmissão, a mortalidade e contribuindo para a melhoria da qualidade de vida.
Objetivo estratégicoRedução do diagnóstico tardio de HIV/aids
Indicadores de produção
•Número (460) de multiplicadores em TR e Aconselhamento para Atenção Básica capacitados.
Projeto pedagógico de educação permanente para teste rápido e aconselhamento nas 27 UF elaborado.
Manual de Implicações Éticas em Aconselhamento revisado.
Número de profissionais da rede capacitados por meio do EaD em Aconselhamento.
TELELAB atualizado e ampliado Número de manuais de utilização de testes rápidos para HIV elaborado e atualizado.
Indicadores de produção •Número de convênio com os produtores nacionais em execução acompanhados.
•Número de testes rápidos para os estados distribuídos conforme demanda.
•Número de testes rápido distribuídos para as capitais de forma descentralizada conforme demanda.
•Monitoramento da distribuição de testes rápidos aos Estados.
MetasReduzir em 10%, passando de 34% para 31% em 2011. (Linha de Base 2010: 34% (cd4<200))
Indicador de resultadoNº de indivíduos com diagnósticos tardio de HIV/aids reduzido em 10%, passando de 34% para 31%.
Marco intermediário Testes rápido para HIV adquiridos e distribuídos. (Milhões)
Marco intermediárioMultiplicadores em testagem rápida capacitados.
Marco intermediário Populações vulneráveis de capitais com acesso à testagem ampliado.
Indicadores de produção
•Número (4 para 12 capitais) da estratégia de testagem "Quero Fazer" ampliado.
Portaria de serviços e fortalecimento dos CTA localizados nas capitais publicada.
Edital de serviços para adequação de estrutura e ações extramuro em CTA elaborado conforme Portaria.
Marco intermediário Acesso à testagem pela população em geral ampliado.
Indicadores de produção
•Estratégia de testagem "Fique Sabendo" ampliada.
Marco intermediário Capital das regiões sul e sudeste com pelo menos um CTA de Referência para atendimento para as populações HSH e travesti estabelecidas
Indicadores de produçãoEstratégia para validação da proposta de programa de promoção e atenção à saúde para HSH e Travestis soronegativas pelos Coordenadores de DST/Aids de estados e capitais apresentado.
Protocolos para abordagem à populações vulneráveis elaborado.
Linhas de cuidado para populações vulneráveis elaboradas.
Necessidade de adequação da estrutura dos CTA identificada.
Monitoramento e Avaliação.
Problema: Elevada proporção de indivíduos com diagnóstico tardio da infecção pelo HIV/aids.
Pressuposto: O diagnóstico precoce da infecção pelo HIV/aids está associado ao melhor prognóstico, reduzindo a transmissão, a mortalidade e contribuindo para a melhoria da qualidade de vida.
Objetivo estratégicoRedução do diagnóstico tardio de HIV/aids
Indicadores de produção
•Número de laboratórios com técnicos capacitadas na testagem CD4•Número de capacitações na testagem CD4 realizadas
•. Número de técnicos capacitados na testagem CD4
Indicadores de produção •Número de teste de CD4 adquiridos•Número de teste CD4 distribuídos para estados e capitais •Proporção de estados e capitais com desabastecimento de teste de CD4
MetasReduzir em 10%, passando de 34% para 31% em 2011. (Linha de Base 2010: 34% (cd4<200))
Indicador de resultadoNº de indivíduos com diagnósticos tardio de HIV/aids reduzido em 10%, passando de 34% para 31%.
Marco intermediário Testes CD4 adquiridos e distribuídos. (Milhões)
Marco intermediárioRecursos humanos a capacitados.
Marco intermediário Redes laboratorial de capitais implementadas
Indicadores de produção
•Aumento na oferta de serviços de testagem de CD4
Marco intermediário Acesso ampliados à testagem de CD4 para pessoas com resultado positivo para HIV/aids
Indicadores de produção
•Aumento do grau de sensibilização da população sobre a testagem de CD4•Aumento do grau de conhecimento da população sobre o local e funcionamento dos serviços que realizam a testagem•Número de CD4 realizados•Aumento da cobertura de testagem de CD4
Marco intermediárioMonitoramento de aquisição, distribuição e qualidade dos lotes
Indicadores de produção
•Aquisição e distribuição de testes CD4 monitorados•Número de lotes de testes adquiridos com qualidade verificada•Proporção de teste de CD4 com data de validade vencida
Problema: Elevada proporção de indivíduos com diagnóstico tardio da infecção pelo HIV/aids.
Análise de produção e implementação:
Meta: Diagnóstico tardio da infecção pelo HIV reduzido em 10%
Marco Intermediário AtividadesRealização da
atividade
Teste rápido para HIV adquiridos e distribuídos
Acompanhamento da execução do convênio com os produtores nacionais
Sim
Distribuição de TR para os Estados conforme demanda Sim
Descentralização do TR para as capitais conforme demanda Não
Monitoramento da distribuição de testes rápidos aos Estados Sim
Multiplicadores em testagem rápida capacitados
Capacitar 460 multiplicadores em TR e aconselhamento para Atenção Básica
Sim
Elaboração de projeto pedagógico de educação permanente para teste rápido e aconselhamento nas 27 UF
Sim
Revisão do Manual de Implicações Éticas em Aconselhamento Não
Capacitação de profissionais da rede através do EaD em Aconselhamento
Não
Atualização e ampliação do TELELAB Sim
Elaboração e atualização de manuais de utilização de testes rápidos para HIV
Sim
Meta: Diagnóstico tardio da infecção pelo HIV reduzido em 10%
Marco Intermediário AtividadesRealização da
atividade
Capitais com acesso à testagem pelas populações vulneráveis ampliada
Ampliação da estratégia de testagem quero fazer de 4 para 12 capitais
Não
Publicação da Portaria de serviços e fortalecimento dos CTA localizados nas capitais
Não
Elaboração de edital de serviços para adequação de estrutura e ações extramuro em CTA conforme Portaria
Não
Acesso à testagem pela população geral ampliado Ampliação da estratégia de testagem “Fique sabendo” Sim
Capitais das regiões sul e sudeste com pelo menos um CTA de referência para atendimento para as populações HSH e travesti estabelecidas
Apresentação da estratégia para validação da proposta de programa de promoção e atenção à saúde para HSH e Travestis soronegativos pelos Coordenadores de DST/Aids de estados e capitais
Não
Elaboração de protocolos para abordagem a populações vulneráveis
Não
Elaboração das linhas de cuidado para populações vulneráveis
Não
Identificar necessidade de adequação da estrutura dos CTA
Sim
Monitoramento e Avaliação Não
Meta: Diagnóstico tardio da infecção pelo HIV reduzido em 10%
Percentual de alcance da meta: 107%
Grau de implementação das atividades: 47,4%
Previsto Alcançado31% 29%
Barreiras: •Falta do insumo e/ou produção intermitente•Baixa coordenação entre aquisição e distribuição (estados/capitais)•Diversidade e baixa qualidade no controle logístico incluindo monitoramento das perdas •Rotatividade de profissionais•Capacitação pouco adequada às necessidades específicas do sistema•Baixa cultura de monitoramento como ferramenta de gestão•Lentidão dos processos de liberação/certificação de teste de CD4•Baixo follow-up de HIV positivos referenciados para testagem de CD4•Falta do protocolo de atividades do “Fique Sabendo”•Capacitação pouco adequada às necessidades específicas da estratégia “Quero Fazer”•Baixa conexão das comunidades gays e travestis com os serviços de saúdes locais•Baixa sustentabilidade das ONG Recomendações: •Monitoramento da produção de insumos para prever possíveis desabastecimentos•Assessoria direta do Departamento junto aos estados para fomentar o ajuste entre as necessidades de aquisição e distribuição•Aperfeiçoamento do controle logístico•Adequação das capacitações as necessidades específicas do sistema
Meta: Diagnóstico tardio da infecção pelo HIV reduzido em 10%
Grau de alcance das metas por área do DDAHV segundo PME-2012
Coordenação Meta propostaMeta
informadaMeta
executadaAlcance (%)
Cuidado e Qualidade de Vida (CQV)
17 0 - -
Direitos Humanos, Risco e Vulnerabilidade (DHRV)
60 41 24 58,5
Sustentabilidade, Gestão e Cooperação (SGC)
56 56 21 37,5
Total 133 97 45 46,4
Análise de produção e implementação
• O instrumento de monitoramento se restringia às atividades das metas propostas e era de fácil preenchimento (sim ou não), ainda assim 28% delas não foram preenchidas
• O grau de implementação das metas estratégicas foi de 46,4%, considerado insatisfatório
Considerações Finais
• A análise estratégica evidencia consistência parcial, a análise lógica e a caracterização dos mecanismos de implementação sugerem inconsistências para execução das estratégias
• Essas evidências podem estar relacionadas à ênfase dada à gestão por resultados no âmbito federal, coerente a uma estratégia de implementação de dispositivos de normatização, contraposta ao planejamento estratégico sistêmico