1 |
Monitorização e Avaliação
Modulo C5
A tradução deste documento foi feita por “Translators Without Borders”, único
responsável pela qualidade e fidelidade ao original desta versão em português.
2 |
Objetivo do módulo
No final deste módulo, você será capaz de:
● Descrever a importância da monitorização e avaliação da comunicação do risco numa situação de emergência para a saúde pública
● Enumerar os principais componentes do enquadramento lógico para avaliação
● Descrever a diferença entre avaliação das actividades e avaliação dos resultados
Foto: WHO/Yu Zhao
3 |
Porquê a monitorização e avaliação (M&A para a comunicação do risco em emergência (CRE)?
● O investimento em termos humanos, financeiros e outros exige que sejamos capazes de provar que alcançámos os resultados
● Ser capaz de medir e comunicar os resultados do trabalho em comunicação do risco, tem uma enorme importância na “confiança” e “credibilidade” – princípios fundamentais da comunicação do risco
● Ao comunicar sobre a eficácia das atividades desenvolvidas, os produtos produzidos etc., mais recursos poderão ser mobilizados para o fortalecimento do trabalho futuro da CRE
Imagem: http://g02.a.alicdn.com/kf/HTB1WVO.KVXXXXcvXFXXq6xXFXXXs/Venda-quente-regra-flex%C3%ADvel-profissional-adapta%C3%A7%C3%A3o-fita-
m%C3%A9trica-costura-Superior-qualidade-medindo-m%C3%A9trica-suave-plano-r%C3%A9gua.jpg
Como medir QUALIDADE?
4 |
O que é monitorização?
● Um processo interno contínuo para garantir que as atividades parte do programa/projeto (ex. a implementação da capacidade em termos de CRE conforme referido na estratégia nacional) estão no bom caminho
● Monitorização das atividades deverá ser feita regularmente
● O processo deverá envolver feedback regular
● Progresso das atividades previstas, utilização dos recursos, resultados atingidos e sistemas institucionais (pessoal, policias, etc.) deverão ser monitorizados
Imagem:
http://www.galilcol.ac.il/pictures/pictures/M&E_1.jpg
5 |
O que é avaliação?
● Forma sistemática de compilar, analisar e utilizar a informação para responder a questões básicas sobre um projeto/programa.
● Pode ser interna, externa ou envolver muitos dos principais intervenientes
● Pode ser feita através de:
– Avaliação do processo: avaliar se a intervenção/modelo foi implementada(o) conforme planeada, se atingiu a população alvo e quais foram os maiores desafios e as estratégias de sucesso utilizadas- Exemplo: As formações em CRE foram completadas conforme planificadas?
– Avaliação de resultados: saber se, e em que medida, ocorreram as alterações esperadas e se essas mudanças podem ser atribuídas às atividades do programa. Exemplo: O pessoal formado foi destacado atempadamente para uma resposta de emergência?
Imagem: http://www.revistadigital.com.br/wp-
content/uploads/2012/06/success2.jpg
6 |
O modelo lógico
● Ajuda a definir a que se destina o programa ou a intervenção. A planificação e a avaliação andam de “mãos-dadas”. Por isso é necessário desenvolver atempadamente um modelo de avaliação lógico, logo no início da fase de planificação.
Impacto
Resultado
Produção
Contribuição
Componentes do modelo lógico
Fonte: Rice Project, Harvard School of Public Health
7 |
As abordagens do modelo lógico
❖ Resultados….as consequências dos
produtos…ex. informação chega ao
público, novos jornalistas reportam os
factos corretamente, as populações
adotam os conselhos de saúde
pública, tais como lavar as mãos,
vacinação, etc
❖ Impacto ….. Contribui para a
diminuição da mortalidade, diminuição
de doentes, diminui os danos
económicos, etc
Avaliação de produção: Impulsionada pela atividade
Avaliação de resultados: Impulsionada pela mudança
❖ Atividades……ex. desenvolvimento
da mensagem, envolvimento das
partes interessadas
❖ Produção........ex. produtos
desenvolvidos, ou quantidade de
atividades de alcance comunitário
efetuadas, ações de formação
realizadas, cartazes distribuídos,
anúncios de TV ou rádio produzidos
e divulgados, número de
conferências de imprensa, etc
8 |
O modelo lógico Evento ou
emergência de
saúde pública
Atividades
Evento ou
emergência de
saúde pública
INFORMAÇÃO
PÚBLICA
através dos canais preferenciais das populações afetadas
MOBILIZAÇÃO EM
MASSA ENVOLVIMENTO PRODUÇÃO RESULTADO
das comunida-des afetadas e em risco através da mobilização social, etc.
da comunida-de, família e indivíduos, inclusive através de influencia-dores
Informação fidedigna chega às pessoas e os rumores são resolvidos
Todas as pessoas em risco são capazes de tomar decisões informadas para atenuar os efeitos da ameaça (perigo)
IMPACTO
Menos mortes,
doenças e perdas
económicas e sociais
9 |
Avaliação da produção
● A Produção envolve as atividades ou serviços produzidos num programa, frequentemente expressas em termos de unidades, isto é, número de materiais IEC produzidos e divulgados, número de pessoas formadas, etc
● No nosso modelo lógico, a produção refere-se às atividades que realizamos e quem alcançamos (grupos-alvo)
10 |
Avaliação de resultados
● Um processo sistemático de recolha, análise e utilização da informação para avaliar a eficácia, importância e o impacto dos objetivos do programa/projeto num determinado espaço de tempo
● Implica medir as alterações em termos de conhecimento, atitude, comportamentos, capacidades, normas e práticas, tais como vacinação
● Mais do que um produto (campanhas de sensibilização, envolvimento das comunidades, material de IEC, anúncios de rádio, etc) é uma necessidade para que se possa produzir um resultado
Campanha de Vacinação Oral da Cólera no
Sul do Malavi, 2015
Foto: WHO/L. Pezzoli
11 |
Preparar a M&A
● Definir os indicadores com base no objetivo do programa/projeto
● Os indicadores são medidas acordadas para avaliar o progresso
● Os indicadores têm de ser comparáveis aos dados/informação de base antes e depois da implementação do programa/projeto
Imagem: http://luciane.com.br/wp-content/uploads/2014/07/Qualidade-2.jpg
12 |
Quais as principais questões?
● O programa/projeto atingiu os seus objetivos?
● O grupo alvo beneficiou do programa/projeto?
● Foi eficiente em termos de custos?
● A melhoria dos resultados pode ser atribuída ao programa/projeto?
● Quais as atividades mais eficazes e quais as menos eficazes?
Imagem: http://www.televendasecobranca.com.br/wp-content/uploads/2015/03/Voce-sabe-quais-sao-as-
habilidades-necessarias-para-oferecer-um-excelente-atendimento-ao-cliente-televendas-cobranca.jpg
13 |
Indicadores
E •Específicos
M •Mensuráveis
A
A •Atingíveis
R •Realísticos
C •Calendarizados
14 |
● Quantitativo – Métodos estruturais para a
recolha de dados incluindo inquéritos às famílias, recolha de dados, inquéritos estatísticos, etc.
Métodos de recolha de dados
● Qualitativo
– Entrevistas aprofundadas, observação, revisão de documentos, avaliação participativa, debates específicos de grupo
Imagem:
htItps://www.google.ch/search?q=indicators&hl=en&source=lnms&tbm=isch&sa=X
&ved=0ahUKEwj_09PT3b3KAhUB1RQKHQ5XBz8Q_AUIBygB&biw=2048&bih=749#
hl=en&tbm=isch&q=Data+collection+methods&imgrc=qq82HO9mDqZ8cM%3A
15 |
Exemplo do quadro lógico de uma resposta de comunicação dos riscos
Avaliação da situação
Envolvimento
comunitário/
mobilização social
Monitorização dos
meios de
comunicação social
Número de meios de
comunicação social
alcançados
Inputs
Recursos Humanos
Sistemas de
comunicação
Treinamento das
partes interessadas
Atividades Produtos Resultados
Desenvolvimento da
mensagem
Partilha da informação,
divulgação
Planificação, direção
estratégica,
implementação
Número de atividades
de alcance
comunitário
realizadas
Número de vezes em
que a informação foi
divulgada
Número de produtos
(brochuras, cartazes)
distribuídos
Número de
organizações
comunitárias
envolvidas
Coordenação da
comunicação
Alcance comunitário,
visitas, reuniões
A informação chega
rapidamente às
diversas audiências
As mensagens são
consistentes
Mudança da opinião
pública, reação
Existe transparência
Alteração da CAP da
população
Remoção das
barreiras à adoção
das mensagens
16 |
Exemplo de um modelo de abordagem de resultados de distribuição de vacinas
Inputs
•Fornecedores, autoridades e planificadores pandémicos participam nos esforços de planificação pandémica
Atividades
•Atividades que encorajam e permitem que os fornecedores, autoridades e planejadores atinjam os objetivos pandémicos comuns
Produto
•Fornecedores, autoridades planejadores alcançam acordos mútuos para distribuição de vacinas
Resultado
•Aumento da disponibilidade de fornecedores para administrar a vacina
Impacto
•Vacinação leva a benefícios sociais e de de saúde
17 |
Avaliação da capacidade de comunicação do risco
● O modelo mais recente para a monitorização e avaliação das capacidades nacionais de comunicação do risco avalia:
– 5 domínios da comunicação do risco : sistemas, comunicação interna e entre parceiros, comunicação pública, envolvimento comunitário, escuta e gestão de rumores
– 5 níveis de capacidade : de nenhuma a capacidade sustentável
Imagem: http://www.cesed.br/portal/wp-content/uploads/2015/04/imagem-mat%C3%A9ria-avaliar-para-melhorar.jpgg
18 |
Quadro lógico da avaliação de capacidades de
comunicação dos risco da OMS
Pontuação
Indicadores CC6.1 Sistemas de
Comunicação do
Risco (Planos,
mecanismos, etc.)
CC6.2 Comunicação e Coordenação da Comunicação Interna e com os Parceiros
CC6.3 Comunicação Pública
CC6.4 Envolvimento Comunicacional com as Comunidades Afetadas
CC6.5 Escuta Dinâmica e Gestão de Rumores
1. Sem capacidade
2. Capacidade Limitada
3. Capacidade
Desenvolvida
4. Capacidade
Demonstrada
5. Capacidade
Sustentável