Embed Size (px)
Citation preview
No rumo certo
Guia para Monitoramento e Avaliação de
Projetos Baseados em Comunidades
© Julie Smith
A gente não deve monitorar e avaliar só porque o doador pediu.
Publicado pela UNESCO
7, place de Fontenoy, 75352 Paris 07 SP, France
© UNESCO 2010
Todos os direitos reservados
Versão original
Publicada em 2009 pela UNESCO
© UNESCO 2009
O autor responsabiliza-se pela escolha e apresentação dos factos contidos no presente trabalho,
bem como pelas opiniões que nele são manifestadas, as quais não são necessariamente
compartilhadas pela Organização das Nações Unidas para a Educação, Ciência e Cultura
(UNESCO) e não vinculam a Organização.
As designações empregadas e a apresentação de material em toda a publicação não
pressupõem a expressão de opiniões de qualquer natureza por parte da UNESCO com respeito
ao estatuto legal de quaisquer países, cidades ou áreas, ou das respectivas autoridades, nem
relativamente às suas fronteiras ou limites.
Desenho gráfi co: UNESCO
Impresso na França
ED-2010/WS/34 – cld 2252.10
3
Sumário
Agradecimentos ..................................................................... 4
Prefácio ................................................................................. 5
Acrônimos ............................................................................. 6
Resumo ................................................................................. 7
Seção 1 Introdução ................................................................ 9
Seção 2 Etapas para criar, planejar e avaliar um projeto .............. 17
Seção 3 O modelo lógico ................................................... 25
Seção 4 Como criar um modelo lógico ................................... 39
Seção 5 Como estruturar e defi nir a sua avaliação ..................... 45
Seção 6 Técnicas e ferramentas de pesquisa ............................ 53
Seção 7 Avaliação participativa .............................................. 6 1
Seção 8 Análise e divulgação de dados .................................. 65
Seção 9 Referências, bibliografi a comentada, anexos ................. 69
4
AgradecimentosEste guia foi produzido sob a direção da Divisão da Educação Básica da UNESCO.
O presente trabalho só pôde ser realizado graças aos esforços e ao apoio de um grande número de
pessoas e organizações envolvidas na iniciativa “Another Way to Learn” da UNESCO. Em primeiro
lugar, a equipe do projeto gostaria de expressar o seu agradecimento à valiosa assistência de
Rhiannon Barker na redação do documento de apoio para pesquisa e avaliação de uma série de
programas no âmbito da referida iniciativa, destinado aos integrantes de projetos.
A UNESCO não poderia deixar de demonstrar a sua gratidão às ONGs que colaboraram com a
UNESCO, fornecendo suporte para a concepção desta publicação e compartilhando experiências e
lições. Sem a parceria da sociedade civil este manual não teria sido possível.
Em particular, a UNESCO faz questão de manifestar o seu reconhecimento e o seu agradecimento a
Sophie Jadin e Mao Kosal (Phare Ponleu Selpak – Camboja); Shanthi Ranganathan (TT Ranganathan
Clinical Research Foundation – Índia); Dadi Pudumjee, Sanjoy Roy e Javita Narang (Ishara Puppet
Theatre Trust e Salaam Balaak Trust – Índia); Rodney Grant e Sophia Greaves (Pinelands Creative
Workshop – Barbados); Joseph Meharris (The Centre of Hope – Trindade e Tobago); Dulce Almonte e
Jaime de La Rosa (REDOVIH – República Dominicana); Susana Fergusson (PROCREAR – Colômbia);
Heriberto Mejía (FUNDARVI – Colômbia); Luís Fernando Leal (LIGASIDA – Colômbia); Raquel Barros
(Lua Nova – Brasil); José Carlos de Freitas Spinola, Cido Martins e Patrícia Moura (Reciclázaro –
Brasil).
A UNESCO é igualmente grata a Rosalind David por seu apoio e seus comentários. A UNESCO não
poderia deixar de agradecer a Julie Smith pelos seus desenhos repletos de humor, que destacam o
espírito e a dedicação necessários para garantir o aprendizado de questões de extrema relevância.
Convém salientar que as informações sobre o Modelo Lógico de Programa provêm do excelente
“Program Development and Evaluation”, desenvolvido pela Universidade de Wisconsin, disponível
em www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html (Copyright 1996 Conselho de
Administração do University of Wisconsin System, com o nome fantasia Division of Cooperative
Extension of the University of Wisconsin-Extension).
Por fi m, a UNESCO agradece o apoio fi nanceiro essencial para a realização deste guia recebido da
Comissão Europeia e da UNAIDS.
“A verdadeira viagem de descoberta não consiste em buscar novas terras, mas em as ver com novos olhos.”
Marcel Proust
5
PrefácioO valor e a importância de monitorar e avaliar com qualidade vem recebendo cada vez mais
reconhecimento de um grande número de partes interessadas – planejadores, fi nanciadores,
formuladores de políticas e comunidades que dão apoio a intervenções. Quando é demonstrado até
que ponto um projeto pôde cumprir as suas metas, fi ca mais fácil garantir que os recursos sejam
utilizados da maneira mais efetiva, efi ciente e adequada possível. O nosso intuito é que este guia de
monitoramento e avaliação (M&A) dê mais confi ança e habilidades àqueles que possuem experiência
limitada para que possam lidar com todo o ciclo do projeto, tanto no planejamento como nas atividades
relativas ao M&A. Este guia contempla os seguintes temas:
• a importância de avaliar as necessidades e garantir que os objetivos e a ideia do projeto estejam de
acordo com essas necessidades;
• os tipos de projetos de monitoramento e avaliação no decorrer da sua implementação (avaliação do
processo) e na sua fase terminal (avaliação dos resultados/impactos);
• a relevância dos projetos de planejamento no âmbito de um modelo ou quadro claramente
construídos (o modelo lógico de programa é apresentado como exemplo);
• como garantir que as informações provenientes do M&A repercutam na concepção dos projetos em
andamento e nos planejamentos futuros;
• como garantir que as partes interessadas participem ativamente da concepção e do planejamento
do projeto, bem como das pesquisas decorrentes.
Esta publicação teve origem em um trabalho de apoio a uma série de projetos de capacitação
vocacional e empresarial realizados por meio de educação não formal na África, no Sul da Ásia,
no Caribe e na América Latina. O cerne de todos os projetos do programa são os métodos criativos
inovadores empregados para se comunicar de uma maneira signifi cativa e estimular a participação
da população. Todos os projetos focalizam-se na capacitação, na autonomização e na criação de
oportunidades de aprendizagem. A conceptualização desses projetos está alicerçada nos quatro
pilares da educação apresentados em 1996 pela Força-Tarefa para a Educação no Século XXI da
UNESCO: “aprender a aprender”, “aprender a fazer”, “aprender a conviver” e “aprender a ser”. O
Quadro de Ação de Dacar (2000), que sela o compromisso coletivo da comunidade internacional para
com à Educação para Todos (EPT), lembra-nos que a educação deve valorizar o talento e o potencial
de cada indivíduo.
Os projetos são desenvolvidos em setores carentes, onde faltam verbas e infraestruturas e as
comunidades e os seus membros têm pouquíssimas condições de vencer a miséria e a exclusão
social. Todavia, o que caracteriza todos esses projetos é a capacidade de inovação, a motivação e a
coragem que essas pessoas têm de seguir adiante, em um esforço constante de refl exão, sempre
prontas para aprender a partir das experiências. Esperamos que este guia forneça o suporte e as
técnicas necessários para formalizar e solidifi car os processos de M&A, permitindo assim que os
projetos baseados em comunidades tenham êxito e as suas intervenções sejam mais efetivas.
UNESCO
Divisão da Educação Básica
6
AcrônimosAIDS Síndrome da Imunodefi ciência Adquirida
OBC Organização Baseada na Comunidade
EPT Educação para Todos
UE União Europeia
HIV Vírus da Imunodefi ciência Humana
IDS Instituto de Estudos para o Desenvolvimento (Reino Unido)
M&A Monitoramento e Avaliação
ONG Organização Não Governamental
M&AP Monitoramento e Avaliação Participativos
MLP Modelo Lógico de Projeto
DRP Diagnóstico Rural Participativo
SMART Specifi c (específi co), Measurable (mensurável), Achievable (viável), Realistic (realista),
Time-Bound (com prazo)
UNAIDS Programa Conjunto das Nações Unidas sobre HIV/AIDS
UNESCO Organização das Nações Unidas para a Educação, a Ciência e a Cultura
7
Resumo Este guia foi desenvolvido como um recurso para “obras em andamento” que pode ser utilizado para
auxiliar no monitoramento e na avaliação de iniciativas de desenvolvimento comunitário. Espera-se
que os participantes de projetos compreendam que há uma considerável melhora da qualidade e
da adequação do produto fi nal quando as comunidades se envolvem completamente no processo
e o trabalho é criteriosamente planejado, monitorado e avaliado. Apesar de ter sido desenvolvido
com base na experiência e nas lições tiradas de um programa de projetos específi co voltado para
um meio de vida sustentável e aspectos da educação sanitária, praticamente todo o seu conteúdo
é genérico, podendo, portanto, ser aplicável a uma enorme gama de iniciativas comunitárias. Os
principais objetivos deste guia são:
• proporcionar uma visão geral das principais características da pesquisa qualitativa que podem
auxiliar os participantes do projeto nas suas próprias avaliações internas;
• recomendar modelos, arcabouços e conceitos teóricos a serem utilizados no decorrer do
planejamento e das pesquisas;
• fornecer orientação prática sobre como adaptar e utilizar o modelo lógico em projetos;
• dar um panorama sobre as ferramentas e métodos básicos de pesquisa, com ênfase na
pesquisa qualitativa;
• promover o uso de técnicas de pesquisa participativa.
“Surpreender-se, perguntar-se é começar a entender.”
José Ortega y Gasset
9
Seção 1 Introdução
1
1.1 Antecedentes 101.2 Como usar este guia 101.3 A quem se dirige este guia? 10
A pesquisa em contexto 101.4 Por que monitorar e avaliar? 101.5 Quais são os principais aspectos da avaliação
de iniciativas comunitárias? 1 11.6 Técnicas participativas 131.7 O que se deve esperar de uma avaliação? 141.8 Qual é a utilidade dos modelos e arcabouços teóricos? 141.9 O que determina o sucesso de uma avaliação? 14
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.
10
1.3 A quem se dirige este guia?Este guia se dirige basicamente àqueles
que defi nem, planejam e executam projetos
de desenvolvimento comunitário. Projetos
apoiados pela UNESCO, que visavam a
melhorar a qualidade de vida de populações
marginalizadas com a redução da pobreza
e a criação de um meio de vida sustentável,
constituíram a força motriz desta publicação.
As lições tiradas desse trabalho têm
aplicação numa ampla variedade de projetos e
ambientes.
A pesquisa em contexto 1.4 Por que monitorar e avaliar?Primeiramente, convém defi nir os termos
monitoramento e avaliação. Para os
propósitos deste guia, monitoramento refere-
se à revisão e ao levantamento de dados em
andamento, que ajudarão a determinar se os
resultados esperados estão sendo atingidos.
O monitoramento é, pois, um componente
fundamental da avaliação. Por sua vez,
avaliação diz respeito ao levantamento
sistemático de informações realizado no
decorrer ou ao fi nal de um projeto com o
objetivo de julgar a efetividade dos resultados
esperados e auxiliar nas decisões quanto a
futuras intervenções.
O trabalho de M&A ajuda a determinar se um
programa atingiu os resultados pretendidos,
o que permite prestar contas dos gastos e
utilizar os recursos do modo mais efi caz. Os
fi nanciadores costumam solicitar avaliações
para se certifi carem de que o dinheiro
está sendo bem empregado, porém, ainda
persiste o desafi o de garantir que aqueles
1.1 Antecedentes O presente guia foi produzido após a avaliação
de uma série de projetos de capacitação
vocacional e empresarial realizados por
meio de educação não formal apoiados pela
UNESCO1. Uma conclusão importante dessa
avaliação foi que os projetos apresentavam
melhores resultados quando havia uma
compreensão mais clara das vantagens de
realizar pesquisas próprias e receber suporte
e estímulo para produzir um “sistema” de
pesquisas, concebido no início do projeto
e aplicado em todo o seu decorrer. Uma
revisão dos componentes das pesquisas de
todos os projetos compreendidos concluiu
que a pesquisa deve ser parte integrante da
concepção do projeto e que a maioria deles
carecia de treinamento e expertise com
relação ao desenvolvimento de pesquisas e
técnicas.
Arcabouços teóricos, como o Modelo Lógico
de Programa (MLP), fornecem uma orientação
passo a passo para o planejamento de
projetos, deixando mais claras as atividades
que os compõem e as ideias e suposições em
que se baseiam, além de facilitar e aprimorar
o processo de avaliação.
1.2 Como usar este guiaEste guia não tem a intenção de ser um
manual defi nitivo de monitoramento e
avaliação, mas sim um ponto de partida
com informações introdutórias para
aconselhamento e suporte adicionais.
Todas as seções podem ser impressas ou
fotocopiadas para uma distribuição mais
ampla de acordo com a necessidade.
1 Another Way to Learn… Case studies, disponível
em inglês em http://unesdoc.unesco.org/
images/0015/001518/151825e.pdf e também em
espanhol, faz um resumo dos 17 projetos que
compõem o programa.
“Avaliar é como observar por uma lente grande-angular que permite ver a fl oresta inteira, e não só o galho da árvore sobre o qual se está.”
Doc Childre
11
11.5 Quais são os principais aspectos da avaliação de iniciativas comunitárias?As iniciativas comunitárias não são fáceis
de avaliar! Não existe uma técnica objetiva
e conclusiva que possa ser retirada de um
manual já pronto e adaptada a todos os
projetos. Por essa razão, os integrantes da
equipe devem ser criativos, utilizar o bom-
senso e valer-se do conhecimento que têm da
população, do meio e dos contextos político
e cultural para fazerem as perguntas de
maneira acertada.
As iniciativas comunitárias costumam
compor-se de múltiplas intervenções
complexas, efetuadas em vários níveis,
geralmente concebidas com o intuito de
produzir diversos resultados. Existe uma gama
que trabalham no projeto ou lhe dão apoio
reconheçam a importância do monitoramento
e da avaliação contínuos e os utilizem para
melhorar a efetividade e a qualidade dos
programas.
O monitoramento deve ser realizado
constantemente para verifi car se as metas e
os objetivos do projeto estão sendo cumpridos
e reajustar a programação com base nas
lições aprendidas até então. As avaliações
internas são importantes não só para medir
a efetividade, a efi ciência e o andamento
do projeto, mas também para desenvolver
um sentido de apropriação do projeto, tanto
por parte do pessoal que nele trabalha
como daqueles que dele se benefi ciam. As
avaliações externas, apesar de onerosas e, por
conseguinte, geralmente impraticáveis nas
pequenas comunidades, ainda assim oferecem
uma análise independente que pode vir bem a
calhar.
“Os homens tropeçam por vezes na verdade, mas a maior parte torna a levantar-
se e continua depressa o seu caminho, como se nada tivesse acontecido.”
Winston Churchill
“Quando tentamos selecionar algo por si só, descobrimos que está ligado
a tudo mais no universo.”
John Muir
Mas como você pode garantir que foi o seu fl ipchart que reduziu o consumo de drogas?
D IGA NÃO ÀS DROGAS
DROGAS
SEM
DROGAS
EXTRA
PRISÃO
POR
DROGAS
Não use drogas
LANÇAMENTO
Paixão sem drogas
12
de estratégias centradas tanto no indivíduo
como na comunidade. As iniciativas vão desde
a tentativa de mudar o comportamento por
via da educação e da autonomização até
projetos mais abrangentes focalizados na
equidade, na justiça social e em intervenções
intersetoriais. O uso de modelos e arcabouços
teóricos tem procurado conferir um maior
rigor à maneira como as variáveis são
coletadas e interpretadas. Ao mesmo tempo,
novas ideias sobre avaliação reconhecem
cada vez mais a multiplicidade de interações
que ocorrem no seio da maior parte das
comunidades, colocando em questão a
relação linear mais simplista de causa e
efeito. Dada a complexidade com que se
realizam as intervenções, as perguntas que
devem ser feitas para avaliar a sua efetividade
precisam ser bem estruturadas e testadas. É
imprescindível ter em mente que os resultados
nem sempre são previsíveis e às vezes podem
não ser benéfi cos à comunidade. Os envolvidos
no monitoramento e na avaliação do projeto
devem ter coragem e convicção sufi cientes
para apontar tanto os resultados positivos
como os negativos do projeto.
Existe uma grande variedade de técnicas
e métodos para avaliar programas. É essa
diversidade que torna esse processo uma
ferramenta poderosa. Os métodos podem
variar em função dos interesses, do contexto,
da própria postura fi losófi ca do avaliador,
bem como das características dos demais
envolvidos no programa. Os avaliadores
podem adotar uma combinação de estratégias
para aprofundar e aprimorar o processo.
Esquemas sofi sticados e custosos correm o
risco de desperdiçar recursos, se for possível
solucionar a questão com meios mais simples.
Se os avaliadores utilizarem ferramentas
demasiado complicadas que não conhecem
muito bem, certamente não produzirão
resultados úteis e válidos.
Atualmente quase todos concordam que tanto
a abordagem quantitativa como a qualitativa
desempenham um papel importante nos
programas de avaliação. Sugere-se, inclusive,
com frequência que a “avaliação pluralista”,
isto é, que emprega igualmente métodos
quantitativos e qualitativos, constitui a
estratégia mais apropriada para tratar
questões complexas sobre o que conta como
um resultado bem-sucedido (Beattie,1995).
A avaliação da maioria das intervenções
comunitárias se benefi cia de uma série de
técnicas de pesquisa para avaliar o projeto em
diferentes etapas, a saber:
• a formação das metas, dos objetivos e
dos procedimentos do programa – incluindo a
avaliação das necessidades iniciais (avaliação
formativa);
“A simplicidade é o suprassumo da sofi sticação.”
Leonardo da Vinci
Com referência ao monitoramente e à avaliação de projetos de promoção de saúde, uma
publicação recente do Grupo de Trabalho Europeu da OMS recomenda aos formuladores de
políticas:
– incentivar a adoção de abordagens de avaliação participativas que propiciem oportunidades
signifi cativas de envolvimento;
– alocar à avaliação no mínimo 10% do total de recursos fi nanceiros destinados a uma iniciativa
de promoção de saúde;
– garantir que uma mescla de informações sobre o processo e sobre os resultados seja utilizada
para avaliar todas as iniciativas de promoção de saúde;
– favorecer o uso de múltiplos métodos para avaliar iniciativas de promoção de saúde;
– fomentar pesquisas que tenham por objetivo desenvolver abordagens adequadas para avaliar
iniciativas de promoção de saúde;
– apoiar a instalação de uma infraestrutura de treinamento e de ensino para desenvolver
especialização em avaliação das iniciativas de promoção de saúde;
– criar e promover oportunidades de compartilhamento de informações sobre métodos de
avaliação empregados em promoção de saúde com conferências, ofi cinas, redes e outros meios.
OMS (2006). Evaluation in health promotion. Principles and perspectives. Editado por Rootman, I.;
Goodstadt, M; Hyndman, B; McQueen; Potvin, L; Springett, J. & Ziglio, E. Escritório regional para
a Europa da OMS.
13
1facilitação cuidadosa, os próprios participantes
defi nirão os critérios para determinar como as
mudanças ocorreram. Com a ajuda da equipe
do projeto, poderão também desenvolver
parâmetros que permitirão atentar para o que
de fato mudou em virtude das intervenções.
O monitoramento e a avaliação participativos
(M&AP) é uma abordagem que envolve a
população local, agências de desenvolvimento
e formuladores de políticas numa decisão
conjunta sobre como mensurar o progresso
e tirar proveito dos resultados (IDS, 1998).
Trata-se de uma metodologia que se tem
popularizado não só por otimizar os gastos,
utilizando capacidades e recursos locais, mas
também por forçar a população a examinar
as suas concepções sobre o que vem a ser
progresso, independentemente dos confl itos
e contradições que possam surgir. Os dados
e análises resultantes estarão certamente
mais em sintonia com as ideias e expectativas
daqueles que são diretamente afetados.
“O monitoramento e a avaliação participativos não se limitam a aplicar técnicas num ambiente convencional. Trata-se de reconsiderar radicalmente quem inicia e empreende o processo e quem aprende e se benefi cia com os resultados.” (IDS, 1998, p.2)
• o processo de implementação do programa
(avaliação processual);
• a medição dos resultados e do impacto
(avaliação somativa).
1.6 Técnicas participativasDe modo geral, os projetos comunitários
de pequena escala funcionam com pouca
verba e capacidade limitada em matéria
de tempo dedicado e formação dos
participantes. Pesquisas quantitativas que
utilizam questionários e levantamento
de dados em larga escala costumam ser
impróprias para esse tipo de situação. Um
paradigma alternativo consiste em envolver
os benefi ciários como atores sociais no
seu próprio desenvolvimento. Em outras
palavras, aqueles que se benefi ciam com o
projeto devem participar ativamente do seu
monitoramento (monitoramento participativo)
e da avaliação do seu impacto (avaliação
participativa). As pessoas favorecidas pelo
projeto podem atuar regularmente na
avaliação de fatores tais como as mudanças
comportamentais e a autonomização
observadas em suas comunidades. Com uma
GRUPOS DE DISCUSSÃO
SONDAGEM
EXTREMAMENTE SATISFEITO � 100%
NEM UM POUQUINHO DESCONTENTE � 0%
A minha avaliação do seu projeto mostra que…
“Humm”, pensou João, “eu achava que o projeto estava mal encaminhado. Será que todo mundo quis só ser gentil?”
14
Exemplos de técnicas participativas são
fornecidos na Seção 7.
1.7 O que se deve esperar de uma avaliação? A avaliação de uma intervenção baseada
na comunidade tem por objetivo:
• elaborar o processo que permitirá obter as
informações desejadas empregando diferentes
métodos;
• incentivar o desenvolvimento de
indicadores, referenciais e iniciativas claros;
• coletar e analisar dados durante todo
o ciclo do projeto que dizem respeito aos
objetivos e resultados almejados;
• detectar o que deu errado e quais objetivos
não foram atingidos;
• fazer os ajustes necessários com base na
experiência e nos conhecimentos adquiridos;
• fornecer feedback a todos os participantes
do programa e às comunidades locais;
• divulgar os resultados e as lições
aprendidas aos organismos fi nanciadores e
prestadores de serviços.
• utilizar os resultados fi nais como base
de informações para o planejamento e
implementação de futuros trabalhos nas
comunidades alvos.
1.8 Qual é a utilidade dos modelos e arcabouços teóricos?Ao ser planejado um programa, convém
empregar um modelo ou arcabouço
estruturados. Trata-se basicamente de
ferramentas que podem ajudar a dar forma
ao pensamento e melhor confi gurar a
planifi cação e a avaliação do projeto. Eles
ajudam a criar e esclarecer teorias, hipóteses
e atividades, tornando o processo de avaliação
mais efetivo, transparente e equilibrado.
1.9 O que determina o sucesso de uma avaliação?Uma avaliação bem-sucedida deve
demonstrar o seguinte:
• o horizonte temporal , as metas e os
objetivos claros do projeto (Seção 3);
• a atuação dos benefi ciários no
planejamento, no monitoramento e na
avaliação do projeto (Seção 7);
• a compreensão e a apropriação
compartilhadas dos objetivos do projeto e
como estes devem ser alcançados pelos
parceiros e demais envolvidos (Seção 3.2);
• coleta e análise de dados realistas
e gerenciáveis, visto que, quanto mais
complexos forem os métodos e instrumentos
utilizados, maior será a chance de fracasso
(Seções 5 e 6);
• ferramentas e instrumentos de coleta de
dados em sintonia com outros sistemas em
uso (Seção 6.8);
• recursos fi nanceiros e humanos
apropriados aos níveis requeridos de
monitoramento e avaliação, devendo haver
treinamento e suporte quando a capacidade
técnica não for satisfatória (Seção 6);
• relevância e transparência no
monitoramento dos programas e dados
levantados in loco (Seções 4 e 7);
• feedbacks periódicos para garantir que
os resultados sirvam para o planejamento de
processos e projetos futuros (Seção 6);
• monitoramento e avaliação culturalmente
adequados, bem como normas éticas em
conformidade com os padrões nacionais e
locais (Seção 6).
15
Notas:......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
16
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
17
Seção 2 Etapas para criar, planejar e avaliar um projeto
2
2.1 O ciclo de planejamento do projeto 1 82.2 A redação da proposta para obtenção de fi nanciamento 1 82.3 Como proceder à avaliação das necessidades 1 92.4 Como desenvolver um arcabouço de pesquisa 20
18
2.1 O ciclo de planejamento do projetoÉ importante ter em mente as fases que
compõem o ciclo de um projeto, cada qual
com o seu impacto e as suas infl uências nas
fases subsequentes. Esse esquema está
representado na fi gura abaixo.
O ciclo do projeto
Quando se pretende monitorar e avaliar um
projeto, é imprescindível que haja um feedback
dos resultados no ciclo do projeto e que essas
informações sejam utilizadas para moldar,
adaptar e aprimorar o trabalho no futuro. O
feedback e o aprendizado devem ocorrer ao
longo de todo o projeto.
2.2 A redação da proposta para obtenção de fi nanciamentoUma vez identifi cados os objetivos e as metas,
o próximo passo é redigir uma proposta
para conseguir fi nanciamento. Este guia
não fornece uma lista exaustiva de fontes
de fi nanciamento potenciais. No entanto,
convém, antes de tudo, fazer uma busca
na internet, consultar sites de agências
e contatar os decisores do governo local,
grupos comunitários e organismos nacionais
e internacionais. Em alguns casos, talvez
seja mais conveniente focalizar a obtenção
do fi nanciamento para a avaliação das
necessidades antes de pleitear um montante
maior para a totalidade da intervenção.
Feedback do aprendizado para melhorar
a efetividade do projeto
Implementação e monitoramento
do projeto
Avaliação do projeto
Planejamento do projeto
Avaliação das necessidades
19
2
2.3 Como proceder à avaliação das necessidadesEm geral, caso ainda não tenha sido realizada,
a avaliação das necessidades serve para
revisar as metas e os objetivos do programa
e os métodos de trabalho propostos antes da
implementação do projeto. Ao planejar esse
tipo de avaliação, é muito importante incluir
no processo as várias partes interessadas da
comunidade. Na medida do possível, convém
evitar que os membros da comunidade mais
poderosos e eloquentes dominem a discussão.
A avaliação das necessidades também
propicia, já desde o início, o envolvimento da
comunidade por meio de consultas.
A avaliação das necessidades deve ser capaz
de:
• permitir que as metas e os objetivos
do programa a serem cumpridos sejam
claramente especifi cados;
• garantir que o programa trate os
problemas e as prioridades identifi cados pela
comunidade;
• averiguar desde o princípio se os
problemas considerados importantes pelos
atores externos correspondem de fato às
prioridades da comunidade;
• defi nir quais problemas da comunidade
identifi cados pelo grupo requerem mais
atenção;
• fornecer informações sobre as principais
partes interessadas da comunidade;
• indicar até que ponto a comunidade
pode ser mobilizada e uma abordagem de
desenvolvimento comunitário, se for o caso,
pode ser adotada – convém lembrar que
neste tipo de situação é importante avaliar
os pontos positivos da comunidade e, se ela
for coesa e tiver um alto nível de integração
e envolvimento, valerá a pena aproveitar as
redes preexistentes;
• verifi car a percepção, a interpretação e a
aceitação dos materiais promocionais, das
mensagens e demais intervenções;
• testar a adequação das abordagens e
procedimentos de implementação.
Nessa fase, a prioridade é criar um referencial
a partir do qual as mudanças possam
ser medidas. Os métodos qualitativos de
coleta de dados sobre a comunidade devem
compreender:
• entrevistas em profundidade com os
principais membros da comunidade alvo, com
o cuidado de identifi car e incluir os líderes
de quaisquer grupos de interesses e facções
rivais. Essas entrevistas podem ser fi lmadas
e é importante que os benefi ciários sintam
prazer em realizá-las e participar delas;
• grupos de discussão com profi ssionais
que trabalham na comunidade e com a
população local, que podem ser realizados
em clubes, associações, instituições, escolas,
centros comunitários, grupos de mulheres,
reuniões de agricultores num mercado, etc.;
• a participação da população, com o auxílio
dos meios de comunicação, por exemplo, num
fórum ou num debate sobre os objetivos do
programa;
• a observação participante em eventos e
grupos locais, em conversas informais que
podem ser complementadas com notas de
campo;
• a coleta sistemática de opiniões de
grandes amostras da população a partir
de questionários semiestruturados com
Quando a gente não sabe
de onde começou...
... fi ca difícil saber o
quanto se avançou.
20
perguntas abertas que permitam que os
entrevistados se expressem livremente.
Ver também a Seção 7.
2.4 Como desenvolver um arcabouço de pesquisa O monitoramento e a avaliação devem ser
planejados e postos em prática desde o início
do projeto.2
O modelo lógico (descrito em detalhe na
Seção 3) é bastante útil para a planifi cação e a
execução das próximas etapas, a saber:
i. Identifi car os resultados
A partir dos objetivos do projeto, identifi car
claramente os resultados de curto e longo
prazos. Seja realista. No afã de obter um
fi nanciamento, é difícil vencer a tentação de
extrapolar no que diz respeito àquilo que pode
ou não ser realizado, o que pode fazer com
que muito trabalho positivo e benéfi co seja
perdido devido à má defi nição dos objetivos,
além de ocasionar uma sensação de fracasso
posteriormente (ver Seção 5.6).
ii. Defi nir os indicadores
Para cada resultado, decida quais são os
indicadores mais apropriados a serem
empregados para verifi car se as metas foram
ou não alcançadas (ver Seção 5.6).
iii. Estabelecer os métodos
de avaliação
Identifi que as estratégias que garantirão que
o projeto seja continuamente submetido a
avaliações e análises (ver Seções 5 e 6).
iv. Decidir quem realizará a
pesquisa
Defi na quem fará a pesquisa. Talvez convenha
que grupos de pessoas distintos realizem uma
parte da pesquisa, por exemplo, a equipe do
projeto e a comunidade podem se encarregar
de aspectos diferentes. Pense como a
comunidade será envolvida na análise.
O que é que há com a Maria?
O teatrinho de fantoches dela não teve nenhum impacto nos níveis de violência doméstica da aldeia.
2 Uma lista mais completa das técnicas de avaliação
encontra-se no Anexo 2.
21
2
v. Selecionar as ferramentas
de pesquisa
Escolha as ferramentas adequadas para a
coleta de dados necessários (ver Seção 6).
vi. Verifi car a lista de controle
Confi ra cada item da lista de controle que se
encontra no fi nal desta seção e certifi que-se
de que nada foi esquecido.
vii. Fixar prioridades
Estabeleça prioridades que sejam realistas.
É preciso ter em mente que toda ação deve
ser relevante e ter um propósito bem defi nido
e que as razões da pesquisa devem ser
compreendidas claramente pela equipe do
projeto.
Desculpem o atraso. Minha mãe fi cou doente, eu perdi o voo, a enchente bloqueou a estrada e o pneu do carro furou. Bem, mas por que razão mesmo os resultados previstos no projeto não foram atingidos?
Doador
DoadorONG
22
Ética: As pessoas estão sendo tratadas com respeito?
– Um arcabouço ético apropriado foi desenvolvido? (Esta questão pode abarcar a proteção da
confi dencialidade e o anonimato das respostas.)
– Quem considerou as dimensões éticas do projeto e como as políticas éticas serão postas em
prática?
Realismo
– Os recursos disponíveis são adequados para a avaliação?
– Os avaliadores têm a devida formação e o domínio das técnicas necessários para desempenhar
as suas funções? (Esta pergunta tem particular relevância no caso das avaliações internas, isto
é, quando a própria equipe do projeto realiza a maior parte da avaliação.)
– Os fi nanciadores concordam com o fato de que os recursos destinados à avaliação sejam
proporcionais à envergadura do projeto (cerca de 10% do orçamento total)?
– Todos os envolvidos compartilham mais ou menos as mesmas ideias no que diz respeito aos
objetivos da avaliação a serem atingidos?
– O que tem sido feito para garantir que os fi nanciadores e os profi ssionais tenham uma visão
realista das comunidades com as quais estão trabalhando e da sua capacidade de lidar e
comprometer-se com os vários tipos de atividades do processo de avaliação?
– O que tem sido feito para garantir que os objetivos do projeto propostos sejam compatíveis com
os prazos estipulados para que as mudanças ocorram?
– Os objetivos do projeto são compatíveis com as expectativas?
– A avaliação leva em conta os contextos histórico, político e social (locais e nacionais) em que o
programa está sendo realizado?
– A avaliação considera os pressupostos teóricos em que o projeto se fundamenta?
- Quais são as forças políticas em jogo? Quanto poder político está sendo exercido?
Resumo: Lista de controle para uma avaliação completa
A que se destina?
– Qual é o propósito da avaliação?
– A quem ela servirá?
– A avaliação condiz com a iniciativa que está sendo posta em prática em campo?
– A pesquisa gera novos conhecimentos?
– A avaliação está sendo usada como uma ferramenta para ajudar na autonomização dos
indivíduos e comunidades que ela serve?
23
2
Divulgação
– Como se podem incentivar ainda mais os avaliadores a dar informações mais detalhadas sobre as suas atividades de avaliação?
– Os resultados serão comunicados a todos os envolvidos de modo signifi cativo, oportuno e apropriado?
– Os resultados mostrarão não só as conquistas, mas também as falhas do projeto?
Métodos
– A avaliação é participativa?
– Os objetivos e os indicadores do monitoramento são SMART (SMART = Specifi c: específi cos;
Measurable: mensuráveis; Achievable: viáveis; Realistic: realistas; Time-bound: com prazo)?
– O planejamento da avaliação foi tratado com a mesma importância que a coleta de dados?
– A avaliação está integrada em todas as fases de desenvolvimento e implementação?
– A metodologia escolhida é a mais adequada às intervenções do projeto? Explique bem por quê.
– Como se garante a qualidade da prática/aplicação dos métodos? (Será preciso fazer perguntas
diferentes, conforme a pesquisa tenha sido comissionada ou realizada internamente.)
– Os prazos da avaliação (alguns dos quais podem ser longos) são sufi cientes para medir os
resultados potenciais?
– Os métodos empregados são sufi cientemente fl exíveis para monitorar resultados inesperados?
24
Notas:......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
25
Seção 3 O Modelo Lógico de Programa3 3
3.1 O que vem a ser um modelo lógico? 263.2 Quais são as vantagens de utilizar um modelo lógico? 273.3 Com que se parece um modelo lógico? 283.4 Terminologia 30
3.4.1 Visão e objetivos do projeto 303.4.2 Insumos 313.4.3 Produtos 313.4.4 Resultados e impacto 323.4.5 Pressupostos 333.4.6 Ligações 333.4.7 Fatores externos 343.4.8 A diferença entre produtos e resultados 343.4.9 Teoria da Ação 353.4.10 Exemplo de ligações de um programa educativo antidrogas 35
3 A descrição deste guia baseia-se num excelente curso interativo desenvolvido pela Universidade do
Wisconsin: o “Program Development and Evaluation”, disponível em
www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html.
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.
26
Diagrama adaptado de www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html
3.1 O que vem a ser um modelo lógico?Os modelos lógicos já foram descritos
de diferentes maneiras e com diversas
denominações:
“marco lógico”,“matriz lógica”,“ferramenta de planejamento”,“um arcabouço que ajuda a explicar e registrar o funcionamento do programa e as teorias e hipóteses subjacentes”,“um modelo sensato que mostra como o projeto deve funcionar”,“um modelo que mostra as relações lógicas entre os diferentes componentes do projeto e traça um esboço simplifi cado da intervenção completa”.
O modelo estabelece um elo entre os
resultados de curto e longo prazos com
as atividades e processos do programa,
bem como com os pressupostos teóricos
subjacentes. Ele fornece um arcabouço de
planejamento que destaca como o programa
deve desenvolver, defi ne em que ordem as
atividades são realizadas e mostra como os
resultados almejados são atingidos. Inclui
uma análise dos insumos necessários para
pôr o projeto em funcionamento e ajuda a
desenvolver indicadores para o monitoramento
do andamento do projeto com vista à realização
dos objetivos e resultados predefi nidos.
Os componentes típicos de um modelo lógico
são mostrados no diagrama a seguir.
Linha do tempoQuando cada estágio da avaliação deve ocorrer?
AvaliaçãoFocar – Coletar dados – Analisar e interpretar - Reportar
O que fazemosOfi cinasReuniõesEntrega de serviçosDesenvolvi-mento de produtos,currículos,recursosTreinamentosAconselha-mentoFacilitaçãoParceriaTrabalho com a mídia
Quem alcançamosParticipantes
Clientes
Agências
Decisores
Consumidores
Satisfação
Insumos Atividades Participação
Resultados – ImpactoCurto prazo Médio prazo Longo prazo
O que são os resultados de curto prazo Aprendizagem
Conscientização
Conhecimento
Atitudes
Habilidades
Opiniões
Aspirações
Motivações
O que são os resultados de médio prazo Ação
Comporta-mento
Prática
Tomada de decisão
Políticas
Ação social
O que são os resultados de longo prazo Condições
Sociais
Econômicas
Cívicas
Ambientais
Programa de ação – Modelo lógico
Prioridades
O que investimosPessoal
Voluntários
Tempo
Dinheiro
Pesquisas
Materiais
Equipamentos
Tecnologia
Parceiros
PrioridadesConsiderar:
MissãoVisãoValoresMandatosRecursosDinâmica localColaboradoresConcorrentes
Resultados almejados
Situação:
Necessidades e ativos
Sintomas versus problemas
Compromisso das partes interessadas
Pressupostos Fatores externos
27
3
• Revisão dos pressupostos em que o projeto se baseiaNo caso de projetos comunitários complexos
que visam a realizar mudanças mediante a
utilização de vários canais (desenvolvendo
o conhecimento, a capacitação, a
autonomização e a autoestima), nem sempre
as teorias subjacentes e os mecanismos que
levam aos resultados esperados fi cam claros
para os membros da equipe. O modelo lógico
deve ajudar todos os envolvidos no projeto
(em particular as equipes e as populações) a
compreender esses mecanismos geradores de
mudanças.
3.2 Quais são as vantagens de utilizar um modelo lógico?
Este sistema oferece várias vantagens
que vão além do desenvolvimento de um
arcabouço de pesquisa coerente, por
exemplo:
• Planejamento e concepção do programa
O desenvolvimento de um modelo lógico
ajuda a clarifi car o pensamento e a revisar
as atividades e os resultados em função
das metas e objetivos do projeto. Quando o
projeto já estiver em andamento, o modelo
poderá ser utilizado continuamente como
uma ferramenta para garantir que as
atividades estejam no rumo certo e fazer as
modifi cações necessárias.
• Incentivo à apropriação conjunta e ao compromisso para com os objetivos
Em uma situação ideal, as fases iniciais
da execução do modelo lógico serão
realizadas como um exercício conjunto, com
o envolvimento de todos os protagonistas
na concepção e na implementação do
projeto. Isso inclui os membros da equipe
que nele trabalham, os fi nanciadores, os
representantes da comunidade em questão
e demais envolvidos. Esta abordagem, que
promove a atuação conjunta desde o início,
propicia relações de trabalho produtivas e um
entendimento compartilhado por parte dos
diferentes atores, além de promover uma visão
e uma compreensão comuns das teorias e
pressupostos subjacentes ao projeto.
O que é preciso para capturar o tigre que está atormentando a aldeia da sua tia?
Um bom planejamento!Uma boa estratégia!
O que é preciso para
desenvolver um projeto
de qualidade? UM BOM PLANEJAMENTO!!!
UMA BOA ESTRATÉGIA!!!
28
Uma análise detalhada, que explore todos os
aspectos da atividade e o impacto projetado,
resultará em intervenções mais efetivas
e com enfoque mais preciso. Essa fase
constitui igualmente uma boa oportunidade
para esclarecer noções importantes que
possam suscitar polêmicas ou problemas de
interpretação, tais como autonomização e
participação. (Ver Anexo 3 – Glossário)
• Avaliação contínua
O modelo ajuda a direcionar a atenção para
cada um dos componentes da atividade.
Alguns podem inclusive ser subdivididos em
atividades e vinculados a resultados que, por
sua vez, podem ser avaliados separadamente
em gráfi cos que mostrem os progressos
num período determinado ou os resultados
no longo prazo. Assim são desenvolvidos
mecanismos robustos de medida de
resultados. O que acontece? O que funciona?
Para quem? O modelo permite que a equipe
identifi que os obstáculos que impedem o
projeto de funcionar a contento e já tenha
uma ideia de como fi cará fácil mensurar os
indicadores que tiver selecionado.
Ademais, o processo deve ajudar na
identifi cação de formas de mensurar
resultados temporários mais intangíveis (por
exemplo, o nível de participação, o grau de
autonomização, a coesão dos grupos, etc.).
Assim fi ca mais fácil mapear o andamento de
iniciativas mais complexas e implementar as
• Os pressupostos do seu projeto estão corretos?
Os programas voltados para o HIV/AIDS, em parte inspirados em teorias e modelos de mudança
comportamental, costumam partir do princípio de que o conhecimento sobre os modos de
transmissão do HIV acarreta diretamente uma mudança de comportamento. Obviamente, na
prática a questão é mais complexa. As sofi sticadas engrenagens da mente humana ponderam as
vantagens relativas da mudança comportamental com base numa análise de custo e benefício.
Se uma trabalhadora sexual, por exemplo, correr o risco de perder clientes por insistir no uso
de preservativo, isso desestimulará a adoção de comportamentos seguros e acabará tendo um
peso considerável em qualquer análise de custo e benefício. Por outro lado, um alto nível de
autoestima constitui um fator capaz de aumentar as probabilidades de uma negociação bem-
sucedida quanto ao uso de preservativo.
No contexto de um programa de redução do uso de drogas, fi ca patente que o consumo de
entorpecentes resulta de uma complexa imbricação de fatores de ordem social, cultural,
psicológica e econômica. Se o projeto estiver sendo aplicado numa área de extrema pobreza e
privação em que prevalece uma forte “cultura das drogas” entre as camadas de jovens altamente
alienados, parece óbvio que o conhecimento sobre os perigos do consumo de substâncias
entorpecentes não será o único fator determinante do seu comportamento. O sentimento de
lealdade e companheirismo proporcionado pela participação de um grupo de consumidores de
drogas pode, no curto prazo, ser mais importante para alguns jovens do que o impacto na saúde
no longo prazo. Para serem mais efetivos, os projetos precisam considerar todos os fatores
que infl uenciam o comportamento humano.
melhorias necessárias ao longo do caminho,
com base nas novas informações que forem
surgindo.
• Participação
O desenvolvimento do modelo apoia-se em
técnicas participativas que requerem que os
envolvidos atuem em conjunto para defi nirem
os princípios que nortearão o programa
e as melhores condições de obter êxito.
Desta forma, as mudanças tenderão mais a
ser efetuadas com base em um consenso,
num processo aberto e transparente, do
que em função de personalidades, políticas
e ideologias. Isso reforça nos envolvidos o
sentimento de apropriação do projeto.
3.3 Com que se parece um modelo lógico?Existem modelos lógicos que se apresentam
em numerosos formatos e tamanhos, que são
desenvolvidos em função das necessidades
específi cas de cada projeto. Alguns modelos
começam com ligações estruturais bastante
simples entre os componentes do projeto, mas
evoluem com o passar do tempo de acordo
com a criatividade da equipe. Os modelos são
representados em diagramas que oferecem
um panorama das ligações entre os diferentes
componentes e processos de todo o projeto.
29
3
Alguns modelos lógicos são descritos em tabelas com itens
listados nas colunas Insumos, Produtos e Resultados. (Ver mais
adiante nesta seção a defi nição destes termos.) O modelo pode
conter fl echas que têm a fi nalidade de ilustrar as conexões e as
relações. As listas podem ser numeradas para explicitar a ordem
no interior da coluna ou facilitar as conexões de uma coluna com
a outra.
Há modelos lógicos que usam caixas de texto, com linhas e
fl echas que as conectam umas às outras para ilustrar as ligações
causais.
Certos modelos lógicos usam círculos e outras formas. Alguns
grupos comunitários utilizam metáforas para designá-los como
“ostra”, “árvore”, “pegada” e “polvo”.
O grau de complexidade varia de um modelo para outro.
Existem aqueles que exibem somente partes de um modelo
completo, como os produtos e os resultados, sem mostrar os
pressupostos, a situação e os fatores externos.
Diagramas extraídos de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm
(Ver também as Seções 3.4.3 e 3.4.4.)
É preciso ter sempre em mente que um
modelo lógico, como o próprio nome já diz,
é somente um MODELO. Com o intuito de
simplifi car e transmitir as informações em
uma única página, os modelos podem abreviar
as complexidades do programa. No entanto,
o modelo lógico deve, acima de tudo, ser
claro e compreensível para aqueles que vão
utilizá-lo. Para estarem de acordo com a
teoria do programa, os modelos lógicos têm
de mostrar necessariamente as ligações entre
os elementos.
O modelo lógico é uma ferramenta destinada
a melhorar o desempenho dos programas.
O processo de concepção de um modelo lógico
é mais importante do que um resultado fi nal
bem-acabado. Para identifi car falhas – sejam
elas de ordem estrutural, econômica ou
teórica, convém refl etir sobre as diferentes
etapas do projeto.
O propósito que justifi ca o uso do
modelo lógico é que determina o grau de
detalhamento a ser empregado e quais
informações devem ser incluídas. Quando
um modelo lógico é utilizado unicamente
para fi ns de pesquisa, ele pode ser adaptado
para ressaltar os resultados. O aspecto e o
nível dos detalhes variam consideravelmente.
Insumos Produtos Resultados
1
2
3
4
1a b
2a b c
3a b
30
Se o objetivo de um pesquisador é focalizar
a medição dos resultados, a cadeia de
resultados pode ser mais bem explicitada dos
que os insumos e produtos, por exemplo.
Pontos primordiais
• Tenha sempre em mente quem utilizará
o modelo lógico. Quem precisa entender a
importância e a fi nalidade do modelo? Você, a
sua equipe, a comunidade, os fi nanciadores,
os gestores ou o Governo?
• Prefi ra as representações gráfi cas que
sirvam melhor aos usuários.
• Não se esqueça de que tomar decisões
a partir de uma única imagem que expressa
a teoria do programa costuma ser a parte
mais difícil de todo o processo. Talvez mais
importante do que essa imagem seja o
processo de desenvolvimento.
3.4 TerminologiaFamiliarize-se com os termos a seguir. Isso
facilitará a elaboração do modelo.
3.4.1 Visão e intenção do
projeto
A grande visão “o que você está tentando fazer
para a comunidade?” parece estar diretamente
relacionada com melhores níveis de saúde e
bem-estar, que resultam em baixas taxas de
morbidade e mortalidade. Também pode estar
voltada para o ensino e a capacitação, com
aumento dos níveis de educação, formação e
renda. Os projetos comunitários costumam
basear-se em alguns valores principais, tais
como equidade, justiça social, liberdade e
participação.
Talvez seja interessante debater sobre os
principais obstáculos que impedem que
os objetivos que favoreceriam o grupo
benefi ciário sejam atingidos. Alguns destes
fatores podem ser abordados:
– desigualdade de renda
– classe/status social
– exclusão e justiça sociais
– redes de auxílio social
– educação
– emprego e condições de trabalho
– ambiente físico
– saúde pessoal e capacidade de superação
– desenvolvimento infantil
– serviços de saúde
– nutrição
– papel dos fi nanciadores (possíveis restrições
impostas)
Essa lista não é exaustiva e quaisquer temas
pertinentes podem ser acrescentados.
A relevância do exercício se deve ao fato
de ele pôr em perspectiva um grande
número de variáveis que podem ter um
impacto no projeto, propiciando assim uma
melhor compreensão da complexidade das
intervenções comunitárias e da repercussão
limitada que as intervenções de pequena
escala podem ter.
Ao mesmo tempo em que se cogita sobre
o objetivo mais abrangente, não se devem
perder de vista as prioridades do projeto. A
fi m de monitorar a efetividade do projeto,
é imprescindível ter uma ideia clara das
metas e objetivos. Estes demonstram até
que ponto a intenção e a visão do projeto
estão sendo alcançadas. Se a intenção, por
exemplo, é reduzir a incidência da infecção
por HIV, as metas e os objetivos podem estar
relacionados com um melhor conhecimento
dos modos de transmissão, a mudança do
modo como a AIDS é percebida, as mudanças
comportamentais e o aumento da autoestima.
Por outro lado, as metas e os objetivos podem
simplesmente referir-se à implantação de
infraestruturas que facilitarão a realização dos
planos de longo prazo no futuro (construção
de instalações, formação de pessoal, etc.). As
metas e os objetivos devem estar diretamente
ligados aos indicadores (ver Seção 5.5).
Convém salientar que o papel dos
fi nanciadores no processo deve estar claro
desde o início. Eles impuseram condições
específi cas com relação às atividades do
projeto (por exemplo, monitoramento,
reuniões, envolvimento no projeto)? Essas
exigências afetarão o calendário das
atividades?
31
3
3.4.3 Produtos
Os produtos correspondem a atividades, serviços, eventos e serviços que atingem pessoas
(indivíduos, grupos, agências) que participam do projeto ou são visadas por ele.
Em outras palavras, os produtos são aquilo que fazemos ou oferecemos, podendo incluir ofi cinas,
conferências, sondagens, auxílios, aconselhamentos in-house, etc.
Os insumos são fl exíveis e variam em função
do tipo de projeto. Por exemplo, um projeto
educativo sobre drogas necessitará de
insumos diferentes em função do local onde
será realizado: num ambiente formal, como
escolas e associações de jovens, ou nas ruas,
com crianças, imigrantes e trabalhadores
sazonais.
É impossível afi rmar que um insumo é
mais importante que outro. No entanto, às
vezes uma área é negligenciada devido a
pressões de atividades mais tangíveis, como
a construção e a manutenção de parcerias
fortes e apropriadas. Os parceiros podem
ser organizações locais envolvidas direta ou
indiretamente com as atividades do projeto,
prestadores de serviços, fi nanciadores
(nacionais e internacionais), empresas e até
mesmo o governo.
3.4.2 Insumos
Os insumos nada mais são do que os recursos
e contribuições que entram na composição do
trabalho, a saber: tempo, pessoas (integrantes
da equipe, voluntários e benefi ciários – se
envolvidos), a comunidade, dinheiro, materiais,
equipamentos, parcerias, pesquisas,
tecnologias, entre outros.
Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/
coop_M1_Overview.htm
Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm
O que fazemos
Ofi cinas
Reuniões
Entrega de
serviços
Desenvolvimento
de produtos,
currículos,
recursos
Treinamentos
Aconselhamento
Facilitação
Parceria
Trabalho com a
mídia
Produtos Atividades Participação
Quem alcançamos
Participantes
Clientes
Agências
Decisores
Consumidores
O que investimos
Pessoal
Voluntários
Tempo
Dinheiro
Pesquisas
Materiais
Equipamen-tos
Tecnologia
Parceiros
Insumos
32
Todos os produtos levam a resultados específi cos.
Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm
Resultados – Impacto Curto prazo Médio prazo Longo prazo
O que são os resultados de curto prazo
Aprendizagem
Conscientização
Conhecimento
Atitudes
Habilidades
Opiniões
Aspirações
Motivações
O que são os resultados de médio prazo
Ação
Comportamento
Prática
Tomada de decisão
Políticas
Ação social
O que são os resultados de longo prazo
Condições
Sociais
Econômicas
Cívicas
Ambientais
3.4.4 Resultados e impacto
Os resultados correspondem aos benefícios, vantagens ou desvantagens para os indivíduos,
família, grupos, comunidades, organizações ou sistemas. Os exemplos incluem aumento de
conhecimento, aprimoramento de habilidades, desenvolvimento de políticas, bem como mudanças
de comportamento e na tomada de decisões. Os resultados podem ser de curto, médio ou longo
prazos; positivos, negativos ou neutros; esperados ou inesperados. Durante todo o ciclo do projeto
os resultados podem ser medidos.
Neste modelo, o impacto, que ocupa a última posição à direita no gráfi co do modelo lógico, se
refere aos últimos efeitos ou consequências do programa, por exemplo, aumento da segurança
econômica, redução das taxas de tabagismo entre a população jovem ou a melhora da qualidade do
ar. Os termos resultado e impacto muitas vezes são empregados indistintamente, mas aqui impacto é sinônimo de resultado de longo prazo, correspondendo a mudanças muito signifi cativas das
condições sociais, cívicas, econômicas ou ambientais.
Convém frisar a importância de atentar não só para os impactos esperados, mas também para
os inesperados. Um exemplo seriam os projetos baseados na questão do gênero, cujo foco é o
aumento da autoestima e a melhora das oportunidades das mulheres. Um impacto de longo
prazo deste tipo de projeto seria a melhora do status socioeconômico da população feminina.
As ramifi cações, como a autonomização e o fortalecimento da posição da mulher, podem ser
signifi cativas para o reequilíbrio do poder e a reconsideração dos papéis no seio da família, mas
correm o risco de entrar em choque com o status quo e as práticas locais.
Em um projeto fi nanciado pela UNESCO no Sul da Ásia, as jovens pobres atingiram um ponto
de autonomização tal que começaram a reivindicar o direito de escolherem o próprio marido
e, por conseguinte, acabaram sendo banidas por terem desobedecido a códigos de conduta
tradicionais. Se este tipo de eventualidade for considerado no início do projeto, talvez possam ser
moderadas quaisquer eventuais repercussões negativas e dar o devido apoio a todos os membros
da comunidade durante a subsequente transição.
33
3
3.4.5 Pressupostos
Os pressupostos correspondem aos
princípios, crenças e ideias que temos do
programa e das pessoas nele envolvidas,
e à maneira como acreditamos que ele
funcionará. Eles infl uenciam as decisões
que tomamos e podem ser validados com
pesquisas e experimentos. Os seguintes
fatores podem ser objeto dos pressupostos:
• o problema ou a situação;
• os recursos ou o pessoal;
• o modo de operação do programa;
• o que o programa espera alcançar;
• o reservatório de conhecimento;
• o ambiente externo;
• o ambiente interno;
• os participantes (seu modo de aprender, seu
comportamento, suas motivações, etc.)
Ao desenvolver um modelo lógico, devemos
explicitar todos os nossos prejulgamentos
implícitos. Eles até podem não fi gurar no
gráfi co, mas isto não impede que sejam
explorados e debatidos.
O modelo lógico faz-nos pensar sobre os
pressupostos em todas as dimensões. O que
sabemos? O que presumimos? Todas essas
ideias preconcebidas devem ser verifi cadas
e esclarecidas. Pressupostos errôneos ou
desconsiderados costumam ser a causa
de resultados insatisfatórios. Talvez seja
útil incluir um ciclo de refl exão no projeto.
Em outras palavras, o modelo lógico pode
Pressupostos
Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/
coop_M1_Overview.htm
ser realizado no princípio do projeto e ser
submetido a revisões periódicas, ocasiões em
que os pressupostos iniciais passariam por
uma reavaliação e as razões das eventuais
mudanças seriam analisadas.
3.4.6 Ligações
As fl echas são utilizadas para explicitar
como as várias partes do modelo se inter-
relacionam. As conexões podem ser verticais
ou horizontais, unidirecionais ou bidirecionais;
e mostrar laços de feedback.
São as ligações – e não só o que aparece
como insumo, produto ou resultado – que
conferem ao modelo o seu poder. Fazer essas
conexões costuma demandar tempo e nem
sempre é fácil, mas nem por isso a tarefa
deve ser negligenciada. São elas que nos dão
a certeza de que consideramos todos os elos
lógicos. Para facilitar a visualização do modelo
podemos simplifi car o gráfi co e só incluir as
ligações.
O resultado fi nal, teoricamente, acaba sempre
por se conectar com o início. Mesmo antes da
conclusão do projeto muitas vezes já se nota a
transformação do ponto de partida. A grande
fl echa de feedback que fi ca à direita na parte
superior do modelo é uma tentativa de ilustrar
tal conexão e a dinâmica da programação. Há
os que preferem os formatos circulares, que
estabelecem explicitamente um elo entre o
princípio e o fi m. Na verdade, os ambientes
dos programas são dinâmicos e mudam
constantemente, fazendo com que o início
raramente permaneça intacto.
Não raro essas ligações são chamadas
de relações “se-então”. Observando-se o
gráfi co da esquerda para a direita, é possível
constatar uma série dessas relações. Durante
a elaboração do modelo, nunca se deve deixar
de questionar os pressupostos subjacentes:
Como se dão as ligações? Os pressupostos
Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_
Overview.htm
34
3.4.8 A diferença entre produtos e resultados
É importante saber distinguir produtos de resultados.
Os produtos são aquilo que fazemos, já os resultados e o impacto são as consequências que advêm
daí.
No passado, enfatizava-se a coluna dos produtos – “o que fazemos” e “quem alcançamos”. O
registro dos produtos ajuda a informar os clientes, fi nanciadores e parceiros da comunidade sobre
a natureza da atividade do projeto. Muitos projetos descrevem e contam bastante bem as atividades
e o número de pessoas atendidas. Uma das perguntas mais difíceis é “que diferença faz?”, que diz
respeito aos RESULTADOS e ao impacto.
são realistas e legítimos? Existem evidências e
pesquisas que sustentam os pressupostos?
3.4.7 Fatores externos
Um programa não é isolado do ambiente
em que está inserido. É afetado por fatores
externos e, por sua vez, também pode afetá-
los. Esses fatores são o meio cultural, o
clima, a estrutura econômica, as moradias,
a demografi a, a política, a história e a
experiência dos participantes, os meios de
comunicação e as prioridades, só para citar
alguns exemplos. Todos eles exercem uma
grande infl uência nos resultados e por isso
não podem ser ignorados. Os seguintes
elementos podem ser afetados:
• a implementação do programa;
• a velocidade e o grau das mudanças;
Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm
O que fazemosOfi cinasReuniõesEntrega de serviçosDesenvolvimento de produtos, currículos, recursosTreinamentosAconselhamentoFacilitaçãoParceriaTrabalho com a mídia
Quem alcançamosParticipantesClientesAgênciasDecisoresConsumidores
Produtos
Atividades Participação
Resultados – Impacto
Curto prazo Médio prazo Longo prazo
O que são os resultados de curto prazo Aprendizagem
Conscientização
Conhecimento
Atitudes
Habilidades
Opiniões
Aspirações
Motivações
O que são os resultados de médio prazo Ação
Comportamento
Prática
Tomada de
decisão
Políticas
Ação social
O que são os resultados de longo prazo Condições
Sociais
Econômicas
Cívicas
Ambientais
• os participantes e os benefi ciários;
• a equipe e os recursos disponíveis.
Por exemplo, as perspectivas de emprego
geradas pela abertura de uma nova fábrica
numa outra localidade podem ocasionar um
grande movimento migratório, com o risco
de provocar a perda de membros da equipe e
de benefi ciários do projeto. Ao contrário, um
projeto bem-sucedido que prevê a criação
de um meio de vida sustentável para os
mais vulneráveis pode atrair pessoas para o
local, mas exerceria talvez uma pressão nos
recursos do projeto. Um ciclo de refl exões,
como mencionado anteriormente (ver
3.4.5) constitui um fórum apropriado para
a avaliação do impacto de fatores externos,
tanto esperados como inesperados.
35
3
Alguns modelos lógicos separam as atividades
dos produtos, colocando-as antes deles.
Nesses casos, os produtos costumam ser
designados como realização da atividade, por
exemplo, as ofi cinas que foram organizadas
ou os indivíduos que ouviram uma mensagem
num meio de comunicação. O pressuposto
é que a atividade deve ser executada como
planejado antes de ocorrerem os resultados
esperados.
3.4.9 Teoria da Ação
Um modelo lógico mostra as conexões ou
relações que devem levar aos resultados
pretendidos com o passar do tempo. Trata-
se basicamente de um arcabouço ou de uma
ferramenta de planejamento, mas que conta
com uma série de pressupostos lógicos que
constituem a base do trabalho. Esse quadro é
designado como Teoria da Ação (Patton, 1997)
ou Teoria da Mudança (Weiss, 1998).
Essa teoria descreve como e por que um
conjunto de atividades (sejam elas parte de
um programa altamente específi co ou de
uma iniciativa mais abrangente) culmina em
resultados de curto, médio ou longo prazos
num determinado lapso de tempo.
Embora a teoria possa parecer demasiado
acadêmica para alguns, na verdade ela se
restringe ao seguinte:
• expectativas;
• crenças;
• experiências;
• sabedoria convencional.
Por exemplo, no caso de um programa
interventivo para a redução do uso de drogas
a teoria pode ser a seguinte: quando os jovens
são informados e educados sobre o consumo
indevido de substâncias entorpecentes,
adquirem habilidades e estratégias que lhes
permitem seguir caminhos diferentes, pois
passam a ter o conhecimento e a confi ança
necessários para decidir abandonar as drogas
ou consumi-las de uma maneira menos
prejudicial.
3.4.10 Exemplo de ligações de
um programa educativo para a
redução do uso de drogas:
INSUMOS
Formação de pessoal sobre o problema
das drogas
Ofi cinas para o pessoal e o grupo alvo
para concluir o programa e o conteúdo
da formação
PRODUTOS
Realização de ofi cinas para os envolvidos
RESULTADOS
Curto prazo: aprendizado, conscientização,
conhecimento, atitudes
Médio e longo prazos: melhora da saúde,
do comportamento e da situação
econômica
Uma análise mais minuciosa das relações
supramencionadas permite verifi car a sua
força e robustez. Por exemplo, se a ofi cina
sobre drogas for bem planejada, estruturada
e direcionada, um aumento do nível de
conhecimento sobre o tema no fi nal não será
uma expectativa irrealista. Em contrapartida,
não se pode dizer o mesmo dos resultados
de médio e longo prazos esperados, pois
não há tanta certeza de que as ofi cinas
levarão a uma mudança de comportamento
educacional ou a uma melhora dos níveis da
saúde e da economia, havendo aí muito mais
fatores externos envolvidos, que poderiam
ser mostrados no gráfi co na forma de fl echas
apontando para fora do modelo lógico.
36
Exemplos de fatores que podem infl uenciar o comportamento
de consumo de drogas
Quando se estabelece esse tipo de conexões, que mostram claramente os fatores que podem
infl uenciar os resultados (muito dos quais podem fugir ao controle imediato do processo), fi ca mais
fácil inserir o projeto num contexto realista.
Comportamento de consumo
de drogas
Facilidade do acesso às
drogas
Acesso a atividades sociais e de lazer
Comportamento dos pares
Nível do auxílio social
Nível de
conhecimento
Baixa autoestima
37
Notas: ......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
38
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
39
Seção 4 Como criar um modelo lógico
4
1o passo: Defi na o propósito do modelo 402o passo: Envolva outras pessoas 403o passo: Estabeleça os limites 404o passo: Entenda a situação 405o passo: Faça um relatório da situação 406o passo: Consulte pesquisas e estudos existentes 427o passo: Comece a preencher as caixas de texto 42
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.
40
2o passo: Envolva outras pessoas• Quem deve participar?
• Quem pode contribuir?
3o passo: Estabeleça os limites• O que o modelo lógico retratará? Uma
atividade simples e bem especifi cada (por
exemplo, um espetáculo de fantoches
para ensinar sobre a AIDS num ambiente
específi co)? Ou uma iniciativa mais abrangente
que envolve várias atividades distintas, mas
complementares (por exemplo, uma série de
espetáculos de fantoches paralelamente à
distribuição de panfl etos e a programas de
apoio junto à comunidade durante alguns
meses)?
• Qual é o nível de detalhamento necessário?
• Quem utilizará o modelo? De que maneira?
4o passo: Entenda a situaçãoAs informações necessárias podem ser
obtidas na avaliação das necessidades
descrita na Seção 2.3.
5o passo: Faça um relatório da situaçãoEste relatório servirá de base para o seu
modelo lógico. As seguintes perguntas servem
de referência para a sua elaboração:
• Qual é o problema?
• Por que é um problema? Quais são as suas
causas?
• Quem (indivíduos, famílias, grupos,
comunidade, sociedade em geral) é afetado
pelo problema e em que nível?
O desenvolvimento do modelo lógico é um
processo.
• São necessários tempo e treino para usar
modelos lógicos de modo efi caz. A melhor
maneira de aprender é praticar, por
exemplo, neste site interativo (em inglês)
que propõe ótimos exercícios: www.uwex.
edu/ces/lmcourse. O módulo de autoestudo
é bastante útil e apresenta o método passo
a passo e de modo claro, além de propor
várias atividades práticas.
• A elaboração do modelo lógico – e não o
produto acabado – é a fase mais importante
de todo o processo, pois é ela que dá o
entendimento, o consenso e a clareza que
são imprescindíveis para o sucesso do
programa.
• O modelo lógico pode ser ajustado e
modifi cado várias vezes, por isso convém
que ele fi que exposto num lugar visível, por
exemplo, pregado numa parede, para que se
façam as devidas alterações e correções à
medida que o projeto avança. Modifi cando-
se o modelo já desde o início da dinâmica do
projeto, aprende-se muito sobre o programa.
Guia rápido
1o passo: Defi na o propósito do modelo• Por que você quer elaborar um modelo
lógico?
• Seria para atender exigências
administrativas? Mostrar aos fi nanciadores o
que você está fazendo? Conseguir doações?
Estabelecer um plano de trabalho? Avaliar
o programa? Aprimorar a qualidade do seu
trabalho? Envolver os terceiros interessados
em um processo participativo a fi m de
promover uma melhor compreensão do
projeto e um maior envolvimento de todos?
• Certifi que-se de que todos os que
trabalham no modelo entendem a sua
importância.
41
4
conclusão. Uma descrição do problema e
dos seus sintomas serve de orientação para
monitorar o progresso do projeto. Da mesma
forma, uma descrição daqueles que são
afetados pelo problema serve de auxílio para
posteriores avaliações dos benefi ciários do
programa.
Defi na as prioridadesApós a análise completa da situação e do
problema, estabelecem-se as prioridades.
Como difi cilmente é possível dar conta de
tudo, devemos defi nir o que é prioritário.
Vários fatores são pertinentes, incluindo a
missão, os valores, os recursos, as expertises,
as experiências, a história, enfi m, tudo o que
se sabe sobre a situação e o que os demais
estão fazendo com relação ao problema. São
as prioridades que levam à identifi cação dos
insumos e resultados almejados.
• Quem se importa com o problema? Quem se importa se ele será resolvido ou não?
• O que se sabe sobre o problema e as pessoas envolvidas? Você tem experiência e dispõe de
material (pesquisas, estudos) sobre a questão?
Relatório da situação de um projeto educativo de redução
do uso de drogas:
À guisa de exemplo, no caso de um programa de redução do uso de drogas, que pode visar um
ambiente preciso (a escola, o mercado, o vilarejo), o problema identifi cado durante a avaliação
das necessidades foi o seguinte: 20% dos jovens com idade entre 13 e 20 anos estão consumindo
drogas. Uma vez detectado o problema, deve-se proceder a uma exploração mais detalhada da
questão:
– Por que os jovens estão consumindo drogas? Quais são os benefícios percebidos de tal
comportamento? (Por exemplo, os benefícios percebidos podem ser o sentimento de vinculação a
um grupo ou a prazerosa sensação proporcionada pelas drogas.)
– Quais são as repercussões negativas desse comportamento no curto e no longo prazos?
– Quais grupos (jovens, pais, família, atendentes, escola) são afetados pelas drogas? (Isso
ajudará a saber quem são aqueles que têm interesse na mudança do comportamento e que
poderão eventualmente se envolver no programa.)
– Considere o impacto sob diferentes perspectivas: social, psicológica, econômica.
– Para que todas essas questões sejam respondidas por completo, é importante falar
diretamente com as partes interessadas da comunidade, inclusive com o grupo alvo, que no
caso são os jovens consumidores de drogas, assim como reunir evidências de outras fontes.
Os métodos de coleta de dados compreendem discussões com coordenadores de programas
semelhantes, contatos com outros profi ssionais, revisões de artigos publicados ou de relatórios
de avaliação, etc.
O relatório da situação pode ser anexado
como texto ao modelo lógico. É sempre
bom acrescentar algumas palavras na parte
esquerda do modelo, palavras essas que
devem captar a essência do projeto. Qual é o
problema? É muito comum que os programas
sejam concebidos e mesmo implementados
sem prestar a devida atenção ao entendimento
da situação. Quanto melhor compreendermos
a situação e analisarmos o problema, mais
fácil fi cará desenvolver modelos efi cazes.
O relatório serve de base para o restante do
trabalho. Na verdade, ele constitui o alicerce
sobre o qual o modelo lógico é construído.
O contexto social do projeto está sempre
sujeito a um constante fl uxo de mudanças,
devendo, portanto, ser atualizado sempre que
necessário.
Além disso, o relatório estabelece uma
linha de base que permite comparar a fase
de implementação do projeto com a sua
42
• Qual é o seu objetivo fi nal?
• O que deverá mudar?
• Que tipo de mudanças a população
alvo, a comunidade, o ambiente e as
infraestruturas socioeconômicas sofrerão
em decorrência do programa?
O resultado fi nal mais importante
pretendido deverá ser expressado em uma
única frase. Esse resultado de longo prazo
corresponde ao seu principal objetivo.
Dedique o tempo que for necessário para
defi ni-lo de modo claro e sucinto.
Uma vez defi nido esse resultado, siga
trabalhando o modelo lógico de trás para
frente. Quais produtos serão necessários
para atingir os resultados? Quais insumos
serão necessários para obter os produtos?
O modelo em branco do Anexo 4 pode ser
utilizado para praticar.
6o passo: Consulte pesquisas e estudos existentes
O modo de elaboração do modelo dependerá
da fase em que se encontra o projeto e do
reservatório de conhecimento disponível.
É mais conveniente utilizar um modelo
lógico como uma ferramenta de apoio ao
seu planejamento, durante as fases de
implementação e avaliação, embora ele
também possa ser útil se introduzido mais
tarde, em etapas posteriores.
7o passo: Comece a preencher as caixas de textoComo você quer que as coisas estejam ao fi nal
do programa?
Durante a elaboração do modelo lógico, é
preciso ter uma ideia clara do que se deseja
alcançar com o projeto:
Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm
Insumos Produtos Atividades Participação
Resultados – Impacto Curto prazo Médio prazo Longo prazo
De que recursos precisamos?
O que temos de fazer para que os indivíduos/grupos consigam atingir os resultados de curto prazo?
Quem deve ser alcançado para que os resultados de curto prazo sejam atingidos?
Quais são os prerrequisitos para que os resultados de médio prazo sejam atingidos?
Quais são os prerrequisitos para que o principal objetivo seja atingido?
Qual é o principal objetivo fi nal?
“Planejar de trás para frente”
Pressupostos Fatores externos
“Implementar à frente”
PRIORIDADES
SITUAÇÃO
43
4
Lembre-se!
• Não há uma maneira certa e uma errada
de fazer um modelo lógico. Tente encontrar o
processo que melhor atenda às suas próprias
necessidades e às do grupo.
• O ponto recomendado para começar um
planejamento é pelo fi nal.
• O modelo lógico é dinâmico e deve mudar
em função das mudanças do programa, do
ambiente e das pessoas.
• Defi na “ciclos de refl exão” periódicos para a
revisão do modelo lógico.
• A maior relevância do modelo lógico está
na sua criação, assim como quando você o
verifi ca e revisa. Trata-se de um processo
interativo que envolve uma série de pessoas
que devem trabalhar em conjunto para
debater os pressupostos subjacentes, as
expectativas e as condições que conduzirão
ao sucesso. Nunca se esqueça de que
dentre todos os envolvidos no projeto – os
fi nanciadores, a equipe de trabalho, as
ONGs locais, organizações, o governo local,
a população alvo – é esta última a mais
importante.
Convém prever um ou mais dias para
encontrar o maior número possível de
participantes do projeto, assim como outros
interessados. Esse processo toma tempo,
mas vale a pena. É importante munir-se de
uma grande folha de papel, alguns pedaços
pequenos de papel para anotações, canetas
marcadoras de texto de cores variadas, fi ta
adesiva e clipes para prender as listas e
os diagramas à medida que as ideias vão
surgindo. Faça círculos grandes na página
e nomeie cada um deles com os principais
componentes do projeto que você deseja
explorar. Aqui estão algumas ideias:
1. visão/intenções
2. metas e objetivos
3. atividades
4. produtos
5. resultados
6. avaliações
7. pressupostos
Todos os círculos deverão ser conectados
direta ou indiretamente com todos os demais.
Cabe a você estabelecer essas conexões. À
medida que for refl etindo e discutindo, anote
as informações no diagrama.
44
Notas:......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
45
Seção 5 Como estruturar e defi nir a sua avaliação
55.1 Onde a avaliação se encaixa no modelo? 465.2 Como os modelos lógicos ajudam na avaliação? 465.3 O que é avaliar? 465.4 A que a avaliação tenta responder? 475.5 Exemplo de um modelo lógico com perguntas 495.6 Como saber se os objetivos foram cumpridos? 495.7 Timing, agendamento e coleta de dados 5 1
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.
46
Em suma, os modelos lógicos ajudam nestes pontos:
➀ Foco determinar o que avaliar
➁ Perguntas
determinar as perguntas adequadas à avaliação
➂ Indicadores
saber quais informações coletar para responder a todas as perguntas
➃ Timing
saber quando coletar os dados
➄ Coleta de dados
decidir sobre as fontes, métodos, amostras e instrumentos de coleta de dados
Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm
5.3 O que é avaliar?Uma das maiores vantagens do modelo lógico é que ele esclarece o que o programa é. Quando for
defi nir o que avaliar, pense nestas perguntas:
O que exatamente você quer avaliar? O foco da avaliação é o programa inteiro ou um componente
do programa? Pode ser, por exemplo, que você queira focalizar uma campanha de mídia do seu
programa ou um grupo alvo específi co.
Os programas costumam ser complexos. É perfeitamente normal que você não disponha de meios
ou até mesmo que nem tenha a necessidade de examinar tudo. Use o modelo lógico para selecionar
um aspecto, um componente ou partes específi cas, ou mesmo a profundidade com que deseja
avaliar.
5.2 Como os modelos lógicos ajudam na avaliação?Talvez você esteja se questionando: “por que
perder tanto tempo com os modelos lógicos,
se tudo o que eu quero é avaliar, medir
resultados e contar a minha história?” Neste
caso, pense no seguinte:
• A avaliação de um programa mal concebido
consome recursos de maneira inefi caz. Os
modelos lógicos podem ajudar a melhorar a
concepção de um programa, tornando assim o
processo de avaliação mais útil e efi ciente.
• Realizar a avaliação de programas que
ainda não estejam prontos para serem
avaliados também constitui um desperdício de
recursos. Os modelos lógicos podem ajudar a
defi nir quais dados serão úteis e quando a sua
coleta será mais oportuna.
• Para organizar uma avaliação capaz de
testar a teoria do programa, é preciso ter uma
ideia clara do pensamento teórico subjacente
à iniciativa (Weiss, 1998). O modelo lógico
estimula esse tipo de questionamento.
5.1 Onde a avaliação se encaixa no modelo?O modelo lógico descreve o seu programa ou a
sua iniciativa, o que se espera atingir e como.
A avaliação ajuda a saber de que maneira o
programa ou a iniciativa realmente trabalham.
O que funcionou, o que não funcionou e por
quê? O que se pode fazer para melhorar?
Pense como a avaliação pode ser integrada a
todo o seu modelo lógico como descrito acima.
Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_
M1_Overview.htm
AVALIAÇÃO
O que queremos saber? Como saberemos?
47
5
O que é importante medir? Em que se deve gastar tempo e recursos?
Principais aspectos a considerar nos
questionários de avaliação:
• Impossível medir tudo. Responder bem
poucas perguntas é melhor do que responder
mal muitas perguntas. Lembre-se das
palavras de Einstein: “Nem tudo o que pode ser contado conta, e nem tudo o que conta pode ser contado.”
• Não raro a avaliação assume vida própria.
Há sempre a tentação de pensar que
precisamos cada vez mais de dados. Convém,
entretanto, manter a avaliação focalizada e o
mais simples possível para não correr o risco
de levantar informações demais e não saber
o que fazer com elas no fi nal. Por exemplo, se
você estiver avaliando um programa educativo
sobre a AIDS, certifi que-se de que os dados
que você coletar estejam de fato relacionados
com um conjunto de objetivos bem específi cos
sobre o conhecimento, as atitudes e os
comportamentos ligados à doença. É tentador
querer incluir, por exemplo, informações
sobre dieta, consumo de drogas e participação
em grupos, mas isso só tenderá a complicar a
análise fi nal.
5.4 A que a avaliação tenta responder?
Avaliar nada mais é do que levantar
questionamentos que nos ajudarão a aprender
e a tornar-nos responsáveis. A identifi cação
das perguntas pertinentes é um importante
aspecto da criação de avaliações efi cazes.
“É melhor saber algumas perguntas do que todas as respostas.”
James Thurber
“O importante não é parar de fazer perguntas. A curiosidade tem a sua própria razão de ser.”
Albert Einstein
O doador sugere medir as mudanças nas redes comunitárias em 40 regiões e
cruzar as informações com a participação dos homens no nosso projeto de geração
de renda. Assim teremos uma medida perfeita.
de bicicleta...
com o meu salariozinho ...
M&A
48
focalizar os seus esforços. Perguntas
demasiadamente amplas ou vagas tendem
a gerar respostas igualmente vagas difíceis
de interpretar ou de pouca utilidade para
as futuras tomadas de decisão. “Você
teve alguma vantagem por ter assistido à
apresentação sobre o uso inadequado de
drogas?” é um exemplo de pergunta ampla.
Essa pergunta pode ser subdividida em
perguntas menores e mais específi cas, como,
por exemplo:
“A percepção que você tinha das pessoas que consomem drogas mudou? Como?”
“Você acha que um indivíduo deve ser culpabilizado por consumir drogas?”
“O seu comportamento mudou ou vai mudar por ter assistido ao curso?”
“Você aprendeu novas estratégias para conseguir mudar de comportamento?”
“Você aprendeu algo mais nesse curso?” (Isso pode não estar relacionado com curso sobre drogas.)
• A decisão do que medir depende de quem
usará os resultados e para qual fi nalidade,
sem contar a infl uência de fatores como
tempo, dinheiro e perícia.
• Além dos resultados que você almeja
alcançar, lembre-se que também
é fundamental medir os resultados
inesperados, isto é, coisas que não esperamos
acontecerem. Às vezes ocorrem mudanças
que não são vistas como positivas. É tão
importante identifi car essas mudanças quanto
as que foram benéfi cas (ver a Seção 3.4.4).
Não se esqueça de que a avaliação deve
se adequar à fase de desenvolvimento do
programa. Por exemplo:
• Talvez não seja apropriado avaliar
mudanças comportamentais quando o
programa só consiste em uma simples
ofi cina ou uma pequena campanha nos meios
de comunicação. Não faria sentido tentar
medir mudanças de autoestima em quem só
participou de uma sessão de orientação para
pais ou só assistiu a uma única apresentação
educativa de teatro de fantoches.
• Seja o mais claro possível com relação
ao que você REALMENTE quer saber para
PROJETO + VIDA =RESULTADOS INESPERADOS
PROJETO
49
5
Os indicadores podem ajudar tanto a avaliar
o progresso em andamento do projeto
(indicadores de processo) como a verifi car
se os resultados esperados foram ou não
alcançados (indicadores de resultado). Os
indicadores defi nem os dados que serão
coletados e devem estar diretamente relacionados com os principais objetivos do projeto. Eles podem ser vistos (observação),
ouvidos (resposta de um participante), lidos
(registros de uma agência), sentidos (clima da
reunião) ou mesmo percebidos pelo tato ou
pelo olfato. São as evidências que respondem
as perguntas.
Alguns indicadores são bastante óbvios
e fáceis de medir, outros nem tanto. As
5.5 Exemplo de um modelo lógico com perguntas O modelo lógico pode ajudar a determinar as questões adequadas à sua avaliação.
5.6 Como saber se os objetivos foram cumpridos?
O indicador é a evidência ou informação que representa o fenômeno sobre o qual se está
questionando. Por exemplo:
Diagrama extraído de www.uwex.edu/ces/lmcourse/interface/coop_M1_Overview.htm
avaliações devem sempre utilizar uma
combinação de indicadores de processo e
indicadores de resultado.
Os indicadores de processo referem-se ao
andamento do projeto e podem incluir:
• o número de pessoas que participam dos
eventos do projeto;
• a conclusão de infraestruturas relacionadas
com o projeto (prédios, publicações,
espetáculos, treinamentos, etc.);
• o nível de conscientização da comunidade e
a resposta às iniciativas em andamento.
PERGUNTAS CHAVES DA AVALIAÇÃO
Pessoal
Dinheiro
Parceiros Ministrar seis sessões de treinamento interativas com apostilas
Defi nir o currículo do curso para pais
Os pais alvo participam
Os pais aumentam seus conheci-mentos sobre desenvolvi-mento infantil
Os pais aprendem novas maneiras de disciplina
Os pais usam as habilidades aprimoradas
Taxas reduzidas de abusos e maus tratos a crianças dentre os participan-tes
Os insumos foram sufi cientes e chegaram no tempo certo?
SITUAÇÃO
PRIORIDADES
O currículo foi elaborado? As seis sessões foram ministradas? Com que efi cácia?
Todos os pais participaram como planejado? Quem esteve presente/ausente? Eles assistiram às seis sessões? Por que sim/não?
Houve aumento de conheci-mento? Foram aprendidas novas abordagens? O que mais aconteceu?
Os pais estão realmente usando as habilidades aprimoradas? Que diferença elas fazem?
Houve uma diminuição das taxas entre os participantes? Os objetivos foram alcançados?
Houve eventos locais dos quais os pais não puderam participar?
Os pressupostos estão corretos?• Os pais estão participando como previsto?• A mudança de conhecimento levou a uma mudança de comportamento?
50
• aumento do conhecimento sobre os efeitos
colaterais das drogas;
• mudanças no comportamento informado de
consumo de drogas;
• maior participação de atividades sociais,
econômicas e educativas devido à redução do
consumo de drogas.
Os indicadores de envolvimento da
comunidade podem incluir medidas tais como
o número de grupos de autoajuda na área,
o número de participantes de uma reunião
comunitária, etc.
Convém salientar que os indicadores só
devem ser coletados se tiverem relevância
para o projeto. Por exemplo, só vale a pena
contar o número de pessoas que assistem a
uma apresentação de teatro de fantoches se
esse evento tiver algum impacto signifi cativo,
como uma mudança de conhecimento ou de
comportamento dos indivíduos contados. A
coleta de dados cuja importância é ignorada
acaba transformando-se em um fardo que
poderá levar a complicações.
No que diz respeito a indicadores mais
abstratos, tais como autonomização e
liberdade de escolha, deve-se procurar
estabelecer parâmetros em vez de medidas
científi cas mais bem defi nidas. Por exemplo,
para avaliar o nível de autonomização,
talvez seja melhor começar investigando
o porquê da relevância da autonomização
em relação aos objetivos do projeto. Em um
projeto educativo antidrogas, seria o caso de
incluir o poder de decisão dos indivíduos de
participarem de outras atividades de lazer,
de evitarem encontrar-se com consumidores
de drogas ou de mudarem os hábitos de
consumo, optando por substâncias menos
nocivas. Quando se determinam o nível de
confi ança e a frequência de mudanças de
comportamento como essas, obtém-se
uma medição adequada da autonomização.
É preciso acima de tudo ser realista com
relação ao que se deseja fazer! Várias
técnicas podem ser empregadas para cruzar
informações (triangulação) para descobrir que
diferença o projeto fez para as vidas dos seus
benefi ciários.
Em suma, os indicadores devem ser:
• diretos,
• específi cos,
Exemplos de indicadores de resultados de
curto prazo de um programa educativo para
a redução do uso de drogas:
• aumento do conhecimento do impacto do
consumo de drogas na saúde;
• aumento da confi ança para encontrar
estratégias alternativas ao consumo de
drogas.
Exemplos de indicadores de resultados de
longo prazo:
• redução do comportamento de consumo de
drogas;
• melhoria das condições de saúde;
• maior integração na comunidade.
Essas mesmas considerações aplicam-
se quando se lida com a transmissão do
HIV, daí a importância de estabelecer a
distinção entre indicadores de curto prazo
e indicadores de longo prazo. As mudanças
de indicadores de longo prazo, tais como a
incidência de infecção por HIV, não fi cam
evidentes na escala temporal de intervenções
comunitárias de curto prazo – sem contar
que são extremamente difíceis de medir. É de
suma relevância monitorar não só a incidência
do HIV, mas também é preciso estar ciente
do possível impacto da intervenção planejada.
Por essa razão, a identifi cação de indicadores
de curto prazo realistas é crucial para uma
avaliação efi caz. No caso de projetos que
visem à redução da transmissão do HIV, os
possíveis indicadores de curto e médio prazos
podem incluir:
• mudanças da percepção em relação a
pessoas com o HIV;
• aumento do conhecimento sobre a
transmissão do HIV;
• número de pessoas que realizam testes de
HIV nas clínicas locais;
• número de pessoas que usam preservativo
nas relações sexuais.
Além disso, há outros exemplos de indicadores
de curto e médio prazos:
• mudanças no risco percebido com relação
ao consumo de drogas;
51
5referentes a mudanças de comportamento
devem ser coletadas em função dos
indicadores para os quais se está realizando o
levantamento, se no meio do programa ou em
algum momento após a sua conclusão.
A coleta de dados pode ser feita em vários
momentos:
• durante o ciclo de revisão;
• no início do programa ou durante uma
atividade ou evento específi cos;
• no decorrer da implementação;
• na metade do caminho;
• ao término de uma atividade ou evento
específi cos do programa;
• mensalmente, trimestralmente ou
anualmente;
• após o término do programa, a fi m de
determinar os resultados de longo prazo.
• úteis,
• práticos,
• adequados,
• culturalmente apropriados e
• não muito numerosos!
5.7 Timing, agendamento e coleta de dadosObserve o seu modelo lógico e as perguntas
da sua avaliação e decida em que momento
será feita a coleta de dados. O programa deve
ter chegado a um estágio que permita uma
coleta de dados signifi cativa. Por exemplo, as
informações sobre quem está participando
devem ser colhidas em cada sessão, ao passo
que os dados sobre perguntas respondidas
Para efeito de treino, com referência ao conteúdo e à estrutura da sua avaliação, você pode
começar a preencher o plano de avaliação disponível no Anexo 5.
“PARTICIPAR DE UM TREINAMENTO” NÃO É SINÔNIMO DE “AUTONOMIZAR”
TREINAMENTO SOBREAUTONOMIZAÇÃO DO GÊNERO
52
Notas:......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
53
Seção 6 Técnicas e ferramentas de pesquisa
6
6.1 Avaliação do projeto 546.2 Avaliação dos resultados e do impacto 546.3 Formulários de coleta de dados 556.4 Pesquisa quantitativa 566.5 Amostras 566.6 Pesquisa qualitativa 566.7 Técnicas de pesquisa qualitativa 586.8 Ferramentas de pesquisa 586.9 Resumo: um plano de avaliação completa 58
54
É importante estar ciente de que, conforme
foi salientado na Seção 5.6, os indicadores de
processo serão diferentes dos indicadores
de resultado.
6.2 Avaliação dos resultados e do impactoÉ impossível avaliar todos os resultados. Por
essa razão, é preciso priorizar o que for mais
importante para o sucesso das intervenções,
levando em conta o que é realmente
mensurável no intervalo de tempo do projeto.
Na situação atual, em que os fi nanciamentos
de agências são para um ou dois anos, é
provável que muitos dos objetivos de longo
prazo ainda não tenham sido alcançados ao
cabo desse período. Tanto a equipe do projeto
como os fi nanciadores devem, portanto, estar
cientes dessa situação desde o início para
evitar dissabores no futuro.
Uma vez identifi cados os principais resultados
a serem monitorados, deve-se decidir quais
são as melhores maneiras de compilar
dados. Mais uma vez é preciso ser realista
com relação ao tempo, às capacidades de
pesquisa da equipe e aos meios fi nanceiros
e humanos, tendo sempre em mente que as
pessoas envolvidas no projeto constituem os
recursos primordiais da operação, devendo
ser incluídas no processo e consultadas
continuamente. As técnicas de pesquisa
empregadas podem incluir métodos
quantitativos e qualitativos, conforme
descrição a seguir. A escolha dos métodos
será infl uenciada pelo tamanho e tipo de
projeto, pelo orçamento disponível e pelas
informações que forem coletadas.
“Até seria possível explicar tudo cientifi camente, mas não faria o menor sentido; seria como descrever uma sinfonia de Beethoven
como variações de ondas de pressão.”
Albert Einstein
6.1 Avaliação do projetoA realidade da combinação de fatores
sociais, políticos e econômicos que entram
em jogo na comunidade faz com que os
projetos raramente transcorram conforme
planejado. Por essa razão, convém que
sejam adaptáveis e fl exíveis. A avaliação do
processo ajuda a monitorar exatamente o que
ocorre no planejamento e na implementação
do programa. Com um esquema robusto, é
possível:
• explorar as origens do programa e a
sequência cronológica dos eventos durante o
planejamento e a implementação, bem como
fazer as modifi cações necessárias;
• envolver os participantes do projeto na sua
própria análise daquilo que mudou em função
da intervenção e de como o processo poderia
ser melhorado;
• observar a estrutura, os componentes e o
sistema de entrega do programa;
• examinar os fatores contextuais relevantes
para a operação do programa;
• analisar as razões que tornaram as
mudanças necessárias;
• verifi car as características e a participação
dos benefi ciários;
• avaliar a percepção que os benefi ciários têm
do programa;
• estimar o nível de conscientização da
comunidade;
• listar os recursos empregados na operação
do programa;
• informar futuros desenvolvimentos e
programas em áreas semelhantes.
55
6
6.3 Formulários de coleta de dados
TABELA 1. Características das pesquisas qualitativa e quantitativa
Pesquisa qualitativa Pesquisa quantitativa
Perguntas efetuadas Quem, o que, como e por quê? Quanto?
Categoria de
pergunta
Aberta Fechada
Interação Diálogo ou observação com a
utilização de fi lmes, vídeos, jogos de
interpretação, mapas, etc.
Perguntas e respostas
Formulário Semi ou não estruturado Controlado
Amostragem Amostra pequena, mas signifi cativa. Amostra formal, com um
grande número de seleções
aleatórias; possibilidade de
avaliação de probabilidades
estatísticas
Nível Em profundidade. Superfi cial
Análise Interpretação Formalização e análise
estatística
Métodos comuns
(as técnicas
participativas devem
ser utilizadas por
ambas as categorias)
Entrevistas:
– individuais em profundidade
– narrativas
– exploração de incidentes críticos
relacionados com um evento
específi co
– grupos de discussão
Texto escrito:
– diários
– arquivos (por exemplo, dos serviços
de saúde)
Análise da mídia:
– imprensa
– imagens e fotografi as
– vídeos
Observações:
– participantes
– não participantes
Técnicas:
– respostas aos estímulos
apresentados
– associação de palavras
– jogos de interpretação de
personagens
Sondagem
– questionário
– transversal (retrato em um
ponto da linha do tempo)
– longitudinal (ao longo do
tempo)
Ensaios controlados
– aleatórios
– quase experimentais
Dados de arquivos
(secundários)
– análise mais aprofundada
das estatísticas disponíveis
Observações
– contagens (por exemplo, de
pacientes)
56
entre grupos que provavelmente não tenham
ocorrido por acaso.
No entanto, os resultados dependem da
própria defi nição das categorias de respostas
estabelecidas pelo pesquisador, não havendo,
portanto, margem para desvendar detalhes
das vidas das pessoas ou captar informações
inesperadas. Por exemplo, uma sondagem
sobre o consumo de drogas pode formular
a pergunta “quantas vezes por semana você
consome drogas ilegais?”, que fornecerá
dados quantitativos básicos, mas não dará
qualquer tipo de insight mais profundo sobre
as pressões culturais, sociais ou psicológicas
que levam ao uso de entorpecentes. Neste
contexto, nem sempre é fácil lidar com
conceitos ambíguos ou mesmo compreender
certos termos – por exemplo, “o que vem a
ser uma droga ilegal?”
6.5 AmostrasEm vez de consultar toda a população, é
mais efi ciente interrogar uma amostra
representativa das pessoas afetadas pelo
projeto. Desde que os números sejam
sufi cientemente elevados (neste caso,
aconselha-se consultar um profi ssional de
estatística para saber dos critérios), é possível
fazer generalizações que cubram toda a
população do projeto.
As decisões neste caso dependerão do
propósito da avaliação, das perguntas
formuladas e do tamanho da população
utilizada para a coleta de informações.4
6.6 Pesquisa qualitativaEsta modalidade envolve a análise de dados
não numéricos, tais como transcrições
de entrevistas, artigos da imprensa ou
observações de pesquisadores, e formula
perguntas do tipo “o quê?”, “como?” e “por
quê?”. O método costuma ser empregado
6.4 Pesquisa quantitativaA pesquisa quantitativa envolve a coleta
sistemática de evidências que podem ser
contadas e codifi cadas numericamente.
O método explora teorias e hipóteses
de relações entre fenômenos naturais.
As técnicas quantitativas tendem a usar
instrumentos estruturados, facilitando a
coleta, a análise e a replicação das pesquisas.
Com um grande número de observações
é possível levantar dados estatísticos que
permitem generalizações.
Tradicionalmente a pesquisa quantitativa é
considerada mais científi ca e objetiva do que
a qualitativa, gozando assim de mais prestígio
perante as agências de fi nanciamento. A
tendência de exigir evidências quantitativas
para demonstrar efi ciência tem colocado uma
pressão enorme nas pequenas organizações,
que nem sempre dispõem dos meios técnicos
para reunir as evidências necessárias.
A pesquisa quantitativa também costuma
requerer recursos (fi nanceiros e humanos)
que vão além da capacidade dos pequenos
projetos comunitários. Em alguns casos,
dados já existentes de sondagens nacionais
ou regionais podem ser de grande valia
para o desenvolvimento do projeto. Além
disso, dados levantados sobre a AIDS junto
a famílias, sondagens comportamentais ou
órgãos de vigilância podem, por exemplo,
destacar variações por área geográfi ca ou por
grupos de população mais em risco.
O que é pesquisa quantitativa e quando deve ser utilizada?
Os dados quantitativos são ideais para
dar um panorama geral de uma situação,
principalmente quando há uma amostra
relativamente grande de pessoas. A pergunta
chave é “quanto?”. Os exemplos mais comuns
de métodos de pesquisa quantitativa são os
estudos experimentais, tais como sondagens
e ensaios controlados de maneira aleatória.
Todas as respostas são números absolutos,
como unidades de álcool consumidas, ou
códigos numéricos, em que, por exemplo,
“sim” e “não” são codifi cados como 1 e 2,
respectivamente. A partir daí é possível
calcular porcentagens para cada resposta e,
no caso de a amostra ser sufi cientemente
grande, determinar se existem diferenças
4 Para mais informações sobre como selecionar uma
amostra adequada, consulte estes links: www.mis.
coventry.ac.uk/~nhunt/meths
www.socialresearchmethods.net/kb/sampprob
57
6
quando o pesquisador deseja ir além da superfície e explorar respostas que não são previsíveis nem
fáceis de categorizar. A pesquisa qualitativa interessa-se menos pela maneira que as pessoas são
classifi cadas em grupos e mais pelas respostas “espontâneas”, que, após análise, podem revelar
padrões ou até mesmo contradições nos dados. A participação dos benefi ciários é primordial, tanto
na coleta como na análise dos dados. É interessante explorar métodos inovadores que possam ser
utilizados para colher dados e interpretar as conclusões.
Os métodos qualitativos buscam variações entre os indivíduos e grupos. Partindo-se do princípio de
que, diferentemente de outros objetos das ciências naturais, os seres humanos são interativos, essa
metodologia costuma ser recomendada por ser capaz de levar em conta as contribuições para os
dados efetuadas tanto pelo pesquisado como pelo pesquisador, como seres sociais.
Ambas as modalidades (qualitativa e quantitativa) podem ser empregadas sozinhas ou como
parte de uma estratégia bimodal – por exemplo, entrevistas individuais (pesquisa qualitativa) para
explorar as razões por trás dos resultados de uma sondagem nacional (pesquisa quantitativa)
que mostra como jovens desfavorecidos são mais propensos a se tornarem usuários de drogas
injetáveis. Inversamente, tópicos levantados em grupos de discussão podem ser utilizados para
elaborar um questionário com respostas possíveis predefi nidas que, por sua vez, servirá para
pesquisas quantitativas em larga escala. Os dois tipos de pesquisa são valiosos, cada qual com as
suas vantagens. É fundamental defi nir desde o início o questionamento que deverá ser levantado e,
a partir daí, optar pelo tipo de pesquisa que melhor se enquadre para obter respostas úteis.
Qual foi a porcentagem de aumento de cenouras que você trouxe no mercado este ano em relação ao ano anterior?
C
ENO
URA
S
Os seus sapatos gastaram mais rápido neste ano ou no ano passado?
CENOUR
AS
58
• Ofi cinas de avaliação e reuniões de
revisão: Trata-se de reuniões especiais para
estimular o feedback dos participantes do
projeto em que se podem utilizar técnicas
semelhantes às empregadas nos grupos de
discussão.
6.8 Ferramentas de pesquisaEm geral, para efetuar uma coleta de dados,
costuma-se utilizar alguma espécie de
formulário ou instrumento para compilar
as informações, como folha de registro,
questionário, protocolo de observação,
fi lmadora ou gravador. Pense no método de
coleta de dados escolhido e decida o que
é necessário para registrar a informação.
Na medida do possível, use somente
instrumentos testados e validados.
Caso você tenha desenvolvido o seu próprio
instrumento, certifi que-se de que é:
• capaz de salvaguardar as suas informações;
• bem compreendido pelo respondente e pela
pessoa que irá efetuar o registro;
• simples e fácil de usar;
• culturalmente sensível e de acordo com as
normas éticas vigentes;
• suscetível de reduzir os problemas
potenciais.
Antes de utilizar o instrumento no projeto,
teste-o com pessoas semelhantes aos
respondentes e àqueles que efetuarão o
registro. Esta operação é conhecida como
“piloto”.
6.7 Técnicas de pesquisa qualitativa• Entrevistas em profundidade: Podem
ser realizadas por pessoas que tiveram
um envolvimento próximo com o projeto e
têm bons insights: componentes da equipe,
membros das organizações parceiras ou
participantes do projeto. O Anexo 6 dá mais
informações sobre como realizar entrevistas
em profundidade.
• Grupos de discussão e mesas-redondas:
Os grupos de discussão reúnem entre
quatro e oito pessoas que em geral têm uma
característica em comum (por exemplo,
podem ser todos usuários de drogas ou pais
de usuários, conforme o enfoque do projeto).
O grupo costuma debater sobre temas de
relevância para a avaliação. Técnicas para
provocar discussão (fotos, imagens, gravações,
etc.) podem ser úteis.
• Estudos de caso: Exploram alguns
exemplos em detalhe. Escolha aqueles que
melhor ilustrem os seus principais objetivos.
• Observações: Observe, por exemplo, a
dinâmica dos grupos. Quem frequenta as
reuniões? Que tipo de pergunta é feito? Quem
está envolvido? Há uma boa representação da
comunidade?
• Portfólios: Veja exemplos de trabalhos que
foram produzidos.
• Informes jornalísticos: Reúna e revise
informes jornalísticos relevantes.
• Diários: Peça às pessoas que mantenham
diários sobre as atividades relativas ao projeto
e seu envolvimento nelas.
• Fichas de comentários: Você pode
descobrir o que as pessoas acham dos
serviços oferecidos pelo projeto, pedindo-
lhes que preencham uma pequena fi cha de
comentários. O que eles acham mais útil?
Como eles melhorariam a atividade?
59
6
6.9 Resumo: um plano de avaliação completaI
Foco da avaliação
Perguntas: O que você quer
saber?
Indicadores Como você saberá?
Quem fará a
avaliação? Torne-a
participativa!
Não complique!
II
Coleta de
informações
Refl ita sobre:
fontes
métodos (qualitativos,
quantitativos,
participativos)
timingamostras
instrumentos
III
Análise das
informações
análise
interpretação
IV
Refl exão sobre como
usar as informações
Divulgar e compartilhar as lições aprendidas (não só as boas, mas as más também)
Para quem? Quando?
Como?
• A avaliação deve ser simples e direta. Focalize em “o que eu preciso saber?”, “quem usará as
informações?” e “para quê?”
• Esta discussão é meramente introdutória. Nossa intenção é mostrar como o modelo lógico ajuda
no processo de avaliação. Existem muitas outras fontes que aprofundam a questão e abordam os
aspectos técnicos da avaliação (ver bibliografi a na Seção 9).
• O modelo lógico não é um modelo de avaliação, mas sim uma ferramenta que fornece um
arcabouço coerente que serve de guia para o processo de avaliação. Este modelo facilita uma
avaliação efi caz ajudando-nos a:
– decidir o que avaliar;
– identifi car as perguntas adequadas à avaliação com base no programa;
– saber quais informações coletar para responder as perguntas da avaliação (os indicadores);
– decidir quando coletar os dados;
– determinar as fontes, os métodos e os instrumentos da coleta de dados;
– considerar as oportunidades de revisão e divulgação de dados.
60
Notas:......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
61
Seção 7 Avaliação participativa
7
7.1 Técnicas de avaliação participativa 627.2 Aspectos relevantes de Monitoramento e Avaliação Participativas 63
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.
62
• Aprendizado: É preciso defi nir como as
lições aprendidas serão utilizadas e passadas
adiante a fi m de realizar melhorias no futuro.
O processo deve ser claro no que diz respeito
à maneira como as boas práticas serão
compartilhadas e ampliadas.
• Flexibilidade: Os projetos comunitários são
constantemente infl uenciados por uma série de
fatores que fogem ao controle dos envolvidos.
Todos os que trabalham no projeto devem,
portanto, estar cientes da necessidade de
serem fl exíveis e se adaptarem às mudanças.
Métodos geralmente usados em M&AP:
Existem muitos métodos criativos e dinâmicos
que podem ser usados para envolver os
benefi ciários no projeto. Alguns já foram
mencionados na Seção 6.7. Eis agora algumas
ideias mais específi cas:
• Mapas: É interessante utilizar mapas da
localidade para dar início a uma discussão
sobre as mudanças que estão sendo
observadas, bem como onde e de que maneira
elas estão ocorrendo. Eles também podem ser
utilizados para situar as partes interessadas e
os participantes do projeto.
7.1 Técnicas de avaliação participativaConvém enfatizar que as iniciativas
comunitárias têm mais probabilidades de
sucesso quando a comunidade se sente
dona do projeto e participa dos processos de
iniciação, implementação e avaliação.
O que vem a ser Monitoramento e Avaliação Participativos (M&AP)?
Quatro princípios básicos constituem o cerne
do M&AP, a saber:
• Participação: Todas as partes interessadas
– e principalmente as mais diretamente
afetadas – devem envolver-se em todas as
fases da implementação do projeto, inclusive
na decisão de qual metodologia de pesquisa
será empregada.
• Negociação: As partes interessadas devem
decidir o que será monitorado e avaliado,
qual será a metodologia de coleta de dados,
como os dados serão interpretados, como as
várias ações serão empreendidas e como os
resultados serão compartilhados e divulgados.
É óbvio que...
se distribuirmos
preservativos
gratuitamente...
... a gente vai poder fazer
balões de água!!!
A SUA LÓGICA PODE NÃO SER IGUAL À DOS OUTROS
63
7
• Diagramas de Venn: Estes diagramas
constituem uma maneira bastante efi caz de
mostrar as relações entre grupos, indivíduos e
instituições.
• Fluxogramas: Os fl uxogramas associam as
mudanças a uma causa percebida, além de
demonstrarem o impacto dessas mudanças.
• Diários: Se atualizados com a devida
regularidade, os diários constituem uma
ferramenta útil para descrever as mudanças nas
vidas dos indivíduos e dos grupos.
• Fotografi as: São excelentes para iniciar
discussões e uma ótima maneira de documentar
as mudanças com o passar do tempo. É
importante pensar em também tirar fotos antes
do início do projeto e após a sua conclusão.
• Arte: A arte é uma maneira natural e
espontânea de revelar as preocupações e
prioridades dos indivíduos e da comunidade.
Alguns métodos, como jogos de interpretação de
personagens (role playing) e teatro de fantoches,
costumam funcionar muito bem com crianças e
jovens.
A sequência das fases de um M&AP é bastante
similar à de outros métodos de pesquisa
convencionais. O diagrama a seguir destaca as
etapas principais:
7.2 Aspectos relevantes• Os métodos participativos não excluem
outros tipos de metodologia. Na verdade,
os melhores resultados costumam ser
alcançados quando se aplicam diferentes
técnicas de avaliação.
• Nem todos os benefi ciários e demais
partes interessadas vão querer se envolver no
processo de M&AP. Para participar, é preciso
dedicar tempo e energia e nem todos têm o
preparo ou as condições para tal.
• O processo de M&AP pode ser associado
à Teoria da Construção do Conhecimento,
segundo a qual a aprendizagem não se
limita a afetar os indivíduos, mas sim toda
a comunidade. Scardamalia (2002) descreve
como o processo de investigação coletiva
sobre um determinado tema pode resultar
em uma compreensão mais aprofundada
por meio de questões interativas, diálogos e
desenvolvimento contínuo de ideias. As ideias
são, portanto, o meio de operar em ambientes
de construção de conhecimento. O professor
assume o papel de orientador, e não de
condutor, e permite que os alunos assumam
uma parte considerável da responsabilidade
pela própria aprendizagem, participando
inclusive dos processos de planejamento,
execução e avaliação (Scardamalia, 2002).
• As técnicas participativas podem contribuir
para conferir autonomia aos benefi ciários
do projeto, ajudando-os a encontrar áreas
de responsabilidade e fornecendo-lhes as
habilidades necessárias para desempenharem
o seu trabalho.
• É muito importante controlar as ambições
e dar pequenos passos no início. Alguns
exemplos de técnicas participativas citados
foram extraídos de projetos em que o M&AP
deu uma contribuição (em geral modesta)
para um plano de pesquisa mais abrangente.
Em muitos casos, consultar os benefi ciários
e envolvê-los no processo de pesquisa é
uma reação espontânea que ocorre sem
planejamento prévio, podendo, portanto,
realizar-se sem muitas formalidades.
“Todo o problema do mundo é que os tolos e os fanáticos estão sempre cheios de certezas, e as pessoas mais sábias estão cheias de dúvidas.”
Bertrand Russell
Extraído do IDS Policy Briefi ng no 12, de novembro de 1998, p.3.
Disponível em www.ids.ac.uk/ids/bookshop/briefs/PB12.pdf
Coletar as informações
Defi nir os métodos, as responsa-
bilidades e os prazos da coleta de informações
Identifi car indicadores
que darão as informações necessárias
Estabelecer as prioridades para monitoramento e
avaliação
Esclarecer as expectativas dos participantes do
processo e de que maneira cada pessoa
ou grupo deseja contribuir
Identifi car quem deve e quer ser
envolvido
Verifi car se o processo de M&AP
precisa receber suporte e, se for
o caso, como
Concordar em como e
por quem os resultados serão
utilizados
Analisar as informações
64
Notas:......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
65
Seção 8 Análise e divulgação de dados
8NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.
66
um número considerável de dados, talvez
convenha procurar orientação sobre a melhor
maneira de armazená-los e tratá-los.
Em geral a análise de dados qualitativos
costuma ser considerada mais subjetiva
do que a de dados quantitativos. O material
coletado é rapidamente examinado e os pontos
chave são identifi cados. A seguir, os dados são
classifi cados de um modo mais rigoroso de
acordo com categorias predefi nidas. A análise
do conteúdo consiste em revisar documentos
escritos (jornais, notas de observação,
sondagens com perguntas abertas) ou
transcrições de gravações (de entrevistas ou
grupos de discussão). À medida que o texto
é lido, atribui-se um código às áreas que
representam conceitos relevantes, padrões
comuns entre os informantes ou respostas
distintas dos diferentes subgrupos. Feito isso,
o texto é então classifi cado por categoria. As
categorias são defi nidas previamente, podendo
também surgir no decorrer do processo de
análise. A tecnologia ou os equipamentos
empregados não precisam ser sofi sticados;
basta que eles consigam separar trechos de
textos, separá-los de acordo com o tema e a
seguir dispô-los de uma maneira que facilite a
sua visualização.
É preciso ter cautela ao lidar com dados
qualitativos, para não se fazerem afi rmações
que contenham informações numéricas
enganosas. Nem sempre é fácil resistir à
tentação de fazer afi rmações do tipo “80%
das pessoas pensam que as vacas se deitam
antes de uma tempestade”. Efetivamente, se
a amostra total for pequena, por exemplo,
dez pessoas, 80% equivale a somente oito
pessoas, um número pouco signifi cativo para
que se possa inferir que o mesmo se verifi ca
em amostras maiores. Como um número
pequeno de respondentes em pesquisas
qualitativas não tem signifi cância estatística
para permitir inferências, convém evitar as
porcentagens, devendo-se preferir afi rmações
menos comprometedoras, do estilo “na nossa
amostra, a maioria dos respondentes (8 de um
total de 10) acha que….”
Uma vez coletados, os dados precisam ser
claramente tabulados para que as evidências
de fontes diversas possam ser reunidas
e comparadas. Ao examinar os dados as
principais questões a serem levantadas são as
seguintes:
– As informações mostram que os objetivos
foram atingidos? (Seja o mais específi co
possível ao descrever como os resultados
foram alcançados.)
– Quais são os resultados do projeto?
(Considere tanto os resultados esperados
como os inesperados, e da mesma forma os
desejados e os indesejados.)
– Os dados destacam algum sucesso?
– Existem áreas problemáticas que requeiram
atenção particular?
– Houve algum obstáculo à realização dos
objetivos preestabelecidos?
Se a avaliação tiver sido bem planejada e
a pesquisa tiver sido conduzida de modo
apropriado, com objetivos claros, indicadores
confi áveis e uma coleta de dados rigorosa,
a fase da análise poderá transcorrer sem
problemas.
A análise de dados quantitativos tem de ser
precisa e estruturada. Se a quantidade de
dados a serem tratados for considerável, a
perícia de um estatístico (em geral difícil de
encontrar!) pode ser necessária. Mesmo que
os dados demonstrem uma relação entre o
serviço prestado e um resultado particular, a
menos que o projeto tenha sido objeto de um
estudo experimental (com a comparação com
outro local que não tenha recebido intervenção
e, portanto, sirva de controle), não se pode
afi rmar que o programa foi a causa direta dos
resultados.
Existem softwares especializados que podem
ajudar na análise tanto de dados quantitativos
como qualitativos. Se a avaliação abranger
“Se você tiver uma maçã e eu tiver outra maçã, e nós as trocarmos, cada um continuará com uma maçã. Mas, se você tiver uma ideia e eu tiver outra ideia,
e nós as trocarmos, aí cada um fi cará com duas ideias.”
George Bernard Shaw
67
8
Divulgação
Após os resultados terem sido coletados e
analisados, é importante compartilhá-los com
o maior número de pessoas. Os participantes
e os fi nanciadores do projeto têm grande
interesse nessa informação e cabe aos
avaliadores transmitir-lhes os resultados
da maneira mais aberta e direta possível.
Efetivamente, é imprescindível fornecer
continuamente feedback sobre o andamento
do projeto, para que se façam melhorias em
todas as fases do ciclo do projeto (ver Seção
2.1). Sejam eles positivos ou negativos, esses
resultados têm de ser divulgados para que as
lições possam ser aprendidas e as adaptações
necessárias sejam efetuadas para aprimorar
o desempenho no futuro. Ofi cinas e reuniões
podem constituir um âmbito particularmente
apropriado para a comunicação dos
resultados. Os websites, que constituem uma
ferramenta de enorme abrangência, também
vêm sendo cada vez mais empregados nesse
sentido.
Quando se coletam dados de várias fontes
distintas, não se deve deixar de atribuir o
devido peso a todas as evidências. Ademais,
os resultados devem registrar claramente
o tamanho da amostra de entrevistados. Da
mesma forma, os instrumentos utilizados
(questionários, formulários, etc.) devem ser
incluídos no relatório fi nal do projeto.
Dados quantitativos
Para obter informações sobre como efetuar
sondagens e questionários quantitativos,
consulte:
International Fund for Agriculture and
Development (IFAD). “A Guide for Project
Monitoring and Evaluation.” A parte mais
relevante é o Anexo D: “Methods for monitoring
and evaluation”. Disponível para download em:
www.ifad.org/evaluation/guide/index.htm
Veja mais referências na bibliografi a
comentada da Seção 9.
Compartilhe o que aprendeu.
L IÇÕES
Compart i lhe as aprend izagems
PROJETO
Resu
ltado
S
ResultadoS
ResultadoS
ResultadoS
68
Notas:......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
69
Seção 9 Referências, bibliografi a comentada e anexos
9
Referências 70Bibliografi a comentada 72Anexo 1 – Ficha de comentários 76Anexo 2 – Tipos de avaliação 77Anexo 3 – Glossário 79Anexo 4 – Gabarito do Modelo Lógico de Projeto 8 1Anexo 5 – Plano de avaliação 82Anexo 6 – Guia para entrevistas em profundidade 83
NB: Todos os websites citados nesta seção foram acessados em outubro de 2010.
70
Scardamalia, M. (2002). Collective cognitive
responsibility for the advancement of
knowledge. In B. Smith (Ed.), Liberal education in a knowledge society (pp. 67-
98). Chicago: Open Court.
www.ikit.org/fulltext/2002CollectiveCog.pdf
Sinkler, P. (1999), Qualitative health promotion research in context, não publicado, Health
Development Agency, Londres.
Springett (1998), Practical guidance on evaluating health promotion, Copenhague,
World Health Organisation.
Taylor, J. (2000), So now they are going to measure empowerment, Community
Development Resource Association.
www.cdra.org.za/articles/So%20
now%20they%20are%20going%20to%20
measure%20empowerment!%20-%20
by%20James%20Taylor.htm
Monitoring the Declaration of Commitment on HIV and AIDS: Guidelines on Construction of Core Indicators. Relatório de 2008.
Genebra, UNAIDS (2007)
National AIDS Programmes: A Guide to Monitoring and Evaluation. Genebra,
UNAIDS (2000)
Responding to HIV and AIDS. Measuring Results: The Answer Lies Within. Nova
York: UNDP. (2005).
A participatory handbook for youth drug abuse prevention programmes. A guide for development and improvement, Nova York,
United Nations. UNODC Viena. (2002).
www.unodc.org/pdf/youthnet/handbook.pdf
United Nations Offi ce for Drug Control
and Crime Prevention, WHO (2006)
- Monitoring and Evaluating - Youth Substance Abuse Prevention Programmes Viena www.unodc.org/pdf/youthnet/action/
planning/m&e_E.pdf
University of Wisconsin, “Program Development and Evaluation”. www.uwex.edu/ces/pdande/evaluation/
evallogicmodel.html
ReferênciasBeattie, A. (1995), Evaluation in community
development for health: An opportunity
for dialogue, Health Education Journal, vol. 54: 465–72.
Boyce, W. (1993), Evaluating participation in
community programs: An empowerment
paradigm, The Canadian Journal of Program Evaluation, 8:1, 89-102.
Bruce, N., Springett, J., Hotchkiss, J., Scott-
Samuel, A. (eds) (1995), Research and Change in Urban Community Health, Avebury.
Core Initiative (maio de 2006), Project Cycle Management: Community Based Organisation (CBO) Training Toolkit.
Institute of Development Studies (1998),
Participatory monitoring and evaluation: Learning from change, Policy Briefi ng 12.
www.ids.ac.uk/ids/bookshop/brief12.html
J. Rowntree Foundation (2005), Evaluating community projects. A practical guide. The Joseph Rowntree Foundation.
www.jrf.org.uk
Ottawa Charter for Health Promotion. First
International Conference on Health
Promotion (1986), WHO/HER/HEP.
www.who.int/hpr/NPH/docs/ottawa_
charter_hp.pdf
Patton, M. (1997), Utilization-focused evaluation (3ª edição), Thousand Oaks,
CA, Sage.
Rehle,T., Saidel, T., Mganani, R. (eds) (2006)
Evaluating programs for HIV and AIDS prevention and care in developing countries. Family Health International
www.fhi.org
Rootman, I., Goodstadt, M., Potvin, L.,
Springett, J. (1997), Toward a framework for health promotion evaluation, Copenhague, World Health Organization.
Save the Children Fund (UK), (2003), Toolkits: A practical guide to monitoring, evaluation and impact assessment, Gosling, L.
71 9
Wallace, T (2006) Evaluating Stepping Stones: A review of existing evaluations and ideas for future M&E work Action Aid
International.
www.comminit.com/en/node/265544
Webb, D., Elliott, L (2002) Learning to Live: Monitoring and evaluation in HIV/AIDS programmes for young people. Londres:
Save the Children Fund.
Weiss, C. (1998), Evaluation: Methods for studying programs and policies.
Englewood Cliffs, NJ, Prentice-Hall.
Evaluation handbook. W. K. Kellogg Foundation
USA (1998).
Logic model development guide, Kellogg
Foundation, USA. (2003),
Evaluation in health promotion. Principles and perspectives Edited by Rootman, .I.,
Goodstadt, M., Hyndman,.B., McQueen,
D., Potvin,.L. Springett,.J. e Ziglio,E. WHO
Regional Offi ce for Europe WHO (2006).
WHO et al (2006) Monitoring and Evaluation Toolkit: HIV and AIDS, Tuberculosis and Malaria, 2a ed. Genebra.
www.who.int/hiv/pub/epidemiology/en/
me_toolkit_en.pdf
72
Bibliografia comentadaA lista a seguir focaliza a avaliação de
programas comunitários de pequena escala,
com ênfase nos métodos qualitativos e
participativos para avaliações internas. Não
é exaustiva. A maior parte das referências
citadas foram incluídas por serem claras e
acessíveis por internet. Todos os websites
mencionados estavam em funcionamento
em outubro de 2010. A bibliografi a deve ser
considerada como uma “obra em andamento”
que pode ser revista e ampliada.
1. Recursos para avaliações
comunitárias de pequena
escala
� Action Aid. UK. Wallace, T. (2006),
Evaluating Stepping Stones: A review of existing evaluations and ideas for future M&E work Action Aid International. www.comminit.
com/en/node/265544
� Americorps. Project STAR. Disponibiliza
para download capítulos que cobrem todas
as etapas de um projeto: planejamento,
avaliação, análise e divulgação. O objetivo
do site é melhorar a qualidade e a coesão
das avaliações, bem como aprimorar a
capacidade de avaliação promovendo o uso de
listas de controle para tarefas e abordagens
específi cas. http://nationalserviceresources.
org/
� Charities Evaluation Service: produz uma
série de artigos que abordam os seguintes
temas:
– metas e objetivos;
– diferentes maneiras de abordar a avaliação;
– autoavaliação;
– envolvimento dos participantes na avaliação;
– o emprego da avaliação em diferentes
políticas;
– bons e maus usos dos indicadores de
desempenho;
– monitoramento de resultados;
– avaliação de impactos.
As pesquisas podem ser adquiridas em
separado ou em conjunto diretamente no site
da CES: www.ces-vol.org.uk
� Rehle,T., Saidel, T., Mganani, R. (eds)
(2005). FHI - Evaluation Handbook. Evaluating programs for HIV/AIDS prevention and care in developing countries. Este documento traz
informações sobre como avaliar programas
de prevenção da AIDS em países em
desenvolvimento. www.fhi.org/en/HIVAIDS/
pub/Archive/evalchap/
� Green, L.W. and Kreuter, M.
PRECEDE-PROCEED Model for health promotion. Baseado na epidemiologia, na
administração de saúde e nas ciências
sociais comportamentais e educacionais,
o modelo enfatiza duas premissas: (1) a
saúde e os riscos de saúde apresentam
múltiplos fatores e, (2) por conseguinte,
os esforços para realizar mudanças
comportamentais, ambientais e sociais devem
ser multidimensionais, multissetoriais e
participativos. www.lgreen.net/precede.htm
� Horizon Research, Inc. Taking stock: A practical guide to evaluating your own programs (1997). Um guia prático de avaliação
de programas dirigido a OBCs (organizações
baseadas na comunidade), com informações
que podem ser aplicadas para auxiliar nas
intervenções. O manual fornece informações
úteis para melhorar o trabalho de concepção
e realização de avaliações, sobretudo internas.
As 97 páginas do guia estão disponíveis para
download em www.horizon-research.com/
publications/stock.pdf
� International Fund for Agricultural
Development (IFAD). Um website bastante
completo sobre avaliações com manuais
online e vários exemplos práticos. O Evaluation
Help Desk fornece acesso rápido a dados e
informações sobre avaliações: www.ifad.org/
evaluation/
Um guia prático dirigido a gerentes de projeto que aborda o monitoramento e a avaliação de projetos de desenvolvimento rural: www.ifad.org/evaluation/oe/process/guide/
� McNamara, C. Basic guide to program evaluation. Este guia enfatiza que os
funcionários que trabalham nos projetos não
precisam ser especialistas para fazer boas
avaliações. Aqui se aplica a regra de que
20% dos esforços geram 80% dos resultados
73 9
necessários; logo, é melhor fazer um esforço
médio para realizar uma avaliação do que não
fazer avaliação alguma. Este documento dá
orientações sobre a natureza do processo de
avaliação e explica como realizar avaliações
de um modo prático e realista. www.
managementhelp.org/evaluatn/fnl_eval.
htm#anchor1575679YBrowser.HTML\Shell\
Open\Command
� Mc Namara, C. (1999). Basic guide to outcomes-based evaluation for non-profi t organizations with very limited resources.
Este documento dá orientação básica sobre
planejamento e implementação de um
processo de avaliação baseada em resultados
em ONGs.
� National Science Foundation. User-friendly handbook for mixed method evaluation. Um
manual prático repleto de exemplos úteis de
ferramentas e instrumentos de pesquisas
qualitativas e quantitativas.
� Organization for Economic Cooperation and
Development: Improving evaluation practice: Best practice guidelines for evaluation. Este
documento dá ótimos conselhos sobre como
aprimorar o processo de avaliação. www.oecd.
org/dataoecd/11/56/1902965.pdf
� Public Health Training Network: Practical evaluation of public health programmes. Curso abrangente supervisionado pelos
Centers for Disease Control and Prevention, de
Atlanta, EUA.
� Robson, C. (2000) Small Scale Evaluation, Londres, Sage. Este guia abrangente e
acessível explica claramente o que são as
avaliações e como podem ser aplicadas de
modo mais efetivo, além de descrever os
pontos positivos e as armadilhas dos vários
métodos.
� Save the Children (Reino Unido). Toolkits: A practical guide to monitoring, evaluation and impact assessment, elaborado por Louisa
Gosling. O guia aborda em seus capítulos
temas como M&A de impactos, explica o
funcionamento de uma série de ferramentas
práticas que podem ser adaptadas de acordo
com as diferentes necessidades.
www.savethechildren.org.uk./en/54_2359.htm
� UNDP (2002). Handbook on monitoring and evaluating for results. Um manual útil sobre
monitoramento e avaliação, disponível em
inglês, francês e espanhol. Inclui um pacote
de treinamento em M&A disponível somente
em inglês. O site da UNDP também oferece
uma série de outros recursos, além de links
para sites de parceiros. www.undp.org/eo/
documents/HandBook/ME-HandBook.pdf
� United Nations Offi ce for Drug Control and
Crime Prevention (2002). Viena. A participatory handbook for youth drug abuse prevention programmes. A guide for development and
improvement, United Nations, Nova York.
www.unodc.org/pdf/youthnet/handbook.pdf
� United States Aid Interventions Department
(USAID). Traz uma lista de vários recursos
para avaliações. www.dec.org/partners/
evalweb/
� University of Kansas. Community Toolbox. http://ctb.ku.edu/
� University of Wisconsin - Extension.
Program Development and Evaluation. Muito prático e informativo, este site oferece
orientação interativa sobre a aplicação do
modelo lógico. www.uwex.edu/ces/pdande/
evaluation/index.html
� U.S. Department of Health and Human
Services. Centers for Disease Control and
Prevention. CDC Evaluation Working Group: www.cdc.gov/eval/resources.htm#manuals
Contém links para uma série de sites
abrangentes que cobrem os seguintes tópicos:
• ética, princípios e normas;
• organizações, sociedades, fundações,
associações;
• periódicos online;
• manuais passo a passo;
• recursos para o modelo lógico;
• ferramentas para planejamento e melhoria
de desempenho;
• relatórios e publicações;
• sugestões.
� U.S. Department of Health and Human
Services. Centers for Disease Control and
Prevention. CDC Evaluation Working Group:
Framework. www.cdc.gov/eval/framework.htm
� International HIV/AIDS Alliance. Apoio a
comunidades para reduzir o alastramento do
HIV e enfrentar os desafi os da AIDS. www.
aidsalliance.org/sw1280.asp
� W. K. Kellogg Foundation (1998).
Evaluation Handbook. Kellogg Foundation,
EUA. Acessível e bem apresentada, esta
74
obtenção, conversão e manipulação de dados,
além de fornecer sugestões de bibliografi a
sobre análise de dados. As entradas são
acompanhadas de anotações sucintas. http://
maltman.hmdc.harvard.edu/socsci.shtml
� Westat Muraski, L. (1993). Understanding Evaluation: The Way to Better Prevention Programs. Department for Education. EUA.
Este manual disponível para download
aborda a avaliação de programas norte-
americanos de prevenção do uso de drogas
e álcool. Inclui informações sobre métodos
quantitativos. Inclui informações sobre
métodos quantitativos. www.ed.gov/PDFDocs/
handbook.pdf
3. Métodos de avaliação
participativa
� Aubel, J (1999) Participatory Program Evaluation Manual. Catholic Relief Services.
US Agency for International Development
Services.
� Chambers, R (2002) Participatory workshops: a sourcebook of 21 sets of ideas and activities. Londres, Earthscan.
� International Fund for Agriculture and
Development (IFAD). A Guide for Project Monitoring and Evaluation. Apresenta uma
série de métodos participativos. www.ifad.org/
evaluation/guide/index.htm
� Mayoux L. and Chambers, R. (2005)
Reversing the paradigm: quantifi cation, participatory methods and pro-poor impact assessment. Journal of International
Development 17, No. 2, 2005, pp.271-98
� Mikkelsen, B. (2005) Methods for development work and research: a new guide for practitioners. Nova Déli. Sage
� Stoecker, R. (2005). Research methods for community change: a project based approach. Thousand Oaks. Sage
� Whitmore, E. (ed) (1998). Understanding and practicing participatory evaluation. São
Francisco, American Evaluation Association.
� Estrella, M. et al (Eds) Learning from Change: Issues and Experiences from Participatory Monitoring and Evaluation.
Bourton Hall. Warwickshire. IDRC/ITP (2000).
publicação traz explicações claras sobre
os principais métodos de avaliação e seus
modelos teóricos subjacentes, enfatizando a
avaliação contextual e participativa baseada na
comunidade. www.wkkf.org
� W. K. Kellogg Foundation (2003).
Logic Model Development Guide. Kellogg
Foundation, EUA. Traz informações técnicas
detalhadas e ideias práticas para facilitar
a compreensão dos princípios básicos da
aplicação de modelos lógicos no processo de
avaliação. Deve ser utilizado juntamente com o
Evaluation Handbook. www.wkkf.org.
� WHO (2002). Working with street children: Monitoring and evaluation of a street children project. Este manual foi concebido para ser utilizado por educadores e outros profi ssionais que trabalhem com crianças de rua. Seu objetivo é fazer com que o usuário compreenda a importância do monitoramento e da avaliação, ajudando na identifi cação de uma série de estratégias apropriadas e propiciando o desenvolvimento da confi ança necessária para a implementação de atividades. http://whqlibdoc.who.int/
publications/924159036X.pdf
� Westat. Understanding Evaluation: The Way to Better Prevention Programs. Este manual disponível para download aborda a avaliação de programas norte-americanos de prevenção do uso de drogas e álcool. Inclui informações sobre métodos quantitativos. www.ed.gov/PDFDocs/handbook.pdf
2. Análise quantitativa
� International Fund for Agriculture and
Development (IFAD). A Guide for Project Monitoring and Evaluation. O Anexo D,
“Methods for monitoring and evaluation” é de
particular relevância. www.ifad.org/evaluation/
guide/index.htm
� United States General Accounting Offi ce
(maio de 1992). “Quantitative data analysis: An introduction”. http://archive.gao.gov/
t2pbat6/146957.pdf
� The impoverished social scientist’s guide to free statistical software and resources. O
guia do Dr Micah Altman, diretor do projeto
Virtual Data Center e diretor associado do
Harvard-MIT Data Center, traz uma longa lista
de pacotes específi cos agrupados por tipos
e links para sites que oferecem ajuda para a
75 9
trabalhos que podem ser lidos integralmente
online. http://gsociology.icaap.org/methods/
� UK Evaluation Society. Divulga a teoria,
a prática, a compreensão e a utilização de
avaliações, contribuindo para a popularização
do conhecimento e promovendo diálogos e
debates intersetoriais e interdisciplinares.
www.evaluation.org.uk/
� Muitos países têm também sites sobre
avaliação. Para obter informações locais,
utilize um mecanismo de busca como por
exemplo, o Google, para pesquisa.
� Este website tem excelentes informações
sobre avaliações participativas: http://blds.ids.
ac.uk/
4. Sites de avaliação genérica
� African Evaluation Society. Orientação
para avaliações na África. Inclui normas
de qualidade, ética e outros valores, bem
como informações sobre conferências e
treinamentos. www.afrea.org/home/index.cfm
� American Evaluation Association.
Organização internacional dedicada à
aplicação de tecnologias e avaliação de
programas e pessoal, entre outros.
www.eval.org
� European Evaluation Society.
www.europeanevaluation.org/
� The Evaluation Center. Este site, dirigido a
usuários e especialistas, traz listas de controle
sobre planejamento, orçamento, contratação
de pessoal, gerenciamento de avaliações
de programas; coleta e análise de dados;
relatórios de avaliação. Todas as listas de
controle são baseadas em lições aprendidas
na prática. www.wmich.edu/evalctr/checklists/
� National Science Foundation.
Programmatic On-Line Evaluation Resources – OERL: Online Evaluation Resource Library. Esta biblioteca foi desenvolvida
para profi ssionais que se interessam pela
concepção, realização, documentação e
revisão de avaliação de projetos. O propósito
do sistema é coletar e disponibilizar planos,
instrumentos e relatórios de avaliação
dos projetos da NSF que possam ser
empregados como referência pelos principais
pesquisadores, avaliadores de projetos e
outros até mesmo fora da comunidade da
NSF, na medida em que defi nem propostas
e projetos. A OERL também traz módulos de
desenvolvimento profi ssional que auxiliam na
compreensão e na utilização dos materiais
disponibilizados. http://oerl.sri.com/
� Resources for methods in evaluation and
social science. Este site traz listas de recursos
gratuitos para avaliação e pesquisa social,
enfatizando como se devem realizar pesquisas
e os métodos que podem ser empregados:
sondagens, grupos de discussão e entrevistas,
entre outros. A maioria dos links propostos
remete a sites, como o do GAO (Government
Accountability Offi ce), que disponibilizam
76
Anexo 1 – Ficha de comentáriosEste guia é uma obra em andamento. Gostaríamos muito que você nos enviasse os seus
comentários para podermos melhorar a qualidade e a efi ciência deste produto. Por favor, responda
este questionário e envie as suas respostas pelo correio para o endereço que aparece no fi nal desta
página.
– Este guia foi útil para você? a) Sim, muito útil. b) Sim, relativamente útil. c) Não, não foi útil.
– Você fez algum uso prático deste guia?
– Você pretende usar este guia no futuro?
– Como você utilizou este guia? Favor especifi car se utilizou somente algumas seções.
– Como este guia poderia ser mais acessível/útil?
– Você utiliza outros materiais de apoio para monitorar e avaliar? Favor especifi car.
– Você poderia dar exemplos específi cos de ferramentas de pesquisas efi cazes ou inefi cazes
que foram utilizadas nos seus projetos? Podemos contatá-lo(a) diretamente para discutir a
possibilidade de esses exemplos serem incluídos na próxima versão deste guia?
– Você encontrou algo inadequado, absurdo ou difícil de entender? Em caso afi rmativo, favor
informar o que e por quê?
– Outros comentários:
Favor enviar a sua resposta para: Divisão da Educação Básica
Setor de Educação – UNESCO
7, Place de Fontenoy,
75352 Paris 07SP
França
77 9
Anexo 2 – Tipos de avaliação Tradicionalmente, os seguintes tipos de avaliação técnica são empregados, sozinhos ou em
combinação:
1. AVALIAÇÃO FINAL
A avaliação fi nal é efetuada após a conclusão do programa, por exemplo, mediante uma
sondagem ou um questionário. É uma prática comum, mas é a menos confi ável, pois não
há como saber quais eram as circunstâncias antes da aplicação do programa. Este tipo de
avaliação tende a focalizar os resultados e impactos da intervenção.
2. AVALIAÇÃO RETROSPECTIVA
Solicita-se aos participantes que relembrem ou ponderem a sua situação, os seus
conhecimentos, as suas atitudes, o seu comportamento, etc., anteriores ao programa.
Costuma ser utilizada no ensino e em programas de atendimento comunitário, mas
apresenta um caráter enviesado, pois está sujeita aos enganos de memória (vieses de
recordação).
3. AVALIAÇÃO EX-ANTE E EX-POST Os benefi ciários do programa são avaliados uma vez antes do programa e depois novamente
ao fi nal do programa (por exemplo, pré e pós-observações de comportamentos). Esse tipo
de avaliação em geral é utilizado em sistemas de ensino e as diferenças entre o “tempo 1”
e o “tempo 2” costumam ser atribuídas ao programa. No entanto, muitos outros fatores no
decorrer de um programa podem afetar as mudanças, o que compromete essa associação.
4. AVALIAÇÃO IN PROCESSU
A coleta de informações ao longo do programa é uma maneira de identifi car a associação
entre os eventos e os resultados. Podem-se coletar dados sobre as atividades e serviços,
assim como sobre o progresso dos participantes. Esta modalidade não costuma ser
empregada em projetos baseados em comunidades, talvez em razão do tempo e dos recursos
necessários para colher as informações.
5. AVALIAÇÃO EM SÉRIES TEMPORAIS
Esta modalidade envolve um conjunto de medições em intervalos antes do início do
programa e após a sua conclusão. Este tipo de avaliação reforça o modelo ex-ante e ex-post, registrando os padrões inicial e fi nal, e controlando a estabilidade das mudanças. Isso
garante que outros fatores externos não coincidam com o programa nem infl uenciem as
mudanças observadas.
6. ESTUDO DE CASO
O estudo de caso utiliza múltiplos recursos e métodos para dar uma compreensão
aprofundada e abrangente do programa. Os seus principais pontos positivos são justamente a
sua abrangência e a exploração das causas dos efeitos observados.
7. AVALIAÇÃO FORMATIVA
A avaliação formativa é realizada durante a fase de planejamento de uma intervenção
com o intuito de detectar e resolver problemas antes que o programa esteja totalmente
implementado, garantindo assim que este atenda às necessidades identifi cadas.
Comparação com outros locais sem intervenção
Apesar das limitações orçamentárias, logísticas e de outras ordens, é importante ter em mente
que todas as modalidades de avaliação mencionadas podem, teoricamente, ser reforçadas por uma
comparação com outro(s) grupo(s), indivíduo(s) ou local(is).
78
Os grupos de comparação referem-se àqueles que não são escolhidos aleatoriamente e pertencem
à mesma população. Quando a seleção é aleatória, esse tipo de grupo é denominado grupo de
controle. O propósito de um grupo de comparação é conferir segurança ao programa e garantir que
não foi outro fator que causou os efeitos observados. É fundamental que o grupo de comparação
seja similar ao grupo benefi ciário do programa. No entanto, convém salientar que na vida real
isso é MUITO difícil de conseguir! Ademais, esse tipo de metodologia pode ser refutada por razões
éticas, pelo fato de poder aumentar as desigualdades e gerar rivalidades entre os grupos.
79 9
Anexo 3 – GlossárioAnálise Trata-se da verifi cação de dados coletados que podem ser utilizados para
dar uma ideia do impacto e dos resultados do projeto. A análise deve
fornecer entendimento dos princípios em que o projeto operou, levar em
conta dados de diversas fontes e atribuir o devido peso às evidências.
Autonomização A autonomização diz respeito à capacidade que as pessoas têm de fazer
escolhas. Em termos práticos, descreve o processo em que o sentimento
de falta de poder se transforma em ações que podem levar a mudanças
do ambiente físico e social. É uma ideia central em desenvolvimento
comunitário. (Bruce, N. et al 1995).
Avaliação Coleta sistemática de informações em que se baseiam os julgamentos
que ajudam na tomada de decisões sobre programas planejados,
em andamento ou futuros. As avaliações devem fornecer evidências
relacionadas com o impacto do projeto.
Benefi ciários Este termo refere-se aqui à comunidade alvo da intervenção. Os
benefi ciários não devem ser vistos como sujeitos passivos que
simplesmente recebem ajuda, mas sim como parceiros ativos que
trabalham com um objetivo comum.
Comunidade Uma comunidade local consiste em um grupo relativamente pequeno de
pessoas que compartilham o mesmo local de residência e um conjunto de
instituições ali baseadas. O termo comunidade também é empregado para
referir-se a um grupo de pessoas que têm algo em comum, como, por
exemplo, uma comunidade nacional ou uma comunidade de doadores.
Metodologia Conjunto de métodos e ferramentas de pesquisa.
Monitoramento O monitoramento refere-se à revisão e à coleta de dados de um projeto/
intervenção que contribuem para a avaliação global e ajudam a determinar
se os resultados desejados estão sendo alcançados.
Participação A participação diz respeito ao envolvimento das partes interessadas do
projeto, isto é, fi nanciadores, pessoal, comunidade local, governo local, etc.
A avaliação participativa leva em consideração a opinião de todos esses
grupos. Isso envolve planejamento para decidir como a pesquisa será
conduzida. O processo pode aumentar o envolvimento da população local
e o seu sentimento de apropriação em relação ao projeto. As ferramentas
utilizadas neste tipo de avaliação são similares às da pesquisa qualitativa.
O mais importante é o espaço criado para discussões abertas e honestas
entre as partes interessadas.
Participantes Membros da comunidade a quem as intervenções são direcionadas e que
estão ativamente envolvidos no desenvolvimento, na implementação, no
monitoramento e na avaliação do projeto.
Pesquisa Investigação ou busca de conhecimento. Existem duas metodologias
dominantes: qualitativa e quantitativa.
Pesquisa qualitativa Os métodos qualitativos, amplamente empregados em sociologia e
antropologia, dependem da observação e de estudos minuciosos a partir
de entrevistas realizadas com informantes chaves. A refl exão consiste na
80
elaboração de uma visão de conjunto coletando e analisando informações
de diferentes fontes.
Pesquisa quantitativa Esta modalidade baseia-se numa tradição mais positivista e empírica. Os
métodos de pesquisa costumam depender de medições precisas em geral
realizadas com sistemas de coleta de informações altamente estruturados
e controlados. A análise e a interpretação dos dados emprega técnicas
estatísticas para testar hipóteses de como as principais variáveis se
relacionam.
819
Anexo 4 – G
abarito do Modelo
Lógico de Projeto(M
ud
e a
s fl e
ch
as e
ca
ixas d
e te
xto o
u a
cre
sce
nte
no
vas c
on
form
e a
ne
ce
ssid
ad
e.)
INSUMOS RESULTADOS
Curto prazoMédio prazo
Longo prazo
PRODUTOS
Atividades Participação
82
Anexo 5
Plano de avaliação
FocoO que será avaliado? (Escolha o projeto inteiro ou um aspecto em particular.).
Perguntas
O que
queremos
saber?
Indicadores/evidências
Como
saberemos?
Timing Coleta de dados
Fontes
Quem detém
a informação?
Métodos/ferramentas
Como serão
reunidas as
informações?
Que ferramentas
serão utilizadas?
Amostra
Quem será
entre-
vistado?
1. 1.a
b
c
2. 2. a
b
c
Adaptado de Evaluation Plan Worksheet, disponível em www.uwex.edu/ces/pdande/evaluation/index.html
83 9
Anexo 6 – Guia para entrevistas em profundidadeOs grupos de discussão e as entrevistas em profundidade devem criar um ambiente descontraído,
proporcionando o conforto necessário para criar o clima ideal. É preciso considerar como
as pessoas estão acomodadas, reduzir as perturbações potenciais e dispor a mobília e os
equipamentos com atenção.
Em vez de questionários, a pesquisa qualitativa emprega um guia de tópicos, que funciona como
um pequeno roteiro para a condução das discussões. O papel do pesquisador deve ser dirigir a
conversa, permitindo que os participantes falem livremente sobre o assunto, mas trazendo o debate
de volta ao tema em questão, se as conversas começarem a divagar muito. É sempre melhor
começar com perguntas que o entrevistado possa responder facilmente e a seguir ir introduzindo
tópicos mais complexos e delicados.
As pessoas em geral vêm para a entrevista sentindo-se um pouco ansiosas em relação àquilo que
as espera. É importante explicar claramente já no início quais são os objetivos da entrevista, que
tipo de informação se está buscando e que uso será feito dela. Também é preciso deixar claro que
não existem respostas certas ou erradas. Todo participante deve ter oportunidade de falar durante
os primeiros minutos da discussão para evitar que a ansiedade aumente.
De modo geral, quando o entrevistador se assemelha aos participantes, os participantes tendem a
se sentir mais tranquilos e mais abertos. Por exemplo, os entrevistados podem fi car mais à vontade
falando com alguém do mesmo sexo sobre o seu comportamento sexual. No entanto, não existem
regras fi xas, devendo cada projeto ser analisado separadamente.
Convém também que o entrevistador deixe claro que é imparcial e que não tem qualquer tipo de
interesse nos resultados. Os entrevistados costumam apresentar mais difi culdade em expressar os
seus verdadeiros sentimentos sobre um determinado serviço ou produto se, por exemplo, estiverem
sendo entrevistados por um representante da empresa que os fornece.
É quase sempre preferível gravar e transcrever as entrevistas. Isso permite que o moderador se
concentre em coordenar a entrevista e não em fi car tomando notas; assim, nada será perdido
e todos os detalhes poderão ser acompanhados. Obviamente, os participantes devem dar o seu
consentimento para que a entrevista possa ser gravada. Em geral as pessoas concordam se tiverem
a certeza de que a gravação só será utilizada para efeito de análise por parte dos pesquisadores
e que não correrão o risco de acordar no dia seguinte e ouvir as suas vozes num programa de
rádio matinal. É de vital importância utilizar equipamentos previamente testados e com os quais o
entrevistador esteja familiarizado. Recomenda-se usar pilhas ou baterias novas, pois nem sempre
é possível perceber quando o aparelho para de funcionar no meio da entrevista. Além disso, se
o entrevistador tiver de fi car verifi cando o tempo todo se o gravador está funcionando, isso pode
distrair os participantes. Convém lembrar que a transcrição pode tomar muito tempo.
Material de estímulo
Um material de estímulo é qualquer material introduzido no decorrer (ou antes) da entrevista, com
o intuito de gerar discussão. Pode ser, por exemplo, uma foto, um artigo de jornal, um objeto ou até
mesmo uma história.
Uma prática bastante comum costuma ser apresentar aos entrevistados uma série de frases
impressas em cartões grandes. A seguir, pede-se que classifi quem os cartões em pilhas diferentes
em função de quanto concordam ou discordam com o ponto de vista ali expresso ou de acordo com
a importância que atribuem a um determinado aspecto do serviço. Esse tipo de exercício força
os participantes a explicarem as suas diferentes perspectivas. O importante não é a estrutura do
exercício em si, mas sim a discussão que ele gera.
Para mais amplas informações ou exemplares adicionais, queira dirigir-se à
UNESCO
Setor de Educação
Divisão da Educação Básica
7, place de Fontenoy, 75352 Paris 07 SP, França
http://www.unesco.org/en/education
![CONSELHO REGIONAL DE FARMáCIA DE MINAS GERAIS110345]resultado... · conselho regional de farmácia de minas gerais crf - mg concurso pÚblico organizaÇÃo: rumo certo resultado](https://img.pdfslide.tips/doc/110x75/5c84801409d3f236308c6434/conselho-regional-de-farmacia-de-minas-110345resultado-conselho-regional.jpg)
