Embed Size (px)
Citation preview
Uma agenda para a avaliação da resposta
nacional ao Hiv/viH
UN
AID
S/ON
USID
A: A
spectos Fund
amentais d
e Monitoram
ento e Avaliação
UN
AID
S/ON
USID
A:
Asp
ectos Fundam
entais de
Monitoram
ento e Avaliação
Uma agenda para a avaliação da resposta
nacional ao Hiv/viH
Unaids | 5
PREFÁCIO Prezados(as) Colegas,
Sejam bem-vindos(as) à série de publicações do UNAIDS/ONUSIDA sobre os Aspectos Fundamentais de Monitoramento e Avaliação. A continuada evolução da resposta à epidemia mundial da epidemia de HIV/VIH obriga que a realização de atividades monitoramento e avaliação (M&A) assuma cada vez mais importância. Determinar quais programas funcionam, ou não; implementar programas com custo-benefício comprovado; monitorar o progresso no alcance das metas; e garantir que haja responsabilização, são todos objetivos de especial importância atualmente na resposta ao HIV/VIH, e também em outras áreas da saúde e do desenvolvimento. Assim, é cada vez mais impor-tante que o M&A seja entendido melhor, explicado em linguagem acessível, e realizado de maneira coordenada e sustentável, de modo a gerar informações que possam ser aproveitadas facilmente. Ademais, é essencial que o M&A sempre contemple as necessidades dos atores-chave e sempre os envolva, e que os resultados sejam divulgados am-plamente e que sejam utilizados estrategicamente na formulação de políticas, no planejamento e no aprimoramento de programas.
Esta série apresenta de forma prática várias questões relacionadas ao M&A. Trata dos aspectos fundamentais e como os mesmos podem ser aplicados na prática. Também oferece técnicas e ferramentas para o manejo do monitoramento e avaliação da epidemia do HIV/VIH e da res-posta à mesma. Embora a série esteja focalizada no HIV/VIH, os aspectos fundamentais do M&A também são relevantes para outras áreas da saúde pública e do desenvolvimento. Assim, estas publicações também podem ser úteis para o fortalecimento de sistemas nacionais de monitoramento e avaliação voltados para o acompanhamento do progresso no alcance de outras metas para a saúde e para o desenvolvimento, como as definidas nos Objetivos de Desenvolvimento do Milênio das Nações Unidas (ODM).
Espero que esta série de publicações seja útil e gostaria muito de receber retorno e sugestões sobre este tópico e também sobre outros tópicos que possam ser acrescentados futuramente à série.
Cordialmente, Deborah Rugg, PhD Chefe da Divisão de Monitoramento e Avaliação do UNAIDS/ ONUSIDA
AgRAdECImEntOs
Esta publicação foi escrita por Greet Peersman (Payson Center for In-ternational Development, Universidade de Tulane, Estados Unidos da América), com contribuições de Deborah Rugg e Eva Kiwango (UNAI-DS/ONUSIDA, Suíça) e David Hales (Payson Center for International Development, Universidade de Tulane, Estados Unidos da América).
Estendemos nossos agradecimentos especiais aos programas na-cionais de aids/SIDA de Botsuana, Moçambique, Papua-Nova Guiné e Ruanda. Além dos exemplos específicos de seus países, o conteú-do desta publicação se baseia em suas experiências com o avanço da agenda nacional de avaliação.
Agradecemos também a revisão e os comentários valiosos pres-tados pelas seguintes pessoas: Ansari Ameen (Caribbean Centre for Health Research, Trindade e Tobago), Taoufik Bakkali (UNAIDS/ONU-SIDA, Papua-Nova Guiné), Boga Fidzani (National AIDS Coordinating Agency, Botsuana), Wayne Gill (UNAIDS/ONUSIDA, Botsuana), Elisa-betta Pegurri (UNAIDS/ONUSIDA, Ruanda) e Kelvin Sikwibele (African Comprehensive HIV Partnerships, Botsuana).
Unaids | 7
ÍndICE
ABREVIAÇÕES 09
COMEÇANDO 11
ASPECTOS FUNDAMENTAIS 13 O que é avaliação? 14 O que é uma agenda nacional de avaliação? 19 Por que é importante ter uma agenda nacional de avaliação? 21 Quem são os principais atores? 24 O que são normas de avaliação importantes? 27 Qual é a diferença entre avaliação e pesquisa? 29
FERRAMENTAS E TÉCNICAS 33 Qual processo pode ser utilizado para estabelecer uma agenda nacional de avaliação? 34 Criando um inventário nacional de estudos de avaliação 43 Qual processo pode ser utilizado para consensuar as prioridades de avaliação? 47 Criando um inventário nacional da capacidade de avaliação 50 Fortalecendo a capacidade local de avaliação 53 O que é um plano de trabalho com orçamento para estudos de avaliação? 56 Gerenciando a realização de avaliações 57
RESUMO 61
QUESTÕES A CONSIDERAR 65
UMA PROVA RÁPIDA 69
GLOSSÁRIO 73
8 | Unaids
APRENDENDO MAIS SOBRE AVALIAÇÃO 79
REFERÊNCIAS 83
APÊNDICES 89
Normas para Avaliação de Programas 90
Exemplo de listas de requisitos para classificação de estudos e para análise por um comitê de ética em pesquisa 95
Exemplo de terminologia padronizada para descrever relatórios de avaliações 98
Exemplo de um resumo estruturado de um estudo de avaliação 100
Exemplo de uma agenda de uma oficina de estabelecimento de prioridades de avaliação 104
Unaids | 9
ABREVIAÇÕEs
AIds/sIdA síndrome da imunodeficiência adquirida AusAId Programa de Ajuda Externa do Governo Australiano CdC Centros de Controle e Prevenção de Doenças dFId Departamento do Governo do Reino Unido para o Desenvolvimento Internacional Fundo global Fundo Global de Luta contra Aids/SIDA, Tuberculose e Malária gtt Grupo de trabalho técnico gtZ Agência Alemã Gesellschaft für Technische Zusammenarbeit HIV/VIH Vírus da imunodeficiência humana m&A Monitoramento e avaliação Odm Objetivos de Desenvolvimento do Milênio Oms Organização Mundial da Saúde PEPFAR Plano de Emergência do Presidente dos Estados Unidos para o Combate à Aids/SIDA UnAIds/OnUsIdA Programa Conjunto das Nações Unidas sobre HIV/Aids / VIH/SIDA UnFPA Fundo de População das Nações Unidas UnICEF Fundo das Nações para a Infância UsAId Agência dos Estados Unidos para o Desenvolvimento Internacional
10 | Unaids
Unaids | 11
COmEÇAndO
Utilizar os achados de estudos de avaliação é essencial para nortear uma resposta efetiva e eficiente à epidemia de HIV/VIH. Os estudos de avaliação podem identificar quais programas funcionam, ou não, o porquê e como maximizar os recursos disponíveis. A identificação das prioridades de avaliação por meio de um processo coordenado em ní-vel nacional pode ajudar a garantir que as avaliações sejam relevantes para as necessidades dos países e que os avaliadores trabalhem em conjunto, de modo a evitar a duplicação de esforços. No entanto, uma agenda nacional de avaliação é mais do que uma mera lista de perguntas priorizadas de avaliação. Trata-se de uma abordagem abrangente, base-ada em normas, cujo propósito é identificar, desenvolver e implementar avaliações na área do HIV/VIH e utilizar os resultados para melhorar os programas. Esta publicação trata da importância da avaliação para as práticas de saúde pública, dos conteúdos de uma agenda nacional de avaliação e dos atores envolvidos, bem como o processo de estabeleci-mento de uma agenda nacional de avaliação e das estruturas de gestão necessárias para apoiá-la.
Embora o enfoque desta publicação seja o HIV/VIH, os princípios básicos, as ferramentas e as técnicas descritas nela são relevantes para outras áreas da saúde pública e para outros programas sociais.
12 | Unaids
aspectos FUndamentais
14 | Unaids
O QUE É AVALIAÇÃO?
Avaliação é a coleta sistemática de informações sobre as atividades, as características e os desfechos de um programa específico, a fim de determinar seu mérito ou valor. Quando se avalia que um programa tem mérito, também é importante determinar se o custo é justificável. A avaliação proporciona informações valiosas para a melhoria de pro-gramas, identificando as lições aprendidas e trazendo subsídios para a tomada de decisões sobre a alocação futura de recursos.
Para analisar todo e qualquer problema de saúde pública, é preciso começar fazendo perguntas básicas:
• Qual é a natureza do problema? O problema está afetando quem, e em que proporção?
• Quais fatores estão contribuindo para a existência do problema? • O que pode ser feito para amenizar o problema?
Depois de estabelecida a resposta programática, as perguntas de ava-liação visam a determinar:
• Se o programa está funcionando. • Se o programa está alcançando um número suficiente de pessoas
para poder reduzir o impacto do problema ou, idealmente, eliminá-lo.
Unaids | 15
A Figura 1 apresenta um resumo das principais perguntas relativas à epidemia de HIV/VIH e aos vários métodos de coleta de dados neces-sários para poder obter as informações essenciais em resposta a essas perguntas. Evidentemente a coleta de dados precisa ir além do moni-toramente rotineiro da epidemia de HIV/VIH e da resposta à mesma. A pesquisa e a avaliação têm um papel chave na determinação de três perguntas fundamentais:
• As ações que realizamos estão apropriadas para responder à epi-demia?
• As ações estão sendo realizadas da forma mais efetiva? • As ações estão sendo realizadas em escala suficiente para poder
surtir efeito?
16 | Unaids
FIG
UR
A 1
. MO
NIT
OR
AM
EN
TO E
AV
ALI
AÇ
ÃO
DA
RE
SPO
STA
AO
H
IV/V
IH C
OM
BA
SE E
M P
ER
GU
NTA
S D
E S
AÚ
DE
PÚ
BLI
CA
No
ssas
açõ
es e
stão
sen
do
re
aliz
adas
em
esc
ala
su�c
ient
emen
te g
rand
e?
Det
erm
inan
do
a
Efe
tivi
dad
e C
ole
tiva
8. O
s es
forç
os c
olet
ivos
est
ão s
endo
impl
emen
tado
s em
esc
ala
su�c
ient
e pa
ra te
r um
impa
cto
na e
pide
mia
? (c
ober
tura
; im
pact
o)?
Estu
dos
e V
igilâ
ncia
7. A
s in
terv
ençõ
es e
stão
func
iona
ndo
/ fa
zend
o um
a d
ifere
nça?
Est
udos
de
Ava
liaçã
o d
e Re
sulta
dos
Esta
mos
atu
and
o d
a fo
rma
cert
a?M
oni
tora
men
to e
Ava
liaçã
o
de
Pro
gra
mas
Nac
iona
is
6. O
pro
gra
ma
está
sen
do
imp
lem
enta
do
conf
orm
e p
revi
sto?
Mon
itora
men
to d
e Pr
odut
os
5. O
que
est
amos
faze
ndo?
Est
á se
ndo
feito
cor
reta
men
te?
Mon
itora
men
to e
Ava
liaçã
o d
e Pr
oces
so, A
valia
ções
de
Qua
lidad
e
4. Q
uais
inte
rven
ções
e re
curs
os s
ão n
eces
sário
s?
Aná
lise
de N
eces
sida
des,
Rec
urso
s, R
espo
stas
, e M
onito
ram
ento
de
Insu
mos
Esta
mos
faz
end
o as
coi
sas
cert
as?
Ent
end
end
o a
R
esp
ost
a em
P
ote
ncia
l
3. Q
uais
inte
rven
ções
pod
em fu
ncio
nar
(e�c
ácia
e e
fetiv
idad
e)?
Estu
dos
de
E�cá
cia
e Ef
etiv
idad
e, A
valia
ção
Form
ativ
a e
Sum
ativ
a, S
ínte
se d
e Pe
squi
sas
2. Q
uais
fato
res
estã
o co
ntrib
uind
o?Pe
squi
sas
sob
re D
eter
min
ante
s
Iden
ti�c
ação
d
o P
rob
lem
a1.
Qua
l é o
pro
ble
ma?
Aná
lise
de
Situ
ação
e V
igilâ
ncia
Font
e: R
ugg
D, C
arae
l M, B
oer
ma
T, N
ova
k J.
Glo
bal
ad
vanc
es in
mon
itorin
g a
nd e
valu
atio
n of
HIV
/AID
S: fr
om A
IDS
case
rep
ortin
g t
o p
rog
ram
imp
rove
men
t.
in: g
lob
al A
dva
nces
in M
onito
ring
and
Eva
luat
ion
of H
IV/A
IDS,
Rug
g D
, Pee
rsm
an G
, Car
ael M
(Ed
s). N
ew d
irect
ions
for
Eval
uatio
n, 2
004;
103
:33–
48.
Unaids | 17
Os gestores de programas podem utilizar avaliações para determinar:
• Se o programa está sendo implementado em conformidade com as normas de qualidade pactuadas.
• Se o programa está alcançando a população-alvo prevista. • Se os usuários estão satisfeitos com o serviço prestado. • Se as mudanças desejadas estão acontecendo.
A avaliação fornece a justificativa pela implementação dos progra-mas, além de indicar a forma como devem ser implementados. A ava-liação pode responder perguntas relativas à eficácia (isto é, alcançar os resultados previstos sob condições controladas), à efetividade (isto é, alcançar os resultados previstos sob condições reais), à eficiência (isto é, otimizar a utilização de recursos limitados) e à satisfação dos usuá-rios (isto é, a aceitabilidade do programa). A avaliação pode oferecer alternativas a serem consideradas: serviços melhores ou formas melho-res de implementá-los. A avaliação fornece as informações necessárias para identificar as melhores práticas e determinar as lições aprendidas.
18 | Unaids
1
1 Adaptado de: Kusek J, Rist, R. 10 Steps to a results-based Monitoring and Evaluation System. A Handbook for development Practitioners. Washington, DC (EUA): Banco Mundial, 2004.
A AVALIAÇÃO COMEÇA FAZENDO AS PERGUNTAS CERTAS1
Est
raté
gia
Estamos fazendo as coisas certas? Fornecendo uma fundamentação/justi�cativa Fornecendo uma teoria clara de mudança
Estamos atuando da forma certa? Alcançando os resultados desejados Otimizando recursos limitados Garantindo a satisfação dos usuários
Existem formas melhores de atuar? Avaliando alternativas Determinando melhores práticas Identi�cando lições aprendidas
Op
eraç
ões
Ap
rend
izad
o
Unaids | 19
O QUE É UmA AgEndA nACIOnAL dE AVALIAÇÃO?
Uma agenda nacional de avaliação é uma abordagem abrangente e baseada em normas que visa a identificar, desenvolver e implemen-tar avaliações na área do HIV/VIH, bem como utilizar os achados para melhorar os programas. Uma agenda nacional de avaliação contém os seguintes elementos:
1. Uma estratégia nacional de avaliação da resposta ao HIV/VIH. A estratégia descreve a fundamentação, as metas e os objetivos espe-cíficos da avaliação da resposta ao HIV/VIH, bem como os procedi-mentos para a coordenação, a implementação e o gerenciamento das avaliações. Mecanismos de mobilização de recursos e alocação de financiamento para diferentes projetos de avaliação são um as-pecto importante da estratégia.
2. Um processo e uma infraestrutura de apoio para identificar e priorizar lacunas de avaliação. O processo descreve como as ne-cessidades de avaliação serão identificadas, com que frequência e por quem. A infraestrutura de apoio se refere ao que precisa existir2 para facilitar o processo, e como a infraestrutura será mantida no decorrer do tempo.
3. Uma lista priorizada de perguntas de avaliação vinculadas ao pla-no estratégico nacional de aids/SIDA. A lista inclui a fundamenta-ção que levou à seleção das prioridades específicas, a maneira como foram selecionadas e quem estava envolvido na seleção.
4. Uma estratégia de disseminação e utilização de dados. A estra-tégia descreve os públicos-chave em relação aos achados da ava-liação, como os relatórios da avaliação serão adequados para os diferentes públicos e os canais por meio dos quais os dados serão disseminados, bem como os mecanismos para apoiar a utilização dos achados da avaliação na melhoria dos programas e na realização do planejamento estratégico.
2 A infraestrutura pode incluir: um inventário centralizado de todos os estudos de avaliação que já foram realizados, que estão previstos ou que estão em andamento no país; um inventário centrali-zado da capacidade existente de avaliação. A seção sobre ferramentas e técnicas contém informa-ções mais detalhadas.
20 | Unaids
5. Um plano operacional com orçamento. O plano especifica as principais tarefas necessárias para garantir a implementação das avaliações priorizadas, os atores responsáveis, a estimativa do or-çamento necessário, o financiamento já garantido, o cronograma e os produtos.
A agenda nacional de avaliação deve estar estreitamente ligada ao plano nacional, multissetorial e plurianual de monitoramento e avaliação e também ao plano de trabalho anual de monitoramento e avaliação. Idealmente, a agenda nacional de avaliação deve estar completamente integrada aos processos nacionais de planejamento e implementação. A documentação detalhada da agenda de avaliação pode ser incluída como um anexo do plano nacional de monitoramen-to e avaliação.
Unaids | 21
POR QUE É ImPORtAntE tER UmA AgEndA nACIOnAL dE AVALIAÇÃO?
A importância da avaliação para a melhoria da efetividade e eficiên-cia da resposta nacional ao HIV/VIH nunca pode ser subestimada. É de particular importância avaliar os esforços de prevenção, visto que continuam sendo lamentavelmente insuficientes; por exemple, em 2007, para cada dois pacientes que iniciaram a terapia antirretroviral, houve cinco novas infecções por HIV/VIH. A avaliação pode fornecer os dados necessários para apoiar a adoção de uma combinação de metodologias de prevenção, com base em evidências cientificamente obtidas e com base na sabedoria e experiência de comunidades locais. É preciso construir sinergias entre programas de prevenção, atenção e tratamento. No entanto, é limitado o conhecimento a respeito de quais combinações de programas funcionam melhor e em que circunstân-cias. Como consequência, é essencial avaliar os programas e entender como os fatores contextuais interagem e afetam tais programas.
Além de ainda existir lacunas significativas no que diz respeito ao conhecimento, as pessoas e instituições que trabalham com aids/SIDA também têm sido criticadas pela lentidão com que implemen-tam respostas comprovadas em escala adequada. Com o conheci-mento que já existe, muito mais poderia ter sido feito, e ainda pode ser feito, para reduzir a transmissão do HIV/VIH globalmente. Um dos problemas é a falta de habilidade em interpretar os dados de modo a orientar a gestão e desenvolver estruturas de gestão capazes de transformar efetivamente decisões gerenciais em ações no local onde os serviços são prestados. Embora a solução de algumas dessas questões vá além da implementação de uma agenda nacional de ava-liação, mesmo assim a avaliação é um fator fundamental para avançar rumo a uma resposta ao HIV/VIH baseada em evidências e que seja dirigida e fortalecida localmente.
22 | Unaids
“O investimento em avaliação não deve ser visto como sendo me-nos importante que a urgência em salvar vidas imediatamente, e sim como um investimento que tem o poder de salvar vidas no médio e longo prazo. Se a comunidade global não investir agora no de-senvolvimento desse banco de conhecimentos, daqui a cinco anos não estaremos mais bem informados do que estamos atualmente sobre quais formas de controle funcionam, ou não funcionam, es-pecialmente em países com alta prevalência de HIV/VIH e sistemas deficientes de saúde, onde o controle da aids/SIDA representa o maior desafio. Tal ignorância pode reverter irreparavelmente o com-promisso global atual com a mobilização dos recursos necessários para livrar o mundo da aids/SIDA.”
Fonte: Bennet S, Boerma T, Brugha R. Scaling up HIV/AIDS evaluation. Lancet, 2006; 367:82.
Uma agenda nacional de avaliação é importante porque pode:
• Promover avaliações cujos resultados podem ser utilizados para res-ponder às necessidades do programa nacional de aids/SIDA.
• Melhorar a coordenação, reduzindo assim a duplicação de esforços e o desperdício de tempo e de recursos valiosos.
• Complementar estudos de avaliação já existentes e promover siner-gias entre os mesmos.
• Utilizar e fortalecer a capacidade local de avaliação. • Alavancar financiamento global, regional e local. • Aumentar a visibilidade de pesquisadores e instituições de pesquisa
locais. • Facilitar o compartilhamento oportuno dos achados de avaliações. • Facilitar a interpretação e a aplicação dos achados de avaliações
para formular políticas e melhorar programas. • Fornecer uma base para analisar e documentar a forma como os
achados de avaliações têm influenciado a tomada de decisão no âmbito local.
Unaids | 23
FUNDAMENTAÇÃO PARA O APOIO A UM PROCESSO DE ESTABELECIMENTO DE UMA AGENDA NACIONAL DE AVALIAÇÃO SOBRE AIDS/SIDA EM MOÇAMBIQUE
A Comissão Nacional de Aids/SIDA percebeu que conhecimentos baseados em evidências levarão a atividades mais efetivas no campo do HIV/VIH, as quais por sua vez contribuirão para o alcance da meta geral de reduzir a prevalência do HIV/VIH em Moçambique. As se-guintes condições destacaram a importância de se avançar com um processo de estabelecimento de uma agenda nacional de avaliação:
1. Há um aumento na demanda por intervenções de qualidade; 2. Há um aumento na necessidade da documentação e dissemina-
ção sistemáticas de ‘melhores práticas’. 3. É reconhecido que as avaliações atualmente realizadas por ins-
tituições acadêmicas e organizações da sociedade civil não são bem coordenadas e não respondem claramente aos objetivos contidos na 2ª Estratégia Nacional de Aids/SIDA 2005–2009 em Moçambique. Portanto, a necessidade existe de reunir todas as atividades de avaliação debaixo de um único guarda-chuva a fim de maximizar os ganhos e reduzir repetições e ineficiências.
4. Há financiamento externo disponível para a realização de avaliações.
Fonte: Adaptado de: National AIDS Commission. Concept Paper for Coordination and Implemen-tation of the Initial Phase of the PEN II Research Substrategy (Comissão Nacional de Aids/SIDA de Moçambique. Documento Conceitual para a Coordenação e Implementação da Fase Inicial da Subestratégia da Pesquisa PEN II), 2006.
24 | Unaids
QUEm sÃO Os PRInCIPAIs AtOREs?
Tendo em vista a variedade de atores governamentais e não gover-namentais, organizações prestadoras de serviços, instituições técnicas, agências internacionais e agências de financiamento atuando em prol na resposta ao HIV/VIH, é importante garantir o amplo consenso e a participação dos atores no processo de elaboração e implementação da agenda de avaliação. Isto não significa que todas as organizações precisam estar envolvidas na tomada de todas as decisões ou em todas as etapas do processo. Por outro lado, significa que todos os atores de-vem minimamente conhecer o processo e estar mantidos informados a seu respeito. Além disso, todos os atores devem entender e concordar com seus papéis e responsabilidades específicos relativos à implemen-tação do processo.
Deve-se considerar o envolvimento de representantes de uma varieda-de de grupos de atores principais, como os listados a seguir. O setor governamental, incluindo:
• A Comissão Nacional de Aids/SIDA. • O Ministério da Saúde. • O Ministério da Educação. • O Ministério da Ciência e Tecnologia. • O Comitê Regional/Provincial/Distrital de Coordenação de HIV/VIH • O órgão do governo local responsável por questões de saúde.
Estes grupos são responsáveis pela implementação de uma resposta efetiva e eficiente ao HIV/VIH nos níveis nacional e subnacional, a qual deve será norteada pelos resultados das avaliações.
Organizações que prestam serviços na área do HIV/VIH, incluindo:
• Organizações da sociedade civil (organizações de base comunitária ou religiosa, redes de pessoas vivendo com HIV/VIH, organizações guarda-chuva, etc.).
• Organizações do setor privado.
Unaids | 25
Os gestores e o pessoal responsável pela prestação dos serviços são os mais utilizam os resultados de avaliações para melhorar programas e identificar as principais questões operacionais que precisam ser resol-vidas. Seu envolvimento no processo da agenda nacional de avaliação facilita o enfoque em avaliações relevantes com resultados capazes de serem transformados em ações.
Organizações técnicas, incluindo:
• Universidades locais. • Empresas ou instituições locais de pesquisa. • Associações locais de avaliação.
Essas organizações podem proporcionar uma perspective ampla quan-to às metodologias apropriadas de avaliação, além das lições que po-dem ser aprendidas da literatura sobre avaliações. Sua participação no processo da agenda nacional de avaliação pode trazer benefícios im-portantes, tais como: o aumento da visibilidade das instituições locais de pesquisa; o aumento do acesso ao financiamento para estudos de avaliação; e o acesso a redes e infraestrutura profissionais que permi-tem o compartilhamento dos achados das avaliações.
Organizações bilaterais e multilaterais e agências financiadoras, in-cluindo:
• O Programa Conjunto das Nações Unidas sobre HIV/Aids / VIH/SIDA (UNAIDS/ONUSIDA), o Fundo de População das Nações Unidas (UNFPA), o Fundo das Nações para a Infância (UNICEF), a Organiza-ção Mundial da Saúde (OMS), o Banco Mundial, etc.
• O Fundo Global de Luta contra Aids/SIDA, Tuberculose e Malária (Fundo Global).
• O Programa de Ajuda Externa do Governo Australiano (AusAID), o Departamento do Governo do Reino Unido para o Desenvolvimen-to Internacional (DFID), a agência alemã Gesellschaft für Technische Zusammenarbeit (GTZ), agências dos Estados Unidos (os Centros de Controle e Prevenção de Doenças - CDC, o Plano de Emergência do Presidente dos Estados Unidos para o Combate à Aids/SIDA - PEPFAR, a Agência dos Estados Unidos para o Desenvolvimento In-ternacional - USAID), etc.
26 | Unaids
O envolvimento dessas parceiras não somente possibilita o acesso ao apoio técnico externo, quando necessário, como também é capaz de alavancar recursos financeiros significativos e esforços globais para ca-talisar a avaliação da resposta ao HIV/VIH.
Unaids | 27
O QUE sÃO nORmAs dE AVALIAÇÃO ImPORtAntEs?
Um projeto pioneiro voltado para o desenvolvimento de normas pro-fissionais para a avaliação de programas foi iniciado nos Estados Uni-dos em 1975. Teve como objetivo melhorar a avaliação de programas de educação e treinamento em uma variedade de contextos. Desde então as Normas para Avaliação de Programas têm sido revisadas e adaptadas por diversas organizações de avaliação nacional a fim de que sejam relevantes para outras áreas de avaliação e condições locais específicos. As normas são reconhecidas majoritariamente como boas práticas e são utilizadas rotineiramente em processos de planejamento e avaliação, negociação de contratos para a realização de avaliações e análise de progresso durante a implementação de avaliações.
As Normas para Avaliação de Programas se dividem em quatro cate-gorias principais:
1. As Normas de Utilidade visam a garantir que a avaliação atenda às necessidades de informação de quem vai utilizar os resultados da mesma.
2. As Normas de Viabilidade visam a garantir que a avaliação seja rea-lista, prudente, diplomática e econômica.
3. As Normas de Boa Conduta visam a garantir que a avaliação seja realizada dentro dos conformes da lei, com ética e com a devida preocupação com o bem-estar das pessoas afetadas pelos resulta-dos da mesma.
4. As Normas de Precisão visam a garantir que a avaliação revele e transmita informações tecnicamente adequadas sobre as caracterís-ticas que determinam o valor ou o mérito do programa que está sendo avaliado.
O Apêndice 1 contém um resumo de todas as normas.
28 | Unaids
Em resumo, para ter credibilidade as avaliações devem:
•Serimparciais.Devemserobjetivasesemviés.•Sersistemáticasetecnicamenteadequadas.Devemutilizarmétodossólidos de pesquisa e seguir um modelo lógico de procedimentos. •Servaliosaseúteis.Devemagregarvaloràsaçõesdegestão,comoo desenho de estratégias, a seleção de intervenções e a alocação de recursos, fornecendo informações estratégicas confiáveis de maneira economicamente eficiente. •Serapropriadasporquemasrealiza.Devemenvolverosprincipaisusuários dos achados das avaliações no seu próprio desenho, planeja-mento e implementação. • Incluir retorno (feedback) e disseminação. Devem permitir que os achados possam ser utilizados na formulação de políticas e na melho-ria de programas.
Fonte: American Evaluation Association. Guiding Principles for Evaluators. Fairhaven (EUA): American Evaluation Association, 1994.
Unaids | 29
QUAL É A dIFEREnÇA EntRE AVALIAÇÃO E PEsQUIsA?
Antes que a realização de qualquer estudo seja autorizada, muitas ins-tituições exigem que seja definida sua classificação, no sentido de de-terminar se o estudo se enquadra ou não no campo da pesquisa pro-priamente dito. Para fins de estabelecimento de prioridades nacionais de avaliação, não importa se o estudo será, ou não, classificado como sendo uma pesquisa. No entanto, esta é uma questão importante para a admi-nistração do estudo. Um estudo de avaliação classificado como ‘pesqui-sa’ exige a definição de mais dois quesitos: (1) o estudo envolve sujeitos humanos?3 E, em caso afirmativo: (2) o estudo atende aos critérios de isenção de análise por um comitê de ética em pesquisa com seres huma-nos? O comitê de ética somente dá sua aprovação se considerar que o estudo está de fato em conformidade com as regras. Os estudos que não são classificados como pesquisas são isentos de análise por um comitê de ética em pesquisa. A principal diferença entre o que é pesquisa e o que não é está descrita abaixo. Exemplos de critérios que determinam a necessidade da análise por comitê de ética se encontram no Apêndice 2.
Muitas vezes é sutil a distinção entre o que é pesquisa e o que não é. No caso de muitos estudos relacionados à saúde pública, não é fácil determinar se tratam-se de pesquisas ou não apenas por meio da aná-lise das características do estudo, sua metodologia ou a forma como os participantes são selecionados. A principal diferença entre o que é pesquisa e o que não é se encontra no ‘propósito primário’ do estudo.
O propósito primário de uma pesquisa é gerar conhecimentos ca-pazes de serem generalizados. Isto significa que os benefícios espera-dos de uma pesquisa sempre se estendem para além dos indivíduos que participaram da mesma; de modo geral, os benefícios podem ser aproveitados pela sociedade como um todo. A avaliação na saúde pú-blica é essencialmente uma prática que visa à melhoria das ações de saúde pública. O propósito primário deste tipo de estudo (conhecido como ‘avaliação de programas’) é avaliar o mérito e aprimorar um de-terminado programa; a avaliação é utilizada como uma ferramenta de gestão. Os conhecimentos gerados não se aplicam além da população específica e do programa específico estudados.
3 Um sujeito humano é um indivíduo vivo a respeito de quem o investigador que realize a pesquisa obtém: (a) dados por meio de intervenções ou interações com o mesmo; ou (b) informações confi-denciais identificáveis.
30 | Unaids
Isto não implica que todo estudo de avaliação necessariamente não seja uma pesquisa. Por exemplo, a comparação sistemática da efetividade de um programa padrão com um programa alternativo em um estudo com desenho experimental tipicamente é classificada como sendo uma pesquisa. Neste caso, o propósito primário é gerar novos conhecimentos e aplicá-los a outros contextos ou a outras populações.
Obs.: O termo ‘avaliação’ é utilizado nesta publicação para se refe-rir no sentido amplo a estudos sobre a efetividade, eficácia e aceitabili-dade de programas, independentemente de serem classificados como ‘pesquisas’ ou não.
Unaids | 31
• • •
• •
• • •
• •
PR
INC
IPA
IS D
IFE
RE
NÇ
AS
EN
TRE
AS
CA
RA
CTE
RÍS
TIC
AS
DA
AV
ALI
AÇ
ÃO
D
E P
RO
GR
AM
AS
E A
S C
AR
AC
TER
ÍSTI
CA
S D
E P
ESQ
UIS
AS
Ava
liaçã
o d
e P
rog
ram
asP
esq
uisa
Pro
pó
sito
Ava
liaçã
o d
e m
érito
e
valo
rM
elho
ria d
e p
rog
ram
as e
o
rgan
izaç
ões
Perm
itir
sup
ervi
são
/
aval
iaçã
o d
e co
nfo
rmid
ade
Des
envo
lvim
ento
d
o c
onh
ecim
ento
Enf
oq
ueJu
lgam
ento
q
uant
o a
o v
alo
rA
prim
ora
men
to d
e se
rviç
os
den
tro
de
pro
gra
mas
Co
nfo
rmid
ade
com
re
qui
sito
s fo
rmai
sTe
star
teo
rias
cien
tífica
s
Mo
do
típ
ico
de
inve
stig
ação
Aná
lise
caus
al e
in
vest
igaç
ão d
e va
lore
s
Des
criç
ão, c
om
o
bse
rvaç
ão o
po
rtun
a e
reto
rno
(fee
db
ack)
Des
criç
ão, i
nclu
ind
o
ativ
idad
es e
re
sulta
do
s
Cla
ssifi
caçã
o e
an
ális
e ca
usal
Púb
lico
de
pra
xeO
rgan
izaç
ões
O p
úblic
o e
m g
eral
Ger
ente
s d
e p
rog
ram
a Fu
ncio
nário
s d
e p
rog
ram
as
Leg
isla
do
res
Fina
ncia
do
res
O p
úblic
o e
m g
eral
Cie
ntis
tas
‘Sab
edo
ria
conv
enci
ona
l’
Font
e: a
dap
tad
o d
e: M
ark
M, H
enry
G, J
ulne
s G
. Eva
luat
ion.
An
inte
gra
ted
fram
ewor
k fo
r un
der
stan
din
g, g
uid
ing
, and
imp
rovi
ng
Polic
ies
and
Pro
gra
ms.
San
Fra
ncis
co (E
UA
): Jo
ssey
-Bas
s, 2
000.
32 | Unaids
Ferramentas e tÉcnicas
34 | Unaids
QUAL PROCEssO POdE sER UtILIZAdO PARA EstABELECER UmA AgEndA nACIOnAL dE AVALIAÇÃO
É importante obter a participação e o compromisso de todos os atores relevantes em relação à necessidade de se ter uma agenda de avalia-ção e em relação ao processo proposto de implementação. Uma aná-lise inicial de situação quanto à capacidade local de avaliação (ou seja, as instituições locais de pesquisa e os estudos que as mesmas têm realizado), bem como eventuais procedimentos existentes e órgãos de supervisão em relação a estudos de avaliação (ex.: mecanismos de fi-nanciamento para estudos de avaliação, direitos sobre conhecimentos e propriedade intelectual, comitês locais e nacionais de ética), fornece informações importantes que ajudam a entender a situação atual e ter uma ideia do que precisa ser feito para avançar com a agenda nacional de avaliação. O consenso quanto ao caminho a seguir precisa aprovei-tar políticas já estabelecidas, papéis e responsabilidades já existentes, bem como aproveitar as fortalezas comparativas dos diferentes atores.
Unaids | 35
RESUMO DOS PRINCIPAIS PASSOS PARA O ESTABELECIMENTO DE UMA AGENDA NACIONAL DE AVALIAÇÃO
Etapa Principais tarefas
Criação das condições
2. Estabelecer um grupo de coordenação e consensuar seu papel
3. Identi�car a capacidade existente de avaliação
De�nição das prioridades
4. Compilar um inventário nacional de dados / relatórios relevantes e estudos de avaliação já concluídos / em andamento
5. Consensuar perguntas prioritárias de avaliação
Implementação do plano
6. Elaborar um plano de trabalho com orçamento
7. Realizar avaliações e divulgar os resultados
8. Utilizar os resultados das avaliações na tomada de decisões
Fonte: Kiwango E, Sikwibele K. Process and tools for Setting a National Evaluation/Research Agenda. Palestra, UNAIDS 3rd global Monitoring and Evaluation training, Bancoc (Tailândia), 2008.
1. Identi�car os principais atores e obter seu compromisso
36 | Unaids
Visto que o estabelecimento de uma agenda nacional de avalia-ção envolve várias etapas, é recomendável criar uma comissão ou uma força-tarefa para coordenar as diversas atividades. Caso um órgão já existente, como um grupo nacional de trabalho técnico em monito-ramento e avaliação, possa assumir esse papel com eficácia, não há necessidade de criar uma nova instância de coordenação.
Há algumas considerações importantes a respeito desse grupo de tra-balho técnico (comissão ou força-tarefa), incluindo:
• que seja liderado pelo país (isto é, liderado por um representante do governo nacional).
• que tenha um coordenador neutro (ou seja, que tenha neutralidade no que diz respeito às prioridades de avaliação).
• que seja multidisciplinar (isto é, que seja integrado por indivíduos com experiência em políticas e programas de HIV/VIH, bem como especialistas em monitoramento e avaliação).
• que seja integrado por atores-chave (ou seja, representantes de se-tores governamentais nacionais e subnacionais, representantes dos principais prestadores de serviços do setor privado e da sociedade civil, representantes de agências internacionais/agências financiado-ras), contanto que o tamanho do grupo não seja tão grande que dificulte o funcionamento eficiente.
Unaids | 37
UM EXEMPLO DOS PAPÉIS E DAS RESPONSABILIDADES DE UM GRUPO NACIONAL DE TRABALHO EM MONITORAMENTO E AVALIAÇÃO: UMA FORÇA-TAREFA PARA ORIENTAR O PROCESSO DA AGENDA NACIONAL DE AVALIAÇÃO NO BOTSUANA
O grupo nacional de trabalho técnico em monitoramento e avaliação (GTT) criou uma subcomissão de avaliação para coordenar o processo da agenda nacional de avaliação. O envolvimento dessa estrutura já existente trouxe várias vantagens:
• O GTT já tinha credibilidade. • O GTT tinha acesso facilitado aos atores interessados e a dados e
relatórios relevantes sobre monitoramento e avaliação. • O GTT supervisiona todas as atividades de monitoramento e avalia-
ção no Botsuana. Assim já possui conhecimento institucional impor-tante e um amplo entendimento de como as diversas atividades de monitoramento e avaliação são interligadas.
O papel da subcomissão de avaliação era: (a) liderar o planejamento e a implementação do processo de estabelecimento de uma agenda nacional de avaliação; (b) garantir que fosse uma iniciativa do país e que houvesse o compromisso e a participação de um amplo leque de atores relevantes; e (c) fortalecer o vínculo entre os avaliadores e os tomadores de decisão. Suas responsabilidades específicas incluíam:
• Atuar em prol de um processo que enfocasse na utilização de ava-liações como fontes de dados para subsidiar a tomada de decisão.
• Identificar as atividades-chave, organizações responsáveis e crono-gramas para a implementação do processo do estabelecimento da agenda.
• Mobilizar recursos. • Fornecer supervisão técnica.
38 | Unaids
• Comunicar com todos os atores envolvidos sobre o progresso com a implementação.
• Orientar sobre formas de divulgação para os diversos públicos e identificar oportunidades para maximizar a utilização dos achados das avaliações.
• Apoiar o desenvolvimento e a implementação de uma estratégia de fortalecimento da capacidade de avaliação.
Fonte: adaptado de: National Evaluation Agenda Setting Guidelines. Atlanta (EUA): Macro International, 2008.
É fundamental que o estabelecimento de prioridades de avaliação seja baseado em evidências (isto é, baseado em dados e experiência). Tam-bém é importante analisar dados já existentes a fim de identificar o que se sabe sobre a efetividade e a eficiência da resposta ao HIV/VIH. Isto requer entendimento da situação atual da resposta nacional ao HIV/VIH. A análise de dados existentes por meio de triangulação4 e a sin-tetização dos achados de estudos de avaliação (internacionais e locais) e como têm sido aplicados na resposta do país ao HIV/VIH, são fontes importantes de evidências na determinação de necessidades futuras de avaliação. Além disso, é útil saber quais estudos de avaliação já es-tão em andamento e já foram planejados a fim de evitar duplicação de esforços (ver abaixo). É preciso consultar os formuladores de opinião e gestores de programas para poder identificar as principais questões operacionais e de políticas relacionadas à implementação do plano estratégico nacional de aids/SIDA. Essas informações precisam ser comparadas com os dados existentes de modo a identificar eventuais lacunas. Uma lista de lacunas nos dados, as quais – em potencial – po-dem ser contempladas por estudos de avaliação (isto é, ‘perguntas de avaliação’), servirá de subsídio para o estabelecimento das prioridades de avaliação (ver abaixo).
4 A análise de dados por meio de triangulação pode ser definida como a análise de dados obtidos de três ou mais fontes utilizando métodos diferentes. Os achados podem ser corroborados, e eventuais deficiências ou vieses em um dos métodos ou em uma das fontes de dados podem ser compensados pelos pontos fortes de outro/outra, aumentando assim a validade e confiabilidade dos resultados.
Unaids | 39
Para que seja garantida a sustentabilidade de uma agenda na-cional de avaliação apropriada pelo próprio país, a mesma preci-sa explicitar como serão abordadas as oportunidades em termos de avaliações locais e avaliadores locais (ver o exemplo de Ruanda abaixo). As avaliações locais precisam aproveitar os conhecimentos especializados locais e também contribuir para o fortalecimento da capacidade local. Historicamente, menos de 10% das pesquisas em saúde têm sido realizadas nos países em desenvolvimento, e muitas das que foram realizadas foram conduzidas por pesquisa-dores externos. Muitas vezes isso tem resultado em estudos que não responderam às necessidades prioritárias dos países e/ou que produziram achados que não foram compartilhados localmente ou de maneira a maximizar sua utilização local para fins de melhoraria dos programas. A interação no âmbito local não somente permitirá tomar decisões sobre quem poderá realizar quais estudos, como também norteará uma estratégia de fortalecimento da capacidade de avaliação.
ORIENTAÇÕES PARA A AVALIAÇÃO SUSTENTÁVEL DA RESPOSTA À AIDS/SIDA EM RUANDA
• Para garantir a avaliação sustentável da reposta à aids/SIDA, o Ruan-da identificou as seguintes ações-chave:
• Fortalecer a infraestrutura local de avaliação. • Promover a utilização de um amplo gama de métodos de avaliação. • Garantir que as avaliações sejam sensíveis à cultura local e a ques-
tões de gênero. • Promover parcerias entre avaliadores, prestadores de serviços e co-
munidades locais.
40 | Unaids
• Promover a colaboração nacional e internacional entre avaliadores. • Compartilhar amplamente conhecimentos e tecnologias. • Maximizar oportunidades para avaliadores locais participarem em
estudos internacionais. • Fortalecer mecanismos de disseminação dos resultados das ava-
liações.
Fonte: Overview of Principles and Procedures of AIDS Research in Rwanda. Versão preliminar. Kigali (Ruanda): Commission Nationale de Lutte contre le SIDA, 2007.
Um plano detalhado de trabalho é um pré-requisito para a gestão e implementação eficientes dos estudos de avaliação selecionados (ver abaixo). O plano também pode incluir atividades específicas para o for-talecimento da capacidade de avaliação. O plano será implementado mediante a seleção de equipes e gerentes de avaliação apropriados, com disseminação dos dados em conformidade com as especificações estabelecidas na estratégia nacional de avaliação.
Devem ser estabelecidos procedimentos para garantir a disse-minação oportuna dos achados da avaliação/pesquisa. É importante considerar o amplo leque de canais disponíveis para compartilhar os achados das avaliações, aproveitando o máximo a atual tecnologia da informação. As oportunidades de disseminação incluem: bancos de dados e sites na internet sobre avaliação; conferências nacionais/ internacionais; publicações em literatura revisada por profissionais da área; uma lista virtual de discussão de tópicos.5 Em Ruanda, por exemplo, os pesquisadores são obrigados a disseminar os achados a todos os usuários em potencial: tomadores de decisões políticas e administrativas, diversas instituições/organizações, o público em geral e fóruns científicos. O retorno recebido desses atores chega aos pesquisadores por meio de uma comissão. Para garantir a dis-seminação dos resultados, o pesquisador/instituição de pesquisa
5 Por meio de um programa de computador, as pessoas podem enviar um e-mail para um único endereço, do qual é redistribuído para os demais membros da lista. Muitas vezes uma lista de discussão é moderada por um administrador, em vez dos e-mails serem encaminhados automatica-mente, para garantir que as mensagens disseminadas sejam apropriadas e relevantes para o tópico em questão (www.taswebsites.com/info/glossary.htm).
Unaids | 41
precisa assegurar-se de que haja um orçamento para essa finalida-de. Uma vez terminado o estudo, apresenta-se o relatório final. Os pesquisadores são incentivados a divulgar os resultados em formatos apropriados para o público em geral, como boletins e memorandos, utilizando linguagem acessível e não científica. Também são incenti-vados a publicar os resultados de seus estudos em revistas científicas locais e internacionais, bem como apresentá-los em uma variedade de fóruns, incluindo a biblioteca virtual da comissão nacional de aids/SIDA.6 A comissão organiza duas conferências cada ano com a finali-dade específica de compartilhar os achados de pesquisas sobre aids/SIDA em Ruanda.
Por último mas não menos significativo, é de extrema importân-cia proporcionar apoio para a utilização dos achados de avaliações na formulação de políticas e na melhoria de programas. Também é aconselhável monitorar para verificar se os achados das avaliações continuam sendo utilizados. A utilização dos achados das avalia-ções merece atenção especial. Visto que muitas vezes os relatórios de avaliações são apresentados em linguagem técnica e as infor-mações sobre o contexto em que as avaliações foram realizadas são necessariamente limitadas, os dados disponíveis nem sempre deixam claro qual é a melhor ação a ser tomada. A ‘tradução’ dos achados de avaliações em informações que podem ser aplicadas em programas em contextos do mundo real requer esforços adicio-nais e talentos especiais. Uma das limitações é a falta de habilida-des para poder interpretar os dados de modo a nortear a gestão e desenvolver estruturas de gestão capazes de traduzir efetivamente as decisões de gestão em ações nos locais onde os serviços são prestados. Além da escassez de capacidade e além dos vínculos fracos entre os pesquisadores e os formuladores de políticas, pres-sões políticas no sentido ter que demonstrar resultados positivos para poder garantir financiamento contínuo podem ser um empe-cilho para a participação em avaliações e também para a utilização dos achados das avaliações. Entender plenamente o contexto em relação à utilização dos dados sobre o HIV/VIH, incluindo influên-cias políticas e culturais, permite obter insights importantes para a definição do caminho a seguir. Para garantir que os achados das avaliações sejam de fato utilizados, é fundamental envolver atores
6 Disponível em: http://payson.tulane.edu/gsdl/main-rwaids/main-rwaids.html
42 | Unaids
relevantes em todo o processo de avaliação: desde a definição de perguntas relevantes de avaliação, até a disseminação direcionada e a aplicação na prática. Documentar como os achados das avalia-ções influenciaram diálogos sobre planejamento e políticas e como foram utilizados na melhoria de programas servirá de ponto de par-tida para a coleta de informações importantes para a determinação de boas práticas e de lições aprendidas.
Unaids | 43
CRIAndO Um InVEntÁRIO nACIOnAL dE EstUdOs dE AVALIAÇÃO
Na identificação das prioridades de avaliação, é importante inteirar-se inicialmente do que já se sabe sobre a efetividade, eficiência e aceita-bilidade dos programas de prevenção, tratamento, atenção e apoio ao HIV/VIH, bem como sobre eventuais lacunas importantes de conheci-mento. A compilação de um inventário nacional facilita esse processo. O inventário deve incluir:
• Relatórios de estudos de avaliação realizados no país. • Descrições de estudos em andamento e estudos planejados no país.
Estão disponíveis comercialmente vários pacotes de software que aju-dam na organização de uma bibliografia anotada, o que essencialmen-te é um inventário de avaliações.
Nesse processo, facilita criar uma lista de termos padronizados – muitas vezes chamados de ‘palavras-chave’ – que podem ser utilizados para descrever o conteúdo de cada documento de acordo com o en-foque geral, o enfoque específico e o tipo de estudo (ver o Apêndice 3). A utilização de termos diretamente relacionados às áreas prioritárias do plano estratégico nacional de aids/SIDA pode servir de norte na hora de classificar os relatórios de avaliação de acordo com cada área programática do plano. Outras categorias úteis incluem: o enfoque ge-ográfico (províncias, distritos e/ou zona urbana ou rural) e a população-alvo (idade, sexo, grupo específico da população). É importante que cada termo seja claramente definido e que haja orientações explícitas sobre como atribuir os termos padronizados.
As palavras-chave podem ser acrescidas ao cadastro eletrônico e permitirão localizar documentos específicos de interesse, bem como ter acesso a um breve resumo do conteúdo de cada documento.
44 | Unaids
BIBLIOGRAFIA ELETRÔNICA ANOTADA SOBRE HIV/VIH EM MOZAMBIQUE: CARACTERÍSTICAS DO DOCUMENTO
Categoria: Prevenção
Título: A relação entre a percepção do risco de HIV/VIH e o uso do preservativo: evidências de uma pesquisa populacional em Moçambique Autores: Ndola P, Morris L, Mazive E, Vehidnia F, Stehr M Publicação: International Family Planning Perspectives Data: fevereiro de 2006 Localização: http://lib.bioinfo.pl Tipo de Estudo: avaliação de resultados População-alvo: jovens Enfoque geográfico: nacional Palavras-chave: distribuição de preservativos; informação, educa-ção e comunicação; conhecimentos, atitudes e práticas (CAP)
Fonte: adaptada de: Bibliografia Anotada. Estudos, Pesquisas e Documentos Relativos ao HIV/SIDA em Moçambique 1986–2007. Maputo (Moçambique): Ministério da Ciência e Tecnologia, 2007.
As palavras-chave também podem ser utilizadas para apresentar uma análise descritiva do conteúdo da bibliografia por área de enfoque, tipos de estudo, instituições nacionais/internacionais envolvidas, data da publicação ou data do estudo, pesquisas concluídas/em andamen-to /previstas. Esta análise pode ser apresentada como parte da docu-mentação de contextualização para a oficina nacional de estabeleci-mento de prioridades, visto que proporciona um resumo conciso das informações disponíveis no banco de dados como um todo.
Unaids | 45
ANÁLISE DESCRITIVA DOS RELATÓRIOS DE AVALIAÇÃO: CARACTERÍSTICAS DAS INTERVENÇÕES DE PREVENÇÃO DE HIV/VIH AVALIADAS (N = 142)
Característica N (%)
Natureza da intervenção componente de comportamento individual 139 (98%) componente social 23 (16%) componente de política 14 (10%) componente estrutural 12 (8%)
Componentes da intervenção educação em saúde 104 (73%) apenas educação em saúde 31 (22%) disponibilização de insumos de redução de risco 70 (49%) aconselhamento em Hiv/viH 41 (29%) prestação de serviços 30 (21%) exercício de habilidades 23 (16%) outros componentes 37 (26%)
Ambiente da intervenção saúde 36 (25%) educação 26 (18%)comercial 19 (13%)comunitário 17 (12%) Hiv/viH 14 (10%)local de trabalho 13 (9%)abordagem 8 (6%)Forças armadas 4 (3%) outro ambiente 33 (23%) ambiente não especificado 13 (9%)
Obs.: os valores não totalizam 142 ou 100% porque cada estudo pode ser encaixar em múltiplas categorias.
Fonte: Peersman G, Rugg D. Intervention research and programme evaluation: the need to move beyond monitoring. in: Global Advances in HIV/AIDS Monitoring and Evaluation. Rugg D, Peersman G, Carael M (Eds). New directions for Evaluation, 2004, 103:141–158.
Em casos de estudos de avaliação publicados formalmente (ex.: em uma revista revisada por especialistas da área ou em um relatório divul-gado publicamente), normalmente há um resumo ou um sumário execu-tivo redigido pelos próprios autores. No entanto, nem sempre o resumo contém todas as informações relevantes que permitam ter rapidamente uma visão geral das principais características e dos principais resultados do estudo de avaliação. Embora exija tempo, pode valer a pena criar um formato padronizado para resumos estruturados (ver o Apêndice 4) e designar uma pessoa com conhecimento do assunto para extrair as informações relevantes da publicação. Desta forma, todos os estudos serão descritos de maneira semelhante, o que facilita acesso rápido às informações. Também proporciona uma oportunidade para acrescentar uma resenha crítica ou outras informações importantes que facilitem a interpretação e aplicação dos achados das avaliações.
46 | Unaids
Há várias fontes disponíveis para acessar os resultados de estudos de avaliação realizados em vários países:
• o banco de dados da Comunidade para o Desenvolvimento da Áfri-ca Austral sobre literatura referente ao HIV/VIH: http://www.sadc.int/sadcaidsinfo/.
• The Cochrane Collaboration: Cochrane Collaborative Review Group on HIV Infection and AIDS: http://www.igh.org/Cochrane/. Neste site podem ser encontradas revisões da literatura e meta-análises de es-tudos de avaliação da resposta ao HIV/VIH.
• PEPFAR: literature digests for PEPFAR staff: http://hivinsite.ucsf.edu/InSite?page=jl-00-00. Essas resenhas tratam de pesquisas recentes de intervenções em HIV/VIH relevantes para países com recursos li-mitados. Destacam estudos recém-publicados de intervenções nas áreas de comportamento, políticas e prevenção que tenham um ou mais dos seguintes objetivos: reduzir comportamentos de risco se-xuais ou relacionados a drogas, diminuir a transmissão primária ou secundária, melhorar a prestação de serviços de saúde e a qualidade de vida, ou melhorar o tratamento do HIV/VIH e a adesão ao mesmo. Os estudos incluídos nessas resenhas foram realizados em contextos com recursos limitados, ou são relevantes para tais contextos. Há resumos dos estudos mais inovadores, relevantes e rigorosos. Estu-dos descritivos e estudos menos rigorosos constam no final do do-cumento. A maioria das citações tem hiperlink para o PubMed. As referências das citações feitas no texto encontram-se (com hyperlink) na final de cada estudo resumido.
Unaids | 47
QUAL PROCEssO POdE sER UtILIZAdO PARA COnsEnsUAR As PRIORIdAdEs dE AVALIAÇÃO?
Idealmente realiza-se uma oficina nacional para discutir e contribuir com recomendações quanto às prioridades de avaliação (ver o Apên-dice 5). É importante que a oficina tenha a participação de especialistas e pesquisadores em monitoramento e avaliação, bem como formula-dores de políticas, gestores de programas, agências internacionais, populações-chave sob maior risco e pessoas vivendo com HIV/VIH.
De modo geral, o grupo precisa considerar qual deveria ser o enfo-que de programas e avaliações, com base nas tendências da epidemia de HIV/VIH: as populações-chave sob maior risco e áreas de transmis-são alta, assim como outros fatores da epidemia e os contextos nos pa-íses. Os participantes devem receber orientações aprofundadas quan-to às lições que podem ser aprendidas a partir de dados já existentes sobre monitoramento e avaliação, para que possam tomar decisões in-formadas, quais sejam: os conhecimentos acumulados obtidos a partir de avaliações já realizadas e uma análise dos dados de monitoramento (vigilância de sorologia, estudos de comportamentos, monitoramento rotineiro de programas). Idealmente, deve ser possível para o grupo utilizar os achados de estudos sobre os meios de transmissão7 e da análise de dados existentes por meio de triangulação, incluindo quais perguntas de avaliação surgem a partir da análise dos dados rotineiros de monitoramento (ex.: já há serviços amplamente disponíveis no país para prevenir a transmissão vertical do HIV/VIH, mas a utilização dos mesmos é baixa; quais são as razões para isso e como aumentar a uti-lização dos serviços?).
7 Estudos que fazem estimativas do tamanho dos grupos populacionais com determinados riscos para infecção com HIV/VIH e sua exposição à infecção (isto é, o grau da ocorrência de comporta-mentos que permitem a transmissão do HIV/VIH e a prevalência da infecção por HIV/VIH durante seus contatos com outras pessoas) a fim de identificar onde haverá o maior número de novas infecções por HIV/VIH e assim poder focalizar as intervenções.
48 | Unaids
PRINCÍPIOS FUNDAMENTAIS PARA GARANTIR A UTILIDADE DAS AVALIAÇÕES DA RESPOSTA AO HIV/VIH
As avaliações:
1. Precisam estar focalizadas estrategicamente nas questões-chave da epidemia local de HIV/VIH e da resposta à mesma, contem-plando assim as prioridades e o contexto do país.
2. Precisam estar vinculadas explicitamente ao plano estratégico na-cional de aids/SIDA.
3. Precisam estar integradas ao plano nacional de monitoramento e avaliação, o qual deve definir uma estratégia abrangente de mo-nitoramento e avaliação e mecanismos-chave de implementação.
4. Precisam ser adaptadas e envolver os atores relevantes desde o início para aprimorar a utilização dos achados da avaliação no fi-nal.
5. Precisam ser elaboradas de maneira a garantir sua implementação realista e ética.
Fonte: Rugg D. Introduction to Evaluation. Palestra, UNAIDS 3rd Global Monitoring and Evaluation Training, Bancoc (Tailândia), 2008.
A identificação das principais questões operacionais e de políticas ligadas ao plano estratégico nacional de aids/SIDA funciona melhor por meio de pequenos grupos de trabalho, tendo um grupo para cada grande tópico/área programática (ex.: prevenção com jovens, preven-ção da transmissão vertical, atenção às pessoas vivendo com HIV/VIH e seus familiares). Deve ser definida uma priorização. Os resultados de cada grupo de trabalho são discutidos subsequentemente por todos os participantes para poder priorizar ainda mais as perguntas de ava-liação entre as áreas programáticas. Idealmente, não devem ser reco-mendadas mais de 10 perguntas de avaliação. Os critérios utilizados para a priorização devem ser anotados detalhadamente; por exemplo: o programa está bem estabelecido mas nunca foi avaliado; o progra-ma realmente é inovador e tem um importante impacto em potencial, assim justifica-se uma avaliação rigorosa para poder verificar sua efeti-vidade antes de considerar a ampliação do mesmo. O grupo também precisa determinar com clareza quais ações devem ser realizadas ou quais decisões devem ser tomadas com base nos achados. Isto pro-
Unaids | 49
move um raciocínio focado na utilização8 dos achados desde o início: os avaliadores precisam desenhar o estudo de tal maneira que se ob-tenham resultados que possam ser transformados em ações e os ges-tores de programas precisam garantir que as condições programáticas facilitem sua aplicação.
Em seguida as perguntas priorizadas de avaliação são considera-das por um pequeno grupo especializado de avaliadores e gestores de programas para determinar: se já existem dados que possam respon-der a algumas das perguntas; caso não existam, quais seriam os me-lhores métodos de coleta de dados; a estimativa do tempo necessário para concluir o estudo e como isso afeta a gestão do programa; a via-bilidade e o custo da coleta dos dados; possíveis avaliadores; e recur-sos financeiros e técnicos em potencial. A identificação de avaliações prioritárias não impede a realização de outros estudos de avaliação no país, e sim visa a garantir que, minimamente, recursos adequados se-jam mobilizados para responder às necessidades prioritárias. O grupo especializado apresenta seus achados e resultados à autoridade nacio-nal relevante, a qual toma as decisões finais sobre o caminho a seguir.
8 Ver, por exemplo: Quinn Patton M. Utilization-focused Evaluation, 4th edition. Thousand Oaks (EUA): Sage Publications, 2008.
50 | Unaids
CRIAndO Um InVEntÁRIO nACIOnAL dA CAPACIdAdE dE AVALIAÇÃO
Para poder aproveitar a capacidade local de avaliação e também saber em que áreas a mesma precisa ser fortalecida, é importante avaliar e catalogar sua situação atual. A avaliação e o inventário nacionais po-dem conter os seguintes elementos fundamentais:
• Os nomes das instituições/organizações locais que realizam as ava-liações.
• O histórico profissional e a experiência dos avaliadores que as in-tegram.
• Os tópicos focalizados e os tipos de estudos realizados. • Sua infraestrutura existente para apoiar estudos de avaliação. • As parcerias e formas de colaboração nacionais e internacionais nas
quais a instituição/organização está envolvida. • O orçamento disponível para estudos de avaliação. • A capacidade da instituição/organização em proporcionar apoio
relevante para treinamentos ou outras formas de fortalecimento da capacidade.
Unaids | 51
UMA AVALIAÇÃO DA CAPACIDADE NACIONAL DE PESQUISA EM PAPUA-NOVA GUINÉ
Em 2008, foi realizada uma avaliação nacional da capacidade de pes-quisa9 em Papua-Nova Guiné. Sete das principais instituições de pes-quisa e instituições acadêmicas participaram da avaliação. Em seguida à avaliação foi elaborado um plano de fortalecimento de capacidade.
Principais componentes avaliados: • Forças existentes no ambiente externo: fatores administrativos, tec-
nológicos, políticos, econômicos, sociais e culturais externos à ins-tituição.
• Motivação institucional: história, missão e cultura. • Capacidade institucional: liderança estratégica, principais recursos,
gestão de programas e processos, vínculos interinstitucionais. • Desempenho na realização de pesquisas: principais áreas relaciona-
das ao atual desempenho em pesquisas.
Métodos: • Grupos focais e entrevistas individuais com gestores, pessoal da
área de pesquisa, estudantes e pessoal técnico e de apoio. • Revisão de publicações, listas de projetos de pesquisa, planos anu-
ais e estratégicos da instituição. • A matriz específica da avaliação baseou-se em um modelo desen-
volvido por Lusthaus (1995), do International Development Resear-ch Centre (Centro Internacional de Pesquisa em Desenvolvimento), para a avaliação da capacidade de pesquisa em países em desen-volvimento.
• Duração: entre uma e duas semanas para cada instituição.
9 Ver, por exemplo: Quinn Patton M. Utilization-focused Evaluation, 4th edition. Thousand Oaks (EUA): Sage Publications, 2008.
52 | Unaids
Principais achados: • Havia compromisso e entusiasmo em relação a pesquisas e o desejo
de realizar mais pesquisas no futuro. • A maioria das instituições tinha um diretor ou coordenador de pes-
quisa e um centro dedicado de pesquisa com indivíduos realizando estudos e publicando os resultados. A maioria já havia participado de pesquisas relacionadas ao HIV/VIH ou de pesquisas correlatas.
• A maioria das instituições havia formado um comitê de ética em pes-quisa.
• Todas as instituições tinham representação no comitê assessor de pesquisa da comissão nacional de aids/SIDA e participavam ativa-mente do mesmo.
• Em todas as instituições o fato dos recursos humanos serem limita-dos impactou na disponibilidade dos pesquisadores principais para orientar outros pesquisadores, além do impacto sobre a capacidade de concorrer com sucesso para o financiamento de pesquisas e de publicar em revistas de renome.
• As infraestruturas institucionais também afetavam a capacidade dos pesquisadores de realizar pesquisas de boa qualidade. Muitas das instituições não tinham acesso confiável e com velocidade razoável à internet e havia recursos limitados para acessar bancos de dados virtuais, apoiar o trabalho de campo e realizar a análise de dados.
Conclusão: Embora o desempenho na realização de pesquisas tenha variado entre as instituições, existe uma necessidade generalizada de fortalecer a ca-pacidade de pesquisa. Há necessidade de fortalecimento de habilida-des e de treinamento, além do aumento de oportunidades de orienta-ção (mentorship). A colaboração interinstitucional e internacional deve ser fortalecida e a pesquisa multidisciplinar deve ser ampliada.
Fonte: Bakkali T. Strengthening Local Research Capacity in Papua New guinea. Apresentação, UNAIDS 3rd Global Monitoring and Evaluation Training, Bancoc (Tailândia), 2008.
Unaids | 53
FORtALECEndO A CAPACIdAdE LOCAL dE AVALIAÇÃO
Para poder fortalecer a capacidade local de avaliação é preciso con-siderar uma abordagem abrangente que enfoque não somente o for-talecimento da capacidade individual como também da capacidade institucional. Formas de apoio neste sentido podem incluir:
• Melhorar a infraestrutura em apoio a estudos de avaliação, tais como laboratórios, sistemas baseados na tecnologia da informação.
• Manter uma rede nacional de avaliadores em aids/SIDA voltada para o intercâmbio de informações e o compartilhamento de experiências.
• Apoiar unidades de instituições da área da saúde na realização de treinamentos sobre avaliação.
• Disponibilizar cursos de treinamento para os orientadores sobre a elaboração de propostas de avaliação para aumentar a capacida-de dos avaliadores locais em concorrer para financiamento local e internacional.
• Treinar organizações guarda-chuva e suas afiliadas na metodologia de avaliação, ética em pesquisa e outros tópicos relacionados.
• Apoiar visitas a comitês de ética e/ou instituições de pesquisa para intercâmbio de informações e experiências.
• Disponibilizar pequenas bolsas para estudos de avaliação.
54 | Unaids
COMPONENTES DO PLANO PARA O FORTALECIMENTO DA CAPACIDADE NACIONAL DE PESQUISA10 EM PAPUA-NOVA GUINÉ
Programas de bolsas de estudos em HIV/VIH para pesquisadores-che-fe e pesquisadores auxiliares (cadet) (duração: cinco anos) Incentivo a estágios e colaboração entre instituições. Maximizando as oportunidades de orientação (mentoring),ex.: avalia-dores experientes internacionais atuando como orientadores, enquan-to conduzem estudos de avaliação relacionados ao HIV/VIH. Desenvolvimento de currículos de treinamento para pessoas com mes-trado. Disponibilização de treinamento em ciências sociais e em epidemiolo-gia do HIV/VIH para pessoas com graduação e mestrado. O programa de bolsas de estudos destina-se a pesquisadores-chefe com doutorado ou pós-doutorado: 6 cientistas sociais, 2 epidemiolo-gistas e 2 cientistas clínicos serão apoiados por meio desse programa. O programa para pesquisadores auxiliares (cadet) destina-se a pesqui-sadores jovens com graduação e mestrado: 20 graduados serão treina-dos em pesquisa social e 10 em epidemiologia do HIV/VIH a fim de ob-terem as habilidades necessárias para poder se envolverem ativamente em estudos de avaliação. Fundo para o desenvolvimento da capacidade de pesquisa para uni-versidades Apoio e auxílio financeiros nos níveis estratégicos e de coordenação: Construção de uma cultura de pesquisa. Fortalecimento de processos de pesquisa e aumento da qualidade das pesquisas por meio do fortalecimento de habilidades e treinamento. Apoio à gestão de informações sobre pesquisas e à disseminação dos resultados de pesquisas. Incentivo a redes de pesquisa e vínculos interinstitucionais. Treinamento e atuação em rede para fortalecer habilidades em pes-quisas de HIV/VIH
10 Neste contexto o termo ‘pesquisa’ se refere a um amplo gama de estudos, inclusive estudos de avaliação.
Unaids | 55
Fortalecimento de habilidades em métodos de pesquisa e ferramentas para pesquisadores atualmente envolvidos em pesquisas relacionadas ao HIV/VIH. Disponibilização de treinamento em pesquisa e avaliação em HIV/VIH para prestadores de serviços de atenção à saúde e implementadores de programas. Disponibilização de oportunidades para prestadores de serviços e pes-quisadores no planejamento de atividades de pesquisa e no comparti-lhamento de achados de pesquisas. Centro de excelência em pesquisa em HIV/VIH Manutenção de uma biblioteca com informações atualizadas sobre HIV/VIH. Desenvolvimento de diretrizes para melhores práticas e garantia de qualidade em pesquisas de HIV/VIH. Coordenação da implementação da agenda nacional de pesquisa e do plano de fortalecimento da capacidade nacional de pesquisa.
Fonte: Bakkali T. Strengthening local research Capacity in Papua New Guinea. Apresentação, UNAIDS 3rd Global Monitoring and Evaluation Training, Bancoc (Tailândia), 2008.
56 | Unaids
O QUE É Um PLAnO dE tRABALHO COm ORÇAmEntO PARA EstUdOs dE AVALIAÇÃO?
É importante elaborar um plano de trabalho com orçamento para ga-rantir que os papéis, as responsabilidades, os produtos e os prazos se-jam claramente identificados, consensuados e comunicados. O plano pode incluir:
• Atividades para elaborar os termos de referência para cada um dos estudos de avaliação priorizados e para implementar cada estudo.
• Indivíduos/organizações responsáveis. • Principais produtos (isto é, termos de referência, relatórios periódi-
cos de progresso, relatórios finais de avaliação, materiais diferencia-dos de disseminação).
• Cronogramas (isto é, datas de início e término das atividades; prazos para apresentação dos produtos).
• Necessidades de recursos financeiros para todas as atividades, inclu-sive para a plena implementação das avaliações.
• Identificação de fontes de financiamento.
Além de atividades diretamente relacionadas à implementação de estudos de avaliação, o plano também pode incluir atividades específi-cas para o fortalecimento da capacidade local de avaliação. Conforme mencionado acima, é possível que no plano de trabalho nacional de monitoramento e avaliação já conste o detalhamento dessas ativida-des e, neste caso, não é necessário elaborar outro plano.
Eventuais déficits de financiamento precisam ser solucionados o mais breve possível. Com efeito, o relatório da oficina e o plano de trabalho podem ser utilizados como ferramentas de advocacy para alavancar financiamento adicional. Várias agências de financiamento, incluindo o Fundo Global de Luta contra Aids/SIDA, Tuberculose e Malária e a iniciativa PEPFAR, disponibilizam recursos financeiros para apoiar avaliações nos países. A inclusão de representantes de agências multilaterais e bilaterais no processo do estabelecimento da agenda de avaliação facilitará a alavancagem de seus recursos financeiros e técnicos. É importante que o plano de trabalho seja compartilhado com todos os atores relevantes e que seja utilizado para monitorar o progresso com a implementação das atividades.
Unaids | 57
gEREnCIAndO A REALIZAÇÃO dE AVALIAÇÕEs
Ter termos de referência claros e bem redigidos é um pré-requisito fun-damental para garantir a realização de uma avaliação sólida. Os termos de referência são utilizados não apenas para facilitar a gestão do pro-cesso de planejamento, implementação e disseminação da avaliação, como também podem ser utilizados para compartilhar com atores re-levantes informações importantes sobre o estudo de avaliação e tam-bém para extrair as informações necessárias para o inventário nacional de estudos de avaliação.
Uma discussão completa sobre a gestão de avaliações está fora do escopo da presente publicação; mais abaixo há uma lista de indicações de publicações relevantes. No entanto, a seguir há alguns dos princi-pais passos necessários para gerir uma avaliação com sucesso.
Depois de consensuado o plano de trabalho as etapas a seguir precisam ser realizadas:
• Obter recursos financeiros e outros recursos. • Divulgar um edital de chamada pública para a seleção de propostas
de avaliação. • Analisar e selecionar as propostas de avaliação. • Selecionar um avaliador / equipe de avaliação apropriada para ela-
borar e depois implementar a avaliação. • Apresentar a proposta de avaliação aos comitês relevantes para de-
terminar se a avaliação será classificada como sendo uma ‘pesquisa’ ou não, bem como definir os procedimentos necessários de ética.
• Monitorar o progresso com a implementação da avaliação. • Analisar e discutir de forma crítica os resultados da avaliação com o
avaliador/a equipe de avaliação. • Garantir a disseminação oportuna do relatório de avaliação e divul-
gar os resultados em formatos diferenciados apropriados para os diferentes públicos.
• Apoiar e documentar a utilização dos achados da avaliação.
58 | Unaids
TERMOS DE REFERÊNCIA PARA UM ESTUDO DE AVALIAÇÃO
Os termos de referência devem incluir:
• Uma descrição do tópico de avaliação. • Informações de contextualização e a fundamentação para a reali-
zação da avaliação. • Os objetivos específicos da avaliação. • Quem utilizará os achados da avaliação e como os mesmos serão
utilizados para fortalecer políticas/programas. • As principais questões a serem respondidas pela avaliação. • Os grupos-alvo da avaliação. • Os programas a serem avaliados. • Os dados a serem coletados. • O desenho da avaliação. • As principais fontes de dados e procedimentos de coleta de dados. • Os principais procedimentos de análise dos dados. • A sequência e o cronograma das atividades de avaliação. • Os integrantes da equipe de avaliação, seus papéis/responsabili-
dades e níveis estimados de esforços necessários.
• O apoio administrativo e logístico. • O orçamento da avaliação.
Fonte: adaptado de: UNAIDS. Prevention Evaluation—Standards for developing terms of reference. Genebra (Suíça): UNAIDS, 2009.
O exemplo de Ruanda mostra alguns dos principais papéis e res-ponsabilidades das instituições locais em relação à gestão de avaliações.
Unaids | 59
PAPÉIS E RESPONSABILIDADES DE DIFERENTES AGÊNCIAS NA IMPLEMENTAÇÃO DE AVALIAÇÕES DA RESPOSTA À AIDS/SIDA EM RUANDA
O papel do comitê nacional de pesquisa Este comitê inclui representantes de organizações públicas, privadas e comunitárias envolvidas na prestação de serviços para aids/SIDA e em pesquisas sobre aids/SIDA. É presidido pela comissão nacional de aids/SIDA e se reúne mensalmente. O papel do comitê inclui:
• Aprovar propostas de avaliação (sendo a primeira etapa no processo de aprovação). A aprovação por este comitê requer que o estudo proposto: - Responda às necessidades do plano estratégico nacional de
aids/SIDA. - Não signifique a duplicação desnecessária de esforços. - Atenda às normas de qualidade de modo a garantir que os
achados sejam válidos e utilizáveis. - Melhore a capacidade local de pesquisa.
• Promover a colaboração e o trabalho em rede entre pesquisadores locais e internacionais.
• Monitorar o progresso na implementação do projeto de avaliação. • Garantir que os achados das avaliações sejam apresentados à co-
missão nacional de aids/SIDA para inclusão no inventário nacional de avaliação e para que haja apoio à sua utilização na formulação de políticas e na melhoria de programas.
O papel do comitê nacional de ética Este comitê garante que cada estudo de pesquisa esteja em consonân-cia com as normas de ética e com a legislação do Ruanda. Reúne-se mensalmente para analisar protocolos de avaliação e comunica suas decisões ao Ministério da Saúde. O papel do comitê inclui: Aprovar propostas de avaliação (sendo a segunda etapa no processo de aprovação). A aprovação por este comitê requer que o estudo proposto:
60 | Unaids
Atenda às normas de ética em todas as etapas do projeto de pesquisa a fim de garantir que sejam preservados a dignidade e o bem-estar dos participantes do estudo. Utilize procedimentos explícitos de consentimento e garanta o sigilo de informações pessoais. Preste serviços a participantes do estudo que tenham problemas de saúde ou outras necessidades no decorrer do mesmo. Esteja atento às necessidades de desenvolvimento do país. Monitore regularmente o projeto de pesquisa para garantir a obser-vância das normas de ética.
O papel do Instituto Nacional de Estatística do Ruanda (Institut des Statistiques du Rwanda, INSR) O Instituto Nacional de Estatística fornece liderança na melhoria da capacidade de análise e utilização dos dados na tomada de decisões. O papel do Instituto inclui:
Validar os métodos descritos nas propostas de avaliação. Desenvolver a capacidade de análise de dados com utilização de mé-todos estatísticos apropriados. Estabelecer sistemas inovadores para o intercâmbio e a divulgação de dados, incluindo os achados de avaliações. Fortalecer a capacidade de avaliação das instituições de alto nível, como as universidades e o Centro de Tratamento e Pesquisa em Aids/SIDA.
Fonte: Overview of Principles and Procedures of AIDS Research in Rwanda. Versão preliminar. Kigali (Ruanda): Commission Nationale de Lutte contre le SIDA, 2007.
resUmo
Unaids | 63
Os achados de estudos de avaliação são essenciais para orientar uma resposta efetiva e eficiente à epidemia de HIV/VIH. Uma agenda nacio-nal de avaliação é um mecanismo abrangente e baseado em normas que permite identificar, desenvolver e implementar avaliações da res-posta ao HIV/VIH, bem como utilizar os resultados para melhorar os programas.
Utilizar um processo coordenado que inclua o amplo consenso e a participação dos atores relevantes pode ajudar a:
• Garantir que os resultados possam ser transformados em ações.
• Evitar a duplicação de esforços.
• Fortalecer a capacidade local.
QUestÕes a considerar
Unaids | 67
• Qual é o conteúdo de uma agenda nacional de avaliação e por que é importante ter uma agenda?
• Como se pode obter o compromisso e a participação de atores relevantes, tanto no processo da elaboração quanto na implementação da agenda nacional de avaliação?
• Como se pode definir as prioridades para os estudos de avaliação e quais evidências devem ser utilizadas para subsidiar esse processo?
• Qual é a diferença entre avaliação e pesquisa e qual é a importância para uma agenda nacional de avaliação?
• Como as avaliações podem aproveitar e apoiar o fortalecimento da capacidade de avaliadores e instituições locais?
• Que sistema precisa existir para apoiar a implementação de estudos de avaliação?
• Quais são as principais questões relativas à disseminação e à utilização dos achados de avaliações?
Uma prova rÁpida
70 | Unaids
1. Indicar se as seguintes afirmações são Verdadeiras ou Falsas:
________As pesquisas têm como objetivo gerar ou contribuir para a geração de conhecimentos que podem ser generalizados, a fim de melhorar as práticas de saúde pública.
________Os benefícios esperados de um estudo de pesquisa se apli-cam apenas aos participantes do mesmo.
________Avaliação se define como a coleta sistemática de informações sobre as atividades, as características e os resultados de um programa específico, de modo a poder determinar seu mérito ou valor e utilizar os achados na melhoria deste e de outros programas.
________Os conhecimentos gerados por meio da avaliação de um pro-grama podem ser aplicados em outras populações ou progra-mas além do programa do qual os dados foram coletados.
Unaids | 71
2. Por que é importante estabelecer uma agenda nacional de estu-dos de avaliação/pesquisa sobre HIV/VIH?
Marque todas as opções apropriadas:
Para entender quem está realizando quais estudos e qual a capaci-dade existente de avaliação/pesquisa.
Para reduzir a proliferação e a duplicação de estudos e o desperdício de recursos.
Para coordenar os recursos de avaliação/pesquisa no país.
Para melhorar a disseminação e o compartilhamento dos achados de avaliações/pesquisas.
Para melhorar a visibilidade de estudos de avaliação/pesquisas no âmbito nacional, regional e internacional.
Para monitorar como estudos de avaliação/pesquisas têm influencia-do o planejamento de programas e políticas.
glossÁrio
74 | Unaids
Accountability (Responsabilização). É a responsabilidade pela utiliza-ção dos recursos e pelas decisões tomadas, bem como a obrigação de demonstrar que o trabalho foi realizado em conformidade com as regras consensuadas e com as normas, e a obrigação de prestar contas com imparcialidade e precisão sobre o desempenho e os resultados alcança-dos comparados com os papéis associados ao mandato e/ou os planos.
Ator (stakeholder). É uma pessoa, um grupo ou uma entidade que tem um papel ou um interesse direto ou indireto nas metas ou nos objetivos e na implementação de um programa e/ou sua avaliação.
Atribuição. É a imputação de uma ligação causal entre mudanças ob-servadas e uma intervenção específica.
Avaliabilidade. Significa até que ponto uma intervenção ou um pro-grama podem ser avaliados com confiabilidade e credibilidade.
Avaliação. É a coleta e a análise rigorosas e científicas de informações sobre as atividades, as características e os resultados de programas ou in-tervenções que determinam o mérito ou o valor dos mesmos. Os estudos de avaliação fornecem com credibilidade informações que podem ser uti-lizadas para melhorar programas ou intervenções, identificar lições apren-didas, além de subsidiar decisões sobre a alocação futura de recursos.
Avaliação de impacto. É a avaliação do aumento ou da diminuição de impactos, tais como a prevalência e incidência de uma doença, en-quanto função de programas ou intervenções em HIV/VIH. Os impac-tos sobre uma população raramente podem ser atribuídos a um único programa ou uma única intervenção; portanto, uma avaliação dos im-pactos sobre uma população geralmente envolve um desenho rigoro-so que permite avaliar os efeitos combinados de vários programas ou intervenções voltados para populações sob risco.
Avaliação de processo. É um tipo de avaliação com enfoque na imple-mentação de programas ou intervenções, incluindo mas não restrita a ques-tões como o acesso a serviços, ou se os serviços alcançaram a população prevista, como os serviços são prestados, a satisfação dos clientes e suas percepções sobre necessidades e serviços, práticas de gestão, etc.. Além disso, uma avaliação de processo é capaz de proporcionar um entendi-mento sobre os contextos culturais, sociopolíticos, jurídicos e econômicos que possam afetar a implementação de um programa ou uma intervenção.
Unaids | 75
Avaliação de programa. É um estudo que tem por objetivo controlar um problema de saúde ou melhorar um programa ou serviço de saú-de pública. Neste caso, os benefícios pretendidos pelo programa se destinam primeira ou exclusivamente aos participantes do estudo ou à comunidade à qual pertencem (isto é, a população da qual os parti-cipantes do estudo são uma amostra); os dados coletados são neces-sários para avaliar e/ou melhorar o programa ou serviço, e/ou a saúde dos participantes do estudo ou da sua comunidade. Tipicamente, os conhecimentos gerados não se estendem além da população ou do programa dos quais os dados são coletados.
Avaliação de resultados. É um tipo de avaliação que determina se, e até que ponto, as atividades ou os serviços de intervenção alcançaram os resultados esperados. Uma avaliação de resultados procura atribuir mudanças observadas à intervenção testada. Obs.: Uma avaliação de resultados é metodologicamente rigorosa e geralmente requer que seu desenho inclua um elemento comparativo, como um grupo de controle ou comparação, embora seja possível utilizar técnicas de estatística em alguns casos quando não há disponibilidade de grupos de controle ou comparação (ex.: no caso da avaliação de um programa nacional).
Avaliação econômica. É a utilização de técnicas analíticas aplicadas para identificar, medir, valorar e comparar os custos e os resultados de intervenções alternativas. Os tipos de avaliação econômica incluem avaliações de custo-benefício, custo-efetividade e custo-eficiência.
Avaliação experimental. É uma forma de avaliação que compara ob-servações de participantes distribuídos aleatoriamente para um grupo dentro de um programa (isto é, o grupo experimental) com as de parti-cipantes distribuídos aleatoriamente para um grupo de controle.
Avaliação formativa. É um tipo de avaliação que tem como propósi-to melhorar o desempenho de um programa ou de uma intervenção. Normalmente a avaliação formativa é realizada durante a etapa do de-senho e pré-teste da intervenção ou do programa, mas também pode ser realizada logo no início da etapa de implementação, sobretudo se as atividades não estão ocorrendo conforme esperado.
76 | Unaids
Avaliação interna. É a avaliação de uma intervenção que é realizada por uma unidade e/ou indivíduos que se reportam à gerência da or-ganização responsável pelo apoio financeiro, pelo desenho e/ou pela implementação da intervenção.
Avaliação sumativa. É um tipo de avaliação realizada no final de uma intervenção (ou no final de uma etapa da intervenção) para determinar até que ponto os resultados esperados foram alcançados. Este tipo de avaliação tem o objetivo de fornecer informações sobre o mérito ou o valor da intervenção.
Beneficiários. São os indivíduos, grupos ou organizações, sejam eles alvos ou não da intervenção, que se beneficiam direta ou indiretamen-te da mesma.
Confiabilidade. Refere-se à consistência ou da integridade dos da-dos coletados por meio da utilização repetida de um instrumento científico ou procedimento de coleta de dados aplicado sob as mes-mas condições.
Efetividade. É o grau em que um programa ou uma intervenção alcan-çou seus objetivos sob condições normais em um ambiente da vida real.
Eficácia. É o grau em que uma intervenção produz os resultados espe-rados sob condições ideais em um ambiente controlado.
Eficiência. É uma medida do grau de economicidade com que os insu-mos (recursos como fundos, conhecimentos especializados, tempo) se transformam em resultados.
Generalizabilidade. É o grau em que pode-se supor que os achados reflitam verdadeiramente toda a população-alvo, e não apenas a amos-tra da população que está sendo estudada. Obs.: Para garantir a gene-ralizabilidade, o procedimento de amostragem e os dados coletados precisam cumprir determinadas normas metodológicas.
Grupo-alvo. É um grupo específico de pessoas que devem ser benefi-ciadas pelo resultado da intervenção.
Unaids | 77
Impacto. É o efeito cumulativo de longo prazo de programas ou inter-venções no decorrer do tempo sobre aquilo que estes visam a mudar, como uma mudança na tendência de infecção por HIV/VIH ou na mor-bidade e mortalidade por aids/SIDA. Obs.: Os impactos sobre uma população raramente podem ser atribuídos a um único programa ou uma única intervenção. No entanto, um programa ou uma intervenção específica pode, junto com outros programas ou intervenções, contri-buir para os impactos em uma população.
Meta-avaliação. É um tipo de avaliação que tem como objetivo agre-gar os achados de uma série de avaliações. Também pode ser utilizada para denotar a avaliação de uma avaliação a fim de julgar a sua quali-dade e/ou o desempenho dos avaliadores.
Pesquisa operacional. É a avaliação sistemática e objetiva da dispo-nibilidade, acessibilidade, qualidade e/ou sustentabilidade de serviços que por sua vez têm o objetivo de melhorar a prestação de outros ser-viços. Avalia apenas fatores que estão sob o controle dos gerentes de programas ou projetos, tais como a melhoria da qualidade dos servi-ços, o aumento no treinamento e na supervisão do pessoal, e o acrés-cimo de novos componentes nos serviços.
Pesquisa. É um estudo que visa a gerar ou contribuir para a geração de conhecimentos que podem ser generalizados, a fim de melhorar as práticas de saúde pública, ou seja, o estudo tem o propósito de gerar novas informações que tenham relevância além da população ou do programa dos quais os dados são coletados. Tipicamente a pesquisa procura fazer afirmações a respeito de como as diferentes variáveis es-tudadas, sob circunstâncias controladas, afetam umas às outras em um determinado momento no tempo.
Relevância. É o grau em que os objetivos, produtos ou resultados de uma intervenção estejam em consonância com as necessidades dos beneficiários, as políticas das organizações, as necessidades do país e/ou as prioridades globais.
Resultado. É o efeito de curto e médio prazo causado por uma in-tervenção, como mudanças em conhecimentos, atitudes, convicções e comportamentos.
78 | Unaids
Suposições. São hipóteses sobre fatores ou riscos que poderiam afetar o progresso ou o sucesso de uma intervenção. O sucesso dos resulta-dos obtidos por uma intervenção dependerá de se as suposições se demonstrarem corretas.
Termos de referência (de uma avaliação). É um documento escrito que apresenta o objetivo e o escopo da avaliação, os métodos a serem utilizados, as normas que serão utilizadas para avaliar o desempenho ou realizar a análise, os recursos e o tempo alocados, bem como as normas para os relatórios.
Validade. É o grau em que um indicador ou um teste mede com preci-são aquilo que se pretende medir.
aprendendo mais soBre avaliação
Unaids | 81
Há um número grande de documentos de referência disponíveis sobre métodos e procedimentos de avaliação.
Alguns recursos úteis: • Centers for Disease Control and Prevention. Framework for program
evaluation in public health. MMWR, 1999; 48 (No. RR-11):1–40. • Mark M, Henry G, Julnes G. Evaluation. An Integrated Framework for
Understanding, Guiding, and Improving Policies and Programs. San Francisco (EUA): Jossey-Bass, 2000.
• Quinn Patton M. Utilization-focused Evaluation, 4th edition. New-berg Park (EUA): Sage Publications, 2008.
• Rossi P, Freeman H. Evaluation: a Systematic Approach. Newberg Park (EUA): Sage Publications, 1993.
Alguns sites úteis: • African Evaluation Association (disponível em: http://www.afrea.org/
home/index.cfm) • American Evaluation Association (disponível em: http://www.eval.
org) • Australasian Evaluation Association (disponível em: http://www.aes.
asn.au) • Associações de Avaliação ao Redor do Mundo (disponível em:
http://www.ioce.net/members/eval_associations.shtml) • European Evaluation Society (disponível em: http://www.europeane-
valuation.org) • Organisation for Economic Development and Cooperation/Develo-
pment Cooperation Directorate (disponível em: https://www.oecd.org/department/0,3355,en_2649_34435_1_1_1_1_1,00.html)
• Planning, Monitoring, Evaluation, and Systematisation of Anti-rural Poverty Projects in Latin America and the Caribbean (disponível em: http://www.preval.org/)
• United Nations Interagency Working Group (disponível em: http://www.uneval.org)
reFerÊncias
84 | Unaids
American Evaluation Association. Guiding Principles for Evaluators. Fairhaven (EUA): American Evaluation Association, 1994.
American Evaluation Association. The Program Evaluation Standards. Summary of the Standards. http://www.eval.org/EvaluationDocuments/progeval.htm, acesso em 30 mar. 2009.
Bakkali T. Strengthening Local Research Capacity in Papua New Gui-nea. Apresentação, UNAIDS 3rd Global Monitoring and Evaluation Training, Bancoc (Tailândia), 2008.
Bennett S, Boerma JT, Brugha R. Scaling up HIV/AIDS evaluation. Lan-cet, 2006; 367:79–82.
Bertozzi S, Laga M, Bautista-Arredona S, Coutinho A. Making HIV pre-vention programmes work. Lancet, 2008; 372:831–844.
Centers for Disease Control and Prevention. Framework for program evaluation in public health. MMWR, 1999; 48 (No. RR-11):1–40.
Centers for Disease Control and Prevention & Agency for Toxic Subs-tances and Disease Registry. Procedures for Protection of Human Re-search Participants, 2003. http://www.cdc.gov/od/ads/hsr2.htm, acesso em 31 jan. 2009.
Commission Nationale de Lutte contre le SIDA. Overview of Principles and Procedures of AIDS Research in Rwanda. Versão preliminar. Kigali (Ruanda): Commission Nationale de Lutte contre le SIDA, 2007.
Fink A. Evaluation Fundamentals. Newberg Park (EUA): Sage Publica-tion Inc, 1993.
Unaids | 85
Global Fund to Fight AIDS, Tuberculosis and Malaria. Framework for Operations and Implementation Research in Health and Disease Con-trol Programmes. Genebra (Suíça): Global Fund, 2008.
Kiwango E, Sikwibele K. Process and Tools for Setting a National Evalu-ation/Research Agenda. Palestra, UNAIDS 3rd Global Monitoring and Evaluation Training, Bancoc (Tailândia), 2008.
Kusek J, Rist R. Ten Steps to a Results-based Monitoring and Evaluation System. A Handbook for Development Practitioners. Washington, DC (EUA): World Bank, 2004.
Lusthaus C, Anderson G, Murphy E. Institutional Assessment. A Fra-mework for Strengthening Organizational Capacity for IDRC’s Research Partners. Ottawa (Canadá): International Development Research Cen-tre, 1995.
Macro International. National Evaluation Agenda Setting Guidelines. Atlanta (EUA): Macro International, 2008.
Mark M, Henry G, Julnes G. Evaluation. An Integrated Framework for Understanding, Guiding, and Improving Policies and Programs. San Francisco (EUA): Jossey-Bass, 2000.
Merson M. The history and challenge of HIV prevention. Lancet, 2008; 372:475–488.
Ministério da Ciência e Tecnologia. Bibliografia Anotada. Estudos, Pes-quisas e Documentos Relativos ao HIV/SIDA em Moçambique 1986–2007. Maputo (Moçambique): Ministério da Ciência e Tecnologia, 2007.
86 | Unaids
National AIDS Commission. Concept Paper for Coordination and Im-plementation of the Initial Phase of the PEN II Research Substrategy. Maputo (Moçambique): National AIDS Commission, 2006.
National AIDS Council. National Research Agenda for HIV and AIDS in Papua New Guinea 2008–2013. Port Moresby (Papua-Nova Guiné): National AIDS Council, 2008.
Peersman G, Rugg D. Intervention research and program evaluation: the need to move beyond monitoring. In: Global Advances in HIV/AIDS Monitoring and Evaluation. Rugg D, Peersman G, Carael M (Eds). New Directions for Evaluation, 2004; 103:141–158.
Rossi P, Freeman H. Evaluation: a Systematic Approach. Newberg Park (EUA): Sage Publications Inc, 1993.
Rugg D, Carael M, Boerma T, Novak J. Global advances in monitoring and evaluation of HIV/AIDS: from AIDS case reporting to program im-provement. In: Global Advances in Monitoring and Evaluation of HIV/AIDS, Rugg D, Peersman G, Carael M (Eds). New Directions for Evalu-ation, 2004; 103:33–48.
Rugg D. Introduction to Evaluation. Lecture, UNAIDS 3rd Global Moni-toring and Evaluation Training, Bancoc (Tailândia), 2008.
UNAIDS. Organizing Framework for a Functional National HIV Monito-ring and Evaluation System. Genebra (Suíça): UNAIDS, 2008.
UNAIDS. Glossary of Monitoring and Evaluation Terms. Genebra (Suí-ça): UNAIDS, 2008.
UNAIDS. Prevention Evaluation. Standards for Developing Terms of Re-ference. Genebra (Suíça): UNAIDS, 2009.
Unaids | 87
Wilson D, Halperin D (2008). “Know your epidemic, know your respon-se”: a useful approach, if we get it right. Lancet, 2008; 372:423
apÊndices
90 | Unaids
APÊndICE 1: nORmAs PARA AVALIAÇÃO dE PROgRAmAs
A seguir são apresentadas as Normas para Avaliação de Programas:11
1. As Normas de Utilidade (U) têm como objetivo garantir que a ava-liação supra as necessidades de informação das partes interessadas:
• U1. Identificação dos Atores. As pessoas envolvidas ou afetadas pela avaliação devem ser identificadas, para que suas necessidades possam ser atendidas.
• U2. Credibilidade dos Avaliadores. As pessoas que conduzem a avaliação devem ter tanto a confiabilidade quanto a competência necessárias para realizá-la, para que os achados tenham o máximo de credibilidade e aceitabilidade.
• U3. Escopo e seleção das informações. Deve haver ampla sele-ção das informações a serem coletadas a fim de poder responder questões pertinentes sobre o programa e também trazer respostas para as necessidades e interesses dos clientes e outros atores espe-cificados.
• U4. Identificação de valores. As perspectivas, os procedimentos e o raciocínio utilizados para interpretar os achados devem ser cuida-dosamente definidos, para que fique transparente a fundamentação de julgamentos sobre valores.
• U5. Clareza dos Relatórios. O relatório de uma avaliação deve des-crever com clareza o programa que está sendo avaliado, inclusive no que diz respeito ao seu contexto e aos propósitos, procedimentos e achados da avaliação, para que sejam prestadas informações essen-ciais que sejam de fácil entendimento.
• U6. Tempestividade e disseminação dos relatórios. Achados inter-mediários de significância e relatórios de avaliação devem ser disse-minados para quem de direito, para que essas informações possam ser utilizadas de forma oportuna.
11 American Evaluation Association. The Program Evaluation Standards. Summary of the Standards. Disponível em: http://www.eval.org/Evaluationdocuments/progeval.html, acesso em 30 mar. 2009.
Unaids | 91
• U7. Impacto das avaliações. As avaliações devem ser planejadas, conduzidas e registradas em relatórios de tal maneira que incenti-vem a adesão dos atores envolvidos, de modo a aumentar a proba-bilidade de que os resultados das avaliações sejam utilizados.
2. As Normas de Viabilidade (Feasibility) (F) objetivam garantir que as avaliações sejam realistas, prudentes, diplomáticas e econômicas:
• F1. Procedimentos práticos. Os procedimentos de avaliação de-vem ser práticos, a fim de minimizar eventuais inconvenientes en-quanto se coletam as informações necessárias.
• F2. Viabilidade política. A avaliação deve ser planejada e realizada levando em consideração as diferentes posições dos diversos gru-pos interessados, a fim de obter a cooperação dos mesmos e para que possíveis tentativas por parte de qualquer um desses grupos vi-sando à interrupção das atividades de avaliação ou ao enviesamento ou distorção dos resultados possam ser evitadas ou neutralizadas.
• F3. Relação custo-benefício. A avaliação deve ser eficiente e pro-duzir informações suficientemente relevantes, de modo que se pos-sam justificar os recursos investidos.
3. As Normas de Boa Conduta (Propriety) (P) objetivam garantir que as avaliações sejam conduzidas legalmente, eticamente e respeitando devidamente o bem-estar das pessoas envolvidas na avaliação, bem como as pessoas afetadas por seus resultados:
• P1. Voltadas para o serviço. As avaliações devem ser desenhadas para auxiliar as organizações a responder e atender efetivamente às necessidades de todo o gama de participantes de seus programas.
• P2. Acordos formais. As obrigações das partes formalmente en-volvidas numa avaliação (o que tem que ser feito, como, por quem, quando) devem ser acordadas por escrito, para que as mesmas te-nham a obrigação de observar todas as condições do acordo, ou de renegociá-lo formalmente.
• P3. Os direitos de sujeitos humanos. As avaliações devem ser de-senhadas e conduzidas de modo a respeitar e proteger os direitos e o bem-estar dos sujeitos humanos.
92 | Unaids
• P4. Interações humanas. Os avaliadores devem respeitar a dignida-de e o valor humanos nas suas interações com outras pessoas envol-vidas avaliações, de modo que os participantes não sejam colocados em risco ou sofram danos.
• P5. Avaliação completa e imparcial. A avaliação deve ser completa e imparcial em sua análise e no registro das fortalezas e deficiências do programa que está sendo avaliada, de modo que as fortalezas possam ser aproveitadas ainda mais e as áreas problemáticas pos-sam ser resolvidas.
• P6. Revelação dos achados. As partes formalmente envolvidas numa avaliação devem garantir que todos os achados da mesma, junto com as limitações pertinentes, estejam acessíveis para as pes-soas afetadas pela avaliação, bem como por outras pessoas com di-reito expresso previsto em lei de receber os resultados.
• P7. Conflito de interesses. Qualquer conflito de interesses deve ser tratado aberta e honestamente, para que não comprometa os processos e os resultados da avaliação.
• P8. Responsabilidade fiscal. Os recursos alocados ao avaliador e o desembolso dos mesmos devem refletir procedimentos contá-beis sólidos, devendo haver prudência e responsabilidade ética, de modo que as despesas sejam apropriadas e que haja a devida pres-tação de contas das mesmas.
4. As Normas de Precisão (Accuracy) (A) objetivam garantir que a avaliação revele e transmita informações tecnicamente adequadas so-bre as características que determinam o valor ou o mérito do programa que está sendo avaliado:
• A1. Documentação do programa. O programa que está sendo ava-liado deve ser descrito e documentado com clareza e precisão, de modo que o programa esteja claramente identificado.
• A2. Análise de contexto. O contexto em que o programa se situa deve ser examinado de maneira suficientemente detalhada para que seja possível identificar as prováveis influências sobre o programa.
Unaids | 93
• A3. Descrição dos objetivos e procedimentos. Os objetivos e os procedimentos da avaliação devem ser monitorados e descritos de forma suficientemente detalhada para que possam ser identificados e avaliados.
• A4. Fontes de informações defensáveis. As fontes de informações utilizadas na avaliação de programas devem ser descritas de maneira suficientemente detalhada para permitir que seja possível avaliar se as informações são apropriadas.
• A5. Informações válidas. Os procedimentos de coleta de informa-ções devem ser escolhidos, ou elaborados, e em seguida implemen-tados de tal forma que garantam que a interpretação das informa-ções seja válida para a finalidade pretendida.
• A6. Informações confiáveis. Os procedimentos de coleta de infor-mações devem ser escolhidos, ou elaborados, e em seguida imple-mentados de tal forma que garantam que as informações obtidas sejam suficientemente confiáveis para a finalidade pretendida.
• A7. Informações sistemáticas. As informações de avaliação coleta-das, processadas e apresentadas em relatórios devem ser revisadas sistematicamente e eventuais erros encontrados devem ser corrigidos.
• A8. Análise de informações quantitativas. As informações quanti-tativas obtidas por meio de uma avaliação devem ser analisadas de maneira apropriada e sistemática para que as perguntas de avalia-ção sejam respondidas efetivamente.
• A9. Análise de informações qualitativas. As informações qualitati-vas obtidas por meio de uma avaliação devem ser analisadas de ma-neira apropriada e sistemática para que as perguntas de avaliação sejam respondidas efetivamente.
• A10. Conclusões justificadas. As conclusões referentes a uma ava-liação devem ser explicitamente justificadas, para que os atores en-volvidos possam avaliá-las.
94 | Unaids
• A11. Relatórios imparciais. Os procedimentos para a elaboração de relatórios devem garantir que não haja distorções causadas pe-las opiniões pessoais ou vieses de qualquer pessoa ou instituição responsável pela avaliação, de modo que os relatórios reflitam os achados com imparcialidade.
• A12. Meta-avaliação. A própria avaliação deve sofrer avaliação formativa e sumativa em relação às normas acima e outras normas pertinentes, de modo que sua realização seja norteada de forma apropriada e, uma vez concluída, os atores envolvidos possam es-crutinizar os pontos fortes e fracos da mesma.
Unaids | 95
APÊndICE 2: EXEmPLO dE LIstAs dE REQUIsItOs PARA CLAssIFICAÇÃO dE EstUdOs E PARA AnÁLIsE POR Um COmItÊ dE ÉtICA Em PEsQUIsA
Antes que a realização de qualquer estudo seja autorizada, muitas instituições exigem que seja definida sua classificação, no sentido de determinar se o estudo se enquadra ou não no campo da pesquisa propriamente dito. A lista a seguir apresenta critérios concisos para a classificação de estudos baseados nas diretrizes estabelecidas pelos Centros de Controle e Prevenção de Doenças (CDC). A finalidade da lista é apenas ilustrativa, uma vez que as regras para a classificação de pesquisas são específicas para cada instituição.
LISTA DE REQUISITOS PARA DETERMINAR SE UM ESTUDO DEVE OU NÃO SER CLASSIFICADO COMO SENDO UMA ´PESQUISA´
O estudo não se classifica como uma pesquisa. O propósito primário é a melhoria de práticas de saúde pública ou o controle de doenças.
• Atividade de controle de epidemias / doenças endêmicas: os dados coletados estão diretamente relacionados às necessidades de con-trole da doença.
• Atividade rotineira de vigilância da doença: os dados são utilizados para fins de programas ou políticas de controle da doença.
• Atividade de avaliação de programa: os dados são utilizados princi-palmente para este propósito.
• Vigilância pós-marketing da eficácia e/ou dos efeitos adversos de um novo esquema, medicamento ou dispositivo.
• A atividade é puramente administrativa (ex. pedidos de compra ou contratos de serviços ou bens) e não está relacionada a pesquisa.
96 | Unaids
O estudo se classifica como uma pesquisa. O propósito primário é a geração de conhecimentos capazes de serem generalizados.
• Nenhuma das descrições acima se aplica ao estudo.
Fonte: Centers for Disease Control and Prevention & Agency for Toxic Substances and Disease Regis-try. Procedures for Protection of Human Research Participants. Atlanta (EUA), 2003. http://www.cdc.gov/od/ads/hsr2.htm, acesso em 31 jan. 2009.
Um estudo de avaliação classificado como ‘pesquisa’ exige a definição de mais dois quesitos: (1) o estudo envolve sujeitos humanos?12 E, em caso afirmativo: (2) o estudo atende aos critérios de isenção de análise por um comitê de ética em pesquisa com seres humanos? Um resumo dos requisitos para análise por um comitê de ética consta no quadro a seguir. O comitê de ética somente dá sua aprovação se considerar que o estudo está de fato em conformidade com as regras. Os estudos que não são classificados como pesquisas são isentos de análise por um comitê de ética em pesquisa.
12 Um sujeito humano é um indivíduo vivo a respeito de quem o investigador que realize a pesquisa obtém: (a) dados por meio de intervenções ou interações com o mesmo; ou (b) informações confi-denciais identificáveis. Intervenções abrangem tanto procedimentos físicos por meio dos quais se coletam dados, quanto a manipulação dos sujeitos. Interações abrangem comunicação ou contato interpessoal entre o investigador e o sujeito. Informações confidenciais incluem dados sobre os comportamentos que ocorrem em um contexto em que é razoável o indivíduo supor que não esteja sendo observado ou gravado, bem como dados fornecidos para finalidades específicas de modo que também seja razoável o indivíduo supor que tais dados sejam mantidos em sigilo. Deve ser possível identificar individualmente as informações confidenciais (isto é, a identidade do sujeito pode ser averiguada facilmente) para poder classificar o estudo como uma pesquisa envolvendo sujeitos humanos.
Unaids | 97
LISTA DE REQUISITOS PARA ANÁLISE OU ISENÇÃO DE ANÁLISE POR UM COMITÊ DE ÉTICA EM PESQUISA
O estudo está classificado como uma pesquisa, mas não envolve su-jeitos humanos identificáveis – o estudo é isento de análise por um comitê de ética em pesquisa se:
• A pesquisa envolve a coleta/análise de dados sobre serviços de saú-de ou outras unidades que não são pessoas; ou
• A pesquisa envolve dados e/ou espécimes de defuntos; ou • A pesquisa utiliza dados ou espécimes anônimos não vinculados;
isto é, todos os seguintes requisitos devem ser cumpridos: (1) a ativi-dade proposta não envolve nenhum contato com sujeitos humanos; e (2) os dados ou espécimes são/foram coletados para outra fina-lidade; e (3) nenhum dado/espécime adicional e/foi coletado para esta finalidade; e (4) os dados de identificação não foram obtidos ou foram removidos de modo que os dados não podem ser vinculados ou vinculados novamente com sujeitos humanos identificáveis.
O estudo está classificado como uma pesquisa e envolve sujeitos hu-manos identificáveis – é necessária a análise por um comitê de ética em pesquisa se nenhuma das descrições acima se aplica ao estudo.
Fonte: Centers for Disease Control and Prevention & Agency for Toxic Substances and Disease Regis-try. Procedures for Protection of Human research Participants. Atlanta (EUA), 2003. http://www.cdc.gov/od/ads/hsr2.htm, acesso em 31 jan. 2009.
98 | Unaids
APÊndICE 3: EXEmPLO dE tERmInOLOgIA PAdROnIZAdA PARA dEsCREVER RELAtÓRIOs dE AVALIAÇÕEs
A. Enfoque do relatório / estudo Enfoque específico: para relatórios / estudos relacionados à prevenção do HIV/VIH (isto é, estudos relacionados à prevenção de novas infec-ções por HIV/VIH / à redução do número de novas infecções por HIV/VIH) deve-se atribuir todos os termos abaixo que se aplicam: 1.1 Ativismo 1.2 Biossegurança 1.3 Segurança do sangue 1.4 Estratégias de comunicação (inclui os meios de comunicação de
massa) 1.5 Distribuição de preservativos e promoção de seu uso 1.6 Violência doméstica e sexual 1.7 Educação formal (inclui currículos educacionais) 1.8 Desigualdades de gênero 1.9 Testagem e aconselhamento em HIV/VIH 1.10 Informação, educação e comunicação 1.11 Circuncisão masculina 1.12 Prevenção da transmissão vertical 1.13 Promoção da saúde sexual e reprodutiva 1.14 Doenças sexualmente transmissíveis – diagnóstico, tratamento e
controle 1.15 Práticas tradicionais 1.16 Serviços que acolhem jovens 1.17 Outro (especifique): _________________________ (escrever)
B. População-alvo / participantes do estudo 1. Idade: deve-se atribuir todos os termos abaixo que se aplicam: 1.1 Adultos (25 anos e mais) 1.2 Crianças (de 1 a 14 anos) 1.3 Bebês (do nascimento até 1 ano de idade) 1.4 Jovens (de 15 a 24 anos)
2. Sexo: deve-se atribuir todos os termos abaixo que se aplicam: Homens e Mulheres Homens apenas Mulheres apenas
Unaids | 99
3. Grupo populacional: deve-se atribuir todos os termos abaixo que se aplicam: Casais sorodiscordantes Estudantes – ensino primário Estudantes – ensino secundário Estudantes – ensino superior Gestantes Órfãos e crianças vulneráveis Organizações Não Governamentais Pacientes – doenças sexualmente transmissíveis Pacientes – tuberculose Pessoas vivendo com HIV/VIH População em geral Profissionais de saúde Sob maior risco: clientes de profissionais do sexo Sob maior risco: homens que fazem sexo com homens Sob maior risco: populações móveis Sob maior risco: presidiários Sob maior risco: profissionais do sexo Sob maior risco: profissões uniformizadas Sob maior risco: usuários de drogas injetáveis Outro (especifique): _________________________ (escrever)
Fonte: termos selecionados da terminologia padronizada elaborada para o inventário nacional de ava-liação em Moçambique. Obs.: as definições completas dos termos não estão incluídas aqui.
100 | Unaids
APPÊndICE 4: EXEmPLO dE Um REsUmO EstRUtURAdO dE Um EstUdO dE AVALIAÇÃO
TERAPIA ANTIRRETROVIRAL
Mills EJ, Nachega JB, Buchan I, Orbinski J, Attaran A, Singh S, et al. Adesão à terapia antirretroviral na África Subsaariana e na América do Norte: uma meta-análise. JAMA 2006; 296(6): 679-90.
OBJETIVO: Esta é uma revisão sistemática que compara os níveis de adesão aos antirretrovirais entre pacientes na África Subsaariana com aqueles que fazem parte de programas mais estabelecidos de trata-mento na América do Norte.
ESTUDOS: Foram incluídos 58 estudos prospectivos de avaliação dos níveis de adesão enquanto resultados primários ou secundários entre amostras de pessoas HIV/VIH positivas da população em geral na Amé-rica do Norte e na África Subsaariana: 31 da América do Norte (28 arti-gos completos, 3 resumos) e 27 da África Subsaariana (9 artigos com-pletos, 18 resumos). Os seguintes estudos foram excluídos: estudos não representativos de indivíduos HIV/VIH positivos da “população em geral”, ou seja, os estudos que avaliaram apenas homens que fazem sexo com homens, os sem-teto, crianças ou usuários de drogas, bem como estudos sobre intervenções experimentais de adesão e aqueles apresentando a adesão como a média de todas as doses tomadas. Os estudos mediram a “adesão” de formas diferentes. O autorrelato de pacientes foi utilizado para avaliar a adesão em 71% dos estudos da América do Norte e em 66% dos estudos da África Subsaariana. Outros indicadores incluíram pedidos de reembolso de compra de medicamentos em farmácias, prontuários, MEMS-cap (dispositivos que contam comprimidos) e relatos de profissionais de saúde. A periodici-dade da medição variava muito, desde as últimas 24 horas até 365 dias, e incluindo nos últimos três dias, quatro dias, na última semana, duas semanas, no último mês, dois meses e três meses.
Unaids | 101
A definição de “adesão” variou conforme o estudo, baseada em um “limiar de adesão,” desde 100% adesão em alguns estudos até >80% em outros. No caso dos estudos da América do Norte, 15/31 (48%) consideravam adesão de 100% como “aderido”; 9/31 (29%) dos estu-dos = adesão de 95%; 4/31 (13%) dos estudos = adesão de 90%; 3/31 (10%) dos estudos = adesão de 80%. O número de estudos da África utilizando cada limiar de adesão foi o seguinte: 11/27 (41%) dos estu-dos = adesão de 100%; 11/27 (41%) dos estudos = adesão de 95%; 2/27 (7%) dos estudos = adesão de 90%; 3/27 (11%) dos estudos = adesão de 80%.
ESTRATÉGIA DE BUSCA: Foram feitas buscas em 11 bancos de da-dos eletrônicos (Medline, EMBASE, Cochrane CENTRAL, AIDSLINE, AMED, CINAHL, TOXNET, Development and Reproductive Toxicology, Hazardous Substance Databank, PsycINFO, e Web of Science), bem como nos bancos de dados de resumos das principais conferências so-bre HIV/VIH, publicações escritas por leigos e sites na internet. Foram contactados individualmente pesquisadores clínicos, bem como gru-pos de ensaios clínicos em aids/SIDA com coortes e grupos que fazem advocacy em prol do tratamento para solicitar informações sobre estu-dos que ainda não haviam sido publicados. As buscas foram realizadas desde a data de inauguração dos respectivos bancos de dados até o dia 18 de abril de 2006.
PARTICIPANTS: Esta revisão incluiu estudos de indivíduos (masculinos e femininos) HIV/VIH positivos da população em geral na América do Norte e na África. A média de participantes por estudo na América do Norte foi 219 (total=17573 pacientes), e na África a média foi 100 (total=12116 pacientes). INTERVENÇÕES: Nenhuma.
INDICADORES DE RESULTADOS: Esta revisão realizou análises com-binadas (pooled) e comparativas da proporção de pessoas “aderidas” entre os estudos, estratificadas por fonte de dados (resumo ou artigo completo), continente (América do Norte ou África) e o limiar de ade-são utilizado (100% a >80%). Foi utilizada regressão logística multivari-ável com efeitos aleatórios para determinar os preditores de adesão;
102 | Unaids
as variáveis dos preditores incluíram o continente, o limiar de adesão adotado, o contexto do serviço de saúde, e se o tratamento era gra-tuito ou pago.
RESULTADOS: A meta-análise revelou heterogeneidade significativa entre os estudos. A análise combinada dos dados de todos os estu-dos revelou adesão de 64% (IC 95%, 59%-70%), significando que 64% das pessoas estavam aderidas, baseado na definição (limiar de adesão) adotada em cada estudo. As estimativas combinadas (pooled) dos es-tudos da América do Norte revelaram que 55% das pessoas estudadas estavam aderidas (IC 95% CI, 49%-62%). Uma estimativa combinada (pooled) da adesão nos estudos da África mostrou que 77% das pesso-as estavam aderidas (IC 95%, 68%-85%). Os preditores independentes de adesão incluíram um estudo Africano, o limiar de adesão utilizado (100% e 95%), a utilização de mais de um indicador de adesão, e a utilização de MEMS.
CONCLUSÕES: Os autores concluíram que níveis favoráveis de ade-são podem ser alcançados na África Subsaariana. Afirmam que pre-ocupações quanto à adesão subotimizada não tiveram respaldo nos dados, e que não deveriam ser utilizadas como um motivo para adiar o acesso ao tratamento. No entanto, os níveis mais altos de adesão po-dem ocorrer em parte devido aos indivíduos africanos estarem seguin-do esquemas menos complicados de tratamento e também estarem no início do tratamento. A experiência inicial da melhora dramática do quadro clínico sem os efeitos colaterais de longo prazo pode estar re-lacionada ao nível mais alto de adesão. Portanto, estes achados talvez não vão persistir à medida que o acesso se tornar mais generalizado.
PONTUAÇÃO DA QUALIDADE: Com base no sistema de pontuação QUOROM para revisões sistemáticas, esta análise foi de alta qualida-de. A principal limitação desta análise foi a qualidade dos estudos. Houve uma variação muito grande na forma como a adesão foi me-dida, com pouca validação dos indicadores. Além disso, muitos dos estudos da África não forneceram dados completos (os dados foram obtidos dos resumos).
Unaids | 103
CONTEXTUALIZAÇÃO (Comentário dos revisores): Esta é a primeira meta-análise de dados de adesão na África Subsaariana, com compa-ração com dados dos Estados Unidos e do Canadá. Não houve evidên-cias que indicam que a adesão em ambientes com recursos limitados seja significativamente pior que nas regiões onde a terapia antirretro-viral está facilmente disponível e onde a infraestrutura dos sistemas de saúde está mais estabelecida. Dados sobre pessoas sem-teto HIV/VIH positivas em San Francisco indicam que embora a adesão seja apenas 80%, mesmo assim é possível que tenha melhora do quadro clínico. Esta revisão e meta-análise excluíram a grande maioria das pessoas sob alto risco (como homens que fazem sexo com homens e usuários de drogas injetáveis) que estão em terapia antirretroviral na América do Norte. A população heterossexual ou as populações de gêneros mistos podem ou não ser mais parecidas com as populações africanas.
IMPLICAÇÕES PROGRAMÁTICAS: Os achados desta análise argu-mentam contra a preocupação de que a baixa adesão na África seria uma justificativa para adiar a ampliação dos programas de terapia an-tirretroviral. No entanto, isto não significa que a avaliação da adesão, bem como a avaliação de intervenções que visam a melhorar e man-ter níveis altos de adesão, não deveriam ser instituídas em contextos africanos. Ambas ainda se fazem necessárias. Garantir que haja redes confiáveis de suprimento e distribuição de medicamentos também é importante para a manutenção de níveis altos de adesão à terapia an-tirretroviral.
Fonte: Governo dos EUA/PEPFAR literature digests; http://hivinsite.ucsf.edu/inSite?page=jl-00-00, acesso em 31 jan. 2009.
104 | Unaids
APÊndICE 5: EXEmPLO dE UmA AgEndA dE UmA OFICInA dE EstABELECImEntO dE PRIORIdAdEs dE AVALIAÇÃO
1º dIA
Horário Tópico Apresentador/Facilitador
8h30–9h00 Boas-vindas A importância de uma agenda nacional coordenada de avaliação
Diretor da comissão nacional de aids/SIDA
9h00–9h30 Introdução: Objetivos da oficina Revisão da agenda da oficina Processo e produtos da oficina
Facilitador
9h30–10h15 Visão geral dos dados de monitoramento e avaliação e do contexto do país: Epidemia de HIV/VIH Plano Estratégico Nacional de Aids/SIDA Perguntas e Respostas
Representante e consultores da comissão nacional de aids/SIDA
10h15–10h30 Intervalo
10h30–12h00 Visão geral dos dados de monitoramento e avaliação e do contexto do país (continuação): Achados dos dados disponíveis de monitoramento e avaliação
Estudos de avaliação realizados até agora
Discussão
Representante e consultores da comissão nacional de aids/SIDA
12h00–13h00 Almoço
13h00–15h30 Identificação das perguntas de avaliação: Descrição de tarefa e critérios para a identificação das perguntas de avaliação
Pequenos grupos de trabalho divididos por área programática para identificar as perguntas de avaliação
Facilitador
Facilitadores dos pequenos grupos
Unaids | 105
15h30–15h45 Intervalo
15h45–17h00 Resultados dos pequenos grupos de trabalho: Apresentação das perguntas de avaliação por área programática e como as mesmas contemplam os critérios estabelecidos
Facilitador
2º dIA
Horário Tópico Apresentador/Facilitador
8h30–10h15 Priorização das perguntas de avaliação: Trabalho em plenária: análise, classificação e priorização das 10 principais perguntas de avaliação a partir do trabalho dos pequenos grupos
Facilitador
10h15–10h30 Intervalo
10h30–12h00 Descrição das perguntas de avaliação priorizadas: Trabalho em pequenos grupos para descrever (a) relevância; (b) evidência; (c) capacidade de transformação em ações e utilidade programática das perguntas de avaliação priorizadas
Facilitadores dos pequenos grupos
12h00–13h00 Almoço
13h00–15h30 Resultados dos pequenos grupos de trabalho:
Apresentação das descrições de cada uma das perguntas de avaliação
Facilitador
15h30–15h45 Intervalo
15h45–17h00 Discussão em plenária do trabalho dos pequenos grupos e recomendações finais para as prioridades de avaliação
Discussão e consenso quanto aos próximos passos
Facilitador
106 | Unaids
AN
OTA
ÇÕ
ES
Unaids | 107
Publicações nesta série
Basic Terminology and Frameworks for Monitoring and Evaluation (2010)
An Introduction to Indicators (2010)
A National Evaluation Agenda for HIV (2010)
An Introduction to Triangulation (2010)
sOBRE A sÉRIE AsPECtOs FUndAmEntAIs dE mOnItORAmEntO E AVALIAÇÃO
Com o advento da crise financeira global que está afetando a maioria dos países mundial-mente, o monitoramento e a avaliação (M&A) se tornou mais importante do que nunca. De-terminar quais programas funcionam ou não; implementar programas com custo-benefício comprovado; monitorar o progresso com o alcance das metas; e garantir a responsabili-zação são objetivos que passaram a ser ainda mais importantes na resposta ao HIV/VIH, como também em outras áreas da saúde e do desenvolvimento. Assim, é cada vez mais importante que o M&A seja mais bem entendido, comunicado em linguagem simplificada e realizada de maneira coordenada e sustentável que gere informações fáceis de utilizar. Ademais, é essencial que o M&A responda às necessidades e envolva todos os principais atores desde o início e que os resultados sejam divulgados publicamente e utilizados es-trategicamente na formulação de políticas, no planejamento e na melhoria de programas.
Esta série fornece uma introdução prática a um gama de questões relacionadas ao M&A. Abrange os aspectos fundamentais e suas aplicações práticas e inclui técnicas e ferramentas para a gestão do M&A da epidemia de HIV/VIH e da resposta à mesma. Embora a série tenha o HIV/VIH como seu enfoque, os aspectos fundamentais do M&A também são relevantes para outras áreas da saúde pública e do desenvolvimento. Assim, estas publicações também podem ser úteis para o fortalecimento de sistemas nacionais de M&A que têm o propósito de acompanhar o progresso com outras metas para a saúde e para o desenvolvimento, como as definidas nos Objetivos de Desenvolvimento do Milênio das Nações Unidas (ODM).
UnAIds/OnUsIdA - 20, AVENUE APPIA, CH-1211 GENEBRA 27, SUÍÇA Tel.: (+41) 22 791 36 66, Fax: (+41) 22 791 48 35 e-mail: [email protected], www.unaids.org
