Monitoramento e avaliação de programassociais – principais desafios

Jeni Vaitsman

Curso de Formação deMultiplicadores

ENAP

Subprojeto 1: Formação de Multiplicadores e de Gerentes

Sociais que atuam na Proteção Social não Contributiva e

Constituição da Rede Descentralizada de Capacitação

2

Monitoramento e avaliação de programas sociais –principais desafios

Jeni Vaitsman

Introdução

Neste texto, abordam-se a avaliação e o monitoramento de serviços eprogramas sociais na perspectiva de sua operação local. Inicialmente, procura-seesclarecer diferenças entre avaliação e monitoramento, de um lado, e atividades decontrole, de outro. Em seguida, discutem-se as várias dimensões que podem ter osestudos de avaliação e o monitoramento, bem como o uso de indicadores comoinstrumento de gestão. Na seqüência, levantam-se alguns pontos que se colocamcomo desafios para as gerências locais na implementação de um sistema de avalia-ção e monitoramento, em que os três níveis de governo devem articular-se deforma sistêmica, mesmo possuindo cada um necessidades específicas.

1 Avaliação, monitoramento e controle

É comum certa confusão entre, de um lado, avaliação e monitoramento e,de outro, controle. No entanto, enquanto o foco das atividades de controle é a lega-lidade dos atos da administração pública, o foco das atividades de avaliação e moni-toramento é a qualidade da gestão. Estas práticas são comuns aos distintos camposde atuação das políticas públicas.

As práticas de controle dizem respeito ao cumprimento das normas e dosprocedimentos legais e adequados na administração pública, ao cumprimento demetas e à execução de programas e orçamentos. Pertencem ao controle a auditoria,que visa corrigir desperdícios, improbidade, negligência e omissão, verificando aaplicação de recursos públicos segundo critérios técnicos, operacionais ou legais,e a fiscalização, que verifica se o objeto dos programas de governo existe e corres-ponde às especificações estabelecidas, se há correspondência entre execução eprodutos especificados.

Por outro lado, o objetivo mais geral tanto da avaliação quanto do monito-ramento é a produção de informação qualificada e sistematizada sobre programas,políticas, ações, serviços, a fim de subsidiar tomadas de decisões de gestores egerentes. Como componentes do processo de gestão, a utilização da avaliação e domonitoramento pode promover ajustes ou mudanças para melhorar o desempenhode um programa e alcançar os objetivos e metas previstos. Embora complementares

3

para a gestão de políticas e programas, a avaliação e o monitoramento são ativida-des distintas, como se verá a seguir.

2 Avaliação

A avaliação é uma categoria de estudo que pode focalizar diferentes aspec-tos de um programa, política ou serviço, como relevância, eficiência, efetividade,resultados, impactos. Seu objetivo é melhorar a qualidade dos processos de imple-mentação ou verificar seus resultados, dando também subsídios para o planejamento,a programação e a tomada de decisões futuras. Para garantir maior isenção, as ava-liações devem ser executadas por instituições externas, com pesquisas que procu-ram responder a perguntas específicas, propor medidas de correção e orientar ostomadores de decisão, gestores e demais atores envolvidos no processo de formu-lação e implementação. Os estudos de avaliação podem ter como objeto as seguin-tes dimensões (DRAIBE, 2001):

a) processos: estudos sobre os pontos que favorecem ou dificultam osprocessos de implementação da política ou do programa, aí incluídos seus desenho,suas dimensões organizacionais e institucionais. Os resultados das avaliações deprocessos podem ser mais facilmente utilizados por gestores e gerentes, que podemtomar providências em relação a achados e recomendações pertinentes.

b) resultados, que englobam:- desempenho: refere-se aos produtos definidos pelas metas do programa;- impacto: mudanças na situação dos beneficiários, provocadas direta-

mente pelo programa. As avaliações de impacto procuram, por meio de desenhosquase-experimentais, comparar dois grupos similares da população, medindo asdiferenças observadas entre eles, decorrentes da exposição e da não-exposição aum programa.

- efeitos: outros resultados do programa, sociais ou institucionais, espera-dos ou não, que se acabam produzindo em decorrência dele.

A escolha dos desenhos de estudos de avaliação e, conseqüentemente, dosmétodos dependerá das perguntas a que se quer responder, dos recursos e das fontesde dados disponíveis e do tempo em que se quer obter os resultados. Quanto maior

4

a abrangência, a representatividade, a combinação de métodos, o número de estratosde uma amostra, mais demorada e cara será uma pesquisa.

Os estudos de avaliação de impacto baseiam-se em grandes amostras, usammétodos quantitativos de coleta de dados e modelos estatísticos e econométricospara analisá-los. Esses desenhos possuem alta legitimidade na comunidade interna-cional de avaliação e permitem a realização de estudos abrangentes, com grandesamostras populacionais. No entanto, são pesquisas mais caras e demoram maistempo até produzir resultados para os tomadores de decisão, formuladores egestores de níveis hierárquicos mais altos.

Por outro lado, as avaliações de processos ou de desempenho podem sermuito importantes para a resolução de problemas de gestão e a melhoria do progra-ma. Tanto em estudos de processos quanto de desempenho, os desenhos e métodosadaptam-se ao contexto, ao problema que se quer pesquisar e à abrangência dapesquisa, freqüentemente combinando métodos quantitativos e qualitativos: surveyscom questionários fechados, entrevistas semi-estruturadas e abertas, observação eoutros. Uma vantagem desses estudos é que, dependendo de seu escopo, podem serrealizados mais rapidamente, dando resultados e informações úteis para gestores egerentes, mais diretamente voltados para o contexto local.

3 Monitoramento

O monitoramento consiste no acompanhamento contínuo, cotidiano, porparte de gestores e gerentes, do desenvolvimento dos programas e das políticas emrelação a seus objetivos e metas. É uma função inerente à gestão e à gerência dosprogramas, devendo ser capaz de prover informações sobre o programa, permitindoa adoção de medidas corretivas para melhorar sua operacionalização. Pode referir-se tanto a aspectos da estrutura, como por exemplo, à execução físico-financeira, aequipamentos, quanto a dimensões do processo de implementação e a seus resul-tados, como as metas atingidas.

O monitoramento se faz por meio de indicadores, que são medidas numé-ricas produzidas regularmente, com base em diferentes fontes de dados, que dãoaos gestores informações regulares sobre o desempenho dos programas e das polí-ticas, permitindo verificar se objetivos e as metas estão sendo alcançados.

O termo “monitoramento” pode referir-se a dois processos distintos, aindaque interligados. Por um lado, o acompanhamento dos programas, que constitui umaatividade interna da organização, um procedimento “a distância”. Por outro, o monito-ramento também se refere a processos “presenciais”, verificações locais, que acabamconstituindo um tipo de pesquisa rápida, qualitativa, pela qual gestores, pesquisadoresou outros agentes podem checar como a implementação está sendo realizada e se estáatingindo seus objetivos, além de identificar os problemas que estão interferindo nasações, nos processos e na consecução dos objetivos previstos. Crucial em ambos

5

os processos é a regularidade do acompanhamento por meio de indicadores(VAITSMAN; RODRIGUES; PAES-SOUSA, 2006).

Prevêem-se, pelo menos, quatro etapas para o monitoramento:1) a coleta regular de dados;2) o processamento e a transmissão dos dados;3) a produção de indicadores com base nos dados;4) o acompanhamento e a análise dos indicadores.

4 Indicadores

Um indicador consiste em um valor usado para medir e acompanhar a evo-lução de algum fenômeno ou os resultados de processos sociais. O aumento ou adiminuição desse valor permite verificar as mudanças na condição desse fenômeno.A matéria-prima dos indicadores de programas sociais são os dados que expressamcaracterísticas relevantes de fenômenos que se quer acompanhar, como a renda, aescolaridade e a freqüência à escola. A construção de indicadores requer a organi-zação de bases de dados contendo as informações consideradas relevantes paramedir mudanças ao longo do tempo.

A construção de indicadores se faz por meio da seleção de determinadasvariáveis existentes em bases de dados disponíveis. Em seguida, passa-se ao cálculo,que depende não apenas da definição conceitual e de sua fórmula matemática, mastambém do tratamento e da programação dos dados, que podem ser oriundos dediferentes bancos, secretarias e órgãos externos e em diferentes formatos. Ocálculo de indicadores requer a utilização de ferramentas computacionais paracoletar e processar dados e disponibilizar informações em diversos formatos, deacordo com o tipo de programa a ser monitorado.

A definição de indicadores requer muita clareza sobre os objetivos e alógica de cada programa. Os indicadores devem conseguir expressar os fenômenosque se pretende acompanhar ou as condições mais significativas para o programa.Os dados também devem ser produzidos com periodicidade e agregação definidas,para que os indicadores possam ser comparados. Dentre os atributos que devem terum indicador, destacam-se:

a) a validade: capacidade de o indicador medir o fenômeno que se pretendemedir;

b) a confiabilidade: qualidade dos dados que servem de base para o cálculodo indicador;

c) a sensibilidade: deve ser sensível o bastante para captar o atributo que sepretende captar em relação a pessoas ou fenômenos;

d) a desagregação: o nível territorial ao qual se refere o indicador;e) a periodicidade: intervalo de tempo em que o indicador é atualizado. Isso

depende, por sua vez, da periodicidade com que o dado bruto é registrado na basede dados original.

6

Os indicadores de monitoramento podem ser classificados ou agrupadosem diferentes categorias, como por exemplo:

a) indicadores de estrutura ou insumo: informam a quantidade de recursos,de diversos tipos, como os físico-financeiros, os de infra-estrutura, os recursoshumanos, que são usados para implementar um programa, um serviço ou uma ação.Ex.: quantidade de assistentes sociais contratados, quantidades de gerentes treina-dos, quantidade de microcomputadores comprados e instalados, percentual dosrecursos financeiros executados.

b) indicadores de processo: informam as etapas ou os passos dados paradesenvolver as atividades necessárias ao alcance dos objetivos e das metas previs-tos. Fornecem informações sobre a gestão ou o uso dos recursos descritos pelosindicadores de estrutura. Ex.: existência de parceria com a sociedade civil paraimplementação de um serviço; a cobertura alcançada por determinado programa,com base em sua população-alvo; recursos executados.

c) indicadores de resultados: informam se os objetivos finais do programaforam alcançados, podendo referir-se a:

- produtos: medem se metas foram atingidas. Ex.: percentual debeneficiários do Agente Jovem que terminou o ensino médio;

- impactos: medem resultados atribuídos exclusivamente à intervençãopromovida pelo programa, pelo serviço ou pela ação. Ex.: aumento da renda familiarde beneficiários do Programa Bolsa Família (PBF); porcentual de crianças quedeixaram o trabalho infantil em decorrência do Programa de Erradicação doTrabalho Infantil;

- efeitos: medem resultados que não haviam sido antecipados, mas foramprovocados pelo programa, pelo serviço ou pela ação. Ex.: percentual de novasorganizações prestadoras de serviço após a implantação do Programa de AtençãoIntegral à Família.

Um indicador expressa diferentes dimensões do fenômeno que se queracompanhar, como:

1) a unidade de referência: a que o dado se refere? Ex.: beneficiário, famí-lia, etc.;

2) o nível de agregação territorial: a que nível territorial o dado se refere?Ex.: município, UF, Brasil;

3) a periodicidade: qual o intervalo de tempo em que o dado é gerado einserido no sistema de informações? Ex.: mensal, bimestral, anual;

4) a fonte: qual a base de dados que originou o dado recebido? Ex.:CadÚnico, SUAS-Web, PNAD-IBGE.

Indicadores também podem ser produzidos com base em resultados depesquisas de avaliação, traduzindo condições da dimensão avaliada, como “estru-tura”, “processos”, “resultados”, ou outra. Contudo, isso só tem sentido efetivo sea pesquisa for repetida, para se compararem os indicadores no tempo, ou se eles

7

tiverem comparabilidade com outros indicadores, produzidos por outras bases dedados.

5 Avaliação e monitoramento: desafios para a gerência local

Um sistema é um conjunto de elementos articulados entre si. Seu funcio-namento depende do modo como se dá a relação entre seus elementos, sendo que ocomportamento de cada um deles afeta todo o conjunto. Um sistema demonitoramento dos programas e serviços sociais envolvendo os três níveis degoverno implica a articulação entre as diferentes organizações e atores responsá-veis pelas atividades que constituem o objeto do sistema. No caso dos programasdo Ministério do Desenvolvimento Social e Combate à Fome (MDS), esta instânciafederal possui a atribuição de coordenação do sistema.

A descentralização, dentro de um desenho institucional em que municípiose estados são entes federativos, implicou a transferência de poder decisório, com-petências e recursos para um conjunto de atividades, entre as quais a elaboração dediagnósticos sociais e o desenvolvimento de atividades de avaliação emonitoramento. No entanto, a maior parte dos 5.564 municípios brasileiros é depequeno porte e com capacidade gerencial e assistencial limitadas, o que restringesuas condições para desenvolver diagnósticos sociais, bem como atividades deavaliação e monitoramento. Ainda assim, o conjunto dos municípios participa dosistema de avaliação e monitoramento dos programas sociais do MDS, possuindopapéis e atribuições para seu funcionamento.

No que se refere à avaliação, como visto, os estudos feitos com esse fimnão são necessariamente realizados de forma regular. Além disso, quando contra-tados pelo nível federal, costumam ser desenhados para responder a questões perti-nentes às tomadas de decisão de níveis mais altos da hierarquia de formulação daspolíticas. As pesquisas, ainda que representativas, pois realizadas com base emgrandes amostras – nacionais, regionais –, muitas vezes deixam de fora questões deinteresse local, pertinentes a determinados municípios ou territórios. Gerenteslocais necessitam de informação, em tempo real, sobre diferentes tipos de proble-mas, sejam eles as dificuldades de implementação enfrentadas pelos profissionais,sejam eles as vulnerabilidades – novas ou antigas – em seu território. Eles precisamtomar decisões rápidas; portanto, são mais pertinentes para a gerência local, sobre-tudo nos municípios menores, as avaliações rápidas e direcionadas a questões deinteresse dos serviços em seu território, com a sua população-alvo.

Por outro lado, as atividades de monitoramento são contínuas e realizadascom o concurso de dados primários coletados sobre o conjunto de programas eserviços nos municípios. Os dados produzidos pelas gerências locais constituem amatéria-prima para a produção de indicadores de monitoramento dos programas e

8

serviços. Esses dados não apenas fornecem informações para a atuação do gerente,mas também podem subsidiar avaliações sobre situações específicas no município.Ao mesmo tempo, ao informarem sobre o município, constituem elementos do siste-ma de monitoramento dos programas e serviços do MDS, de abrangência nacional.

Vários desafios, para o desenvolvimento de atividades de avaliação emonitoramento, colocam-se para as gerências locais, entre os quais:

a) capacidade gerencial

As fontes de dados para a produção de informação sobre serviços, ações eprogramas sociais são os sistemas de informação gerenciais, que fornecem osinsumos para a elaboração de indicadores de monitoramento. O registro regular ecorreto de dados no local onde a ação ou o serviço são produzidos consiste em umdos nós críticos para a produção de indicadores, sejam eles específicos para a gerên-cia local, sejam eles gerais para o sistema de monitoramento do MDS. A alimentaçãoregular dos dados é uma das condições para a qualidade do sistema de informação.

Diante da diversidade dos municípios relativa à capacidade gerencial etecnológica, há dois desafios interligados – a criação e a manutenção dessa capaci-dade, sobretudo nos município menores. Capacidade gerencial e tecnológica envolverecursos físicos, financeiros e humanos. No que se refere aos recursos físico-finan-ceiros, além do investimento em equipamento, sua operação e manutenção requerema previsão regular de recursos para esse fim. Em relação aos recursos humanos, épreciso contratar e capacitar, de forma permanente, profissionais para as várias ativi-dades que implicam a operação de um sistema de monitoramento e avaliação em nívellocal, como a alimentação do sistema de informação, o processamento de dados e acapacidade em analisá-los. A utilização da informação como prática de rotina é umdesafio que depende de recursos humanos capacitados e bem informados sobre arealidade local, o que implica a fixação dos recursos humanos no contexto local. Acriação de função específica para avaliação e monitoramento também se colocacomo desafio, sobretudo nos municípios de maior porte.

b) identificação de especificidades locais

A informação fornecida por avaliações ou por indicadores demonitoramento é utilizada da mesma maneira pelos gestores e gerentes dos váriosníveis do sistema. Certamente, há convergências e similaridades, mas gestores egerentes federais, estaduais e municipais possuem distintas necessidades.

Embora os sistemas locais de avaliação e monitoramento devam articular-see mesmo integrar-se ao sistema nacional, sob a gestão do MDS, os municípios têmnecessidades e demandas específicas. Ainda que se trate de sistemas, um nível nãose reduz ao outro. As atribuições de gestores dos diferentes níveis do sistema de

9

proteção social são distintas, o que significa que suas perguntas nem sempre são asmesmas. Um desafio para as gerências locais é identificar que informação necessitaser gerada para fazer frente a problemas específicos em seu município ou território.

Que tipo de estudos de avaliação são necessários e possíveis sob a respon-sabilidade local? A diversidade de porte e de capacidade de gestão dos municípiosdelimita necessidades e possibilidades de estudos de avaliação.

Os perfis e indicadores de vulnerabilidade específicos de cada territórioconstituem a base para diagnósticos sociais e o planejamento de ações pelos geren-tes locais. São estes que têm condições de produzir e analisar informações emrelação às diversas situações de beneficiários individuais, bem como tomar inicia-tivas para melhorar o desempenho e a qualidade do atendimento. Além dos indica-dores gerais, que são parte do sistema de monitoramento de abrangência nacional,um desafio que pode vir a se colocar é a definição de indicadores que expressemcondições não contempladas pelos indicadores gerais, mas que devem ser acompa-nhadas, como as relativas aos grupos vulneráveis, aos tipos de vulnerabilidades exis-tentes e à prestação de serviços locais.

Por exemplo, se o Programa de Atenção Integral à Família (Paif) é um eixoarticulador da assistência social e os Cras, sua porta de entrada, é importante que omonitoramento local capte informações sobre as famílias no território que permi-tam intervenções específicas e o acompanhamento mais próximo das mudanças nascondições de vulnerabilidade dessas famílias. Nesse sentido, indicadores demonitoramento já desenvolvidos pelo MDS ou um conjunto de indicadores, como oÍndice de Desenvolvimento das Famílias (IDF), poderiam, se necessário, ser combi-nados com indicadores específicos para o monitoramento e a avaliação locais.

Outro exemplo é o PBF, cujo caráter intersetorial faz com que omonitoramento e a avaliação de sua gestão e dos resultados das condicionalidadesdependam da articulação entre as organizações de saúde, educação e assistênciasocial em nível local. Nesse sentido, o monitoramento e a avaliação tanto deprocessos como de resultados dependem da articulação efetiva entre os níveis esetores de governo.

c) articulação/integração de informação entre os níveis local e central

A operação local de um sistema de monitoramento está vinculada à existên-cia de sistemas de informação. Para que a informação produzida em nível centralchegue ao município e seja efetivamente utilizada pelos gerentes, é preciso tornaras ferramentas e os sistemas do MDS em instrumentos efetivamente usáveis pelosgerentes e gestores. Para isso, elas têm de ser amigáveis, não redundantes, tornan-do-se solução, e não problema para os gerentes.

Que ferramentas, sistemas ou módulos de sistemas de informação geral –com variáveis e indicadores específicos – seriam necessários na perspectiva da

10

gestão e gerência locais e que, às vezes, não são contempladas pelos sistemas deinformação e indicadores já existentes? Por exemplo, se gerentes necessitammonitorar ou avaliar a atenção prestada por prestadores de serviços locais, seriapreciso contemplar essa necessidade nos sistemas e ferramentas de informação.

d) adesão dos profissionais às atividades de avaliação e monitoramento.

A Política de Avaliação e Monitoramento do MDS (BRASIL, MDS, 2006)prevê que parceiros governamentais e não-governamentais que recebem recursospara financiar programas e ações enviem regularmente dados relativos a essesprogramas e a essas ações, de forma a subsidiar a construção de indicadores quefazem parte de seu sistema de monitoramento.

A adesão dos profissionais envolvidos nas várias etapas dessa atividadepressupõe, em primeiro lugar, que eles conheçam os objetivos das atividades emque estão envolvidos e acreditem em sua relevância. O desconhecimento nãoapenas do significado, mas também da própria função avaliação e monitoramentopode produzir resistência em relação ao papel da avaliação e monitoramento.

Qualquer atividade nova exige a adesão das pessoas e resistências nãopodem ser superadas apenas hierarquicamente. Um desafio cultural é fazer com quea avaliação e monitoramento passem a ser vistos como instrumentos de interessepara a organização e necessários para melhorar o processo de trabalho e o desem-penho dos programas. O comprometimento dos profissionais existe não apenas emfunção das normas ou de valores pessoais, mas do conhecimento que eles têmsobre os objetivos de suas atividades. É preciso que as pessoas envolvidas emqualquer atividade saibam o que estão fazendo e para que serve o que estão fazendo.Capacitação e treinamento devem ser estendidos a todos os profissionaisenvolvidos, e não somente aos níveis superiores. O papel dos gerentes é crucialnesse sentido, em sua relação com os vários níveis hierárquicos da gestão.

6 Considerações finais

A institucionalização das atividades de avaliação e monitoramento comoparte de um sistema nacional enfrenta desafios em seus vários níveis deimplementação, e os atores envolvidos no processo têm distintos graus degovernabilidade sobre esses desafios. Procurou-se apontar aqueles desafios sobreos quais a gestão local pode ter maior poder, seja para tomar decisões e encaminharsoluções, seja para vocalizar as demandas locais nos fóruns apropriados. A produ-ção e a análise de informação qualificada, por meio de um sistema nacional de ava-liação e monitoramento, podem, e devem, integrar-se à agenda da gestão socialcomo base para o planejamento da expansão e consolidação da rede de serviços eprogramas de proteção social.

11

Referências bibliográficas

BRASIL. MDS. Portaria n. 329, de 11 de outubro de 2006. Institui eregulamenta a Política de Monitoramento e Avaliação do Ministério doDesenvolvimento Social e Combate à Fome. Brasília.

DRAIBE, S. M. Introdução. In: BARREIRA, M. C. R N.; CARVALHO, M. C. B (Orgs.).Tendências e perspectivas na avaliação de políticas e programas sociais.São Paulo: IEE/PUC-SP, 2001.

VAITSMAN, J; RODRIGUES, R. W. S; PAES-SOUSA, R. O sistema de avaliação emonitoramento das políticas e programas sociais: a experiência doMinistério do Desenvolvimento Social e Combate à Fome.. Brasília: Unesco/MDS, 2006. (Policy Papers 17)

Referências bibliográficas sugeridas sobre:

a) avaliação:

COHEN, E.; FRANCO, R. Avaliação: conceito e especificidade. In: COHEN, E.;FRANCO, R. Avaliação de projetos sociais. Petróplis: Vozes, 2007.

DRAIBE, S. M. Introdução. In: BARREIRA, M. C. R. N.; CARVALHO, M. C. B (Orgs.).Tendências e perspectivas na avaliação de políticas e programas sociais.São Paulo: IEE/PUC-SP, 1993.

b) avaliação e monitoramento:

BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. Portariasobre a política de avaliação e monitoramento do Ministério doDesenvolvimento Social e Combate à Fome, 2006.

VAITSMAN, J; RODRIGUES, R. W. S; PAES-SOUSA, R. O sistema de avaliação emonitoramento das políticas e programas sociais: a experiência doMinistério do Desenvolvimento Social e Combate à Fome. Brasília: Unesco,2006. (Policy Papers 17)

c) indicadores:

JANUZZI, P. M. Conceitos Básicos. In: JANUZZI, P. M. Indicadores sociais noBrasil – conceitos, fontes de dados e aplicações. Campinas: Alínea, 2003.

12

d) implementação:

Vaitsman, Jeni. 2006. A integração entre avaliação e planejamento: desafiospolíticos e institucionais. In: CONGRESO INTERNACIONAL DEL CLAD SOBRE LA

REFORMA DEL ESTADO Y DE LA ADMINISTRACIÓN PÚBLICA, 11., 2006. Guatemala:CLAD/Ministério do Desenvolvimento Social e Combate à Fome, 7-10 nov.2006. Disponível em: <www.clad.org.ve/siare/biblo/biblo_a.html>.

e) estudo de caso:

SANTOS, A. F.; QUADROS, R. M.; FERREIRA, J. M. Descentralización de la saludpública y sistemas de información en Brasil – caso del Municipio de BeloHorizonte – Série Estudios de Caso y Experiencias Relevantes en GerenciaSocial en America Latina. Proyecto Conjunto INDES-IDRC. (Estudio de Cason. 9)