A utilização de indicadores sociais na avaliação de ...institutofonte.org.br/sites/default/files/Transcrição - Paulo... · porque são questões que, ... “A utilização de

“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012

Parte 1 – Paulo Jannuzzi

Paulo Jannuzzi - Boa tarde a todos e todas, agradeço o convite

do CENPEC, Instituto Fonte e Fundação Itaú social para estar

fazendo essa apresentação aqui para vocês. Interessa muito

ao Ministério do Desenvolvimento Social temáticas como

esta e que organizações sociais estejam cada vez mais

interessadas e preocupadas em desenvolver atividades de

monitoramento e avaliação, na medida em que esses são

instrumentos, recursos básicos para o aprimoramento da

gestão de programas e projetos sociais, sejam eles

realizados com recursos das próprias instituições privadas,

sejam eles realizados com recursos públicos, como é o caso

de muitas ONG que, em parceria com o Ministério do

Desenvolvimento Social, prestam serviços de diferentes

naturezas na área sócio-assistencial pelo Brasil todo, nos

5.560 municípios brasileiros.

A partir das conversas que eu tive com a Martina, eu resolvi

tratar um pouco de questões que ajudam a responder

àquelas quatro grandes perguntas com as quais ela está

tentando dirigir o debate. Então, acho que o produto final vai

nos ajudar... O produto da minha apresentação, mais a

apresentação da Maria Alice e do Eduardo, também vão nos

ajudar a fazer essa síntese que a gente precisa e

naturalmente vai estimulá-los a continuar investigando

porque são questões que, para ser respondidas, cada um

tem que fazer um grande esforço na sua organização.

Antes de fazer a minha apresentação vou tomar 4 minutos

de vocês, absolutamente cravados. Eu quero até ver

exatamente se vai ser isso. Eu não posso deixar de falar

para vocês sobre um episódio recente muito desagradável

para todos nós, técnicos da SAGI, e vários outros técnicos de

governo. Saiu uma matéria no “O Globo” do último domingo,

página 3, falando sobre avaliações secretas de políticas


públicas. Infelizmente, isso foi mais uma reportagem, que dá

uma boa manchete, mas ela é absolutamente inverídica,

injusta, inconsciente. Inoportuna, inclusive, porque a gente

tem que dar um salto de qualidade no Brasil no sentido de

tratar as instituições públicas com a respeitabilidade que elas

de fato merecem quando fazem esforços sistemáticos para

fazer com que as boas práticas sejam disseminadas. Essa

reportagem é inverídica porque nós... A reportagem fala

sobre avaliação secreta citando um caso específico de uma

avaliação de impacto do Bolsa Família realizado em 2009,

que até hoje não teria resultados. Na verdade, teve os

primeiros resultados em 2010 e deste então estamos

exigindo, até fevereiro, da empresa contratada, uma

multinacional do campo da consultoria e pesquisas, que nos

entregasse uma base de dados absolutamente consistente,

como a gente faz em qualquer tipo de contrato nosso. Então,

o jornalista deveria ter o respeito de dizer que os resultados

não saíram porque de fato a gente zela pelo bem público e

quer dados consistentes. Não importa quem faça a pesquisa,

não é porque a instituição tem um renome que

necessariamente o produto é efetivamente de boa qualidade.

Eu acho que vocês que encomendam pesquisas sabem muito

bem o que eu estou falando, seja pessoa física, seja pessoa

jurídica. Se a gente não tiver competência nas nossas

instituições para avaliar o produto que nos é entregue,

muitas vezes, a gente compra gato por lebre. Vocês sabem

exatamente o que eu estou falando. Então, efetivamente a

pesquisa atrasou por conta disso, pelo nosso rigor técnico na

avaliação. E existe uma outra inverdade, que é o fato de que

nós absolutamente não escondemos os resultados de

pesquisas. Muito pelo contrário, não existe universidade ou

grupo de pesquisa que tenha a transparência que a

secretaria de avaliação e gestão da informação tem nesses

8, 9 anos de vida, porque todos os nossos dados de

pesquisas de campo, as pesquisas quantitativas, são


disponibilizados naquele ícone “pesquisas de avaliação”. Até

destacamos, ele estava junto com outro ícone.

Nesse ícone “pesquisa de avaliação”, entrando lá vocês vão

ver que existe o sumário executivo da pesquisa e, nos casos

que compete, a base de dados ou o dicionário de dados que

o pesquisador pode baixar e fazer qualquer estudo a respeito

daquela temática que nós investigamos.

Nós temos plena certeza de que essas pesquisas têm muito

mais a oferecer do que efetivamente a gente consegue

explorar, certo? E de fato nós fizemos uma nota no jornal,

que é absolutamente desproporcional, porque fomos para a

página de leitores, no último dia 31. Portanto, peço

desculpas, Martina, de estar usando o espaço da minha

palestra, mas nós precisamos, inclusive meus diretores estão

orientados a fazer isso durante os próximos três meses para

minimizar o impacto negativo e reconhecido como negativo

por vários de nossos parceiros que tem enviado mensagens

de solidariedade e reconhecimento ao trabalho que a gente

faz.

Além disso, talvez muitos de vocês saibam, nós já

disponibilizamos as nossas pesquisas do consórcio de

informações sociais da ANPOCS, há quase 5 anos, portanto,

o MDS tem uma prática de disponibilização das suas

avaliações para muito além do que normalmente se faz. A

gente acredita que em primeiro lugar não existe uma, duas,

três pesquisas absolutamente seminais, que consigam

responder a todas as nossas demandas e nem que

necessariamente produzam conhecimento, a revelação, a

verdade absoluta. A gente que trabalha nesse campo sabe

que a gente precisa se valer de um conjunto amplo de

pesquisas, de técnicas, de agentes entrevistados, ou seja,

temos que nos valer de triangulação de estudos,

triangulação de agentes, triangulação de abordagens mais

quadradinhas, mais redondinhas, mais exploratórias e


qualitativas porque o nosso objeto, a realidade social na

educação, na pobreza, na violência, em todas as temáticas é

tão complexo ou muito mais complexo do que os objetos de

pesquisa acadêmica que são recortados de tal forma a

garantir muito mais a consistência do método do que a

substância dos resultados que efetivamente ele aborda. É

por isso que a gente de fato disponibiliza os dados e fazemos

o convite para que vocês entrem na nossa página. Procurem

explorar dados que a gente já tem e vejam se de alguma

forma já não respondem a algumas das inquietações que

vocês têm. Nós já temos um conjunto de mais de 130

pesquisas. Na verdade, dessas mais de 130 pesquisas, uma

quantidade muito grande são estudos qualitativos ou de

revisão bibliográfica, mas nós temos um conjunto de pelo

menos 30 pesquisas de campo. Algumas delas ainda não

estão disponíveis, as mais antigas, por conta do esforço que

temos que fazer nesse sentido. A avaliação de impacto do

Bolsa Família número 2 estará disponível muito

provavelmente no mês de junho por conta do esforço que

estamos fazendo na equipe de conseguir colocar essa base

de dados para que outros pesquisadores façam estudos

sobre esse programa importante. É um programa que se

estruturou em tempo bastante exíguo, se a gente pensar em

outras experiências de implementação de políticas públicas,

mas que, obviamente, precisa de aprimoramento. É por isso

que a gente continua fazendo pesquisa.

Dito isso, vamos passar para o próximo. Eu queria começar

com uma pergunta que acho que é motivadora, Martina,

embora a temática fosse mais específica, achei que devia

tratar dessa temática ainda que eu pudesse estar replicando

alguma outra discussão que vocês já fizeram. É importante

que a gente reconheça que em alguns meios públicos, e

talvez no meio privado, existe um certo desencanto com a

avaliação. Existe um texto da Teresa Cota, uma gestora lá


em Brasília, um texto de 20 anos atrás, que em alguma

medida tem a sua aplicação em alguns contextos. Eu trouxe

exatamente por causa disso. Ela diz que as metodologias de

avaliação tem sido objeto de severas críticas, basicamente

afirma-se que na prática das avaliações não subsidiam o

processo decisório porque seus resultados são inconclusivos,

inoportunos e irrelevantes. Inconclusivos em função das

limitações desse tipo de estudo, talvez as pessoas tenham

expectativa demais do que uma pesquisa pode aportar.

Inoportunos porque boa parte dos estudos acaba atrasando

muito mais do que a gente poderia. As pesquisas às vezes

são definidas de tal forma, para investigar questões tão

complexas, que não respondem a demandas de informações

mais específicas. Irrelevantes porque a bem da verdade

muitas das pesquisas que se produzem, conduzidas, muitas

vezes, por avaliadores externos sem muita interação com o

demandante da pesquisa, seja ele público ou uma ONG,

invariavelmente produz resultados irrelevantes. Aí eu posso

dizer para vocês com muita tranquilidade, porque sou

professor universitário e sei que boa parte da nossa

comunidade desconhece efetivamente a realidade dos

programas e projetos sociais, com a sua complexidade, que

operam na ponta, produzindo trabalhos que podem até ter

circulação no meio acadêmico, mas repetem de alguma

forma muito do que os gestores na ponta efetivamente têm.

A constatação 2 desse desencanto é que, de vez em quando,

uma avaliação mal concebida ou mal executada produz

informações que no melhor dos casos seriam enganosas e no

pior absolutamente falsas. Como geralmente essas

avaliações têm respeitabilidade, elas não costumam ser

questionadas e o pior é que o resultado e decisões

importantes sobre programas e serviços baseiam-se em

informações falaciosas. Esse é o grande problema, gente. A

gente quando encomenda a pesquisa, a gente tem que ter


uma equipe técnica muito competente para fazer a avaliação

dos resultados dessa pesquisa, não é porque foi feito pela

instituição A, B ou C, que necessariamente – e com todo

respeito eu digo a essas instituições e aos professores, aos

coordenadores que a fazem - os resultados tenham que ser

absorvidos na sua plenitude. Tem que ser discutido. Por isso

que as pesquisas de avaliação que efetivamente produzem

resultados relevantes têm que ser muito dialogadas em todo

processo. A secretaria de avaliação quando encomenda uma

pesquisa, ela passa quase 3 ou 4 meses discutindo o termo

de referência junto com a secretaria do Bolsa Família,

secretaria de assistência social, secretaria de segurança

alimentar ou secretaria extraordinária para a superação da

extrema pobreza, para definir muito bem o objeto. Se a

gente não define o objeto muito específico, de novo a gente

tem um resultado muito geral que não se aplica às nossas

necessidades. Nós fazemos o questionário, nós desenhamos

a amostra. O que a gente contrata efetivamente na pesquisa

de campo é coleta de dados. Em alguns casos até análise,

ainda que estejamos chegando à conclusão de que pela

modalidade com que temos que contratar (pregões), os

pregões acabam fazendo com que a gente consiga

instituições boas de campo, mas ruins de análise. Então, isso

é mais uma das questões que estão no campo e poderíamos

discutir o mercado de avaliação, mas a gente deixa para

tratar disso depois.

A terceira constatação sobre o desencanto com as pesquisas

de avaliação tem a ver com esse autoengano de que nós

vamos ter a informação completa, vamos conseguir, através

da pesquisa, responder a todas as nossas inquietudes, às

nossas perguntas e dar conta do recado com uma pesquisa

só. Realmente a gente tem que fazer da pesquisa uma

prática sistemática ao plano de monitoramento de avaliação,

mais ou menos contido, sobretudo num sistema de


monitoramento que nos alimente sobre quais são as

avaliações que temos que fazer em determinados momentos

de um determinado projeto. Não pode ser um espasmo

avaliativo “– Vou fazer avaliação disso porque o meu

patrocinador exige esse tipo de recurso” e tal. Ela tem que

ser de fato alguma coisa que seja encarada como uma

prática mesmo do processo de gestão, não alguma coisa

separada. Avaliação é alguma coisa que incomoda, incomoda

a jornalistas, tanto que alguns jornais não tem ombudsman,

a quem a gente poderia recorrer numa situação como esta.

As universidades, os professores, também se sentem

incomodados. Qualquer trabalhador se sente incomodado. O

gerente de programa também se sente incomodado com a

avaliação. Então, se a avaliação passar a ser incorporada

respeitosamente, que uma avaliação que seja feita de forma

respeitosa, considerando que o usuário dessa informação,

sobretudo em projetos e programas sociais, é o próprio

gestor do programa e ele participa do processo, a gente vai

ganhar um defensor do processo e alguém que efetivamente

vai levar em conta os resultados da pesquisa e aqueles

resultados que são factíveis de implicarem em mudanças,

vão ser de fato implementados.

Existe uma certa mistificação de que tudo que a gente

consegue identificar como um problema nos programas e

projetos podem ser equacionados como num estralar de

dedos. A gente sabe que no caso brasileiro em que nós

temos um conjunto bastante grande de programas sociais,

nós ampliamos desde a constituição de 88 para cá o nosso

portfólio de programas sociais, a escala dos nossos

programas sociais, consolidando direitos sociais da nossa

constituição. Hoje estamos batendo quase 25% do pib, do

produto interno bruto em políticas sociais das mais variadas,

habitação, Bolsa Família, educação, saúde, aposentadoria,

etc. Estamos saindo de um padrão de 18%, que é o padrão


de países de renda média, rumo aos 33% ou mais que é o

padrão de países mais desenvolvidos como Europa. A

sociedade brasileira certamente está exigindo muito mais

qualidade do gasto, muito mais eficiência do gasto para de

alguma forma abrir mão do seu salário e aportar mais

recursos de imposto, porque não há mágica nesse processo

de alocação de recursos em rubricas sociais se a arrecadação

não aumentar. Mas para que esse processo possa acontecer

a gente tem que investir muito na avaliação e não pensar

que uma avaliação feita por uma instituição, por mais

reputada que ela seja, vai dar conta de todas nossas

demandas de informação.

Existe uma série de fatores que contribuem para esse

desencanto, vou passar muito rapidamente por alguns deles,

mas acho que isso é importante. Quando a gente vai tratar

de indicadores – e eu ainda vou tratar de indicadores aqui,

não respondendo todas as perguntas, porque cada uma

delas seria uma palestra diferente - a gente tem que

reconhecer que produzir indicadores para muitos dos

problemas sociais, para muitas das intervenções sociais que

são desenhadas, é uma coisa bastante complexa. A

complexidade do objeto com que lidamos na área social

requer complexidade na forma de avaliá-la. Não existe um

método padrão ouro que possa responder. Daí a questão

toda da triangulação. Determinados problemas,

determinadas questões, são bastante específicas e

comportam um método muito estruturado: um

levantamento, uma pesquisa amostral, até mesmo um

desenho quase experimental, como é o caso da avaliação do

Bolsa Família – porque ele é um programa social

padronizado de Norte a Sul do Brasil, tem uma variável-

resposta, que são os impactos que se espera do programa

em termos de educação e saúde - então, nesse caso, existe

até uma facilidade de compreensão do que se espera do


programa. Outros programas têm impactos muito mais

difíceis de serem quantificados ou mesmo especificados. E

naturalmente é um programa que não é um serviço. Essa é

uma outra complexidade: quanto mais intangível é a nossa

entrega, o serviço, mais complexa é a variável, sobretudo

através de indicadores quantitativos.

Essa é uma outra questão que a gente tem que ajudar a

desmistificar. A gente fica em busca dos indicadores quando,

muitas vezes, talvez eles não existam. Talvez a gente esteja

insistindo em uma coisa que não é a melhor abordagem para

realmente dar conta da complexidade do nosso objeto ou da

nossa intervenção. Uma outra questão que torna um pouco

difícil a computação de indicadores é que atuamos sobre

públicos alvos bastante distintos. A menos que nossos

projetos sejam também bastante específicos, talvez

consigamos ter alguns indicadores que de fato sejam

específicos e sensíveis para a nossa realidade de

intervenção. Outra coisa importante do ponto de vista dos

programas que a gente precisa reconhecer é que eles são

muito recentes, os nossos programas. Boa parte desse

volume - nós chegamos a 25% do PIB em gasto social hoje,

mas partindo de uma base, há 30 anos atrás, de 13%.

Portanto, nós temos programas que tem um tempo de

maturação médio de 15 anos. Programas complexos nesse

Brasil de Norte a Sul, realidades completamente distintas,

sendo operadas por estruturas colaborativas e federativas e

entregando na grande maioria das situações serviços de

saúde, educação, desenvolvimento social, de assistência

social, onde a padronização é muito mais difícil. Não é uma

pílula que você distribui para todo mundo, não é uma

transferência monetária que você transfere para todo

mundo. Ainda que para fazer com que a transferência

orçamentária chegue nas pessoas que de fato precisam, é

toda uma operação complexa.


Um outro aspecto importante é o tecnotratismo ingênuo. A

gente superestima a nossa capacidade de planejamento.

Existe um pouco uma receita dos manuais de avaliação de

programas, muito propalada, sobretudo as das agências

multilaterais, de que todo programa quando é lançado já tem

que ter especificado seu sistema de monitoramento e

avaliação. No mundo acadêmico talvez. No mundo real não é

assim que se opera, por duas razoes: todo esforço que a

gente tem no início, de vivenciar muito concretamente esse

ano de Plano Brasil sem Miséria, todo nosso esforço é no

sentido de diagnóstico e avaliação de experiências

anteriores. Esse é o esforço: desenhar, fazer o diagnóstico,

fazer o desenho do problema, quais são as melhores

estratégias para combater tal e tal problema. O combate à

fome a gente vai fazer através de melhorar a merenda

escolar, vamos transferir recursos via Bolsa Família, vamos

ampliar o número de creches com alimentação, enfim,

existem N alternativas que precisam ser pensadas. Então, é

muito difícil que no início você consiga pensar inclusive no

seu sistema de monitoramento e avaliação. Se o diagnóstico

for muito bem feito você já tem alinhavado uma série de

dimensões bastante importantes de monitoramento e

avaliação. Então, isso é um aspecto importante. A gente tem

que reconhecer que tão logo o programa entre em operação,

a gente precisa de fato começar a estruturar os nossos

sistemas, reconhecendo também que muitas das adaptações

vão se dando ao longo do processo. Naturalmente que um

bom projeto tem que ter aquelas atividades críticas muito

bem definidas, mas tem ajustes que são feitos que, às

vezes, provocam até redesenho dos programas. Então, esse

é um outro aspecto importante.

Um grande problema é que a gente acredita na elevada

“programabilidade” de programas sociais. Vou citar um caso


concreto, o Bolsa Família, ele é muito programável. Então,

ele teve o sucesso que teve também porque as rotinas, as

operações eram bastante programáveis para fazer com que o

dinheiro chegasse lá na ponta. Para fazer uma outra

comparação dentro do MDS: os serviços sócio-assistencias, o

serviço de Proteção Integral à Família - PAIF, os serviços de

acolhimento de população de rua, os serviços de combate à

exploração sexual de adolescentes, são programas que têm

protocolos, mas não tem atividades tão padronizadas quanto

outras atividades, outros programas.

Outra coisa importante que revela esse nosso tecnotratismo

ingênuo não só em Brasília, em outros contextos também, é

o planejamento top/down, de não incorporar quem está lá na

ponta. Esse é um outro dado que a gente tem se preocupado

muito, além de gestores e técnicos mais como expectadores

do que como protagonistas, essa crença desmesurada de

que a avaliação externa é tecnicamente e legitimamente

melhor do que a avaliação interna. A minha avaliação tem

que ter uma interação entre os dois, tem espaços específicos

para um e para o outro, mas boa parte é avaliação mista

com gente externa, especialista externo, apoio externo, mas

com gente interna que vai realmente produzir resultados

mais efetivos. E mais do que isso, é garantir a aplicação dos

resultados. Não adianta você fazer um estudo maravilhoso lá

fora se quem está lá dentro não participa do processo. A

chance de incorporação e de sugestões cai rapidamente.

Limitações dos desenhos das pesquisas de avaliação: esse é

um outro aspecto. A gente tem que discutir muito, é muito

importante ter livros como esse que vocês lançaram - vou

querer depois um, se eu puder. A gente precisa mesmo

disseminar as boas práticas, as diferentes metodologias de

pesquisa de avaliação, discutir muito as questões das

amostras, as vantagens de grandes e pequenas amostras, de


estudo de casos, de estudos qualitativos, de estudos

quantitativos. Eu acho que a gente tem que desmistificar

essa questão da necessidade de ter estudos que contemplem

todo nosso público alvo, todos os contextos. Você leu meu

currículo lá e você disse que eu sou matemático - e sou

mesmo. Comecei em economia e acabei na matemática,

tanto que gostei de matemática, de cálculo integral e

diferencial. Naquela época eu imaginava que se o cálculo

integral diferencial era tão fantástico que conseguia

responder perguntas tipo “qual deveria ser a superfície de

uma latinha de azeitona para gastar menos material, menos

metal para ficar mais barato”, se o cálculo integral respondia

questões tão básicas como essa, eu achei que respondia a

questões mais relevantes [risos]. Depois, ao final do curso,

eu quase que saio do curso, mas insisti e depois voltei para a

minha vocação original. Isso só para chamar a atenção de

vocês que existe muita discussão metodológica que não está

registrada nos manuais, porque os manuais são escritos por

gente muito boa, mas a gente tem que dar prescrições muito

gerais, por isso é importante que vocês escrevam as

experiências. A revista que a Martina mostrou é uma

iniciativa da rede brasileira e da SAGI, e da SAE, Secretaria

de Assuntos Estratégicos, exatamente para isso: para abrir o

campo ao técnico, ao profissional que trabalha com isso, ter

espaço para disseminação de boas práticas. Muitas vezes, a

gente tem muita dificuldade de fazer com que os artigos que

a gente produza de pesquisas no nosso campo acabam

veiculados numa revista acadêmica ou a gente também não

quer porque não é com o meio acadêmico que a gente quer.

A gente quer é trocar figurinhas com o nosso próprio público.

Por isso a gente realmente precisa investir em livros,

publicações e eventos como este para isso.

Já estou chegando no ponto específico da minha metade final

da apresentação que é exatamente a discussão sobre o baixo


uso das estatísticas oficiais. Em que pese a grande

disponibilidade de dados, nós usamos pouco a informação

para os nossos sistemas de monitoramento. A gente talvez

deposite muita expectativa em cima das pesquisas de

avaliação, quando na verdade, do ponto de vista dos

programas públicos, a gente tem muita informação

disponível para fazer avaliação interessante. No caso de

projetos sociais talvez a realidade seja um pouco diferente,

embora eu ache que a gente tem que aproveitar melhor os

nossos registros de programas, os nossos registros de

matrícula, de acompanhamento de alunos, articulá-los numa

certa lógica que dispensaria algumas avaliações, ou melhor,

ajudaria a especificar melhor alguns tipos de avaliação.

Por fim, outro fator desse desencanto é a nossa cultura de

monitoramento e avaliação, assim como nosso sistema de

proteção social, muito novo: 15 anos, 20 anos. Se a gente

comparar o conjunto de programas mais antigos da

educação e saúde, com os nossos programas da área de

assistência, desenvolvimento social e habitação, a gente tem

coisas que são recentes. Então, a cultura mesmo de gestão

de programas ainda é muito incipiente no Brasil. Nós

estamos talvez 30 anos defasados em relação uma série de

outros países, onde a estruturação do seu sistema já é muito

antigo. E também acho que em boa parte dos nossos

currículos nas nossas universidades a gente aprende a fazer

talvez análise de macro políticas, análise de conjuntura. Eu

digo isso porque é um pouco a nossa prática na Escola

Nacional de Ciências Estatísticas do IBGE, lá no Rio de

Janeiro. A gente tem um mestrado em pesquisas sociais e de

fato as nossas dissertações dialogam com questões muito

mais gerais do que aquelas mais específicas que nós

precisaríamos estar investigando para alimentar melhor os

gestores. Sobretudo com uma perspectiva maior de

interdisciplinaridade. Não existe também nenhuma disciplina


acadêmica que tenha a prerrogativa, que tenha a

legitimidade, que tenha a preferência ou a capacidade de

entender a complexidade dos nossos problemas. Os nossos

problemas são complexos. É como eu dizia, a capacidade de

avaliá-los também tem que ser complexa, interdisciplinar,

pra dar conta de toda a problemática tratada.

Como superar esse desencanto? Acho que a gente tenta

sempre superar esse desencanto na medida em que a gente

começar a produzir e organizar informações ajustadas às

necessidades do programa ou do projeto no estágio que ele

se encontra no ciclo de políticas, programas e projetos. Esse

ciclo aqui de políticas e projetos é, como todo modelo, uma

simplificação da realidade. A realidade de ciclo de vida de

gestão programas é muito mais complexa do que está

externado aqui, mas ele é um modelo didático interessante

que vai fazer a gente refletir sobre que tipo de indicador, que

tipo de avaliação eu preciso em função do meu problema, da

minha intervenção mais abrangente ou menos abrangente.

Vocês sabem que tudo começa, teoricamente, quando

determinados problemas e demandas sociais que são

sistematicamente apontados ou percebidos pela população

entram dentro da agenda. O problema social entra dentro da

agenda pública ou de uma ONG, de uma instituição que

resolve abordar determinada temática que incomoda, que

tem a ver com a sua área de atuação e isso entra dentro da

agenda. Tendo entrado dentro da agenda a gente busca

recursos para poder viabilizar o desenho de um programa ou

de um projeto social para tentar equacionar essa

determinada demanda. Então, tem todo um esforço de

diagnóstico mais propositivo, mais específico, de pensar as

diversas estratégias de equacionamento daquela

problemática social, a necessidade de fazer seleções de

público, estratégias de programas e, por fim, é preciso


implementar o programa e a implementação de programas,

muitas vezes, se dá sem que o diagnóstico e essas coisas

tenham sido feitas num ambiente perfeito, porque são

oportunidades, percebem? A gente não poderia ficar fazendo

um planejamento de uma ação como o Brasil sem miséria

durante 1 ano, esperando que o senso demográfico tivesse

todas as divulgações para que a gente fizesse um

diagnóstico mais exaustivo possível, como se de novo a

gente não caísse naquele tecnocratismo que eu criticava

anteriormente. Então, o processo mesmo de avaliação, o

processo de diagnóstico – que também é uma avaliação,

uma avaliação diagnóstica - ele também tem o seu tempo.

Enfim, a gente implementa o programa e precisa em algum

momento adequado ao período de intervenção, à maturidade

do período de intervenção, fazer uma avaliação mais

somativa, mais exaustiva, de resultados e impactos. Essa

avaliação não pode ser nem muito antes e nem muito

depois, tem que ser no tempo certo. A gente tem que

perceber exatamente qual é o tempo certo porque não

adianta investir recursos aqui se a gente sabe que os

problemas são aii.

Tem muito problema ainda de implementação, muito

problema de municípios, muito problema de instituição que

ainda está com deficiência de pessoal, deficiência de

recursos, deficiência de treinamento. Use seu dinheiro para

fazer avaliação de processo ou faça avaliação de desenho

com outras experiências similares, ou volte atrás e invista

recursos para diagnosticar melhor, saber quem é o seu

público alvo. O MDS tem um bom exemplo disso: população

de rua. A população de rua é um problema social em todos

os grandes centros urbanos. Aqui mesmo, no Minhocão, em

São Paulo, sabe-se como é essa situação ainda. Mas não

havia estatísticas que quantificassem, muito menos estudos

mais abrangentes que permitissem identificar que essa


população de rua tem só um ponto em comum: é que eles

vivem na rua. Mas são públicos muito diferentes. Tem gente

aqui que sabe melhor do que eu sobre as diferenças desse

público: criança em situação de drogadição, pessoas com

algum tipo de deficiência, desempregados, pessoas com

problemas de alcoolismo, enfim, são públicos diferentes com

problemáticas diferentes e que demandam soluções

diferentes. Então, é preciso isso. Às vezes, não adianta

continuar investindo em avaliação de desenho e processo,

quando a gente precisa conhecer mesmo melhor o nosso

público, a nossa demanda. Talvez o processo de

reconhecimento da demanda para colocar na nossa agenda

pode ter tido algum viés aqui e a gente não percebeu. Mas

enfim, existe o processo de avaliação que vai ao final, no

caso do setor público é de 4 em 4 anos, é o ciclo de

planejamento, a cada 4 anos você tem que especificar os

novos programas. Então, precisa ser feita uma avaliação

mais exaustiva de 4 em 4 anos sobre se de fato a estratégia

de implementação para mitigar esse problema deu resultado,

se não deu, o que não deu, o que precisa ser aprimorado, se

o programa precisa ser totalmente remodelado, se o

programa deve continuar ou não.

É importante que se diga o seguinte: muito do redesenho do

programa é feito na implementação. Esse gráfico aqui tem

um problema porque a implementação é uma caixinha aqui

que parece menor, preciso redesenhar esse gráfico porque a

implementação é a maior parte do tempo em que o

programa se encontra, está sempre em implementação, está

sempre em processo de aprimoramento. Então, tem muitas

melhorias que já são feitas na implementação e isso é

importante se captar na avaliação de alguma forma. No caso

de instituições que lidam, por exemplo, com problemáticas

no campo educacional, vão sentir muito mais resultados e

impactos com muito mais tempo, do que quem atua na área


de saúde. Os problemas nas áreas de saúde, às vezes, tem

soluções muito mais rápido do que alguns programas mais

complexos na educação ou mesmo na área que o MDS cuida,

da pobreza.

Em cada uma dessas fases a gente precisa de indicadores,

quando estão disponíveis. Então, nessa fase de identificação

de problemas e demandas para além do debate político da

sociedade, da imprensa, do movimento social, existem

indicadores sociais provenientes agora do censo

demográfico. Para o censo demográfico 2010, o IBGE está

fazendo um trabalho muito interessante de disponibilização

desses dados que permite ver o quanto avançamos, o

quanto de questões que temos que avançar. O próprio

governo reconhecendo que com toda queda da pobreza,

temos 16 milhões em extrema pobreza. Precisamos fazer

alguma coisa porque o Brasil vai se transformar a quinta

economia do mundo ainda com indicadores sociais em alguns

aspectos bastante insatisfatórios, em que pese a evolução

nesses últimos 15, particularmente nos últimos 9 anos.

Precisamos de indicadores de diagnósticos. Um bom

diagnóstico vai sempre abordar o público alvo. A gente

precisa conhecer melhor o nosso público alvo e, às vezes, os

dados do IBGE e outras instituições não são suficientes e aí

tem que fazer uma pesquisa, conhecer o nosso público alvo,

conhecer as suas características. Quanto mais a gente

conhecer esse público alvo, melhor a gente vai conseguir

especificar o programa que a gente está imaginando.

Naturalmente que é um processo de ida e volta. A gente não

levanta tudo. Quando a gente já tem a idéia de qual é um

determinado encaminhamento, a gente faz a pesquisa de

modo a responder também que tipo de informação a gente

precisa para poder desenhar uma determinada estratégia de

equacionamento. A gente precisa também no nosso


diagnóstico ter uma idéia de capacidade de gestão, aí estou

falando muito do ponto de vista do poder público federal. A

gente precisa lá na esplanada ter uma compreensão melhor

de quais são as dificuldades, as fragilidades dos municípios e

dos estados, que é quem operam as nossas políticas. Porque

uma boa ideia vai ter problemas de implementação se o

agente lá não tiver recursos humanos suficientes, com

competência, com capacidade e inclusive treinamento que

deveria ter.

Naturalmente, num bom diagnóstico, além do conhecimento

do público alvo e da capacidade de gestão, o operador do

programa, da política na ponta, também tem que conhecer o

contexto em que as pessoas vivem, o contexto social e o

contexto econômico, porque um programa social, um projeto

social vai funcionar com maior ou menor dificuldade em

função das características da região, se é uma região mais

dinâmica ou uma região mais pobre, assim por diante.

Então, o diagnóstico... Isso que eu chamo a atenção

também. Quando a gente fala de avaliação ou de

indicadores, a gente está falando de indicadores de

monitoramento e avaliação, mas não nos esqueçamos de

que tudo começa com um bom diagnóstico. Então, a gente

precisa de fato nos valer, nos equipar, de bons indicadores,

boas pesquisas, que permitam a gente conhecer melhor o

nosso público, naturalmente sem correr o risco daquele

tecnocratismo ingênuo, de que os dados falam toda a

realidade por si, quando a gente sabe que está muito longe

disso.

Depois tem os indicadores de monitoramento, com toda a

questão que já vou estar tratando, e os indicadores de

avaliação somativas, onde a gente vai ter que levantar

informações de resultados e impactos ou informações

qualitativas. Às vezes, determinados programas a gente não


consegue quantificá-los, mas é importante que a gente de

alguma forma consiga estruturar a informação qualitativa

para mostrar os impactos importantes menos tangíveis de

um determinado projeto. Existe toda uma discussão de

tipologia de avaliação, não vou entrar aqui, mas de alguma

forma eu falei. São vários tipos de avaliação adequados ao

estágio em que o programa se encontra, não adianta querer

fazer avaliação de resultados se o problema está na

implementação, não adianta fazer avaliação de

implementação se você suspeita que existe problema de

desenho e assim por diante. No fundo o que a gente precisa

é ter um enfoque avaliativo, é integrar sistemas avaliadores

com pesquisa de avaliação que é exatamente isso, construir

sistemas de monitoramento de avaliação no setor público e

no setor privado, seja na política, no programa ou no

projeto. A gente tem que articular a nossa expertise de

métodos e técnicas de recolhimento sistemático de

informação para a construção de indicadores de

monitoramento e também em alguns momentos fazer

efetivamente pesquisas de avaliação. E integrar isso como

atividades especificas de gestão.

Só para dar um exemplo do que é o monitoramento. Se a

gente fosse acompanhar a saúde para a criança, os

instrumentos de monitoramento são a observação do

comportamento da criança. Se a criança está paradinha

parece... A gente está identificando alguma mensagem, pode

formar uma segunda decisão de tomar uma temperatura. O

termômetro é um outro instrumento de monitoramento, se a

temperatura der 37,5 a gente sabe “a criança está com

febre, vou administrar um antitérmico”, depois vou

seguindo. O termômetro é o meu monitoramento se a febre

está cedendo ou não. Se a febre não ceder eu vou ter que

me valer de um recurso de avaliação mais específico, vou

buscar um especialista que vai se valer de instrumentos


menos invasivos, menos completos como o exame clínico ou

uma bateria de exames mais específicos, mais caros, se a

problemática persistir, se a gente precisar encontrar um

porquê. O monitoramento ajuda a identificar como estamos

e a avaliação é efetivamente o porquê.

Eu vou pular esse caso aí até porque não vou me arriscar

falar de avaliação educacional. O sistema de monitoramento

se vale de uma lógica de intervenção, um bom sistema de

monitoramento tem que estar muito ancorado na lógica da

intervenção, no marco lógico do programa, até para mostrar

que tem problemas de desenho. Enquanto que a pesquisa de

avaliação pode até questionar o desenho e tem que se valer

de coleta de dados secundários ou primários externos a

própria existência do programa.

A mensagem geral aqui é isso: monitoramento e avaliação

são duas atividades que tem que ser entendidas de forma

orgânica. Produção de indicadores e, com alguma

regularidade, pesquisas específicas têm que estar no seu

plano de avaliação ou, melhor chamado, de plano de

monitoramento de avaliação de um projeto social.

Afinal de contas, o que é um indicador? É para isso que eu

vim. Vocês vão entender que já falei demais do que é um

indicador, há mais de 10 anos atrás já vinha dando cursos de

indicadores, depois resultou no livro e tal. Algumas pessoas

que eventualmente já participaram de alguma palestra

minha vão dizer “- Puxa, ele vem discutindo há uns anos os

mesmos slides”. Eu diria para vocês que eu melhorei um

pouco, mas eu não tenho mais criatividade para essa

temática [risos]. Mas é isso: o indicador é um recurso

metodológico para retratar a realidade. Acho que alguma

coisa inovadora vai ter aí porque passei a usar umas

metáforas para representar os indicadores. Um indicador é


como se fosse uma fotografia, tão boa e tão ruim quanto

uma fotografia. Tão bom porque ele me permite captar

aspectos da realidade social. Tão ruim porque ao captar um

aspecto, eu estou perdendo o todo. É exatamente isso que a

gente precisa no setor público, precisa de instrumentos

padronizados. O projeto social também precisa de

instrumentos padronizados para de alguma forma comparar

realidades. A gente tem realidades distintas de uma favela

ou de uma comunidade, por exemplo. [Mostrando fotos]

Numa foto mais distante, um indicador mais distante, e

numa foto que mostra um aspecto interessante da favela

que é a (inaudível) que ela está localizada, a favela

mostrando que está numa área de preservação ambiental.

Aqui uma foto dentro do interior, para ver a falta de conforto

material dessa família e aqui o entorno da casa, condições

inadequadas de habitação do entorno em que vivem várias

famílias. Cada foto é como se fosse um indicador. Então, tal

como a fotografia, os indicadores retratam um aspecto da

realidade. A imagem captada no indicador é uma redução da

realidade, qualquer indicador reduz a realidade, assim como

uma foto reduz essa realidade 3d que tem som, que tem

cheiro, para uma foto plana que não tem cheiro, que não

tem cor, que não tem movimento. Se eu quero medir as

condições de vida de uma sociedade, isso se desdobra entre

várias fotografias e essas fotografias eu posso usar

diferentes filmes que vão produzir imagens com melhor ou

menor qualidade. Depende um pouco da câmera, certo.

Existem câmeras ou fonte de dados mais fidedignas e

existem outras câmeras ou fontes de dados que ainda não

alcançaram seu nível de confiabilidade. Só usando aquela

câmera, só usando aquele indicador que a gente vai

conseguir perceber suas deficiências e conseguir fazer os

ajustes necessários para que aquela câmera, aquela fonte de

dados, produza informação de melhor qualidade ao longo do

tempo.


Estão aí vários exemplos, não vou... Uma das questões que

se colocou “quais são os principais indicadores”, eu diria que

é muito difícil dizer quais são os principais indicadores

porque depende de cada caso. É aquilo que eu falei, o ciclo

de políticas e programas vai depender de indicadores

específicos em casa fase e naturalmente em cada temática

que vocês atuam. Então, na área de segurança alimentar por

exemplo, eu poderia usar aquele indicador inicial, taxa de

mortalidade infantil, posso usar indicador antropométrico de

déficit de altura e peso produzida na pesquisa de orçamentos

familiares do IBGE de 5 em 5 anos, ou posso investigar a

segurança alimentar através de uma escala objetivada de

percepção, a escala brasileira de segurança alimentar, EBIA,

ou ainda indicadores antropométricos de adolescentes

através da pesquisa nacional de saúde escolar. Então, existe

um conjunto muito amplo de pesquisas que nos ajudam a

fazer esse tipo de investigação.

Existem os indicadores de monitoramento e aí vamos passar

muito rapidamente porque já esgotei todo meu tempo. A

analogia é com o sismógrafo. Aí é o nosso desafio nas

instituições, a gente não pode ficar parado como um retrato.

O retrato é importante, mas a gente precisa do filme ou do

nosso sismógrafo... Tão melhor a analogia é com sismógrafo

do que com filme porque o sismógrafo tem a sensibilidade de

perceber os pequenos tremores de terra. Então, se a gente

conseguir desenvolver nos nossos programas, nos nossos

projetos sociais bons sismógrafos, a gente consegue se

antecipar as catástrofes que ocorrem. Às vezes meio

inevitáveis, como um terremoto, mas algumas efetivamente

são evitáveis.

Vocês vão ter os slides dizendo os indicadores de

monitoramento. Pode avançar bastante. Existe uma

discussão sobre fonte de dados mas esse slide sabia que não


ia explorar mesmo [risos]. Tem nesses slides uma série de

sugestões de fontes de dados e acho que pediria para você

sair, dar o ESC e ir lá nos últimos slides. No MDS existe o

DATA SOCIAL, que é, à semelhança do DATA SUS, um portal

de informações na área social. A gente reuniu isso e vocês

entrando no nosso site vão conseguir fazer isso. Tinha até

uma outra discussão sobre IDH que vou...

Martina – Podem perguntar depois.

Paulo – Isso. Indicadores, painéis e pesquisas podem ser

instrumentos para transformar essa realidade zero, numa

realidade tão positiva quanto essa. Esse slide é

absolutamente inédito. Esses outros também, minha

inovação está aqui. De 10 anos para cá fiz algumas coisas

com esses slides [risos]. Mas é basicamente isso, assim

como as fotografias, eles [os indicadores] reduzem a

realidade, e uma boa fotografia depende da câmera, da

posição do fotógrafo, do foco da lente, mas depende da

destreza do fotografo, depende da destreza do analista, do

pesquisador, do gestor identificar o que é relevante para ser

medido. Um programa com muitas atividades a gente tem

que ver quais são as atividades chaves que devem ser

monitoradas, porque a gente também não quer transformar

o nosso projeto num objeto de monitoramento, não quer

perder mais tempo preenchendo planilhas do que fazendo as

atividades que a gente tem que fazer. Então, o importante é

isso, tem saber o que é relevante. O que é mais útil e

pertinente para avaliação do bem estar (inaudível) de

programas sociais? Um mosaico de fotografias ou uma

fotografia composta por técnicas sofisticadas de

diagramação? O que a gente efetivamente precisa, será que

não precisa de um conjunto mais simples de indicadores, um

conjunto básico de oportunidades, de inteligibilidade, de

clareza, de significado, ou uma pesquisa de avaliação


contratada por um instituto super renomado, em que o

pessoal vai usar um modelo econométrico de enésima

geração para produzir o resultado que vai dizer que “o

impacto do programa é 10,45”. O chato que a gente precisa

reconhecer é que quanto mais casas decimais tem um

resultado de um indicador, parece que mais fantástico é o

modelo de avaliação, mais fantástico é o indicador. A gente

tem que brigar para mostrar que... No estágio em que a

gente se encontra no Brasil, digo aí mais nos programas de

desenvolvimento social, a gente não precisa de 4, 5 casas

decimais para os nossos indicadores. Se a gente conseguir

produzir indicadores que não tenham casas decimais, mas

efetivamente o que vem antes da vírgula tenha significado

para mostrar o tamanho do problema e se esse problema

está aumentando ou diminuindo, a gente já tem boas

respostas. Obrigado pela atenção.

Documents

A utilização de indicadores sociais na avaliação de ...institutofonte.org.br/sites/default/files/Transcrição - Paulo... · porque são questões que, ... “A utilização de