Programa de Capacitação em Projetos Culturais Ministério da Cultura

Programa de Capacitação em

Projetos Culturais

Ministério da Cultura Secretaria de Fomento e Incentivo à Cultura

Indicadores de Desempenho do

Programa

Julho de 2012

Este Relatório contém informações confidenciais. Caso você não seja a pessoa autorizada a recebê-lo, não deverá utilizá-lo, copiá-lo ou revelar o seu conteúdo.

Ficha Técnica

Projeto: Programa de Capacitação em Projetos Culturais

Contratante: Ministério da Cultura

Prazo: 24 meses

Contratada: Fundação Getulio Vargas

Coordenador Pedagógico: Hermano Roberto Thiry-Cherques

Coordenador Executivo: Roberto da Costa Pimenta


Sumário

Resumo Executivo ............................................................................................................................... 1

1. Introdução ........................................................................................................................................ 2

2. Indicadores do Programa ................................................................................................................. 2

2.1 Conceitos básicos .......................................................................................................................... 2

2.2 Tipologia e atributos ....................................................................................................................... 4

3. Indicadores de Desempenho ........................................................................................................... 6

4. Indicadores de Impacto .................................................................................................................. 10

4.1. Efeitos ................................................................................................................................. 10

4.2. Externalidades ..................................................................................................................... 10

4.3. Grupos Temáticos ............................................................................................................... 11

4.3.1 Irradiação do Programa ..................................................................................................... 11

4.3.2. Alinhamento com o setor cultural ...................................................................................... 12

4.3.3. Alinhamento com políticas governamentais ...................................................................... 12

4.4. Marcadores de impacto – Quesitos ...................................................................................... 14

5. Sobre Indicadores Qualitativos ..................................................................................................... 16

5.1. Apresentação ...................................................................................................................... 16

5.2. Quesitos a serem considerados .................................................................................................. 17

5.2.1. Apreciação sobre do Programa ........................................................................................ 17

5.2.2. Estimativas sobre implicações do Programa .............................................................. .......19

6. Análises Preliminares ..................................................................................................................... 21

7. Considerações Finais ..................................................................................................................... 44

1


Resumo Executivo

Este relatório tem por objetivo apresentar a proposta de formulação de indicadores de desempenho

do Programa de Capacitação em Projetos Culturais elaborada pela Coordenação Pedagógica do

Programa com o auxilio da Coordenação Executiva, conforme previsto no termo de referência que

integra o contrato n° 59/2009, firmado entre a Fundação Getúlio Vargas e o Ministério da Cultura.

Nele estão detalhadas as informações referentes aos itens que compõem o Relatório de

Indicadores de Desempenho do Programa de Capacitação em Projetos Culturais.

O relatório está estruturado em seis segmentos: Introdução, Indicadores do Programa, Indicadores

de Desempenho, Indicadores de Impacto, Primeiras Análises e Considerações Finais.

A introdução apresenta a proposta dos Indicadores de Desempenho do Programa de Capacitação

em Projetos Culturais.

O item 2 trata da fundamentação da proposta para os indicadores do Programa. Nos itens

subseqüentes, 3 e 4, são discutidos respectivamente, os indicadores de desempenho e de impacto

propostos para o Programa.

No item 5 do presente relatório são discutidos os fundamentos teórico-analíticos dos indicadores

qualitativos do Programa.

No item 6 são apresentadas as primeiras análises realizadas a partir da aplicação dos indicadores

pedagógicos imediatos.

As Considerações Finais concluem o relatório, com um resumo das principais observações acerca

da proposta formulada e da aplicação de indicadores do Programa.

2


1. Introdução

Este documento tem como propósito fundamentar os indicadores a serem utilizados pelo Programa

de Capacitação em Projetos Culturais para avaliação do desempenho de suas atividades e etapas.

Como contribuição adicional, apresenta algumas sugestões de indicadores que poderão subsidiar a

avaliação do impacto do Programa e sua inserção no Plano Nacional da Cultura.

A adoção de medidas e indicadores de gestão tem a função precípua de aferir o cumprimento de

metas, objetivos e finalidades com o propósito de avaliar: i) a adesão a diretrizes; ii) a eficiência, ou

a relação entre recursos dispendidos e recursos estimados ou programados; iii) a eficácia, ou a

relação entre os resultados alcançados e os resultados esperados; iv) a efetividade ou a relação

entre a contribuição real e a contribuição pretendida para o sistema ao qual a iniciativa em causa

foi posta em marcha.

Ao examinarmos o caso específico de conceituação e da definição de indicadores para a gestão

cultural, analisaremos a sua especificidade, tipologia, representatividade e domínio, procurando

oferecer condições para sua operacionalização.

Nos itens a seguir são apresentados os conceitos básicos sobre indicadores, a sua tipologia e

atributos e as propostas de indicadores de desempenho do Programa. Adicionalmente, são

discutidos os fundamentos para a formulação de seus indicadores de impacto.

2. Indicadores do Programa

2.1 Conceitos básicos

Os resultados qualitativos da atividade humana não podem ser medidos, no sentido vulgar do

termo „medir‟, avaliar a grandeza física. Mas medir significa, também, avaliar, estimar. A

mensuração tem um significado restrito, quantitativo, e um significado amplo, qualitativo. No

3


sentido amplo, podemos medir tudo que está presente no mundo real, mediante o uso de

indicadores.

Os indicadores são substitutos da mensuração direta. Designam a existência de certas condições

em que o fenômeno ou conceito a ser medido não é diretamente observável ou em que a

mensuração direta não tem significado operacional. A medida quantitativa é a expressão de uma

relação entre uma dimensão ou quantidade e um determinado padrão adotado: a unidade de

medida.

A unidade de medida, para ter significado, deve ser compatível com o que se quer medir. Não se

pode medir, por exemplo, a virtude tomando por base o seu peso atômico. A unidade de medida

deve ser também homogênea, padronizada. A homogeneização das unidades de medida é obtida

pela redução do que se trata de medir a uma quantidade e pela referência numérica a esta

quantidade. A medida qualitativa se dá em relação à participação em um padrão escolhido.

Existem três classes de objetos passíveis de mensuração:

i) Observáveis diretos;

ii) Observáveis indiretos (ações distantes ou passadas, menções, testemunhos, indícios,

depoimentos); e,

iii) Constructos, conceitos de objetos não observáveis direta ou indiretamente, construções

mentais, objetos de percepção ou pensamento, criados a partir de conceitos mais simples,

para serem parte de uma teoria.

Os indicadores diferem das medidas diretas (cômputos). A medida é o elo entre uma teoria (um

conceito) e um dado (observável). As medidas devem guardar uma correlação epistêmica direta

entre o conceito e a variável observável designada como medida deste conceito. A correlação

epistêmica dos indicadores é indireta, uma vez que os indicadores são aplicáveis às hipóteses e às

teorias científicas que se referem a fatos fora do campo da percepção imediata (inobserváveis), tais

como disposições, processos mentais e tendências.

4


Os indicadores são constructos que se referem a construtos: não têm existência real concreta,

existem no sentido que nós os construímos. Estabelecemos características para os construtos que

podem ser medidas. Quando conceituamos não-observáveis, como a adesão a uma diretriz geral,

por exemplo, agrupamos atributos cuja existência pode ser verificada. A atitude, o distanciamento,

as manifestações de apreço ou depreciativas sobre uma atividade constituem atributos de

indicadores para avaliação do seu desempenho.

A função do indicador é traduzir de forma clara o que não pode ser diretamente medido. A forma de

realizar esta medição indireta se funda na conceituação. A formulação de indicadores e a

interpretação do seu significado são marcadas pela precisão e clareza dos elementos que os

constituem e pela identificação dos vieses de caráter lógico, ideológico, cultural e de linguagem que

podem distorcê-las.

Os elementos críticos na formulação e na interpretação dos indicadores são: a especificação do

conceito ou do fenômeno objeto do indicador, a determinação da sua representatividade; a

determinação do domínio de validade; a crítica e correção de distorções e a análise crítica da sua

significação. A especificação de um indicador é função do modelo explicativo a que serve. Ele é

justificado por sua operacionalidade e confiabilidade em relação a este modelo. O poder elucidativo

é função do propósito – retrato de uma situação, delineamento de tendências, indicação de

progresso ou metas - a que se destina. A maior ou menor representatividade do indicador decorre

dos fundamentos que dão suporte à expressão quantitativa de fenômenos e conceitos. O rigor

procede da especificação do domínio de validade do que é indicado.

Os indicadores aqui discutidos servem, em primeira instância, à avaliação da consecução de

objetos e metas do Programa de Capacitação em Projetos Culturais, mas foram elaborados de

forma a poderem ser aplicados a atividades similares às que o constituem.

2.2 Tipologia e atributos

Os indicadores podem ser qualitativos ou quantitativos. Os indicadores qualitativos aferem

preferências entre atos e entre quaisquer ideias (crenças, ideologias, intenções, etc.). Os

indicadores quantitativos aferem relações materiais (volume do intercâmbio como indicador de

integração; livros vendidos per capita como indicador de nível cultural, etc.).

Os indicadores se dividem em tipos:

5


Indicadores situacionais: descrevem as condições objetivas, as percepções subjetivas

e as reações às condições e percepções. Compreendem estatísticas e séries

históricas que revelam condições e tendências, tais como as habilidades, acesso à

informação, nível educacional;

Indicadores preditivos: auxiliam no delineamento de cenários, de tendências ou de

efeitos. Compõem os modelos de antecipação tais como os referidos à produtividade

marginal, à oferta de mão-de-obra, as competências requeridas no futuro;

Indicadores orientados para problemas específicos: indicam a localização, momento e

intensidade de elementos de interesse. Compreendem a indicação de ausência ou de

presença de características específicas de um segmento dado do real, tais como

índice de perdas de bens culturais, absenteísmo, conflito de interesses;

Indicadores de progresso: expressam o andamento de políticas, planos, programas e

projetos. Incluem medidas de recursos, processos, resultados e efeitos de iniciativas

específicas;

Indicadores de metas: retratam marcos a serem alcançados. Identificam as condições

de grupos, estratos hierárquicos, localizações, etc. Indicam desvios e disparidades e

necessidades de medidas corretivas. Indicam, ainda, preferências que servem para

estabelecer metas. Diferentemente dos indicadores preditivos, que procuram descrever

um estado futuro provável, os indicadores de metas delineiam objetivos desejáveis,

tais como maior qualificação do trabalho, diminuição dos índices de reclamação, etc.

Os atributos essências de qualquer indicador são:

A denominação ou título do indicador, por exemplo, “índice de aproveitamento”;

A unidade de medida padrão, tal como taxa, índice, razão, porcentagem;

6


A referência, que pode ser a taxa, porcentagem, etc, média, ou esperada, ou a última

alcançada, etc.

Periodicidade, ou a frequência temporal de validade do indicador (anual, semestral,

etc);

Domínio, ou a área geográfica (região, estado, etc.) de validade do indicador;

Fonte, o órgão ou pessoa responsável pela geração do indicador.

A significação normativa dos indicadores é dada pelos valores admitidos, pela definição conceitual

do que é investigado, pelos fatores considerados na sua composição, pela articulação com outros

indicadores. A definição conceitual dos indicadores aqui apresentados os divide em dois grandes

grupos: indicadores de desempenho e indicadores de impacto do Programa.

3. Indicadores de Desempenho

A maioria dos indicadores de desempenho ou de formação do Programa está referida diretamente

às metas estabelecidas quando da sua elaboração. Outros indicadores foram sendo elaborados ao

longo da realização dos cursos, em função, principalmente, da experiência adquirida por ocasião

das oficinas presenciais. Estas oficinas, ministradas em estreita colaboração com o pessoal técnico

da Secretaria de Fomento e Incentivo à Cultura (SEFIC) do Minc, evidenciaram que as diferenças

regionais de formação e de qualidade do acervo e das perspectivas culturais, deveriam ser

atendidas pela adequação constante da orientação didático-pedagógica dos cursos e da forma de

ministrá-los. Esta necessidade foi especialmente complexa de ser atendida durante a realização

das disciplinas à distância, por natureza, homogêneas e padronizadas. Mas a utilização de

indicadores imediatos, ao fundamentar o processo continuado de acompanhamento e

aperfeiçoamento dos tutores, demonstrou-se essencial para a consecução dos objetivos

pretendidos.

1. Indicadores pedagógicos imediatos

7


1.1. Nível do grupo: . Afere o nível de cada grupo por módulo e permite a

análise comparativa entre regiões, épocas, grupos e temáticas,

1.2. Adesão ao Curso: . Afere o índice de abandonos e permite a

avaliação com padrões nacionais e internacionais estabelecidos e a análise

comparativa entre regiões, épocas e grupos de participantes.

1.3. Absenteísmo: . Afere o nível de assistência aos módulos

e permite a análise comparativa entre regiões, épocas, grupos e temáticas.

2. Indicadores primários:

2.1. Aproveitamento dos participantes por módulo: . Afere o nível de consecução

do objetivo da atividade e permite a análise comparativa entre regiões, épocas, grupos

e temáticas, além de análise de relações secundárias com os indicadores pedagógicos

imediatos;

2.2. Formação de facilitadores: . Afere o nível de consecução dos cursos, e

permite a análise comparativa entre regiões, épocas, grupos e temáticas, além de

análise de relações secundárias com os indicadores pedagógicos imediatos;

2.3. Atendimento por região: . Afere a inserção regional do

Programa nas regiões, e permite a análise comparativa entre regiões, épocas e grupos.

3. Indicadores operacionais:

3.1. Percepção da infraestrutura: . Informa quanto à percepção dos

participantes do programa sobre as condições locais de infraestrutura e permite a

análise comparativa com os indicadores primários, indicadores de formação, os demais

indicadores operacionais, regiões, épocas e grupos de participantes;

8


3.2. Percepção do conteúdo: . Informa quanto à percepção dos

participantes sobre o conteúdo dos módulos permitindo ações corretivas e a análise

comparativa com os indicadores primários, indicadores de formação, os demais

indicadores operacionais, regiões, épocas e grupos de participantes;

3.3. Percepção do desempenho dos docentes: . Informa quanto à

percepção dos participantes sobre os docentes e tutores, permitindo ações corretivas e

a análise comparativa com os indicadores primários, indicadores de formação, os

demais indicadores operacionais, regiões, épocas e grupos de participantes;

3.4. Percepção quanto aos segmentos do Curso: . Informa quanto à

percepção dos participantes sobre a segmentação dos Cursos, permitindo ações

corretivas e a análise comparativa com os indicadores primários, indicadores de

formação, indicadores de formação, os demais indicadores operacionais, regiões,

épocas e grupos de participantes;

4. Indicadores de formação:

4.1. Aquisição de conceitos: . Avalia a percepção dos participantes sobre

a aquisição de conceitos, permitindo ações corretivas e a análise comparativa com os

indicadores primários, indicadores operacionais, os demais indicadores de formação,

regiões, épocas e grupos de participantes;

4.2. Aquisição de técnicas: . Pondera a percepção dos participantes sobre

a o domínio de técnicas de gestão cultural, permitindo ações corretivas e a análise

comparativa com os indicadores primários, os indicadores operacionais, os demais

indicadores de formação, regiões, épocas e grupos de participantes;

4.3. Potencialidade das técnicas: . Pondera a percepção dos participantes

sobre a o potencial de aplicação de técnicas de gestão cultural, permitindo ações

corretivas e a análise comparativa com os indicadores primários, os indicadores

9


operacionais, os demais indicadores de formação, regiões, épocas e grupos de

participantes;

5. Indicadores de percepção interna:

5.1. Percepção de diversificação de produtos culturais: . Pondera a situação

cultural da região, em função da variedade de produtos culturais objeto de Projetos,

permitindo análises comparativas com os demais indicadores de percepção interna e os

indicadores de impacto do Programa;

5.2. Percepção de inclusão de públicos: . Avalia a situação das expressões

culturais da região, em função dos públicos, permitindo análises comparativas com os

demais indicadores de percepção interna e os indicadores de impacto do Programa;

5.3. Percepção de inclusão de regiões: Pondera a situação das regiões

atendidas pelo Programa em função das expressões e dos acervos culturais,

permitindo análises comparativas com os demais indicadores de percepção interna e os

indicadores de impacto do Programa;

5.4. Percepção de inclusão do tema cultura em projetos empresariais, sociais, educacionais,

de integração nacional: Pondera a situação das regiões atendidas pelo

Programa em função das expressões e dos acervos culturais, permitindo análises

comparativas com os demais indicadores de percepção interna e os indicadores de

impacto do Programa;

5.5. Percepção de carências em projetos culturais no que se refere a fontes, qualidade,

segmentação, propriedade e acesso: . Pondera a situação dos projetos

culturais nas diversas regiões atendidas pelo Programa, permitindo análises

comparativas com os demais indicadores de percepção interna e os indicadores de

impacto do Programa;

10


4. Indicadores de Impacto

Os indicadores de impacto têm como objetivo primário avaliar os resultados do Programa,

indicando o efeito da consecução dos objetivos propostos após a realização do Programa, e as

modificações situacionais e estruturais, isto é, os efeitos e as externalidades.

4.1. Efeitos

Efeitos são ocorrências positivas e negativas, gerados diretamente pelo Programa. Considera os

benefícios indiretos, internos e externos, auferidos e gerados e os riscos que ameaçam os

resultados e propósitos do Programa. Dividem-se em efeitos “para frente” e “para trás”.

Efeitos para frente são aqueles que ocorrem posteriormente à realização do Programa e criam

situações novas, isto é não pré-existentes, por exemplo, a criação de organizações destinadas ao

desenvolvimento de projetos culturais. Podem ser de ligação, aqueles referidos ao destino do

produto/serviço do Projeto. Por exemplo, a inclusão de variáveis culturais em projetos privados ou

em projetos sociais e negativos, como a migração de pessoal qualificado para regiões com

melhores condições de trabalho e remuneração.

Efeitos “para trás” são os que modificam situações pré-existentes ao Programa. Estão referidos

aos insumos e recursos, isto é, ao impacto causado por sua absorção. Por exemplo, o Programa

pode ter induzido a melhorias na infraestrutura de treinamento disponível nas regiões em que os

cursos presenciais foram realizados, sem que esse fosse o seu objetivo.

Em se tratando de efeitos para trás negativos haveria que verificar o aparecimento ou a proposição

de projetos standard, que podem obter financiamento mais facilmente, mas que pecam pela falta

de originalidade e, principalmente, pelo descolamento da cultura local.

4.2. Externalidades

Externalidades são ocorrências positivas ou negativas, auferidas ou geradas indiretamente pelo

Programa. Diferem dos efeitos na medida em que as externalidades estão referidas a fatos e

ocorrências que se encontram inteiramente fora da possibilidade de controle e influência do

Programa. Em geral as externalidades auferidas ou geradas são imprevisíveis. Um exemplo de

11


externalidade auferida é o aparecimento de uma nova tecnologia que [(1) positiva] acelere um

projeto em curso, ou [(2) negativa] torne desnecessária a sua execução.

Um exemplo de externalidade gerada é a mudança na estrutura de poder em uma região, por

exemplo, a ascensão ou a queda de um grupo político devido ao número de pessoas de outras

regiões que são trazidas a trabalhar nos projetos culturais resultantes da capacitação oferecida

pelo Programa.

Para o Programa é importante tentar prever externalidades não só econômicas, como também nos

campos político, institucional, organizacional, social, tecnológico e cultural. Tradicionalmente, a

previsão de efeitos e de externalidades é feita mediante a reflexão a partir de listagens simples. O

exame de externalidades no campo cultural deve considerar impactos sobre o Programa e gerados

pelo Programa nos valores, nas crenças, nos mitos, nos rituais, nas normas, nas expectativas, nas

tradições e no imaginário das regiões onde foi desenvolvido.

4.3. Grupos Temáticos

Dividimos os indicadores de impacto do Programa em três grupos temáticos: irradiação,

alinhamento com o setor cultural e adesão às políticas culturais.

4.3.1 Irradiação do Programa

A irradiação é dada pelos indícios de que os efeitos do Programa se difundiram para além dos

grupos, da época e do local em que suas atividades tiveram lugar. Pode-se afirmar que o Programa

obteve um efeito de irradiação significativo em função de quatro indicadores qualitativos:

1. A dispersão programada de efeitos, considerando-se que as atividades do Programa

foram dirigidas com vistas à cobertura de segmentos determinados da população e do

território nacional, tem-se dois grupos básicos de indicadores: ;

;

2. O deslocamento de participantes para assistência às aulas presenciais, isto é, o nível de

abrangência territorial coberto, oferece indicadores como: e

12


3. As solicitações formalizadas ou não para a realização destas atividades em locais não

programados, além do quantitativo absoluto, possibilita a formulação de indicadores do

tipo:

4. A utilização de sistemas de ensino a distância, com equipamentos e programas de

tecnologia avançada contribui para despertar o interesse de várias pessoas e

instituições não ligadas diretamente ao Programa, as menções ao Programa oriundas

de pessoas, grupos e instituições não participantes, possibilita a construção de índices

correlatos de dispersão do Programa, do tipo: .

4.3.2. Alinhamento com o setor cultural

A confusão entre iniciativas culturais e projetos sociais ou privados que se utilizam de produtos

culturais e outras distorções do gênero, requerem indicadores de adesão específicos para serem

avaliados. Tais indicadores são, em geral, diretos, do tipo incremental:

;

ou

ou, ainda

4.3.3. Alinhamento com políticas governamentais

O terceiro grupo de indicadores propicia ajuizar os efeitos do Programa em relação às diretrizes

dos órgãos que o financiaram. São atributos destes indicadores itens como os pontos focais do

Plano Nacional de Cultura e o do Plano Plurianual do Ministério do Planejamento. Por exemplo, a

13


pluralização das ações, a recuperação do patrimônio material e imaterial ou a economicidade

proporcionada pelo Programa.

Estes indicadores de impacto devem ser objeto de homogeneização e de conceituação específicas.

A homogeneização das unidades de medida é obtida pela redução do que se trata de medir a uma

quantidade e pela referência numérica a esta quantidade. O atributo de medida é função do

conceito específico e da participação em um padrão ou modelo de avaliação escolhido. A

conceituação dos atributos é fundada nas teorias que embasam as diretrizes consideradas.

Embora o rigor e clareza da definição constituam o cerne da utilidade dos indicadores, isto nem

sempre é possível, já que alguns conceitos permanecem não operacionalizáveis. Por exemplo, os

conceitos, „escolha racional‟, „incerteza‟, „custo social‟, ou „inclusão digital‟, „expressão autóctone‟,

dentre muitos outros de uso corrente, não têm indicadores aceitos universalmente, seja por serem

demasiadamente vagos, seja por não haver consenso quanto ao seu conteúdo. Por outro lado, os

indicadores de alguns fenômenos são necessariamente imprecisos. Por exemplo, o desejo de

consumir, a aversão ao risco, a expressão oral, os estados da alma (felicidade, tristeza, desânimo,

etc.), são por natureza não mensuráveis quantitativamente.

14


4.4. Marcadores de impacto – Quesitos

Os marcadores de impacto têm como objetivo primário avaliar os resultados do Programa,

indicando:

a. A consecução dos objetivos propostos em termos quantitativos

b. A consecução dos objetivos propostos em termos qualitativos

Os marcadores de impacto têm como objetivo secundário avaliar os efeitos e as externalidades do

Programa, indicando:

a. os benefícios indiretos, internos e externos, auferidos e gerados pelo Programa;

b. os custos indiretos, internos e externos, auferidos e gerados pelo Programa;

c. os riscos que ameaçam o Programa e a forma de diminuí-los.

Marcadores de desenvolvimento técnico - Quais conceitos abaixo você conhecia antes de iniciar o

Programa?Quais técnicas de projetos você adquiriu como participante do Programa? Qual a

técnica de projetos já aplicou? Quais técnicas você considera de mais difícil absorção? Quais

técnicas de projetos têm maior potencial de utilização?Quais técnicas devem ser aprofundadas?

Marcadores de diversidade, inovação e integração

1. Programa ensejou a proposição de projetos com produtos novos ou diferenciados?

2. Programa ensejou a proposição de projetos para novos públicos?

3. Programa ensejou a proposição de projetos para novas regiões?

4. Quais as carências em termos de dados e informações disponíveis para elaboração e

gestão de projetos culturais?

5. Melhoraram as condições técnicas para a elaboração de projetos culturais?

6. O número de projetos culturais apresentados para financiamento aumentou?

15


7. A qualidade dos projetos culturais apresentados para financiamento melhorou?

8. O número de inserções na imprensa sobre o Programa e sobre projetos culturais variou

positivamente?

9. Qual a forma de superar as dificuldades hoje existentes na elaboração de projetos

culturais?

Criação de uma rede digital de informações

Maior acesso a financiamentos

Treinamento continuado em projetos

Outras iniciativas (descreva)_______________________

16


5. Sobre Indicadores Qualitativos

5.1. Apresentação

Esta seção apresenta uma fundamentação teórico-analítica formulada pela Coordenação

Pedagógica, com vistas ao atendimento de solicitação da Coordenação do MINC, no sentido de

especificar indicadores de caráter qualitativo com base nas informações e experiências do

Programa de Capacitação em Projetos Culturais.

O instrumento analítico a seguir apresentado leva em consideração que os denominados

”indicadores qualitativos” tendem ao subjetivismo. Isto porque os indicadores são construtos que

têm por finalidade reduzir o incomensurável ao mensurável. Os tipos de indicadores mais utilizados

são os escalares, os que dispõem ou estabelecem uma razão entre dois observáveis, como o

indicador de produtividade ( ). Quando não é possível compatibilizar duas medidas de

objetos observáveis utilizam-se indicadores vetoriais, que consistem de ponderações entre várias

medidas díspares, como o indicador de qualidade de vida, que computa fatores físicos, mentais, de

educação, de saúde, etc..

Os indicadores qualitativos são apreciações sobre preferências, percepções, etc., em que se

procura atenuar a subjetividade da apreciação mediante o uso de técnicas, como: i) a

predisposição de graus, por exemplo, o gráfico de Likert (ruim, aceitável, médio, bom, muito bom);

ii) a conceituação precisa dos resultados possíveis da apreciação e, iii) a exclusão de termos, por

exemplo: pior, indiferente, melhor, excluídas da apreciação idéias como a de incompleto, ou de

perfeito.

A apreciação qualitativa tem como características:

o foco nas opiniões, experiências e sentimentos dos indivíduos,

a coleta de dados e informações diretamente sobre o campo;

a descrição dos fenômenos sociais e psicológicos tal como ocorrem, sem a

manipulação das situações sob análise,

a identificação de variáveis como propósito e não como passo preparatório, como

ocorre na análise quantitativa,

17


a abordagem inicial indutiva, isto é, a utilização dos dados para desenvolvimento de

conceitos e de teorias,

a abordagem de fechamento dedutiva, isto é, a submissão dos conceitos e teorias à

validação de coerência lógica,

a validação pela redução, identificação e especificação do campo investigado (e não

por testes estatísticos de representatividade da amostra).

Nos itens a seguir são apresentados: i) os quesitos gerais que norteiam a apreciação qualitativa do

Programa e, ii) o quadro referencial de síntese destas apresentações.

5.2. Quesitos a serem considerados

Os quesitos a serem considerados para a avaliação qualitativa do Programa foram divididos em

dois grupos. O primeiro referido às percepções dos seus efeitos internos aos projetos culturais, o

segundo, às percepções das implicações do Programa sobre o setor cultura como um todo.

5.2.1. Apreciação sobre do Programa

Trata-se de avaliar em que proporção o Programa contribui para o aprimoramento da gestão dos

projetos culturais e as dificuldades a serem superadas para o seu pleno desenvolvimento.

Compreende os seguintes itens:

Percepção sobre a eficiência:

Categorias de apreciação:

Questão: “Em que sentido o Programa alterou a eficiência dos projetos culturais?”. Isto é,

em que sentido modificou a utilização de recursos:

a. Humanos, compreendendo menções ao futuro do pessoal envolvido com projetos

culturais, à disponibilidade de mão-de-obra especializada, as condições de sua

18


absorção no mercado de trabalho (recrutamento e seleção), a integração de novos

profissionais, aos sistemas de remuneração e incentivos, à segurança no trabalho,

as necessidades e oportunidades de formação, ao controle, análise e avaliação

destes recursos;

b. Materiais, compreendendo a gestão patrimonial de edificações, instalações e

equipamentos, bem como todos os processos de logística (compras, transporte,

armazenagem, controle de estoques e distribuição);

i. Informacionais, compreendendo as menções às fontes e acesso a dados e

informações sobre os diversos aspectos da cultura (artes, artesanato,

patrimônio arquitetônico, acervos, etc.), bem como aos instrumentos de

regulação, normas legais, bancos de dados, dispositivos governamentais e

oportunidades de apoio públicas e privadas (ONG‟s, fundações, etc);

ii. Tecnológicos, compreendendo as menções a equipamentos e instrumentos

de alta tecnologia (tablets, computadores, etc), e sistemas de comunicação,

de informação e de processamento de dados (softwares).

c. Financeiros, compreendendo os meios monetários aplicados no projeto, a sua

captação (fontes, financiamento), absorção, ordenamento (orçamentos, plano de

contas), controle, auditoria, bem como a prestação de contas.

Percepção sobre a eficácia:


Questão: “Em que sentido o Programa alterou a eficácia dos projetos culturais?”. Isto é, em

que sentido modificou as finalidades, objetivos, metas, compreendendo os itens de:

a. Resultados, isto é, a consecução de resultados programados,

b. Rigor, isto é, a precisão na sua formulação;

c. Transparência, isto é, a acessibilidade dos processos de formulação;

19


d. Clareza, isto é à sua inteligibilidade;

e. Fundamentação, isto é, à base teórica e técnica, e aos motivos sobre os quais se

assentam;

Percepção sobre a efetividade


Questão: “Em que sentido o Programa alterou a efetividade dos projetos culturais?”. Isto é,

em que sentido modificou as finalidades e objetivos dos projetos, considerando:

a. Pertinência, isto é, o seu direcionamento para as necessidades efetivas do setor

cultura;

b. Conexão, isto é, a sua compatibilidade com políticas, diretrizes e estratégias

formuladas para o setor, por exemplo, com o Plano Nacional de Cultura.

5.2.2. Estimativas sobre implicações do Programa

Trata-se de avaliar em que medida os efeitos e externalidades decorrentes das atividades do

Programa são percebidos. Compreende os seguintes itens:

Percepção sobre os efeitos gerais

Categoria de apreciação:

Questão: “Em que medida o Programa alterou o quadro geral dos projetos do setor

cultural?”

Índole dos argumentos


Questão: “Como são apresentados os argumentos relativos à apreciação dos efeitos de

Programa?”

20


Percepção sobre as forças liberadas pelo Programa


Questão: “Em que sentido o Programa alterou as atividades do setor cultura?”. Isto é, em que

sentido o Programa colaborou ou não para desencadear iniciativas e vitalizar segmentos ou

contribuiu para restringir ações e paralisar segmentos no âmbito do setor cultura.

21


6. Análises Preliminares

1. Indicadores pedagógicos imediatos

1.1. Adesão ao Curso:

1.1.1 Este primeiro indicador apresenta a razão entre o número de participantes inscritos e o

número de concluintes (aprovados e reprovados) por pólo do curso de nivelamento. Quanto maior

a relação, maior o número de desistentes (inscritos que não concluíram o teste de avaliação) e, por

conseguinte, menor o Nível de Adesão. Os pólos de Natal e Macapá apresentaram as maiores

relações, isto é, as menores adesões.

22


1.1.2. Este indicador apresenta a razão entre o número de convocados e o número de

concluintes (aprovados e reprovados) por Oficina presencial. Quanto maior a relação, maior o

número de desistentes (convocados que não atenderam a convocação). Por exemplo, em

Blumenau, o número de convocados alcançou quase o dobro do número de concluintes.

23


1.1.3 No caso especifico dos cursos avançados a distância, o Nível de Adesão aos Cursos

também foi observado pela relação , mas consideramos concluintes (aprovados

e reprovados), como pode ser observado nos gráficos apresentados a seguir:

É possível identificar que o curso de projetos culturais tem um índice de abandono mais

elevado nas turmas de 1 a 5, que correspondem à Oferta 1 do curso, idealizada como um

24


protótipo. A partir da oferta 2, turmas 6 e 7, há uma sensível redução do índice de abandonos,

como resultado direto da revisão do regulamento do curso e da inclusão de uma política de

conseqüências.

Projetos Culturais

Ofertas 1 2 3 Total

Turmas 1 a 5 6 e 7 8 e 9 9

Aprovados 84 69 54 207

Reprovados 30 5 2 37

Abandonos 136 4 5 145

250 78 61 389

25


No caso do curso de Política e Gestão Cultural, também de 30 horas, e o mais ofertado

entre todos os cursos ao longo de todo o Programa, é possível perceber uma maior

homogeneidade no índice de abandonos por turma, com um menor índice nas dez

primeiras turmas, que correspondem à primeira oferta do curso. A comparação do índice

por ofertas aponta para um ligeiro crescimento do índice de abandonos a cada oferta

realizada.

Política e Gestão Cultural

Ofertas 1 2 3 Total

Turmas 1 a 10 11 a 20 21 e 22 22

Aprovados 334 255 28 617


Abandono 117 194 24 335

489 500 54 1043

26


27


Os cursos de Economia da Cultura, de 15 horas, apresentaram um índice de abandono

muito baixo, à exceção das turmas 8 e 9, que correspondem à quarta e última oferta do

curso. Este aumento do índice pode estar relacionado ao período de realização da oferta,

que coincidiu com o das férias escolares.

Economia da Cultura

Ofertas 1 2 3 4 Total

Turmas 1 a 3 4 a 6 7 8 e 9 9

Aprovados 116 109 18 34 277

Reprovados 6 4 0 14 24

Abandono 4 3 2 36 45

126 116 20 84 346

28


O curso de Marketing, Negociação e Apresentação de Projetos apresentou um índice de

abandono homogeneamente baixo em todas as turmas. É o curso com o menor percentual de

evasão de todo o Programa.

Marketing, Negociação e Apresentação de Projetos

Ofertas 1 2 3 Total

Turmas 1 a 7 8 a 11 12 12

Aprovados 229 149 12 390


Abandono 39 32 3 74

302 199 17 518

29


30


O curso de Direito Autoral, também de 15 horas, apresentou um índice de abandono baixo

na maioria das turmas ofertadas. A exceção ficou por conta das turmas 6 e 7, que

correspondem à segunda oferta do curso, na qual houve um aumento significativo do

número de abandonos.

Direito Autoral

Ofertas 1 2 3 4 Total

Turmas 1 a 5 6 e 7 8 e 9 10 e 11 11

Aprovados 148 26 44 52 270

Reprovados 18 7 5 3 33

Abandono 23 31 5 4 63

189 64 54 59 366

31


1.2. Nível do grupo por pólo.

A avaliação dos participantes nas Oficinas Presenciais foi realizada por meio dos

trabalhos desenvolvidos em grupo. Como o número de reprovações por rendimento

insatisfatório foi praticamente nulo, e as poucas reprovações ocorridas se deram por

falta, o indicador utilizado prioriza a avaliação do nível do grupo de cada uma das

oficinas. O indicador do nível do grupo por pólo considerou a média das avaliações dos

trabalhos realizados nas oficinas. A primeira oficina realizada em Ilhéus alcançou média

superior a 9,0.

32


33


2. Indicadores primários:

2.1. Aproveitamento por curso

O aproveitamento dos participantes por curso, aferido pela relação indica o nível

de consecução do objetivo do curso.

Nos cursos avançados a distância o aproveitamento dos participantes por módulo foi aferido

pela relação entre aprovados e inscritos. No caso do curso de Projetos culturais, o aproveitamento

foi abaixo do esperado nas turmas de 1 a 5, que compuseram a primeira oferta. O baixo índice de

aproveitamento pode estar relacionado ao grau de dificuldade do curso, a sua duração (30 horas)

e, principalmente, à inexperiência dos participantes com tecnologia de educação a distância.

Nas turmas seguintes, após os ajustes promovidos pela coordenação (Política de

conseqüências e alteração da ordem de oferta do curso), o aproveitamento alcançou níveis bem

elevados. O índice de aproveitamento global foi de 0,50.

O curso de Política e Gestão Cultural apresentou uma distribuição variada no que se refere

ao aproveitamento dos participantes. O índice de aproveitamento teve ampla dispersão,

entre 0,44 e 084. O índice de aproveitamento global foi de 0,60.

34


O curso de economia da cultura foi o que apresentou os mais elevados índices de

aproveitamento, com exceção das turmas 8 e 9, cujo aproveitamento foi baixo. Esse baixo

aproveitamento pode estar relacionado ao período de realização dessas duas turmas, que

correspondem a quarta oferta do curso, ocorrida no período de férias, janeiro e fevereiro. O

índice de aproveitamento global é de 0,80.

35


O curso de Marketing, Negociação e Apresentação de Projetos, de 15 horas, apresentou um

índice de aproveitamento muito bom em todas as turmas ofertadas, com uma distribuição bem

homogênea. O índice mínimo, 0,63 e o máximo, 0,84. O índice de aproveitamento global é de

0,75.

36


O curso de Direito Autoral também apresentou um índice de aproveitamento muito bom, à

exceção das turmas 6 e7, que correspondem a segunda oferta, que apresentaram um

aproveitamento dos participantes abaixo da expectativa por conta do elevado número de

abandonos. O índice de aproveitamento global é de 0,74.

2.2. Formação de Facilitadores

O índice de aproveitamento da formação de facilitadores, aferido pela relação entre os

é igual a 1,0. Todos os 50 participantes inscritos obtiveram habilitação.

No que se refere à relação entre os indicados pelos tutores e os habilitados a facilitadores,

que possibilita a aferição do nível de formação de facilitadores, dos 132 participantes que

concluíram todos os cursos, 67 foram indicados pelos tutores e 50 foram habilitados. O índice de

formação é de 0,75.

O desempenho dos candidatos a facilitadores no Encontro de Facilitadores pode ser

considerado muito bom. A relação entre os habilitados e os inscritos, distribuídos por conceito

atribuído, indica o elevado nível do grupo.

37


3. Indicadores operacionais:

3.1. Percepção Geral do Programa

Este indicador informa sobre a percepção dos participantes das Oficinas Presenciais acerca

do Programa a partir da relação dos valores percentuais relacionados a .

Para indicar a relação entre as menções favoráveis e as menções restritivas, foram utilizadas

as percepções declaradas pelos participantes no preenchimento do formulário de avaliação a partir

dos critérios da escala likert de 05 pontos, Com o intuito de conferir aos indicadores uma maior

consistência, as menções a ”bom”, que se configuram como uma mediana da escala, não foram

contabilizadas. Foram computadas como favoráveis as menções a “excelente” e “muito bom” e

foram consideradas restritivas as menções: “regular” e “fraco”. Por exemplo, em Petrolina, o cálculo

da relação considerou: menções favoráveis (E = 40% + MB = 49%)/menções restritivas (R=2% +

F=0%). (89/2=44,5)

No caso específico do Índice de Percepção da Avaliação Geral do Programa, somente os

seis pólos, os representados com as colunas de cor vermelha no gráfico abaixo, apresentaram

menções restritivas. Todos os demais obtiveram somente menções positivas com relação à

avaliação do Programa. Mesmo nos pólos em que há menções negativas, a relação é bem

38


elevada. Em Palmas, por exemplo, o índice alcançado é de 20,0. Isto é, para cada menção

restritiva, há vinte menções favoráveis ao Programa.

39


3.2. Percepção da infra-estrutura:

Este indicador informa quanto à percepção dos participantes do programa sobre as

condições de ruído no ambiente em que foram realizadas as Oficinas Presenciais a partir da

relação dos valores percentuais relacionados a . Foram computadas como

favoráveis as menções a “excelente” e “muito bom”. Foram consideradas restritivas as menções:

“regular” e “fraco”. Os índices indicam que há um desconforto dos participantes quanto à questão

do ruído no ambiente.

40


Em todas as Oficinas houve menções restritivas ao ruído, o que indica que este é um dos

fatores que dificultam a consecução das atividades realizadas pelos participantes, e deve ser um

fator objeto de exame mais acurado em futuras edições do Programa, ou ações similares.

A relação entre menções positivas e menções restritivas que indica a percepção do nível de

ruído no ambiente, ainda que predominantemente positiva, apresenta uma significativa parcela de

menções restritivas. Nos ambientes de Arapiraca e São Francisco do Conde, por exemplo,

indicados pelas colunas na cor vermelha, o número de menções restritivas é superior ao número

de menções favoráveis.

3.3. Percepção do conteúdo:

Este indicador informa quanto à percepção dos participantes sobre a adequação do conteúdo

dos cursos aos objetivos do Programa a partir da relação dos valores percentuais relacionados a

. Foram computadas como favoráveis as menções a “excelente” e “muito bom”.

Foram consideradas restritivas as menções: “regular” e “fraco”.

Em relação ao curso de nivelamento, o índice de percepção dos participantes quanto a

adequação do conteúdo aos objetivos do Programa, a relação , onde as menções

favoráveis representam “excelente” e “Bom” e as menções restritivas “Ruim” e “Péssimo”, é de,

94,7.

41


No caso das Oficinas Presenciais, os pólos assinalados com a cor azul não apresentaram

menções restritivas e, por conta da indeterminação da relação (a divisão por zero é indeterminada),

foram indicadas somente as menções positivas. Mesmo nos pólos em que há menções negativas,

a relação é bem elevada. Por exemplo, em Porto Velho e Manaus, localidades em que a

percepção da adequação do conteúdo apresenta o menor índice dentre as oficinas presenciais, a

relação é de, respectivamente, 10,1 e 13,7, O que significa dizer que para cada menção restritiva,

há, no mínimo dez menções favoráveis.

42


3.4. Percepção do desempenho dos docentes:

Este indicador informa quanto à percepção dos participantes sobre o nível de conhecimento

demonstrado pelo Professor da FGV nas Oficinas a partir da relação dos valores percentuais

relacionados a .

43


Foram computadas como favoráveis as menções a “excelente” e “muito bom”. Foram

consideradas restritivas as menções: “regular” e “fraco”. Os pólos assinalados com a cor azul não

apresentaram menções restritivas e, por conta da indeterminação da relação (a divisão por zero é

indeterminada), foram indicadas somente as menções positivas. Mesmo nos pólos em que há

menções negativas, a relação é bem elevada. Por exemplo, Currais Novos, localidade que

apresenta o menor índice, tem uma relação de 6,8, isto é, para cada menção restritiva, há

aproximadamente sete favoráveis.

44


7. Considerações Gerais

A formulação de indicadores de desempenho do Programa de Capacitação em Projetos Culturais

foi conduzida pela Coordenação Pedagógica do Programa com o apoio da Coordenação Executiva,

conforme previsto no Termo de Referência que integra o contrato nº59/2009.

O processo de construção de indicadores propôs um embasamento conceitual e teórico a partir do

qual foram desenvolvidos os atributos objeto de análise, em função dos propósitos de avaliação. A

concepção de indicadores levou em consideração o caráter inovador e experimental que configura

o Programa de Capacitação em Projetos Culturais.

Os indicadores apresentados têm como propósito definir as bases operacionais e pedagógicas que

orientarão a análise do desempenho do Programa. As análises preliminares realizadas

exemplificam a aplicação dos indicadores formulados e permitem inferir algumas considerações

qualitativas sobre o Programa. Para mencionar um exemplo, é possível inferir que o índice de

abandonos dos cursos avançados on line são inferiores aos padrões nacionais e internacionais

estabelecidos para cursos desta natureza. Isto é, os cursos a distância com tutoria que compõem o

Programa tiveram uma adesão bem acima da média internacional.

Cabe ressaltar que, em função do significativo número de informações quantitativas que compõem

os relatórios do Programa, a proposta de indicadores de desempenho apresentada pela

Coordenação Pedagógica tem a intenção de servir de base para as análises que deverão ser

realizadas com os dados do programa. Inúmeras possibilidades de composição de indicadores e

índices poderão advir a partir da análise destes dados.

Quanto aos indicadores de impacto do Programa, incluídos na formulação dos indicadores como

orientação para uma avaliação posterior ao término das atividades contratadas do alcance dos

resultados obtidos em relação aos objetivos inicialmente propostos, é interessante mencionar o

alinhamento do Programa aos princípios do Plano Nacional de Cultura, especificamente no que se

refere a: qualificar a gestão na área cultural nos setores público e privado; e, profissionalizar e

especializar os agentes e gestores culturais;

45


Também é importante frisar que a Formação de Facilitadores, 4ª etapa do Programa está em

sintonia com o PNC, no que se refere a:

“2.7.16 Capacitar educadores e agentes multiplicadores para a utilização de instrumentos voltados

à formação de uma consciência histórica crítica que incentive a valorização e a preservação do

patrimônio material e imaterial.”

“4.4.1 Desenvolver e gerir programas integrados de formação e capacitação para artistas, autores,

técnicos, gestores, produtores e demais agentes culturais, estimulando a profissionalização, o

empreendedorismo, o uso das tecnologias de informação e comunicação e o fortalecimento da

economia da cultura.”

“4.4.3 Estabelecer parcerias com instituições de ensino técnico e superior, bem como parcerias

com associações e órgãos representativos setoriais, para a criação e o aprimoramento contínuo de

cursos voltados à formação e capacitação de trabalhadores da cultura, gestores técnicos de

instituições e equipamentos culturais.”

A inclusão da perspectiva de análise que considera a aplicação de indicadores de impacto para a

avaliação do Programa na proposta apresentada pela Coordenação Pedagógica visa um horizonte

de médio prazo, fundamental para subsidiar futuros empreendimentos no campo da capacitação do

setor cultural. O que enfatiza o caráter de pioneirismo do Programa, já amplamente demonstrado

na aplicação da tecnologia do ensino a distância, também considerado estratégico para os

propósitos do Plano.Neste sentido, para a construção de um modelo de avaliação de impactos do

Programa de Capacitação em Projetos Culturais será necessário um esforço de pesquisa e

tratamento dos dados e informações mais específico, considerando, em linhas gerais, os passos

descritos a seguir:

a. conceituar cada componente, isto é, determinar os atributos de, por exemplo,

pluridimensional, manifestação cultural, etc;

b. definir cada componente em função do propósito da avaliação;

c. montar os indicadores;

d. definir a forma de cálculo;

e. verificar as fontes existentes de informação;

f. proceder a levantamentos-piloto;

46


g. proceder a testes de validação.

Em síntese, a aplicação de indicadores de desempenho ao Programa de Capacitação em Projetos

Culturais pode ser considerada como um avanço significativo no que diz respeito à avaliação de

programas dessa natureza. A despeito das dificuldades teóricas e conceituais inerentes à

formulação de indicadores específicos para o Setor Cultural, há que se ressaltar o trabalho em

parceria realizado pela Coordenação Pedagógica do Programa e a Coordenação do Ministério da

Cultura, em prol do sucesso da iniciativa.

O potencial analítico que as primeiras análises decorrentes da aplicação dos indicadores imediatos

formulados expõe e ratifica o interesse do Núcleo de Pesquisas em Gestão Cultural da

EBAPE/FGV na condução de estudos e investigações acadêmicas que contribuam

significativamente para o avanço na aplicação de indicadores específicos para o setor cultural.

Documents

Programa de Capacitação em Projetos Culturais Ministério da Cultura