Avaliação da Gestão de Meios Avaliação da Gestão de Meios da Universidade de Brasíliada Universidade de Brasília

FORPLAD - RECIFEFORPLAD - RECIFE

24 a 26 de Março de 201024 a 26 de Março de 2010

Comissão de Reestruturação e Comissão de Reestruturação e Modernização da UnBModernização da UnB

IntroduçãoIntrodução

A Reitoria da Universidade de Brasília A Reitoria da Universidade de Brasília definiu como uma de suas prioridades a definiu como uma de suas prioridades a reestruturação e a modernização da reestruturação e a modernização da UnB e para coordenar as atividades UnB e para coordenar as atividades relacionadas a esta proposta criou a relacionadas a esta proposta criou a Comissão de Reestruturação e Comissão de Reestruturação e Modernização, por meio da Resolução Modernização, por meio da Resolução da Reitoria nda Reitoria noo 20, de 5/3/09. 20, de 5/3/09.

Grupo de PesquisaGrupo de Pesquisa

Necessidade de realização de amplo Necessidade de realização de amplo diagnóstico sobre a gestão de meios da diagnóstico sobre a gestão de meios da UnB.UnB.

Criação de grupo de suporte vinculado ao Criação de grupo de suporte vinculado ao CEAG para o desenvolvimento do projeto, CEAG para o desenvolvimento do projeto, contando com a participação de contando com a participação de consultores de outras IFES.consultores de outras IFES.

Apoio institucional da SPO-MEC, FACE, Apoio institucional da SPO-MEC, FACE, CESPE e CDT.CESPE e CDT.

Objetivos do Grupo de PesquisaObjetivos do Grupo de Pesquisa

Apoiar as atividades da Comissão de Apoiar as atividades da Comissão de Reestruturação e Modernização da Reestruturação e Modernização da Universidade de Brasília com o Universidade de Brasília com o propósito de subsidiar o processo de propósito de subsidiar o processo de tomada de decisão relativo a tomada de decisão relativo a aspectos pertinentes à avaliação da aspectos pertinentes à avaliação da gestão de meios.gestão de meios.

Fases da PesquisaFases da Pesquisa Desenvolvimento do processo de avaliação da gestão Desenvolvimento do processo de avaliação da gestão

de meios da UnB, tendo como referência inicial os de meios da UnB, tendo como referência inicial os estudos já realizados no âmbito do FORPLAD.estudos já realizados no âmbito do FORPLAD.

Aspectos a serem analisados:Aspectos a serem analisados:

gestão de pessoas,gestão de pessoas,

gestão de planejamento, orçamento contabilidade e gestão de planejamento, orçamento contabilidade e

finançasfinanças, ,

gestão da informaçãogestão da informação, ,

gestão de contratos e convêniosgestão de contratos e convênios, ,

gestão de infra-estruturagestão de infra-estrutura

gestão institucionalgestão institucional

MetodologiaMetodologia

Seleção dos itens a avaliar a partir do Seleção dos itens a avaliar a partir do trabalho desenvolvido no FORPLAD;trabalho desenvolvido no FORPLAD;

Elaboração dos questionários – baseado no Elaboração dos questionários – baseado no MCDA (focos, dimensões, critérios, escalas);MCDA (focos, dimensões, critérios, escalas);

Ajuste e validação dos questionários com a Ajuste e validação dos questionários com a participação dos gestores das áreas participação dos gestores das áreas correspondentes; correspondentes;

Elaboração dos questionários eletrônicos Elaboração dos questionários eletrônicos (CESPE);(CESPE);

Seleção e capacitação de entrevistadores;Seleção e capacitação de entrevistadores;

Coleta de dados envolvendo as 66 Unidades Coleta de dados envolvendo as 66 Unidades integrantes do Sistema de Planejamento da integrantes do Sistema de Planejamento da UnB;UnB;

Tratamento dos dados (tabulação e análise Tratamento dos dados (tabulação e análise estatística; aplicação do MCDA);estatística; aplicação do MCDA);

Validação do modelo;Validação do modelo;

Elaboração e apresentação de relatório Elaboração e apresentação de relatório diagnóstico de cada fase do projeto;diagnóstico de cada fase do projeto;

Elaboração e apresentação do relatório final.Elaboração e apresentação do relatório final.

MetodologiaMetodologia(continuação)(continuação)

Integração de Processos (Orçament

o)

Adequação Grupo de Trabalho

(Planejamento)

Adequação estrutura

(Orc.,Contab.,Financ.)

Defin. de Atrib. e

Competências (Planejamento)

Adequação do Grupo Trabalho

(Orc.,Contab., Financ.)

Gestão de Informações (Planejament

o)

Avaliação Instrumentos (Planejamento

)

Modelo de Alocação de

Recursos

Utilização e Participação

(Planejamento)

Gestão de Informações (Orç.,Contab. e Financ)

Nível de Satisfação

Serviç. Prestados -

Planejamento

Gestão de Recursos -

Normas Orçamentári

as

Acompanhamento e Avaliação

do Planejamento

Resultados EsperadosResultados Esperados

Proporcionar informações e análises Proporcionar informações e análises

que possam contribuir para o que possam contribuir para o

aperfeiçoamento dos processos aperfeiçoamento dos processos

relacionados à gestão de meios da UnB, relacionados à gestão de meios da UnB,

a partir do diagnóstico de seu estágio a partir do diagnóstico de seu estágio

atual de desenvolvimento. atual de desenvolvimento.

Instrumento de PesquisaInstrumento de Pesquisa

É elaborado com base na metodologia É elaborado com base na metodologia MCDA – Apoio à Decisão de Múltiplos MCDA – Apoio à Decisão de Múltiplos CritériosCritérios

Estruturado em:Estruturado em:

▪ ▪ focosfocos – relativos aos grandes temas abordados – relativos aos grandes temas abordados

▪ ▪ dimensõesdimensões – conjunto de fatores que explicam – conjunto de fatores que explicam os vários ângulos do tema abordadoos vários ângulos do tema abordado

▪ ▪ critérioscritérios – referem-se aos aspectos que – referem-se aos aspectos que permitem avaliar o desempenho da Unidade em permitem avaliar o desempenho da Unidade em uma dimensão estudadauma dimensão estudada

Gestão de PessoasGestão de PessoasFase 1 da PesquisaFase 1 da Pesquisa

Características da PesquisaCaracterísticas da Pesquisa

Universo dos respondentes: 66 Universo dos respondentes: 66 Unidades integrantes do Sistema de Unidades integrantes do Sistema de Planejamento da Universidade de Planejamento da Universidade de Brasília;Brasília;

Respondentes: número de pessoas Respondentes: número de pessoas indicadasindicadas

Questionário – 54 questões fechadas e Questionário – 54 questões fechadas e 7 questões abertas7 questões abertas

FocosFocos do Questionário (itens)do Questionário (itens)

FOCO 1

FOCO 2

FOCO 3

FOCO 4

FOCO 5

FOCO 6

Gestão de Planejamento, Gestão de Planejamento, Orçamento e FinançasOrçamento e Finanças

Fase 2 da PesquisaFase 2 da Pesquisa

2ª Etapa da Pesquisa -2ª Etapa da Pesquisa -Focos do QuestionárioFocos do Questionário

Foco 1Gestão do Planejamento

Gestão do Planejamento,Orçamento, Contabilidade e

Finanças

Foco 2Gestão do Orçamento,

Contabilidade eFinanças

Foco 3Gestão Universitária

2ª Etapa da Pesquisa -2ª Etapa da Pesquisa -Gestão do Planejamento, Orçamento, Gestão do Planejamento, Orçamento,

Contabilidade e FinançasContabilidade e Finanças

foco 1 – Gestão do Planejamento foco 1 – Gestão do Planejamento ▪ ▪ 7 dimensões, 20 critérios objetivos e 4 critérios subjetivos 7 dimensões, 20 critérios objetivos e 4 critérios subjetivos

(questões abertas)(questões abertas)

foco 2 – Gestão do Orçamento, Contabilidade e foco 2 – Gestão do Orçamento, Contabilidade e FinançasFinanças

▪ ▪ 6 dimensões, 16 critérios objetivos e 4 critérios subjetivos6 dimensões, 16 critérios objetivos e 4 critérios subjetivos

foco 3 – Gestão Universitáriafoco 3 – Gestão Universitária ▪ ▪ 1 dimensão, 6 critérios objetivos e 1 critério subjetivo1 dimensão, 6 critérios objetivos e 1 critério subjetivo

Foco 1Foco 1

Gestão do Planejamento

Abrangência e Participação noPlanejamento

Instrumentos, Objetivose Diretrizes

do Planejamento

Acompanhamento eAvaliação do Planejamento

Aferição de Resultados

Adequação do Grupo de Pessoas

Informações para o Planejamento

Definição de Atribuiçõese Competências

Foco 2Foco 2

Gestão Orçamentária, Contábil e Financeira

Gestão de Recursos eNormas Orçamentárias

Adequação da Estrutura Funcional

Modelo de Gestão deRecursos da Unidade

Adequação do Grupo de Pessoas

Gestão de Informaçõespara Orçamento,

Contabilidade e Finanças

Integração dos Processos de Gestão

Orçamentário-financeira

Foco 3Foco 3

● ● Critério respondido apenas pelas Critério respondido apenas pelas unidades gestoras vinculadas unidades gestoras vinculadas diretamente à administração central da diretamente à administração central da UniversidadeUniversidade

Gestão Universitária

Outros Temas Relevantes

Exemplo - Exemplo - focofoco 1 – questão objetiva 1 – questão objetiva Dimensão 2Dimensão 2: Acompanhamento e : Acompanhamento e

avaliação do planejamento (PDI e PAA)avaliação do planejamento (PDI e PAA)

Critério 8Critério 8: : Quais são as práticas de acompanhamento adotadas pela unidade em relação ao PDI e PAA?

a)a) A Unidade acompanha a execução dos seus PDI A Unidade acompanha a execução dos seus PDI e PAAe PAA

b)b) Apenas acompanha a execução do seu PDIApenas acompanha a execução do seu PDI

c)c) Apenas acompanha a execução do seu PAAApenas acompanha a execução do seu PAA

d)d) A Unidade não acompanha a execução dos A Unidade não acompanha a execução dos instrumentos de planejamentoinstrumentos de planejamento

Exemplo – foco 1 - questão abertaExemplo – foco 1 - questão aberta Dimensão 7Dimensão 7: Definição de atribuições e : Definição de atribuições e

competências na gestão do planejamento:competências na gestão do planejamento:

Critério 21Critério 21: : Cite até 3 (três) principais Cite até 3 (três) principais características da Gestão de Planejamento na características da Gestão de Planejamento na sua Unidade. sua Unidade.

Pense em características como: efetiva/ não Pense em características como: efetiva/ não efetiva, participativa/não participativa, bem efetiva, participativa/não participativa, bem estruturada/ desestruturada, estruturada/ desestruturada, moderna/antiquada, bem sucedida/mal moderna/antiquada, bem sucedida/mal sucedida, importante/irrelevante, útil/inútil ou sucedida, importante/irrelevante, útil/inútil ou outra característica que você quiser outra característica que você quiser mencionar. Se possível, justifique sua mencionar. Se possível, justifique sua resposta.resposta.

Estágio Atual do ProjetoEstágio Atual do Projeto

Avaliação da área de Gestão de Pessoas Avaliação da área de Gestão de Pessoas concluída;concluída;

Relatório de Gestão de Pessoas concluído;Relatório de Gestão de Pessoas concluído; Avaliação da área de Planejamento, Orçamento, Avaliação da área de Planejamento, Orçamento,

Contabilidade e Finanças concluída;Contabilidade e Finanças concluída; Relatório concluído;Relatório concluído; Modelo MCDA para Planejamento, Orçamento, Modelo MCDA para Planejamento, Orçamento,

Contabilidade e Finanças validado (análise de Contabilidade e Finanças validado (análise de sensibilidade).sensibilidade).

Perspectivas para Utilização do Modelo Perspectivas para Utilização do Modelo como Ferramenta de Apoio à Avaliação como Ferramenta de Apoio à Avaliação

da Gestão de Meios das IFESda Gestão de Meios das IFES Aplicável a cada instituição individualmente Aplicável a cada instituição individualmente

(customizado)(customizado) Aplicável a todo Sistema IFES (padrão)Aplicável a todo Sistema IFES (padrão) Resultados podem ser apresentados por critério, Resultados podem ser apresentados por critério,

dimensão, foco e pontuação global da IFESdimensão, foco e pontuação global da IFES Resultados podem ser apresentados por área de Resultados podem ser apresentados por área de

análise ou englobando toda a gestão de meiosanálise ou englobando toda a gestão de meios Incentivo à disseminação da cultura já existente de Incentivo à disseminação da cultura já existente de

adoção de melhores práticas de gestão nas IFESadoção de melhores práticas de gestão nas IFES Possibilidade de definição de “descritores” Possibilidade de definição de “descritores”

auditáveis para critérios, dimensões e focosauditáveis para critérios, dimensões e focos

Aplicação do MCDAAplicação do MCDAFase 3Fase 3

Aplicação da Metodologia Multicritério de Apoio à Decisão

MCDA

O objetivo dessa ferramenta é aferir o desempenho da

gestão por meio de critérios avaliativos condizentes

com a situação real do problema estudado e

apresentar um conjunto de soluções numéricas que

auxilie no processo de tomada de decisão.

Aplicação da Metodologia Multicritério de Apoio à Decisão

MCDA

O MCDA tem um caráter pioneiro e inovador, e

combina dois elementos fundamentais:

• Avaliação por meio de um conjunto de critérios

construídos especialmente pelo grupo de

pesquisa para o diagnóstico das várias dimensões

da gestão;

• Utilização de técnicas analíticas avançadas, de

caráter quantitativo, que permitem a identificação

clara e objetiva dos hiatos de capacidade

existentes, assim como o acompanhamento da

redução desses hiatos.

Resultado Aplicação - MCDA

Tais técnicas têm como base uma

metodologia de análise que processa,

integra e retrata, gráfica e

numericamente, a realidade captada por

um conjunto complexo de critérios.

Foco

Dimensão

Árvore de Critérios - MCDA

Foco 1: Gestão do PlanejamentoDimensão 1: Instrumentos de Planejamento (Plano Quinquenal-PQ, Plano de

Desenvolvimento Institucional-PDI e Plano Anual de Atividades-PAA)Nesse primeiro bloco de perguntas, gostaríamos de conhecer um pouco sobre as práticas de planejamento na sua Unidade e como ela faz uso dos instrumentos que compõem o

sistema de planejamento da UnB (Plano Quinquenal- PQ, Plano de Desenvolvimento Institucional - PDI e Plano Anual de Atividades - PAA)

Critério 1 Como você avalia o Plano Quinquenal da UnB?

a Muito bomb Bomc Nem bom nem ruimd RegularE Ruim

F Não sabe responder ou não quer responder essa questão

Questionário Gestão de Meios - Planejamento,

Orçamento, Contabilidade e Finanças

Mensuração do Questionário - MCDA

Critério -1 - Como você avalia o Plano Quinquenal da UnB?

Pontuação Assinale Alternativa Descrição

100 a Muito bom

75 X b Bom

57 c Nem bom nem ruim

29 d Regular

0 E Ruim

Ordenação da Intensidade de PreferênciaSoftware - Macbethe

Pesos dos Focos e das Dimensões

60% 40%

13%13%

22%12%

15%20%

5%

Peso A B C D E F.........................L ................ ................V

Avaliação das Unidades por Foco

Peso A B C...........................L...........................................V

Avaliação das Unidades por Dimensão

A análise de dominância auxilia na comparação entre dois

focos ou dimensões, permitindo que se tenha uma visão geral

das unidades analisadas (administrativas e/ou acadêmicas)

que dominam ou que são dominadas. O gráfico apresenta uma

área delimitada pela Fronteira Eficiente onde estão

localizadas todas as unidades avaliadas. As unidades mais

próximas ou sobre a Fronteira Eficiente são as que

apresentam melhores desempenhos. Desta forma, as unidades

mais afastadas da Fronteira Eficiente são as que apresentam

desempenho inferior.

Análise de Dominância

Análise de Dominância

ANÁLISE DE SENSIBILIDADE,

ESTABILIDADE E ROBUSTEZ DO MODELO

A Análise de Sensibilidade objetiva examinar a robustez dos

resultados obtidos frente à variação nos pesos atribuídos aos focos

e/ou dimensões. Esta análise afere se uma variação de 10%, para

mais ou para menos, nos pesos inicialmente atribuídos aos focos

e/ou dimensões causa uma grande variação na pontuação geral,

alterando a ordenação das Unidades. É uma fase importante na

aplicação do Modelo MCDA, contribuindo para controlar os efeitos da

subjetividade na determinação inicial dos valores dos pesos. Desta

forma gera conhecimento sobre o problema e aumenta a robustez e

confiança nos resultados obtidos.

ANÁLISE DE SENSIBILIDADE

ANÁLISE ESTATÍSTICA DA AVALIAÇÃO DA UnB

Medidas Estatísticas

1 - Avaliação dos Instrumento de

Planejamento 7,8 %

2 - Utilização e Participação no

Planejamento 7,8%

3 - Acompanhamento e

Avaliação do Planejamento

13,2%

Média 58,2 56,9 74,4

Erro padrão 4,7 4,7 4,0

Mediana 57 57 80

Moda 57 79 80

Desvio padrão 28,7 28,4 24,5

Variância 821,6 807,1 602,0

Curtose -0,2 -0,3 3,5

Assimetria -0,7 -0,6 -1,8

Equipe de AvaliadoresEquipe de Avaliadores

CoordenaçãoCoordenação– José Carlos Figurelli (FURG)José Carlos Figurelli (FURG)– Mario Kobus (UFSC)Mario Kobus (UFSC)

Equipe da UnBEquipe da UnB– Marcelo QuirinoMarcelo Quirino– Nair MirandaNair Miranda– Paulo Calmon (coordenador do CEAG)Paulo Calmon (coordenador do CEAG)– Rondon de Andrade Rondon de Andrade – Talita CavalcantiTalita Cavalcanti– Juliana FreitasJuliana Freitas

Apoio Técnico Apoio Técnico – CDTCDT– CESPECESPE