Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Uma análise dos destaques e oportunidades sobre o tema Avaliação de Desempenho na Regulação de Serviços Públicos
Sandra Rolim Ensslin, Dra. ([email protected]) Professora do programa de Pós-Graduação em Contabilidade da Universidade Federal de Santa Catarina (PPGC/UFSC). Leonardo Ensslin, Ph.D. ([email protected]) Professor do programa de Pós-Graduação em Administração da Universidade do Sul de Santa Catarina (UNISUL). Lucas dos Santos Matos ([email protected]) Mestrando do programa de Pós-Graduação em Contabilidade da Universidade Federal de Santa Catarina (PPGC/UFSC). Vicente Mateo Ripoll-Feliu, Ph.D. ([email protected]) Professor Titular de Universitat Valencia, Espanha. Área Temática: A5) Contabilidade de Gestão/Analítica
RESUMO Esta pesquisa, de natureza exploratório-descritiva, com abordagem qualitativa e quantitativa, objetiva selecionar um Portfólio Bibliográfico (PB) sobre o tema Avaliação de Desempenho na Regulação de Serviços Públicos e, a partir desse PB, realizar um mapeamento sobre estas publicações, e realizar uma análise sistêmica. Pra tal, fora selecionado o processo Knowledge Development Process – Constructivist (ProKnow-C). O resultado foi um PB composto por 16 artigos científicos com reconhecimento e, para estes artigos, evidenciou-se os principais periódicos, artigos, autores e palavras-chave sobre o tema. A análise de conteúdo possibilitou encontrar destaques e oportunidades para pesquisas futuras. Palavras-chave: Avaliação de Desempenho; Regulação; Serviços Públicos; ProKnow-C; Análise Sistêmica. ABSTRACT This study, characterized as exploratory and descriptive with qualitative and quantitative approach, aims to choose a set of scientific articles about Performance Measurement in public utilities regulation and, by that articles, perform a mapping on these publications, and conduct a systemic analysis. To this end, the process selected was Knowledge Development Process - Constructivst (ProKnow - C). The result was a set of scientific articles compound by 16 acknowledged papers and, for these papers, showed up the main periodicals, papers, authors and keywords on the topic. The content analysis allowed to find highlights and opportunities for future research. Keywords: Performance Measurement; Regulation; Public Utilities; ProKnow-C; Systemic Analysis. 1. INTRODUÇÃO
As privatizações dos serviços públicos nos países desenvolvidos e em
desenvolvimento, pelo seu porte e importância relativa regional e nacional, obrigou as
instituições regulatórias a desenvolverem instrumentos que lhes permitisse assegurar uma
operação não monopolizadora. As privatizações devem-se ao crescimento desproporcional
entre a demanda da sociedade e as possibilidades do Estado na prestação de serviços públicos.
Como solução para este problema, diminuiu-se a participação do Estado trocando a execução
da prestação dos serviços públicos pela fiscalização (JAMASB, POLLITT, 2001; ROCHA,
2004; TUPPER, RESENDE, 2004).
A partir da privatização e desestatização dos serviços públicos, de telecomunicações,
energia, saneamento e transportes, o Estado passa a regular estes serviços, de forma a garantir
o equilíbrio econômico e defender os interesses públicos. (STERN, HOLDER, 1999;
JAMASB et al., 2004; KISSLER; HEIDEMANN, 2006; MARQUES, SIMÕES, 2008). A
privatização dos serviços aplica ainda a promoção da concorrência nesses mercados,
exigindo-se eficiência dos prestadores (POMBO, TABORDA, 2006). Desta forma, deixa-se
de lado a prestação, onde se concentrava a propriedade, a produção e o controle, e inicia-se a
regulação e fiscalização dos serviços públicos (PECI, CAVALCANTI, 2002).
Torna-se importante, assim, mensurar o desempenho desses mercados regulados e da
própria estrutura regulatória, quanto ao alcance dos propósitos da regulação, para os gestores,
para que possam tomar decisões embasados em dados e informações seguras e fidedignas, e
para a sociedade, como forma de prestar contas e otimizar a transparência das informações.
No geral, para avaliar a qualidade da regulação são utilizados alguns métodos, como
a Análise do Impacto Regulatório (AIR), que consiste na análise e avaliação dos possíveis
benefícios, custos e impactos de regulamentações novas ou já existentes (PECI, 2010), mas
ainda são poucos (TUPPER, RESENDE, 2004). Tupper e Resende (2004) ainda apontam o
uso da ROR (rate-of-return regulation), mas afirmam que são pobres os resultados por ela
trazidos.
Além destes métodos de mensuração de desempenho, é importante também conhecer
o que há publicado cientificamente sobre o tema, bem como conhecer quem são os principais
autores, artigos, periódicos mais receptivos ao tema, e a linguagem utilizada pela comunidade
científica. Conhecendo-se estas variáveis, faz-se necessário, aprofundar o entendimento das
contribuições das publicações cientificas dessa área realizando a análise de conteúdo desses
materiais, posicionando-se de forma a encontrar destaques e oportunidades sobre o tema,
conforme indicam Chaves et al. (2013).
Evidenciada a importância do tema e as dificuldades salientadas, surge a pergunta de
pesquisa que balizará o seguimento deste trabalho: Como realizar a seleção de um Portfólio
Bibliográfico alinhado ao tema e com reconhecimento científico, e, a partir deste, sua
bibliometria e análise sistêmica para o tema avaliação de desempenho na regulação de
serviços públicos, segundo a percepção dos pesquisadores?
Almejando responder a pergunta de pesquisa, definiu-se como objetivo do presente
artigo realizar o mapeamento e análise de uma seleção de artigos sobre o tema avaliação de
desempenho na regulação de serviços públicos, segundo a visão construtivista.
Para atingir o objetivo definido será necessário realizar:
(i) Seleção de um Portfólio Bibliográfico sobre o tema;
(ii) Análise bibliométrica dos artigos do Portfólio Bibliográfico selecionado, e suas
referências, para conhecer os principais periódicos, autores, artigos e palavras-
chave;
(iii) Análise sistêmica dos artigos do Portfólio Bibliográfico selecionado, com base
na afiliação teórica de avaliação de desempenho;
(iv) Identificação das lacunas na literatura e sugerir oportunidades de pesquisas
futuras.
Para realização desta pesquisa, utilizar-se-á como instrumento de intervenção o
processo estruturado Knowledge Development Process – Constructivist (Proknow-C).
Evidencia-se a relevância desta pesquisa devido a apresentação de um processo para
a construção de conhecimento sobre um tema pouco abordado, além de apresentar o
conhecimento gerado para a comunidade científica.
Assim, esse artigo se apresenta em cinco seções, além dessa introdução. A seção
seguinte se encontra o enquadramento metodológico da presente pesquisa e apresentação do
instrumento de intervenção. Na terceira seção são apresentados os resultados obtidos a partir
do ProKnow-C para a seleção do Portfólio Bibliográfico (PB), realiza-se a análise
bibliométrica do PB, e por fim realiza-se a análise de conteúdo desse PB. A quarta seção
apresenta as conclusões e oportunidade de pesquisas futuras. Por fim, o artigo apresenta as
referências bibliográficas utilizadas ao longo do texto.
2. METODOLOGIA DE PESQUISA
O objetivo desta seção é sustentar metodologicamente o presente trabalho científico,
possibilitando aos leitores, ainda, a apresentação dos processos utilizados para atingir os
resultados finais. A seção está divida em duas partes: (i) o enquadramento metodológico da
pesquisa; e, (ii) o instrumento de intervenção.
2.1. Enquadramento Metodológico
O enquadramento metodológico é entendido como a análise, a descrição ou a
explicação das abordagens e procedimentos empregados durante a pesquisa para especificar o
conjunto de métodos de pressupostos filosóficos ou disciplinas, os quais fundamentam os
temas ou finalidades que explicam ou esclarecem o estudo particular para o método científico
(TASCA et al., 2010; ROSA et al., 2011).
Procura-se definir aqui o enquadramento metodológico da pesquisa, dividindo-se em
seis subseções: i) o objetivo da pesquisa; ii) a lógica da pesquisa; iii) o processo da pesquisa;
iv) o resultado da pesquisa; v) os procedimentos técnicos; e vi) o instrumento de intervenção a
ser utilizado na pesquisa.
A presente pesquisa, em relação a natureza de seu objetivo, caracteriza-se como
exploratório-descritiva. Exploratória, pois tem como finalidade construir no pesquisador o
conhecimento sobre o tema, por meio do processo de seleção e análise dos artigos científicos
publicados em periódicos, a partir das delimitações impostas pelos pesquisadores. Descritiva,
pois descreve as características dos artigos que compõem o Portfólio Bibliográfico (GIL,
1999).
Quanto à natureza do artigo, a pesquisa classifica-se como teórico-ilustrativa, pois
busca consolidar informações da literatura sobre avaliação de desempenho na regulação de
serviços públicos, orientando a prática e a estrutura a serem seguidos durante a pesquisa
(ALAVI; CARLSON, 1992).
Em relação a lógica, a pesquisa caracteriza-se como indutiva, visto que parte de uma
abordagem geral para uma abordagem específica.
A coleta de dados da pesquisa utilizará os dados primários e os dados secundários.
As próprias delimitações estabelecidas pelos pesquisadores em diversas etapas do processo.
Os dados secundários são obtidos a partir das publicações científicas (RICHARDSON, 1999).
Quanto à abordagem do problema, em relação ao processo de pesquisa, o trabalho é
caracterizado, ao mesmo tempo, como qualitativo e quantitativo. A abordagem qualitativa fica
evidenciada durante o subprocesso de seleção dos artigos que farão parte do Portfólio
Bibliográfico, conforme as delimitações dos pesquisadores e durante a análise de conteúdo
dos artigos do PB. A abordagem quantitativa fica evidenciada no subprocesso de análise
bibliométrica do PB, durante a contagem das variáveis definidas (RICHARDSON, 1999).
O resultado da pesquisa é caracterizado como aplicada. Essa característica é
evidenciada a partir de seu objetivo, que é gerar conhecimento para aplicação à solução de
problemas específicos, coletando-se dados com base em uma metodologia estruturada e
analisando-os segundo procedimentos estruturados.
Quanto aos procedimentos técnicos, a pesquisa é caracterizada como bibliográfica,
uma vez que é realizada a partir da análise de publicações científicas, com contribuição de
diferentes autores sobre o tema, com acesso intermediado via Coordenação de
Aperfeiçoamento de Pessoal de Nível Superior (CAPES), sendo reconhecidas no domínio
científico (GIL, 1999; SÁ-SILVA et al., 2009). A pesquisa é, também, caracterizada como
pesquisa-ação, pois os pesquisadores estão envolvidos de modo cooperativo e participativo
para resolução do problema, apresentando, por exemplo, durante a reanálise das palavras-
chave (GIL, 1999).
O instrumento de intervenção utilizado foi o processo de revisão bibliográfica
denominado Knowledge Development Process – Construtivist (ProKnow-C), que, de forma
estruturada, delineia e apresenta um processo para gerar, no pesquisador, o conhecimento
necessário para investigar um tema (BORTOLUZZI et al., 2011; LACERDA et al., 2011a). A
figura 1 apresenta, esquematicamente, o resumo do enquadramento metodológico descrito
acima.
Figura 1 - Enquadramento metodológico da pesquisa
Fonte: adaptado de Lacerda et al. (2012).
2.2. Instrumento de intervenção (ProKnow-C)
O instrumento de intervenção utilizado é o ProKnow-C, cujo objetivo é construir
conhecimento a partir dos interesses e delimitações impostas pelo pesquisador, segundo a
visão construtivista. O processo ProKnow-C é composto por quatro macro etapas: i) seleção
de um portfólio de artigos sobre o tema da pesquisa; ii) análise bibliométrica; iii) análise
sistêmica; e iv) definição da pergunta de pesquisa e objetivo de pesquisa (CHAVES et al.,
2013). As quatro macro etapas podem ser observadas na Figura 2.
Figura 2 – Resumo do processo ProKnow-C
Fonte: Lacerda et al., 2012.
Sobre o processo de seleção do Portfólio Bibliográfico, a metodologia consiste em
uma série de procedimentos sequenciais que têm início na definição do mecanismo de busca
de artigos científicos a ser utilizado, seguido por processos pré-estabelecidos para atingir a
fase de filtragem e seleção de portfólio bibliográfico relevante sobre o tema (AFONSO et al.,
2011; BORTOLUZZI et al., 2011; LACERDA et al., 2012). Deve-se salientar que estes
artigos correspondem aos que mais se destacaram em termos de reconhecimento científico e
alinhamento sobre o tema, segundo a percepção dos pesquisadores.
A próxima etapa consiste na realização da análise bibliométrica dos artigos do
Portfólio Bibliográfico, para verificar quais são os principais periódicos e seus fatores de
impacto, artigos, autores e palavras-chave referentes ao tema definido. Realizando-se, assim,
o mapeamento do tema (CHAVES et al., 2013). Lacerda et al. (2012) definem bibliometria
como “processo de evidenciação quantitativa dos dados estatísticos de um conjunto definido
de artigos (Portfólio Bibliográfico) para a gestão da informação e do conhecimento científico
de um dado assunto, realizado por meio da contagem de documentos”.
Após a realização da bibliometria, parte-se para a realização da análise sistêmica dos
artigos do PB. Esta análise é definida por Chaves et al. (2013) como “processo científico
utilizado para, a partir de uma visão de mundo (filiação teórica) definida e explicitada por
suas lentes, analisar uma amostra de artigos representativa de um dado assunto de pesquisa,
buscando evidenciar para cada lente e globalmente, para a perspectiva estabelecida, os
destaques e as oportunidades (carências) de conhecimentos encontrados na amostra”.
Esta visão de mundo, ou filiação teórica, cria os fundamentos para a definição de
Avaliação de Desempenho a ser utilizada nesse trabalho. Segundo Chaves et al. (2013):
Avaliação de Desempenho é o processo para construir conhecimento no decisor (1), a respeito do contexto específico (2) que se propõe avaliar, a partir da percepção do próprio decisor (3) por meio de atividades que identificam, organizam, mensuram (4) ordinalmente e cardinalmente, integram (5) permitem visualizar o impacto das ações e seu gerenciamento (6).
A análise sistêmica é realizada segundo critérios, denominados como lentes,
conforme indicado na Figura 3.
Figura 3 – Lentes da Análise Sistêmica do ProKnow-C
Fonte: Chaves et al. (2013)
A partir da análise do conteúdo do PB, são identificadas, para cada lente, as lacunas.
Para cada lente são sugeridas oportunidades de pesquisa para o tema. Este conhecimento
permite aos pesquisadores definir uma pergunta de pesquisa para trabalhos futuros (CHAVES
et al., 2013).
3. RESULTADOS
O objetivo nesta seção é mostrar os resultados da pesquisa em termos de seleção de
artigos para com por: (i) um Portfólio Bibliográfico (PB; (ii) a análise bibliométrica; e, (iii) a
análise sistêmica.
3.1. Processo de busca de artigos para formar o Portfólio Bibliográfico
Para seleção do Portfólio Bibliográfico do tema de pesquisa, o processo é constituído
de três fases principais. Primeiramente, dá-se a seleção do banco de artigos brutos; em
seguida a filtragem do banco de artigos; e, por fim, o teste de representatividade do PB
(ROSA et al., 2011).
A primeira fase, seleção de artigos brutos, é subdividida em três etapas, que são: (i)
Definição das palavras-chave; (ii) definição das bases de dados; e (iii) buscar artigos nas
bases de dados com as palavras-chave (BORTOLUZZI et al., 2011).
Já a segunda fase, filtragem do banco de artigos, é subdividida em cinco etapas,
assim dispostas: (i) eliminação de artigos repetidos; (ii) alinhamento pela leitura do título; (iii)
alinhamento quanto ao reconhecimento científico; (iv) alinhamento pela leitura do resumo; e,
(v) alinhamento pela leitura integral dos artigos. Ao final dessa fase tem-se os Artigos
Primários do Portfólio Bibliográfico.
O teste de representatividade do PB, terceira fase, é responsável por resgatar artigos
possivelmente descartados em processos anteriores, por meio da análise das referências dos
Artigos Primários do PB.
A etapa de seleção do portfólio de artigos permite compor um Portfólio
Bibliográfico, constituído pelos artigos considerados mais relevantes na área de conhecimento
relativa ao tema de pesquisa, alinhados com a percepção dos pesquisadores, conforme as
delimitações estabelecidas, pelos mesmos (pesquisadores), para a pesquisa. O resultado da
seleção de portfólio de artigos é um conjunto de artigos considerados relevantes pelo
pesquisador e que estejam alinhados com o tema definido para a pesquisa. Denomina-se esse
conjunto de artigos como Portfólio Bibliográfico (LACERDA et al., 2012).
Para Ensslin et al. (2012), o Portfólio Bibliográfico é um conjunto restrito de
publicações com reconhecimento e destaque científico, com Título, Resumo e Conteúdo
Completo, alinhados com um determinado tema segundo a percepção e delimitações de um
pesquisador.
Deve-se salientar que a buscar pelos artigos que compõem o PB fora realizada entre
a data de 31 de março de 2013 e 02 de abril de 2013.
3.1.1. SELEÇÃO DO BANCO DE ARTIGOS BRUTOS
Para dar-se início a etapa de Seleção do Banco de Artigos Brutos é necessária a
definição dos eixos de pesquisa, realizada segundo a percepção dos pesquisadores. O primeiro
e o segundo eixo estão intrinsecamente ligados ao tema central do trabalho, ou seja,
Regulação e Serviços Públicos. O terceiro está relacionado à necessidade de gerar
conhecimento nos pesquisadores em relação ao contexto, permitindo seu monitoramento e
aperfeiçoamento. Desta forma, é justificado como terceiro eixo a Avaliação de Desempenho.
Assim, a etapa de Seleção do Banco de Artigos Brutos é composta por quatro fases
distintas: (a) definição das palavras-chave; (b) definição dos bancos de dados; (c) busca dos
artigos nos bancos de dados com as palavras-chave; e (d) realização de teste de aderência das
palavras-chave (AFONSO et al., 2011).
a) Definição das palavras-chave:
Foram definidas as palavras-chave iniciais para os três eixos de pesquisa descritos
anteriormente: Eixo 1 – Regulação; Eixo 2 - Serviços Públicos; e, Eixo 3 – Avaliação de
Desempenho. Esta etapa resultou a definição de quatro palavras-chave para o primeiro eixo,
seis palavras chave para o segundo eixo e seis palavras-chave para o segundo. Resulta-se,
então, a partir das combinações das palavras-chave dos eixos de pesquisa, um total de 120
combinações de palavras-chave a serem utilizadas na busca por artigos dentro das bases de
dados de publicações disponibilizadas pela CAPES. As palavras-chave utilizadas no Eixo 1
foram: “REGULATION”, “REGULATOR”, “REGULATED” e “REGULATORY” . No eixo
2, foram definidas as seguintes palavras-chave: “PUBLIC UTILITIES”, “PUBLIC
SERVICES”, “PUBLIC SECTOR”, “UTILITY”, “REGULATED FIRMS” e “UTILITY
PRIVATED”. O terceiro eixo apresentou as seguintes palavras chave “PERFORMANCE
MEASUREMENT”, “PERFORMANCE ASSESSMENT”, “PERFORMANCE
EVALUATION”, “PERFORMANCE ANALYSIS” e “PERFORMANCE APPRAISAL”.
b) Definição dos bancos de dados:
Em seguida, procurou-se pelas bases de dados para a realização da pesquisa. Os
critérios utilizados para seleção das bases de dados foram que as bases de dados deveriam: (i)
constar no Portal de Periódicos da CAPES; (ii) estar em uma das seguintes três grandes áreas
da CAPES: Ciências Sociais Aplicadas, Engenharias e Multidisciplinar, sendo essas três
grandes áreas as mais alinhadas com o tema da pesquisa; (iii) disponibilizar ferramenta de
busca com a possibilidade de uso de expressões booleanas; (iv) ter ferramentas que
disponibilizassem a possibilidade de pesquisar nos campos: título (article title), resumo
(abstract) e palavras-chave (keywords). Outros critérios estabelecidos para as buscas foram a
limitação temporal de 13 anos (2000 a 2013) e o tipo de publicação (apenas do tipo Journal
Article).
Na sequência verificou-se o alinhamento das palavras-chave nas bases de dados, por
meio da quantidade de artigos para as combinações de palavras-chave. A seleção das bases de
dados deu-se a partir da verificação das bases que permitam acesso integral via portal da
CAPES. Fora definido que as bases deveriam constar nas coleções de Ciências Sociais
Aplicadas e Engenharia, e permitir a busca em Título, Resumo e Palavras-chave, utilizando-se
de operações booleanas. Em um primeiro momento, foram selecionadas doze bases de dados,
passando-se a teste de representatividade. As referidas bases foram: INGENTA CONNECT,
ISI WEB OF KNOWLEDGE, HIGHWIRE, SCOPUS, PROQUEST, EMERALD,
SCIENCEDIRECT, EBSCO UFSC, EBSCO, JSTOR, ENGINEERING VILLAGE e WILEY
Definiu-se como número mínimo de resultados para que a base continuasse no
processo apenas um artigo. Atingiu-se o resultado desejado com dez bases de dados:
INGENTA CONNECT, ISI WEB OF KNOWLEDGE, HIGHWIRE, SCOPUS, PROQUEST,
EMERALD, SCIENCEDIRECT, EBSCO UFSC, EBSCO, JSTOR, ENGINEERING VILLAGE
e WILEY. As bases EBSCO e JSTOR foram eliminadas, pois não retornaram resultados para
as combinações anteriormente definidas.
c) Busca dos artigos nos bancos de dados com as palavras-chave:
Essa etapa consistiu em realizar a busca em cada base de dados por meio das
combinações de palavras-chave. As 120 combinações de palavras-chave pesquisadas nas 10
bases de dados resultaram em 485 publicações que passaram a compor um portfólio inicial
denominado Banco de Artigos Brutos. Foram utilizadas delimitações durante as buscas.
Dentre as delimitações podemos citar a limitação temporal, partindo dos artigos publicados a
partir do ano 2000 até a realização da referida etapa desta pesquisa (abril/2013), somente são
aceitos artigos provenientes de revistas científicas e as pesquisas são realizadas apenas nos
títulos, resumos e palavras-chave dos artigos.
d) Realização de teste de aderência das palavras-chave:
Por fim, para conclusão da fase de seleção do banco de artigos brutos para formar o
Portfólio Bibliográfico sobre “Avaliação de Desempenho na Regulação de Serviços
Públicos”, fora realizado o teste de aderência das palavras-chave. Se necessário, novas
palavras-chave devem ser incorporadas ao rol destas e uma nova busca é realizada com a
palavra-chave incluída. Para a realização do teste de aderência foram selecionados,
aleatoriamente, seis artigos dentre as 485 publicações que compõe o Banco de Artigos Brutos.
Foram identificadas as palavras-chave de cada um dos artigos selecionados, sendo verificado
se estas palavras-chave coincidiam com aquelas definidas para a pesquisa. Como resultado
foram identificadas 33 palavras-chave pertencentes aos seis artigos selecionados, onde
verificou-se que a palavra-chave “Performance Indicators” é relevante para a pesquisa e foi
agregada a às anteriores, realizando-se uma nova pesquisa.
A nova pesquisa totalizou o número de 613 artigos, utilizando-se das 144
combinações agora definidas. Um novo teste de aderência é realizado, selecionando-se cinco
artigos desta vez. Como resultado do teste, ficou evidenciado que, foram elicitadas 26
palavras-chave pertencentes aos cinco artigos, mas nenhuma nova palavra-chave foi
adicionada. Desta forma, avançou-se ao desenvolvimento da próxima etapa, Filtragem do
Banco de Artigos Brutos.
3.1.2. FILTRAGEM DO BANCO DE ARTIGOS BRUTOS
Na etapa de filtragem do Banco de Artigos Brutos os 613 artigos do Banco de
Artigos Brutos foram avaliados quanto aos seguintes aspectos: i) se os artigos não estão
repetidos (redundância); ii) se os títulos dos artigos estão alinhados com o tema da pesquisa;
iii) se os artigos possuem reconhecimento científico; iv) se os resumos dos artigos estão
alinhados com o tema da pesquisa; e v) se o texto integral dos artigos está alinhado com o
tema da pesquisa (TASCA, et al., 2010).
O primeiro aspecto, verificação de redundância dos artigos, consistiu na importação
dos artigos para um software de gerenciamento bibliográfico. Desta forma, importou-se para o
software Endnote (THE THOMSON..., 2008) os 613 artigos do banco de artigos bruto. Após
a importação, o software permite a exclusão dos artigos repetidos. Desta forma, foram
excluídos 191 artigos repetidos e restaram 422 artigos não repetidos.
Na análise quanto ao alinhamento do título em relação ao tema da pesquisa, foi
detectado que uma quantidade considerável de artigos selecionados estava direcionada à área
da medicina, psicologia, farmácia, etc., portanto, estando fora do escopo da pesquisa, sendo
removidos, entre outros motivos, 332 artigos. Restaram 90 artigos não duplicados e com o
título alinhado ao tema da pesquisa. Deve-se salientar que foram excluídos aqueles artigos
que apresentaram total desalinhamento com a pesquisa, e, na dúvida, foram mantidos para
análise mais detalhada nas fases seguintes.
A próxima fase consiste em verificar o reconhecimento científico dos artigos. Neste
processo o reconhecimento científico é aferido pelas citações em outros trabalhos científicos.
Assim, identificou-se a quantidade de vezes que cada artigo foi citado. Para fins de
padronização buscou-se a quantidade de citações de cada artigo no ambiente Google Scholar.
Ficou estabelecido pelos autores que seriam considerados os artigos que fossem responsáveis
por 90% de todas as citações dos artigos que passaram pelas fases anteriores. Desta forma, os
artigos que possuem 14 citações, ou mais, foram mantidos no Repositório K (Banco de
Artigos não Repetidos e Título Alinhado e com Reconhecimento Científico), que resultou em
26 artigos, e os demais foram enviados para o Repositório P (Banco de Artigos não Repetidos
e Título Alinhado, com Reconhecimento Científico ainda não confirmado), que resultaram em
64 artigos.
O próximo passo consistiu em realizar a leitura dos 26 resumos dos artigos do
Repositório K com o objetivo de verificar o alinhamento do artigo com o tema de pesquisa.
Após essa etapa restaram 13 artigos que foram armazenados no Repositório A (Banco de
Artigos não Repetidos e Título e Resumo Alinhado e com Reconhecimento Científico). Dos
artigos do Repositório A, são verificados os autores, que resultaram em 19 e são apresentados
na Tabela 1, os quais serão utilizados na próxima etapa.
Tabela 1 – Relação do Banco de Autores constantes nos artigos do Repositório A
Fonte: Dados da pesquisa
A etapa seguinte teve o objetivo de filtrar os artigos do Repositório P, ou seja, os 64
artigos com menor reconhecimento científico foram analisados para identificar quais
continuariam no processo. São considerados fatores como período de publicação e se os
autores possuem reconhecimento científico, estando presentes como autores dos artigos do
Repositório A, constantes na Tabela 1. Essa etapa é ilustrada na Figura 4. Os 2 artigos
identificados nessa etapa foram depositados no Repositório B.
Figura 4 – Filtro utilizado para selecionar os artigos com menor reconhecimento científico
Fonte: Dados da pesquisa.
Na sequência juntaram-se os artigos armazenados nos Repositórios A (13 artigos) e
B (2 artigos) formando um único, denominado Repositório C, composto por 15 artigos.
Finalizando a etapa de filtragem do Banco de Artigos Brutos, os 15 artigos
selecionados foram analisados em relação a disponibilidade e ao alinhamento do texto integral
com o tema da pesquisa. Todos os artigos puderam ser acessados via CAPES gratuitamente.
A análise quanto ao alinhamento do texto completo em relação ao tema da pesquisa, reduziu a
13 artigos o número de artigos com alinhamento do texto completo com o tema da pesquisa,
respeitando-se a subjetividade do pesquisador. Estes artigos compõem o denominado Artigos
Primários do Portfólio Bibliográfico.
3.1.3. TESTE DE REPRESENTATIVADE DO PB
A partir dos Artigos Primários do Portfólio Bibliográfico foram buscadas as
referências bibliográficas, objetivando obter a relação de todos os artigos científicos ali
constantes. Primeiramente foram constatadas 527 referências brutas. Após o tratamento,
eliminação de referências duplicadas e eliminação de referências que não fossem do tipo
Jounal Article, desalinhadas ao tema de pesquisa e publicadas antes de 2000, têm-se como
resultado 21 artigos. Destes artigos, fora realizada uma análise representando 80% das
citações totais, determinado pelo Google Scholar, buscando incluir artigos alinhados com
representação científica que por algum motivo não estejam no Portfólio Bibliográfico.
Esses 80% representam 9 artigos, com ponto de corte em 50 citações, dos 21
anteriormente citados. Dentre os 9 artigos, 3 deles já estavam contidos nos Artigos Primários
do Portfólio Bibliográfico, restando 6 artigos para re-análise. É realizada a leitura dos
resumos desses artigos, evidenciando-se alinhamento quanto a resumo confirmado. Os artigos
selecionados são então analisados em relação a disponibilidade e ao alinhamento do texto
integral com o tema da pesquisa. Todos os artigos puderam ser acessados gratuitamente via
CAPES. Na etapa de análise do texto integral foram eliminados 3 artigos, por estarem
desalinhados conforme a percepção do pesquisador, restando outros 3 artigo julgados
integralmente alinhados. Esses 3 artigos alinhados são incluídos, então, ao Portfólio
Bibliográfico.
O processo de filtragem resultou em um Portfólio Bibliográfico formado pelos 16
artigos listados no Quadro 1.
Quadro 1 – Portfólio Bibliográfico final de artigos
1. THANASSOULIS, Emmanuel. DEA and its use in the regulation of water companies. European Journal of Operational Research, v. 127, n. 1, p. 1-13, 2000. 2. THANASSOULIS, Emmanuel. The use of data envelopment analysis in the regulation of UK water utilities: water distribution. European Journal of Operational Research, v. 126, n. 2, p. 436-453, 2000. 3. FRAQUELLI, Giovanni; VANNONI, Davide. Multidimensional performance in telecommunications, regulation and competition: analysing the European major players. Information Economics and Policy, v. 12, n. 1, p. 27-46, 2000. 4. JAMASB, Tooraj; POLLITT, Michael. Benchmarking and regulation: international electricity experience. Utilities Policy, v. 9, n. 3, p. 107-130, 2001. 5. THANASSOULIS, Emmanuel. Comparative performance measurement in regulation: the case of English and Welsh sewerage services. Journal of the Operational Research Society, p. 292-302, 2002. 6. EDVARDSEN, Dag Fjeld; FØRSUND, Finn R. International benchmarking of electricity distribution utilities. Resource and energy Economics, v. 25, n. 4, p. 353-371, 2003. 7. JAMASB, Tooraj; POLLITT, Michael. International benchmarking and regulation: an application to European electricity distribution utilities. Energy Policy, v. 31, n. 15, p. 1609-1622, 2003.
8. JAMASB, Tooraj; NILLESEN, Paul; POLLITT, Michael. Strategic behaviour under regulatory benchmarking. Energy Economics, v. 26, n. 5, p. 825-843, 2004.
9. TUPPER, Henrique Cesar; RESENDE, Marcelo. Efficiency and regulatory issues in the Brazilian water and sewage sector: an empirical study. Utilities Policy, v. 12, n. 1, p. 29-40, 2004. 10. FARSI, Mehdi; FILIPPINI, Massimo. Regulation and measuring cost-efficiency with panel data models: Application to electricity distribution utilities. Review of Industrial Organization, v. 25, n. 1, p. 1-19, 2004.
11. GIANNAKIS, Dimitrios; JAMASB, Tooraj; POLLITT, Michael. Benchmarking and incentive regulation of quality of service: an application to the UK electricity distribution networks. Energy Policy, v. 33, n. 17, p. 2256-2271, 2005.
12. POMBO, Carlos; TABORDA, Rodrigo. Performance and efficiency in Colombia's power distribution system: effects of the 1994 reform. Energy Economics, v. 28, n. 3, p. 339-369, 2006. 13. JAMASB, Tooraj; POLLITT, Michael; TRIEBS, Thomas. Productivity and efficiency of US gas transmission companies: A European regulatory perspective. Energy Policy, v. 36, n. 9, p. 3398-3412, 2008. 14. MARQUES, Rui Cunha; SIMÕES, Pedro. Incentive regulation and performance measurement of the Portuguese solid waste management services. Waste Management & Research, v. 27, n. 2, p. 188-196, 2009. 15. GUIMARÃES, Bernardo; SIMÕES, Pedro; MARQUES, Rui Cunha. Does performance evaluation help public managers? A Balanced Scorecard approach in urban waste services. Journal of environmental management, v. 91, n. 12, p. 2632-2638, 2010. 16. ÇELEN, Aydın; YALÇIN, Neşe. Performance assessment of Turkish electricity distribution utilities: An application of combined FAHP/TOPSIS/DEA methodology to incorporate quality of service. Utilities Policy, 2012.
Fonte: Dados da pesquisa.
3.2. Análise Bibliométrica
Seguindo a metodologia ProKnow-C, passa-se a etapa de Análise Bibliométrica.
Essa bibliometria consiste na aplicação de métodos matemáticos e estatísticos de um conjunto
definido de artigos para a gestão da informação e do conhecimento científico do tema de
pesquisa (AFONSO et al., 2011; ENSSLIN et al., 2012).
Os documentos serão avaliados segundo: (i) periódicos; (ii) publicações (artigos);
(iii) autores; e, (iv) palavras-chave (LACERDA et al., 2012). O conjunto de dados a serem
submetidos à análise bibliométrica são os 16 artigos pertencentes ao Portfólio Bibliográfico
(Quadro 1) e suas respectivas 106 referências bibliográficas, que respeitam as delimitações de
serem artigos científicos e que foram publicados a partir do ano 2000. Os dados utilizados
para realizar a análise bibliométrica foram registrados durante abril de 2013 e finalizou-se a
pesquisa em 05 de maio de 2013.
a) Periódicos de destaque
O periódico de maior destaque no PB e nas suas referências é o Utilities Policy, o
qual apareceu três vezes no PB e nove vezes nas referências do PB. O referido periódico
possui fatores de impacto calculados pelo JCR e SJR, registrando 0.804 e 0.797,
respectivamente.
O periódico Energy Policy destaca-se no PB, aparecendo três vezes e sete vezes nas
referências do PB. Os fatores de impacto do periódico são 2.723 e 1.386, para o JCR e SJR,
respectivamente, sendo o maior fator JCR dentre os existentes no PB.
Gráfico 1 – Relevância dos Periódicos
Fonte: Dados da pesquisa.
b) Artigos de destaque
Os artigos do PB foram analisados segundo o número de citações no Google Scholar
e o número de citações do autor mais citado do artigo nas referências do PB, visando
evidenciar os artigos de destaque escritos por autores de destaque.
O artigo escrito por Jamasb e Pollitt (2001), “Benchmarking and regulation:
international electricity experience”, é um artigo de destaque escrito por autores de destaque.
Possui 322 citações no Google Scholar e seu autor mais destacado, Michael Pollitt, aparece
em oito artigos das referências do PB.
Outros artigos escritos por Pollitt destacam-se como artigos escritos por autores de
destaque (JAMASB e POLLIT, 2003; GIANNAKIS, JAMASB e POLLITT, 2005; JAMASB,
NILLESEN e POLLITT, 2004; JAMASB, POLLITT e TRIEBS, 2008).
Gráfico 2 – Artigos de destaque
Utilities PolicyEnergy Policy
0
1
2
3
4
0 1 2 3 4 5 6 7 8 9 10
N. d
e a
rtig
os
no P
ort
fólio
Bib
liog
ráfi
co
N. de artigos nas Referências do PB
Relevância dos Periódicos presentes no Portfólio Bibliográfico e Referências
Destaques no PB
Destaques no PB e nas Referências
Fonte: Dados da pesquisa.
c) Autores de destaque
Para analisar os autores de maior destaque são utilizadas duas variáveis, número de
artigos do autor no PB e número de artigos desses autores nas referências dos artigos do PB.
O objetivo é verificar os autores de destaque no PB e nas suas referências.
O autores Michael Pollitt e Tooraj Jamasb são considerados autores de destaque
tanto no PB quanto nas suas referências. Os dois autores possuem cinco artigos escritos
constantes no PB, e 8 e 7 artigos nas referências do PB. Os autores são filiados as
Universidades de Cambridge e Universidade de Durham, respectivamente, e trabalham na
área de regulação, principalmente no setor elétrico.
Gráfico 3 – Autores de destaque
Jamasb; Pollitt (2001)
0
50
100
150
200
250
300
350
0 1 2 3 4 5 6 7 8 9
n. d
e c
itaçõ
es
do a
rtig
o d
o P
ort
fólio
Bib
liog
ráfi
co
no G
oogl
e Sc
hola
r
n. de citações do autor mais citado do artigo nas Referências do Portfólio Bibliográfico
Artigos e seus autores do Portfólio Bibliográfico de maior destaque Artigos de destaque
realizado por autores de destaque
Artigos realizados
por autores de destaque
Fonte: Dados da pesquisa.
d) Palavras-chave de destaque
As palavras-chave mais utilizadas são Benchmarking, Data Envelopment Analysis e
Regulation, as quais fazem parte de seis artigos dos 16 artigos do PB. Nessa fase verificou-se
a consistência das palavras-chave definidas no início do processo, o qual não se constatou a
necessidade de incluir novas palavras-chave no processo, confirmando a validade de todo o
processo.
3.3. Análise Sistêmica
Nesta etapa os artigos do Portfólio Bibliográfico, apresentados no Quadro 1, serão
analisados conforme as seis lentes evidenciadas na Figura 3, segundo a filiação teórica da
avaliação de desempenho adotada.
3.3.1. LENTE 1 – ABORDAGEM
De acordo com Roy (1993), as abordagens dividem-se em realistas, prescritivistas e
construtivistas. Chaves et al. (2013) destacam que Roy (1993) trata as abordagens
normativistas e descritivistas como realistas.
Os resultados demonstram que na totalidade dos artigos do PB, 14 deles utilizam-se
de abordagens descritivistas. Outros 2 artigos, abordagens normativistas. O artigo de
Guimarães et al. (2010) poderia ser enquadrado com prescritivista, devido a utilização da
ferramenta Balanced Scorecard, mas devido a utilização de critérios definidos na literatura é
enquadrado como normativista. O resultado pode ser visualizado no Gráfico 1 da Figura 5.
Pollitt, M.
Jamasb, T.
0
1
2
3
4
5
6
0 1 2 3 4 5 6 7 8 9n. d
e a
rtig
os
do a
uto
r no
Po
rtfó
lio B
iblio
grá
fico
n. de artigos do autor do Portfólio Bibliográfico nas Referências do Portfólio Bibliográfico
Autores de destaque do Portfólio Bibliográfico Autores de destaque no PB e
Referências
Fica evidenciado que nenhum artigo do PB se utiliza de abordagens prescritivistas e,
sobretudo, construtivistas.
A próxima análise refere-se a harmonia entre o modelo e sua utilização, ou seja, se o
modelo se propõe a ser genérico e é aplicado a um ambiente genérico, ou se o modelo é
desenvolvido para um ambiente específico e é aplicado a um decisor específico. Fica
evidenciado que 14 dos artigos do PB têm harmonia entre o modelo e sua utilização, e 2 deles
são incompatíveis para o fim que são desenvolvidos, pois são desenvolvidos para contextos
genéricos e se propõem a serem aplicadas a um decisor específico. O Gráfico 2 da Figura 5
demonstra o resultado.
Figura 5 – Análise das abordagens (Lente 1)
Fonte: Dados da pesquisa
A maioria das pesquisas dos artigos do PB são realizadas segundo a abordagem
realista. A maior parte delas devido a utilização do modelo Data Envelopment Analysis
(DEA), avaliando o desempenho com base em outras empresas, realizando uma espécie de
Benchmarking, caracterizando-se como abordagens descritivistas, por realizarem inferências
de acontecimentos passados a fim de utilizá-los para tomada de decisões presentes.
Esperava-se que não fossem encontrados modelos construtivistas, ou personalizados,
devido a sua utilização, ainda, por minorias (CHAVES et al., 2013). Roy (1993) afirma que a
abordagem construtivista visa o apoio à decisões, e os modelos são construídos com base no
decisor. O facilitador tem a função de extrair as percepções deste decisor para definir o que é
importante para este decisor avaliar o desempenho. Torna-se uma grande oportunidade de
pesquisa a criação de um modelo que preencha essa lacuna na literatura para esta área de
conhecimento.
3.3.2. LENTE 2 – SINGULARIDADE
A lente singularidade avalia se os artigos reconhecem o contexto em que se está
avaliando o desempenho e se existe a explicitação da participação do decisor.
14 (B)
2 (A)
Gráfico 1
Abordagens Normativistas (A)
Abordagens Descritivistas (B)
Abordagens Prescritivistas (C)
Abordagens Construtivistas (D)
14
2
Gráfico 2
Há hamonia entre a abordagem e aplicação
Não há harmonia entre a abordagem e aplicação
Dentre os artigos do PB, todos reconhecem o ambiente aos quais estão sendo
avaliados segundo o desempenho, conforme visualizado no Gráfico 1 da Figura 6. Porém,
quando é avaliado o reconhecimento do decisor, apenas 2 artigos reconhecem a existência de
atores para o contexto. O resultado era esperado, devido a evidência que os artigos do PB se
utilizam de abordagens realistas para construção dos modelos, mas se tornam possivelmente
falhos para utilização de decisores específicos. A análise pode ser verificada no Gráfico 2 da
Figura 6.
Figura 6 – Análise da Singularidade (Lente 2)
Fonte: Dados da pesquisa
3.3.3. LENTE 3 – PROCESSO PARA IDENTIFICAR VALORES E PREFERÊNCIAS
A lente 3 busca analisar se a percepção do decisor é levada em conta para a definição
das características dos modelos de avaliação de desempenho e se utilizam-se da expansão do
conhecimento no decisor.
Conforme se verifica no Gráfico 1 da Figura 7, os critérios identificados nos modelos
não são inerentes aos decisores, sendo que em 14 deles nem ao menos se reconhece o decisor,
e outros 2 apenas a operacionalização dos critérios são relacionados aos decisores.
Nenhum dos artigos do PB levam em conta a expansão de conhecimento do decisor,
como pode ser observado no Gráfico 2 da Figura 7.
Figura 7 – Processo para identificar (Lente 3)
Fonte: Dados da pesquisa
16 (A)
Gráfico 1
Reconhecem o contexto físico (A)
Não reconhecem o contexto físico (B)
14 (A)
2 (B)
Gráfico 2
Não há reconhecimento do decisor (A)Há reconhecimento do decisor (B)
14 (A)
2 (B)
Gráfico 1
Não reconhece o decisor (A)
Os critérios identificados são externos ao decisor, mas a operacionalização é segundo os seus valores (B)
Alguns critérios são trazidos externamente e o decisor pode acrescentar outros critérios (C)
Os critérios e a sua operacionalização são segundo os valores do decisor (D) 16 (A)
Gráfico 2
Não levam em conta a expansão de conhecimento do decisor (A)
Levam em conta a expansão de conhecimento no decisor somente na operacionalização dos critérios (B)
Levam em conta os limites de conhecimento do decisor na operacionalização e identificação dos critérios (C)
Esperava-se que os modelos de avaliação de desempenho desenvolvessem a
expansão do conhecimento a respeito do contexto no decisor, mas como fica evidenciado, os
artigos do PB não atendem essa necessidade.
Grande parte dos critérios definidos, nos artigos do PB para avaliar o desempenho,
são buscados apenas na literatura, ou por reconhecimento de acontecimentos e dados
passados. A partir dessas evidencias surge a oportunidade de desenvolver um modelo que
apresente esses critérios com base na definição de um decisor, e que se utilize da expansão do
conhecimento desse para operacionalização e identificação destes critérios.
3.3.4. LENTE 4 – MENSURAÇÃO
A quarta lente, mensuração, busca verificar se a mensuração dos objetivos atende os
critérios da teoria da mensuração. Esses critérios são mensurabilidade, operacionabilidade,
não ambiguidade (ou inteligibilidade) e homogeneidade (CHAVES et al., 2013).
Após análise dos artigos do PB verificou-se que os artigos realizam a mensuração,
sem reconhecer a diferença entre escalas ordinais e cardinais. Os princípios da teoria da
mensuração ficam comprometidos: a) nas escalas ordinais, quanto às propriedades da
homogeneidade e não ambiguidade; b) nas escalas cardinais, por deixar de considerar que a
diferença de atratividade entre os níveis possa ser diferente. Esta deficiência impede que
sejam realizadas, nessas escalas, operações estatísticas, tais como média e desvio padrão.
Desta forma, a Figura 8 demonstra o resultado, onde nenhum dos artigos atende a todas as
propriedades da teoria da mensuração.
Figura 8 – Mensuração (Lente 4)
Fonte: Dados da pesquisa
Espera-se que um modelo de avaliação de desempenho atenda as propriedades da
teoria da mensuração, com o objetivo de permitir confiabilidade e precisão aos dados e
informações gerados a partir dos resultados trazidos (CHAVES et al., 2013).
16 (A)
Não atendem as propriedades da teoria da mensuração (A)
Atendem todas as propriedades da teoria da mensuração (B)
3.3.5. LENTE 5 – INTEGRAÇÃO A lente 5 objetiva verificar se os artigos do PB permitem, a partir dos seus modelos,
uma visão holística e sistêmica do desempenho, ou seja, de forma integrada, não apenas uma
soma de todas as variáveis.
Conforme apresentado na Figura 9, nenhum dos artigos se manifesta a respeito da
integração das variáveis a fim de tornar os resultados como um sistema completo. O artigo de
Çelen e Yalçın (2012) apresenta uma certa ligação entre as variáveis, mas não apresenta a
visão holística buscada.
Figura 9 – Análise da integração (Lente 5)
Fonte: Dados da pesquisa
A lente integração, ao não ser encontrada em nenhuma das pesquisas do PB,
evidencia uma oportunidade de contribuição para a área quando realiza a integração dos
aspectos julgados relevantes uma vez que isto permitirá a mensuração da performance global
(holística, sistêmica).
3.3.6. LENTE 6 – GESTÃO
Completando a análise de conteúdo permitida pela análise sistêmica, tem-se a sexta
lente, que objetiva verificar se os modelos permitem a visualização do desempenho atual
(status quo) e se possibilitam ações de aperfeiçoamento.
Os artigos do PB utilizam escalas que não permitem o entendimento do status quo.
Desta forma, como verificado no Gráfico 1 da Figura 10, nenhum dos artigos permite
visualizar a situação atual ou fazem o diagnóstico do status quo.
De acordo com o Gráfico 2 da Figura 10, a maioria dos artigos do PB não se
preocupa com ações de aperfeiçoamento, sendo que apenas um artigo cita o que deveria
melhorar, mas não apresenta o processo para realizá-lo.
Figura 10 – Análise da Gestão (Lente 6)
16 (B)
Realiza a integração das escalas do modelo de avaliação de desempenho (A)Não se manifestam quanto a integração (B)
Fonte: Dados da pesquisa
Visualizando-se o diagnóstico da situação atual o decisor teria informações para
definir as prioridades de melhoria, e a partir da evidenciação de processos de aperfeiçoamento
possibilita maior eficácia na conclusão dos processos de melhoria.
4. CONCLUSÕES E OPORTUNIDADES DE PESQUISAS
Evidenciada a importância da regulação de serviços públicos para o atual cenário
econômico, busca-se na literatura métodos e modelos de gestão para avaliar o desempenho
dessas estruturas regulatórias. Surge a necessidade de conhecer o que já foi abordado em
trabalhos anteriores e identificar as lacunas e oportunidades para o tema.
O presente trabalho teve como objetivo realizar o mapeamento e análise de uma
seleção de artigos sobre o tema avaliação de desempenho na regulação de serviços públicos.
Para cumprir determinado objetivo, adotou-se a ferramenta ProKnow-C. A partir do
ProKnow-C selecionou-se um Portfólio Bibliográfico alinhado com o tema de pesquisa,
segundo as percepções dos autores, composto de 16 artigos, apresentados no Quadro 1.
Realizou-se a análise bibliométrica dos artigos deste Portfólio Bibliográfico, o qual
conclui-se que: (i) o periódico mais destacado para o tema é Utilities Policy; (ii) o artigo
"Benchmarking and regulation: international electricity experience" de Jamasb e Pollitt é o
artigo com maior reconhecimento científico; (iii) os autores mais destacados são Michael
Pollitt e Tooraj Jamasb, sendo os que mais apareceram no PB e suas referências; e, (iv) as
palavras-chave que mais apareceram foram Benchmarking, Data Envelopment Analysis e
Regulation.
A realização da análise sistêmica avaliou os artigos segundo as seis lentes contidas
na Figura 3. A primeira lente verificou que 14 artigos do PB (87,5% do PB) atendem a
harmonia entre a abordagem a sua aplicação. A segunda lente evidenciou que todos os artigos
do PB reconheceram o contexto a que se aplicam, e apenas 2 artigos (12,5% do PB)
reconhecem a singularidade do decisor. A terceira lente evidencia que em nenhum artigo há
16 (A)
Gráfico 1
Não fazem o diagnóstico (A)
Diagnóstico descritivo (B)
Diagnóstico numérico (C)
Diagnóstico numérico e gráfico (D)15 (A)
1 (B)
Gráfico 2
Não se preocupam com aperfeiçoamento (A)
Ações de aperfeiçoamento sem processo (B)
Ações de aperfeiçoamento com processo e não hierarquizadas (C)
Ações de aperfeiçoamento com processo e hierarquizadas (D)
preocupação com a expansão de conhecimento do decisor. A quarta lente verificou o
atendimento as propriedades da teoria da mensuração. Nenhum dos artigos atendeu a todas as
propriedades. Também fora verificado que nenhum dos artigos realiza a integração dos
critérios, a fim de possibilitar uma visão holística do sistema, resultado da lente 5. Em relação
a última lente, nenhum dos artigos possibilitou apresentar o status quo, e apenas 1 artigo
apresentou ações de aperfeiçoamento, mesmo que sem processo.
Segundo as análises realizadas nos conteúdos dos artigos do PB, surgem
oportunidades de pesquisa, as quais os artigos não preenchem a lacuna do conhecimento.
Dentre as lacunas encontradas, o desenvolvimento de modelos personalizados é um
diferencial para esta área de conhecimento. Deve-se levar em consideração a necessidade de
expandir o conhecimento do decisor para a identificação e operacionalização dos critérios a
serem avaliados, assim como as preferências deste decisor.
Tendo em vista que os artigos do PB utilizam escalas de mensuração sem reconhecer
a diferença entre escala ordinal e cardinal, assim como, sem se preocupar com o que a escala
ordinal seja homogênea e não ambígua, evidencia-se a oportunidade de incorporar esses
princípios básicos da teoria da mensuração nas pesquisas dessa área e na construção de
modelos de avaliação de desempenho.
Realizar a integração dos aspectos julgados relevantes, permitindo a análise do
desempenho global, e proporcionando a visão holística e sistêmica surge também como
oportunidade. E ainda, demonstrar o diagnóstico atual de forma gráfica e numérica,
proporcionando e evidenciando ações de aperfeiçoamento de forma hierárquica.
Para finalizar o ProKnow-C, como verificado na Figura 2, a partir de todo o
conhecimento construído durante o processo, surge a seguinte pergunta de pesquisa para
trabalhos futuros: “Como avaliar o desempenho na Regulação de Serviços Públicos de forma
a reconhecer sua singularidade e decisor, atender aos princípios da teoria da mensuração,
realizar integração dos critérios, possibilitar o monitoramento gráfico e numérico e permitir o
aperfeiçoamento do contexto com processo e hierarquização das alternativas?”
O trabalho limitou-se a buscar artigos científicos da faixa temporal do ano 2000 a
2013, nas bases de dados definidas pelos pesquisadores, com acesso permitido pelo portal da
CAPES.
Para trabalhos futuros, sugere-se a construção de um modelo de avaliação de
desempenho para a área de regulação de serviços públicos que atenda a todas as lentes
definidas pelo ProKnow-C, observadas na Figura 3.
REFERÊNCIAS ALAVI, M.; CARLSON, P. A review of MIS research and disciplinary development. Journal of Management Information Systems, v. 8, n. 4, p. 45-62, 1992. BORTOLUZZI, S. C.; ENSSLIN, S. R.; ENSSLIN, L.; VALMORBIDA, S. M. I. A avaliação de desempenho em redes de pequenas e médias empresas: estado da arte para as delimitações postas pelo pesquisador. Revista Eletrônica de Estratégia & Negócios, Florianópolis, v. 4, n. 2, p. 202-222, jun./dez, 2011. ÇELEN, A.; YALÇIN, N. Performance assessment of Turkish electricity distribution utilities: An application of combined FAHP/TOPSIS/DEA methodology to incorporate quality of service. Utilities Policy, 2012. CHAVES, L. C; ENSSLIN, L; ENSSLIN, S. R.; VALMORBIDA, S. M. I.; ROSA, F. S. Sistemas de apoio à decisão: mapeamento e análise de conteúdo. Revista Eletrônica de Ciência Administrativa-RECADM , v. 12, n. 1, p. 6-22, 2013. EDVARDSEN, D. F.; FØRSUND, F. R. International benchmarking of electricity distribution utilities. Resource and energy Economics, v. 25, n. 4, p. 353-371, 2003. ENSSLIN, L.; ENSSLIN, S. R.; PACHECO, G. C. Um estudo sobre segurança em estádios de futebol baseado na análise bibliométrica da literatura internacional. Perspectivas em Ciência da Informação, v.17, n.2, p.71-91, abr./jun, 2012.
FARSI, M.; FILIPPINI, M. Regulation and measuring cost-efficiency with panel data models: Application to electricity distribution utilities. Review of Industrial Organization, v. 25, n. 1, p. 1-19, 2004. FRAQUELLI, G.; VANNONI, D. Multidimensional performance in telecommunications, regulation and competition: analysing the European major players. Information Economics and Policy, v. 12, n. 1, p. 27-46, 2000. GIANNAKIS, D.; JAMASB, T.; POLLITT, M.. Benchmarking and incentive regulation of quality of service: an application to the UK electricity distribution networks. Energy Policy, v. 33, n. 17, p. 2256-2271, 2005. GIL. A. C. Métodos e técnicas de pesquisa social. São Paulo: Atlas, 1999. GUIMARÃES, B.; SIMÕES, P.; MARQUES, R. C. Does performance evaluation help public managers? A Balanced Scorecard approach in urban waste services. Journal of environmental management, v. 91, n. 12, p. 2632-2638, 2010. JAMASB, T.; POLLITT, M.. Benchmarking and regulation: international electricity experience. Utilities Policy, v. 9, n. 3, p. 107-130, 2001. JAMASB, T.; POLLITT, M. International benchmarking and regulation: an application to European electricity distribution utilities. Energy Policy, v. 31, n. 15, p. 1609-1622, 2003.
JAMASB, T.; NILLESEN, P.; POLLITT, M. Strategic behaviour under regulatory benchmarking. Energy Economics, v. 26, n. 5, p. 825-843, 2004. JAMASB, T.; POLLITT, M.; TRIEBS, T. Productivity and efficiency of US gas transmission companies: A European regulatory perspective. Energy Policy, v. 36, n. 9, p. 3398-3412, 2008. KISSLER, L.; HEIDEMANN, F. G. Governança pública: novo modelo regulatório para as relações entre Estado, mercado e sociedade? Revista de Administração Pública, v. 40, p. 479-499, mai./jun., 2006. LACERDA, R. T. O.; ENSSLIN, L.; ENSSLIN, S. R. Contribuições à gestão estratégica de organizações quando analisados na visão de seu desempenho. Gestão Organizacional, v. 9, n. 2, p. 327-358, 2011. ______. Uma análise bibliométrica da literatura sobre estratégia e avaliação de desempenho. Gestão & Produção, São Carlos, v. 19, n. 1, p. 59-78, 2012. MARQUES, R. C.; SIMÕES, P. Does the sunshine regulatory approach work?. Governance and regulation model of the urban waste services in Portugal. Resources, Conservation and Recycling, v.52, n.8-9, p.1040-1049. 2008. MARQUES, R. C.; SIMÕES, P. Incentive regulation and performance measurement of the Portuguese solid waste management services. Waste Management & Research, v. 27, n. 2, p. 188-196, 2009. PECI, A,; CAVALCANTI, B. S. Reflexões sobre a autonomia do órgão regulador: análise das agências reguladoras estaduais. Revista de Administração pública, v. 34, n. 5, p. 99 a 118, 2002. PECI, A. Desenho de uma estratégia de implantação e institucionalização da AIR. In: PROENÇA, J. D. (Org). Contribuições para melhoria da qualidade da regulação no Brasil. Volume I. Semear Editora Gráfica: Brasília, 2010. POMBO, C.; TABORDA, R. Performance and efficiency in Colombia's power distribution system: effects of the 1994 reform. Energy Economics, v. 28, n. 3, p. 339-369, 2006. RICHARDSON, R. J. Pesquisa social: métodos e técnicas. São Paulo: Atlas, 1999. ROCHA, R. B. R. Órgãos Reguladores no Brasil. In: DI PIETRO, M. S. (Coord). Direito Regulatório: Temas Polêmicos. 2. ed. rev. e ampl. Fórum: Belo Horizonte, 2004. ROY, B. Decision science or decision-aid science? European Journal of Operational Research, 66(2), 184-203, 1993. SÁ-SILVA, J. R.; ALMEIDA, C. D.; GUINDANI, J. F. Pesquisa documental: pistas teóricas e metodológicas. Revista Brasileira de História & Ciências Sociais, n. 1, 2009. STERN, J.; HOLDER, S. Regulatory governance: criteria for assessing the performance of regulatory systems. An application to infrastructure industries in the developing countries of Asia. Utilities Policy, v. 8, p. 33-50, 1999.
ROSA, F. S., ENSSLIN, S. R., ENSSLIN, L., LUNKES, R. J. Gestão da evidenciação ambiental: um estudo sobre as potencialidades e oportunidades do tema. Engenharia Sanitária e Ambiental, v. 16, n. 2, p. 157-166, abr./jun, 2011. TASCA, J. E.; ENSSLIN, L.; ENSSLIN, S. R.; ALVES; M. B. M. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training , Vol. 34, N. 7, pp. 631-655, 2010. THANASSOULIS, E. DEA and its use in the regulation of water companies. European Journal of Operational Research, v. 127, n. 1, p. 1-13, 2000. THANASSOULIS, E. The use of data envelopment analysis in the regulation of UK water utilities: water distribution. European Journal of Operational Research, v. 126, n. 2, p. 436-453, 2000. THANASSOULIS, E. Comparative performance measurement in regulation: the case of English and Welsh sewerage services. Journal of the Operational Research Society, p. 292-302, 2002. THE THOMSON CORPORATION. EndNote X. 2. ed. The Thomson Corporation, 2008. TUPPER, H. C.; RESENDE, M. Efficiency and regulatory issues in the Brazilian water and sewage sector: an empirical study. Utilities Policy, v. 12, n. 1, p. 29-40, 2004.