Click here to load reader

conceber e encomendar avaliações de impacto contrafactuais

  • View
    219

  • Download
    2

Embed Size (px)

Text of conceber e encomendar avaliações de impacto contrafactuais

  • 1

    CONCEBER E ENCOMENDAR AVALIAES DE IMPACTO CONTRAFACTUAIS

    UM GUIA PRTICO PARA AS AUTORIDADES DE GESTO DO FSE

    Comisso Europeia

    Direo-Geral do Emprego, dos Assuntos Sociais e da Incluso

    Unidade A3

    Manuscrito concludo em outubro de 2012

  • 2

    O Europe Direct um servio que ajuda a encontrar respostas s suas perguntas sobre a Unio Europeia

    Nmero de telefone gratuito (*):

    0 0 8 0 0 6 7 8 9 1 0 1 1

    (*) Alguns operadores de redes de telemveis no permitem o acesso aos nmeros 00800 ou podem cobrar uma taxa por estas chamadas.

    Nem a Comisso Europeia nem qualquer pessoa agindo em seu nome so responsveis pelo uso que possa ser dado s

    informaes contidas nesta publicao.

    AGRADECIMENTOS

    Este guia prtico inspira-se no trabalho fornecido, a pedido da Direo-Geral do Emprego da Comisso Europeia, pelos

    seguintes especialistas:

    Stephen Morris, NatCen Social Research and Policy Studies Institute, Londres

    Herta Tdtling-Schnhofer, Metis GmbH, Viena

    Michael Wiseman, George Washington Institute of Public Policy

    Layout: Alexandru Coca

    Traduo para portugus: Agncia para o Desenvolvimento e Coeso

    Para qualquer utilizao ou reproduo das fotografias no abrangidas pelas leis de direitos de autor da Unio Europeia, deve

    ser solicitada autorizao diretamente aos detentores dos referidos direitos.

    Encontram-se disponveis outras informaes sobre a Unio Europeia na Internet, via servidor Europa (http://europa.eu).

    Um ficheiro de dados e um resumo figuram no fim desta publicao.

    Luxemburgo: Servio das Publicaes da Unio Europeia, 2013

    ISBN 978-92-79-28238-6

    doi: 10.2767/94454

    Unio Europeia, 2013

    A reproduo do contedo desta obra autorizada mediante citao da fonte.

    http://europa.eu/

  • 3

    Contedos Objetivo e contexto do guia .......................................................................................................................... 5

    Captulo 1: Conceitos e mtodos ................................................................................................................. 9

    1.1 A essncia do mtodo contrafactual ................................................................................................. 9

    1.2 Porque so importantes as avaliaes contrafactuais? ............................................................... 10

    1.3 Porque so as avaliaes contrafactuais tecnicamente exigentes? ........................................... 11

    1.4 Smula dos modelos e das abordagens das AIC .......................................................................... 12

    1.4.1 Distribuio aleatria a abordagem experimental ............................................................................................ 13

    1.4.2 Abordagens no aleatrias ou quase experimentais ........................................................................................... 16

    1.5 Como integrar uma AIC num quadro de avaliao mais alargado .............................................. 31

    Captulo 2: Consideraes prticas na preparao de uma AIC ............................................................ 36

    2.1. Seleo de intervenes para avaliao de impacto ........................................................................ 37

    2.1.1. Escolher intervenes para privilegiar a avaliao de impacto ........................................................................... 39

    2.1.2. Selecionar intervenes passveis de abordagem contrafactual ......................................................................... 40

    2.1.3. Os dados adequados esto disponveis ou podem ser disponibilizados? ............................................................ 46

    2.2. Desenvolvimento de um esquema de avaliao ............................................................................... 50

    2.2.1. Quais as intenes e os objetivos da interveno? ............................................................................................. 52

    2.2.2. Qual o objetivo da avaliao? ........................................................................................................................... 52

    2.2.3. Que recursos esto disponveis? ...................................................................................................................... 55

    2.2.4. Quando deve ser avaliada a interveno? ........................................................................................................ 57

    2.2.5. Como deve ser identificado o grupo tratado? .................................................................................................. 60

    2.2.6. Fatores a considerar na identificao de um grupo de controlo .......................................................................... 61

    2.2.7. Que tipo de problemas quanto aos dados precisam de ser equacionados no esquema de avaliao? .................. 65

    2.2.8. Quais os principais obstculos anlise de dados e de resultados? .................................................................. 66

    2.2.9. Como sero relatados os resultados? ............................................................................................................... 69

    Captulo 3: Fazer avanar a agenda das AIC ............................................................................................ 70

    3.1 Melhorar os nveis de entendimento entre as partes interessadas ................................................. 70

    3.2. O desenvolvimento de capacidades ................................................................................................... 71

    3.3. Enfrentar barreiras jurdicas ................................................................................................................ 73

    3.4. No caminho de abordagens mais prospetivas .................................................................................. 74

    Glossrios ..................................................................................................................................................... 76

    4.1. Acrnimos .............................................................................................................................................. 76

    4.2. Definies .............................................................................................................................................. 78

  • 4

    Bibliografia .................................................................................................................................................... 81

    Anexos ........................................................................................................................................................... 84

    Anexo 1. Leituras complementares............................................................................................................ 84

    Anexo 2. Diretrizes do Tesouro do Reino Unido para despesas relativas avaliao ........................ 87

    Anexo 3. Sugesto de plano de curso sobre AIC ..................................................................................... 88

    Anexo 4. Avaliaes de impacto contrafactuais Exemplos fornecidos pelos Estados-Membros .. 89

    Lista de Caixas

    Caixa 1.Exemplo de um ensaio aleatrio numa poltica ativa de mercado de trabalho 16 Caixa 2.Exemplo de uma avaliao que adota a abordagem de emparelhamento 22 Caixa 3.Exemplo de uma avaliao que adota a abordagem de diferena-nas-diferenas 25 Caixa 4.Exemplo de uma avaliao que adota a abordagem de regresso descontnua 27 Caixa 5.Exemplo de um estudo que adotou uma abordagem de variveis instrumentais 29 Caixa 6.Questes para selecionar intervenes para uma AIC 41 Caixa 7.Motivaes para a realizao de uma AIC 44 Caixa 8.Tipos mais comuns de interveno e de grupos-alvo escolhidos para AIC do FSE 45 Caixa 9. Definio de grupos de controlo 48 Caixa 10. Exemplos de dados utilizados para AIC 51 Caixa 11.Proteo e troca de dados a experincia da Litunia 53 Caixa 12. Contedo recomendado de um esquema de avaliao 54 Caixa 13. AIC incorporadas num quadro mais amplo de avaliao 54 Caixa 14. Questes polticas relacionadas com um programa de formao 67 Caixa 15. Interpretar efeitos lquidos 67 Caixa 16. Incertezas na interpretao dos resultados 71

    Lista de figuras Figura 1. Abordagem experimental de controlo aleatrio de dois grupos 15 Figura 2.Abordagem quase experimental estilizado com grupos tratados e de controlo 18 Figura 3. Ilustrao da abordagem de emparelhamento da propenso a participar na interveno 20 Figura 4. Ilustrao da abordagem de diferena-nas-diferenas 23 Figura 5. Ilustrao da abordagem de regresso descontnua 24 Figura 6. Ilustrao de uma abordagem de variveis instrumentais 28 Figura 7. Diferentes tarefas e tipos de avaliao 34 Figura 8. Ilustrao da abordagem de modelo lgico 35 Figura 9. Cronograma simplificado dos resultados de um programa de formao 62 Figura 10. Amplitude dos efeitos detetveis mnimos em amostras de diferentes tamanhos 70

    Lista de tabelas Tabela 1. Comparao de algumas caractersticas-chave das principais abordagens de AIC 30 Tabela 2. Tipos de dados e de fontes 50

  • 5

    Introduo

    Objetivo e contexto do guia

    Com o aproximar do novo perodo de programao (septenal) do Fundo Social Europeu (FSE), na Unio Europeia os oramentos contraem-se e a preocupao com a utilizao efetiva dos fundos aumenta. Alm disso, as avaliaes dos programas e das intervenes do FSE tm sido complexas