Formació Avaluació polítiques de joventut. Bloc 3. 2013

Embed Size (px)

Citation preview

  • Pauta per orientar lavaluaci de programes i serveis de joventuta la DGJ-ACJ

    Bloc III. Formaci per a laproximacia lavaluaci de les poltiques de joventut

    Grup Motor davaluaci Document elaborat per Saleta Fabra i Nria Rodrguez a partir

    de les guies prctiques dIvlua

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    ndex

    A) Presentaci bsica i objectius de la guia

    B) Per qu avaluar

    C) Inici de lavaluaci

    Pas 0. Entendre el programa

    0.1 Descriure la Teoria del canvi

    0.2 Altres consideracionsa) Descriure el context en qu es desenvolupa el programa i els agentsb) Identificar les avaluacions i els estudis previs c) Lavaluaci s viable?

    Pas 1. Disseny de lavaluaci

    1.1 Tipus davaluacions

    1.2 Fase en qu es troba el programa

    1.3 Propsits i destinataris de lavaluaci

    1.4. Selecci de les preguntes davaluaci

    Pas 2. Elecci del mtode

    2.1 Recursos davaluaci/recollida de dades

    2.2 Metodologia

    2

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    A) Presentaci bsica i objectius de la guia

    A la Direcci General de Joventut - Agncia Catalana de Joventut (DGJ-ACJ) tot just comencem a incorporar el discurs de lavaluaci de les poltiques, els programes i les actuacions que es fan internament. Tot i que algunes rees ja han plantejat exercicis avaluatius per fer el seguiment dels seus projectes i daltres proveeixen informacions i gestionen indicadors per fer un seguiment ms institucional; en termes generals, hem avanat ms en la teoria que no pas en la prctica.

    Per aix, diferents rees de la DGJ-ACJ estan treballant plegades per generar una estratgia conjunta que contribueixi a avanar en lavaluaci de les poltiques de joventut. Aquesta estratgia t com a punt central la formaci i la transmissi de coneixements (homogenis i en coherncia amb les eines de planificaci internes) sobre una metodologia en avaluaci de les poltiques de joventut per a totes les rees i unitats.

    Aquest document que teniu a les mans serveix com a complement duna sessi formativa presencial i sha dentendre en el context duna estratgia formativa ms mplia, que sinici el 4t trimestre del 2012 amb una sessi genrica sobre avaluaci de poltiques pbliques, duta a terme per Ivlua i, adreada als treballadors de la DGJ-ACJ.

    Els objectius de la guia i la sessi presencial tenen a veure amb el fet que el personal tcnic de la DGJ-ACJ adquireixi coneixements orientats a:

    - Saber analitzar lavaluabilitat dun programa (viabilitat duna avaluaci).

    - Detectar les necessitats davaluaci dels programes i serveis que es gestionen.

    - Incorporar elements de lavaluaci (Teoria del canvi) en el disseny i la planificaci de les poltiques de joventut de la DGJ-ACJ.

    - Conixer les pautes per avaluar un programa de joventut.

    Per tant, la guia, amb els materials que lacompanyen, ha de ser una eina per incorporar elements davaluaci en els programes i serveis en qu interv la DGJ-ACJ. s un punt de partida on sha intentat sistematitzar com avaluar un programa de joventut. Tot i aix , caldr que cadascun de vosaltres adapti els continguts a les caracterstiques del seu lloc de treball i a les necessitats de coneixement de cada rea. No es tracta davaluar-ho tot, sin que cal prioritzar i decidir qu savalua i en quin moment savalua.

    Per elaborar aquesta guia ens hem basat en les guies prctiques dIvlua, intentant sintetitzar els seus continguts i adaptar-los a les casustiques prpies de les poltiques de joventut i a la realitat dels equips i unitats DGJ-ACJ. En tot cas, es recomana sempre tenir aquestes guies originals com a referncia.

    http://www.ivalua.cat/generic/static.aspx?id=816

    A ms de la guia sadjunten exemples i fitxes prctiques per facilitar la feina.

    B) Per qu avaluar

    Abans de comenar amb els continguts sobre avaluaci, s important fer un estudi previ per veure qu entenem per avaluaci, i per qu s important dedicar un temps i recursos a fer seguiment de la nostra feina.

    3

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    Avaluar pot representar una oportunitat, per costa fer-ho b. Sovint es fa difcil definir qu s lxit dun programa, com interv en un problema o quina s la ra que motiva la seva existncia. A vegades lavaluaci es fa a partir de la intuci, les percepcions i el sentit com i no a partir duna anlisi formal i sistemtica.

    Fer una avaluaci pot ser un exercici laboris, que requereix un temps i uns recursos que no sempre estan a labast. No es pot ni cal avaluar-ho tot, cal ser curosos i estratgics. Tanmateix, conixer els fonaments de lavaluaci de poltiques pbliques s indispensable per gestionar les necessitats dinformaci que es deriven de la nostra feina en el dia a dia i ser-ne conscients. No es tracta davaluar cada programa que fem, per s dincorporar elements de planificaci i avaluaci en els processos de treball quotidi per cercar aquells aspectes que contribueixin a la millora del coneixement i la gesti dels programes que desenvolupem. Lavaluaci serveix per millorar la nostra feina, en la mesura que si som capaos de detectar qu fem malament, podrem millorar-ho.

    Per la feina que desenvolupem a la DGJ-ACJ, el ms habitual s que la nostra tasca davaluaci es faci sobre un programa que nosaltres mateixos gestionem (en molts casos que fins i tot nhem fet el disseny) i que, a ms a ms, es troba actiu durant lavaluaci. Aquesta manera dabordar lavaluaci t unes implicacions tecnicometodolgiques (essencialment en lanlisi de lavaluabilitat).

    En tot cas, tamb es pot donar el cas que, sens encomani fer lavaluaci dun programa o poltica en qu no hem participat mai o participar-hi (programes liderats des daltre departament, municipis, entitats, altres rees de la casa, etc.).

    Us presentem una srie de passos que ens ajudaran a entendre com sinicia una avaluaci i quins elements cal tenir en compte per poder dur-la a terme.

    Pas 0. Entendre el programa

    En el moment que estem implementant o iniciant una poltica o un programa s perqu pensem que aquest ens serveix o servir per intervenir en una problemtica o situaci social. Per exemple, la violncia masclista, latur juvenil o laccs desigual als recursos pblics sn problemtiques que donen sentit a lexistncia de moltes de les poltiques o programes de joventut. Sobre aquesta idea sassenta la Teoria del canvi. Tal com indica Blasco, J.,1 les poltiques pbliques sentenen com un conjunt dhiptesis a partir de les quals sespera que la intervenci provocar un canvi en la societat o poblaci diana i far que el problema millori. La successi daquestes hiptesis sn el que sanomena Teoria del canvi (o teoria del programa).

    Per aix, abans diniciar una avaluaci, cal detectar quina s la Teoria del canvi que proposa la poltica que voldrem avaluar. Aquesta reconstrucci de les bases del programa o poltica ens permetr entendre com se suposa que ha de funcionar el programa i per qu sespera aconseguir els impactes proposats. En realitat, es tracta de veure quins sn els fonaments terics sobre els quals sha dissenyat la intervenci, per tant, es tracta de reproduir la lgica del programa. Aquest s el punt de partida de qualsevol exercici avaluatiu.

    0.1 Descriure la Teoria del canvi2

    1 BLASCO, J. Guia prctica 1. Com iniciar una avaluaci: oportunitat, viabilitat i preguntes davaluaci. Collecci Ivlua, guies prctiques sobre avaluaci de poltiques pbliques. Barcelona: Ivlua, 2009. 2 Vegeu lexemple nmero 1 de lannex.

    4

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    La reconstrucci de la Teoria del canvi no sempre s fcil. A vegades podem disposar dalgun document previ que ho expliqui, per molt sovint aquest document s incomplet o no es va dissenyar seguint criteris per a la seva avaluabilitat. Per desenvolupar aquesta primera fase de treball, caldr que revisem en profunditat la documentaci relativa al disseny i la gesti del programa. En cas que aquesta informaci no es trobs escrita en cap document previ, ser necessari obtenir la informaci a partir daltres fonts (entrevistes exploratries o sessions de treball amb personal vinculat al programa, memries, documents inicials, literatura cientfica, etc.).3

    Reconstruir la Teoria del canvi s un exercici analtic que ens ha de portar a:

    - Identificar les necessitats o problemtiques de qu parteix el programa (la ra de ser de la intervenci).

    - Determinar els recursos de qu disposa el programa per al seu desenvolupament.

    - Detectar qu fa el programa o qu t previst fer (activitats i productes).

    - Detectar els beneficis que vol assolir el programa (impactes).

    Aquestes qestions es corresponen amb la descripci dels components que constitueixen qualsevol poltica pblica des de la perspectiva de la Teoria del canvi:4

    Problema recursos activitats resultats (productes) Poblaci diana impactes

    Problemtica o situaci inicial:5 es tracta de conixer quina s la problemtica social, la necessitat o la situaci que motiva la intervenci pblica. En altres paraules, quina es la ra de ser del programa. Saber quines sn les caracterstiques del problema (en qu consisteix, qui afecta, etc.), quines sn les seves causes i els seu efectes. Us podeu trobar amb programes que parteixen duna diagnosi que us servir de base per reconstruir aquest coneixement, per tamb pot ser que la diagnosi noms apunti algunes idees i necessitem fer una anlisi ms focalitzada o completa. Tamb s possible que la diagnosi de qu disposem shagi dut a terme fa molt de temps o que sospitem que desprs de la nostra intervenci, a causa de factors contextuals, el problema hagi canviat o evolucionat. s a partir de la identificaci daquesta diagnosi, que establirem els components de la intervenci (recursos, activitats, productes i impactes).

    Recursos (inputs): cal descriure quins recursos hi ha assignats al programa per poder dur-lo a terme. Es tracta bsicament dels recursos econmics, els humans, i els materials.

    Els recursos econmics es tradueixen en una previsi pressupostria que considera els ingressos i les despeses necessaris per al desenvolupament del programa, tot intentant mantenir un equilibri que faci viable el programa o la intervenci. Cal tamb descriure els recursos humans atenent a la quantitat i els perfils (capacitats i habilitats) de les persones

    3 Guia prctica 1. BLASCO, J. Guia prctica 1. Com iniciar una avaluaci: oportunitat, viabilitat i preguntes davaluaci. Collecci Ivlua, guies prctiques sobre avaluaci de poltiques pbliques. Barcelona: Ivlua, 2009. Vegeu a la pg. 18 el quadre resum Com recollectar la informaci rellevant per a la teoria del canvi.4 En aquesta guia explicarem una manera de reconstruir la Teoria del canvi, per hi ha altres maneres de fer-ho, per exemple, anar preguntant el perqu de cada component i cercant els mecanismes causals que els interrelacionen i donen sentit a la poltica/ programa .5 OMS, M. i RAMOS, X. (2013) . Planificaci i avaluaci dun projecte. Direcci General de Joventut, 2013. Sota llicncia Reconeixement-Compartir 3.0 Espanya de Creative Commons.

    5

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    involucrades (professionals de joventut, agents, joves, etc.) en el desenvolupament del programa. Els recursos materials es refereixen als materials (fungibles o no fungibles) de qu es disposa per dur a terme les activitats.

    Activitats:6 en aquest apartat es descriu qu s el que el programa t previst fer, s a dir, quines activitats es realitzen amb els recursos disponibles per obtenir uns resultats o uns bns. En el cas que el desenvolupament duna activitat sigui complex (provisi dun servei o lestabliment dun protocol datenci) s interessant dissenyar una teoria del procs o un pla dutilitzaci del servei on es detallin amb ms deteniment els mecanismes i protocols de funcionament de les activitats.

    Productes (ouputs): s el que sobt de la realitzaci de les activitats previstes en el projecte, es tracta dels resultats immediats de les activitats de la intervenci (nombre de joves atesos, nombre de cursos, nombre de participants).

    Poblaci diana: tot i que no sempre sincorpora com a component de la Teoria del canvi, la poblaci diana s un element intermedi entre els productes i els impactes que s important incorporar en les poltiques que proveeixen de serveis les persones, com s el cas de les poltiques de joventut. La poblaci diana fa referncia als grups o segments de poblaci als quals va adreada la intervenci. La definici de la poblaci destinatria est molt vinculada al coneixement del problema o la necessitat social detectada a la diagnosi. La intervenci sadrear a les persones a qui afecta all que hem definit com a problema o situaci inicial. En aquest sentit, si escau, caldr fer una definici molt acurada de la poblaci destinatria i de les seves caracterstiques per analitzar si el programa sadrea al grup de poblaci en qu el programa ha de tenir incidncia (almenys des del punt de vista del seu plantejament teric).

    Impactes (outcomes): es tracta de la identificaci de la situaci desitjada que esdevindr a partir de la realitzaci del projecte. Sn els canvis que preveiem que es produiran en la problemtica o en la situaci de partida des de la nostra intervenci. Estan relacionats amb el problema a resoldre o la situaci a millorar (reducci de joves a latur, increment de les metodologies participatives, millora del nivell de coneixement del catal entre la poblaci, reducci de les desigualtats socials en laccs a leducaci, etc.).

    6 Vegeu lexemple nmero 4 de lannex.

    6

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    A lhora de construir la Teoria del canvi s important saber relacionar-lo amb els objectius que ens plantegem assolir amb la nostra intervenci. Els impactes de la intervenci correspondrien als objectius estratgics.7 Aquests no han de descriure qu s el programa o qu fa, sin els beneficis o la situaci desitjada a la qual volem arribar. Han de fer referncia a un perode relativament llarg i el nombre ha de ser limitat (2-5 per programa). La definici dels impactes o objectius estratgics s un pas important, ja que aquests orienten de forma decisiva el programa i permeten avaluar limpacte de les nostres actuacions. Els objectius estratgics haurien de comenar amb verbs dacci: millorar, aconseguir, augmentar, reduir i han destar expressats en termes duna dimensi mesurable. Han dexpressar el canvi que es produir si el programa funciona.

    Els objectius operatius,8 en canvi, correspondrien als productes (outputs); sn els resultats immediats. Cal tenir present que aquests han de ser especfics, reflectir el que es vol aconseguir i respondre als objectius estratgics; han de ser mesurables i, finalment, han destar situats en el temps. En la definici dels objectius operatius han daparixer verbs del tipus: incrementar, reduir o mantenir.

    Problema recursos activitatsresultats Poblaci diana impactes

    Plantejament dels Objectius estratgics i dels objectius operatius

    Aix doncs, descriure la Teoria del canvi i els elements que la composen requereix dun esfor simplificador i prctic per mostrar les accions i les hiptesis que constitueixen el programa en si mateix. Aquesta reconstrucci tamb ens ha dajudar a:

    - Evitar centrar lavaluaci en preguntes relacionades amb el que el programa vol aconseguir.

    - Fer un test preliminar de lavaluabilitat per determinar si el programa reuneix les condicions necessries per destinar recursos i temps per avaluar-la.

    - Identificar quin s el tipus davaluaci ms idnia i descriure com se suposa que saconseguiran els impactes del programa.

    - Determinar si el programa s prou estable i madur per fer una avaluaci dimpacte, dimplementaci o deficincia.

    - Identificar les preguntes davaluaci ms pertinents i rellevants.

    7 Vegeu lexemple nmero 2 de lannex.8 Vegeu lexemple nmero 3 de lannex.

    7

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    Si la teoria no es pot formular amb una certa coherncia, ser impossible saber qu s el que hem davaluar i, per tant, no es podr dur a terme lavaluaci prpiament dita.

    0.2 Altres consideracions

    A banda de descriure els elements de la Teoria del canvi, per fer-ho correctament tamb haurem de tenir presents els apartats segents:

    a) Descriure els agents que hi intervenen i el context en qu es desenvolupa el programa

    Igual que analitzem els continguts terics del programa o actuaci s important saber qui hi ha implicat en la intervenci. Per aix, caldr que identifiquem els agents que participen directament o indirectament en el desenvolupament del programa.

    Concretament:

    - qui lidera el programa

    - qui limplementa

    - qui hi collabora i en quin sentit (agents interns i externs)

    - a qui va adreat

    Tamb caldr descriure el context o lentorn en qu es desenvolupa la intervenci i que pot afectar en la implementaci del programa. s el que serien els factors contextuals. Els programes, durant el seu desenvolupament, tenen un carcter dinmic i canviant (volatilitat del programa). s important que identifiquem els possibles canvis i com han afectat el programa. Aix mateix, caldr distingir entre canvis passats (i per tant ja incorporats) i canvis previstos. Sn els factors que influeixen positivament o negativament en el disseny, el funcionament i els impactes del programa.

    Per exemple, ens podem trobar amb un programa genric que es du a terme arreu del territori per que, segons el lloc i el moment en qu simplementa, tingui resultats i/o impactes diferents. Tamb cal tenir en compte que la situaci (econmica, social, geogrfica, etc.) del lloc on es duu a terme la implementaci tingui uns efectes no esperats en el resultats o en les dinmiques i protocols de treball.

    b) Identificar les avaluacions i els estudis previs

    La revisi documental s una tasca molt important per acomplir aquesta primera fase. En la reconstrucci de la Teoria del canvi ser imprescindible detectar si shan fet avaluacions o informes de seguiment previs, o si hi ha altres programes similars amb els quals puguem fer comparacions. En cas que existeixin aquests documents, s important fer una revisi en profunditat per incorporar aquestes informacions en la reconstrucci de la Teoria del canvi.

    Les avaluacions prvies poden servir com a referncia per a la definici de la nostra avaluaci. Es recomana sempre fer una revisi sistemtica de la literatura sobre lavaluaci dels programes semblants o, si nhi hagus, del mateix programa. Aix vol dir revisar la literatura sobre lefectivitat duna poltica, comptar amb un protocol i cercar bases de dades formals. Fer una revisi sistemtica implica molt temps i a vegades es necessiten recursos humans extres.

    8

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    c) Lavaluaci s viable?

    Arribats en aquest punt, abans de passar al pas segent, haurem de fer una reflexi sobre si lavaluaci s viable. Ivlua proposa un seguit de circumstncies en qu no s recomanable iniciar una avaluaci:

    - Quan les activitats o productes sn diversos, inestables o inconcrets i no podem definir en qu consisteix la poltica o el programa.

    - Quan hi ha versions molt diferents en els objectius estratgics i no hi ha capacitat per acotar-los (impactes previstos).

    - Quan la Teoria del canvi s incoherent o poc realista (sense hiptesis plausibles).

    - Quan no hi ha un propsit davaluaci clar (utilitat de lavaluaci).

    - Quan els recursos per fer lavaluaci no sn suficients per respondre les preguntes de lavaluaci.

    Pas 1. Disseny de lavaluaci

    Un cop hem descrit els components que formen part de la Teoria del canvi, o sigui, una vegada hem reconstrut all que sobre el paper s i fa el programa, arriba el moment de fer la selecci de les preguntes davaluaci, o dit duna altra manera, de definir els objectius danlisi que haurem dassolir amb lavaluaci. Per tant, en aquest apartat, haurem de definir qu avaluarem, les tasques que es descriuen han de finalitzar amb la formulaci de les preguntes davaluaci que seran les qestions a respondre amb la nostra avaluaci.

    1.1 Tipus davaluaci

    Hi ha diferents maneres dabordar una avaluaci segons all que volem respondre o conixer respecte a la nostra intervenci. La reconstrucci de la Teoria del canvi ja ens aporta informaci valuosa sobre aquells elements que resultaran dinters en un exercici avaluatiu, a partir daqu, podem fer una primera aproximaci al tipus davaluaci que podrem dur a terme.

    Segons els elements del programa que vulguem analitzar podem distingir entre diferents tipus davaluaci. Seguint amb la proposta que fa Ivlua, Blasco, J. (2009), es plantegen diferents tipologies davaluaci. Aquestes sn:

    9

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    Avaluaci de necessitats: serveix per conixer la problemtica i per saber si aquesta justifica lexistncia del programa. El que busca s:

    - Determinar labast del problema i les seves caracterstiques i dimensions.

    - Analitzar la utilitzaci de serveis amb relaci a les necessitats/problemtiques.

    - Analitzar la distribuci territorial dels serveis.

    - Analitzar els serveis ms idonis per donar resposta al problema/necessitat.

    - Preveure la necessitat futura de determinats serveis.

    - Dimensionar una problemtica i estimar el volum de serveis per a una nova poltica.

    Aquesta avaluaci s til per a la planificaci dun programa nou o per reformular-ne un que fa temps que existeix.

    Avaluaci del disseny: serveix per valorar si el programa est ben dissenyat i s coherent amb els objectius estratgics (impactes) que pretn assolir. Ajuda a saber si la Teoria del canvi est ben formulada, s a dir, identifica en quina mesura el disseny de la intervenci, en tant que cadena lgica dhiptesis, s prou slida per resoldre el problema que dna ra de ser a la poltica pblica i no la seva execuci prctica.

    Aquest tipus davaluaci ens serveix per fer millores en el disseny duna poltica o per fer-la ms eficient. Tamb serveix com a exercici previ a lavaluaci dimplementaci i dimpacte.

    Avaluaci del procs o implementaci: sanalitza si el programa fa realment el que estava previst en el disseny. Lavaluaci dimplementaci permet valorar lassoliment dels objectius operatius del programa i com estan funcionant les activitats i els processos de treball previstos en el seu disseny. Aquest tipus davaluaci s til per analitzar programes en fases inicials, ja que permet corregir possibles desviacions o errades en la intervenci. Tamb s un tipus davaluaci prvia a lanlisi de limpacte en la mesura que contribueix a detectar en quina mesura els impactes assolits pel programa sn afectats per la implementaci de la intervenci.

    En definitiva, lavaluaci dimplementaci aporta informaci sobre el que est passant amb el programa i com podem millorar-lo.

    Avaluaci de limpacte: es tracta de saber si la intervenci ha assolit els objectius principals (estratgics) que es proposava, quins sn els canvis que shan produt i quins sn atribubles a la intervenci. Quan avaluem limpacte no volem saber si el problema que dna origen a la

    Font: BLASCO J. Guia prctica 1. Com iniciar una avaluaci: oportunitat, viabilitat i preguntes davaluaci. Collecci Ivlua, uies prctiques sobre avaluaci de poltiques pbliques. Barcelona: Ivlua 2009.

    10

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    realitzaci del programa millora o empitjora, si no el que est passant i el que hagus passat si no hi hagus hagut la intervenci del programa.

    Lavaluaci dimpacte va ms enll de fer un seguiment dindicadors, pretn analitzar els indicadors sobre la realitat juvenil cercant la causalitat atribuble al programa. A vegades els indicadors fan referncia als outcomes a curt, mitj i llarg termini, permetent seguir la seva evoluci.

    Avaluaci deficincia o econmica: aquesta avaluaci pretn mesurar la relaci entre els impactes del projecte i els seus costos, per valorar si aquesta relaci s adequada. Serveix per justificar la intervenci en termes econmics.

    1.2 Fase en qu es troba el programa

    Una altra manera de classificar les possibles maneres dabordar una avaluaci s des del punt de vista del moment en qu es troba el programa o poltica. Aquesta tasca ha de ser sinttica i alhora ha de contenir la informaci clau per entendre qu i com podrem avaluar. Segons la fase en qu es trobi el programa (i del grau de coneixement que en tinguem), podrem definir lenfocament de lavaluaci i quin s volem fer dels resultats.

    Hi ha tres tipus dabordatge duna davaluaci segons el moment en qu es troba el programa:

    Tipus avaluaci Moment en que es troba el programaAvaluaci exante - Fase de formulaci, planificaci, disseny (o

    experimentaci)

    Avaluaci intermedia

    - En les primeres fases dimplementaci

    - En una fase madura de funcionament (desplegament i gesti estables; ha passat prou temps perqu es puguin detectar impactes)

    Avaluaci ex- post - Revisi de la finalitat/revisi

    Avaluaci ex-ante: amb aquesta avaluaci sintenta anticipar els impactes abans de tirar endavant el programa. Es duu a terme en la fase de formulaci del programa, es tracta davaluar la millor manera de dur a terme un programa o servei. Sutilitza principalment per a lavaluaci del disseny, limpacte i la implementaci sobre projectes pilot.

    Avaluaci intermdia: moltes de les avaluacions es duen a terme en programes que ja fa temps que funcionen i que continuen vigents. En els programes recents savalua la implementaci que shavia previst, amb lobjectiu dintroduir millores en el desenvolupament de la poltica per millorar el seu impacte final. En els programes madurs lavaluaci intermdia pot servir per analitzar com ha evolucionat la necessitat inicial, si el disseny del programa s el ms adient i si els processos dimplementaci i gesti sestan duent a terme segons all previst. En aquest cas, els impactes noms seran avaluables si ha passat prou temps perqu aquests siguin observables.

    Avaluaci ex-post: es fa quan el programa ja ha finalitzat. Serveix per avaluar limpacte o leficincia econmica del programa, per a vegades aquesta informaci t una funci ms instrumental que ens ajuda a orientar canvis en el disseny dintervencions que sestan fent o en el disseny dintervencions noves. Un inconvenient de lavaluaci ex post s qu cal adaptar-se a la disponibilitat de les dades i que els possibles canvis o punts de millora pel programa que

    11

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    es derivin de les conclusions de lavaluaci no poden ser aplicats sobre el programa ja finalitzat, sin que servirien com a punt de partida per al disseny de nous programes.

    1.3 Propsits i destinataris de lavaluaci

    Ms enll dels tipus davaluaci, per definir les nostres preguntes, hi ha altres condicionants importants a tenir en compte en el disseny de lavaluaci, que sn:

    - els destinataris de lavaluaci;

    - els propsits de lavaluaci.

    Una avaluaci pot tenir molts i diversos motius per ser duta a terme. Partint sempre de la premissa que lavaluaci no s un fi en si mateix, sin un instrument per a la millora de la nostra intervenci, caldr reflexionar sobre de quina manera i sobre quins factors volem que lavaluaci aporti informaci.

    Els propsits ms habituals per dur a terme una avaluaci sn:9

    - Donar eines per prendre una decisi sobre el programa.

    - Contribuir a laprenentatge de lorganitzaci.

    - Instrument de gesti.

    - Rendici de comptes a la ciutadania.

    - Coneixement bsic sobre les poltiques pbliques i les poltiques de joventut.

    - Acompliment dun requeriment formal.

    El segent aspecte a tenir en compte s detectar quins seran els destinataris de lavaluaci: qui traur profit daquesta. Es tracta de definir i prioritzar aquelles rees, unitats o agents que ms poden aprofitar els resultats de lavaluaci i que resulten estratgics per incorporar els canvis necessaris que es desprenguin de les conclusions finals de lavaluaci.

    Quan tenim molts destinataris, el ms habitual s que el nombre de propsits davaluaci sigui tamb elevat. En aquest cas, cal tenir en compte que no sempre una avaluaci pot donar resposta a moltes preguntes. Per aix, caldr que prioritzem el propsit de lavaluaci i que aquest sigui coherent amb la utilitat per als destinataris.10

    1.4 Selecci de les preguntes davaluaci

    Arribats aqu, ja estem en disposici de dissenyar les nostres preguntes davaluaci.

    9 BLASCO, J. Guia prctica 1. Com iniciar una avaluaci: oportunitats, viabilitat i preguntes davaluaci. Collecci Ivlua, guies prctiques sobre avaluaci de poltiques pbliques. Vegeu les pgines 15 -18. 2009.10 Per ampliar aquesta informaci vegeu BLASCO, J. Guia prctica 1. Com iniciar una avaluaci: oportunitats, viabilitat i preguntes davaluaci. Collecci Ivlua, guies prctiques sobre avaluaci de poltiques pbliques. 2009. Taula de la pgina 19.

    12

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    Aquest punt s molt important i alhora crtic, ja que amb lavaluaci, el que es pretn s donar respostes sobre com funciona el programa i el seu rendiment. Cal que fem les preguntes correctes per obtenir les respostes que ens interessen. Ivlua proposa tres passos a tenir en compte per aconseguir una llista de preguntes davaluaci.11

    1- Identificar el tipus de pregunta davaluaci. El tipus davaluaci i els propsits que haguem determinat ens orientaran en la selecci de quines sn les preguntes davaluaci que ens interessen.

    2- Seleccionar les preguntes davaluaci. En un primer moment generarem una llista amb totes les possibles preguntes davaluaci. A partir daquesta llista, que per fora ser mplia, se seleccionaran o prioritzaran aquelles que siguin ms adients amb relaci als propsits i destinataris establerts anteriorment. s recomanable que no hi hagi ms de tres preguntes.12

    3- Concretar i formular les preguntes davaluaci. Les preguntes hauran de ser clares, genriques i alhora han de poder ser respostes. No shi hauran de posar termes que siguin ambigus i alhora hauran destar formulades perqu siguin observables (mesurables).

    Exemples de preguntes segons el tipus davaluaci:

    A) Preguntes per a lavaluaci de necessitats

    Les preguntes davaluaci vinculades a lanlisi de necessitats tindran per objectiu conixer la relaci i la coherncia entre les problemtiques socials i els serveis i programes per donar resposta a aquestes problemtiques.

    Dimensions Exemples de preguntesProblemtica (necessitat)

    - Quina s la naturalesa i la magnitud del problema? - Com es preveu que evolucionar?- Quines dimensions o factors intervenen (o composen) la problemtica

    detectada?

    Caracterstiques sociodemogrfiques

    - Quines sn les caracterstiques de la poblaci que pateix el problema? (perfils).

    - Aquest perfil(s) t altres problemes (necessitats) no coberts?

    Utilitzaci dels serveis

    - Quins serveis o activitats poden mitigar el problema/necessitat?- Quina freqncia, durada i intensitat sn les idnies per acotar el servei a

    fi que doni la resposta esperada?- Qu es necessita per proveir el servei? (recursos)

    B) Preguntes per a lavaluaci del disseny

    Les preguntes davaluaci vinculades al disseny tenen a veure amb lanlisi de si all que preveu el programa (la cadena lgica dhiptesis) sajusta i s prou slid per resoldre el problema al qual vol donar resposta la poltica pblica.

    11 Per aprofundir en aquesta informaci vegeu BLASCO, J. Collecci Ivlua, guies prctiques sobre avaluaci de poltiques pbliques. Guia prctica 1. Com iniciar una avaluaci: oportunitats, viabilitat i preguntes davaluaci. Barcelona: Ivlua, 2009. Pgines de la 27 a la 31.12 dem 7.

    13

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    Dimensions Exemples de preguntes

    Objectius- Els objectius del programa obeeixen al problema al qual es pretn

    respondre?- Els objectius del programa sn assolibles? Sn realistes?

    Cadena causal

    - La cadena causal dhiptesis descrita en la Teoria del canvi s plausible? (Si el programa fa el que diu que far efectivament saconsegueixen els productes previstos?)

    - La Teoria del canvi s coherent amb el coneixement sobre el problema?Previsi de procediments i funcions

    - Els processos de selecci de la poblaci diana estan ben descrits i sn coherents amb les caracterstiques daquesta?

    - Les activitats, les funcions i els protocols de prestaci de serveis estan ben definits? Sn adequats?

    - Els recursos que preveu el programa sn els adequats?

    C) Preguntes per a lavaluaci de la implementaciLes preguntes dimplementaci, al seu torn, suposen un pas ms respecte a lavaluaci del disseny i posen lmfasi a analitzar qu s el que fa el programa (activitats i productes) respecte al que se suposa que hauria de fer. Lavaluaci de la implementaci pivota sobre dues grans qestions:

    - Analitza si la poblaci diana (detectada a la Teoria del canvi) est rebent els serveis previstos.

    - Analitza si el funcionament i lorganitzaci interna del programa sn els adequats.

    Dimensions

    Exemples de preguntes

    Recursos- Els recursos assignats sn suficients?- Hi ha desviacions entre lassignaci de recursos inicial i ls que

    efectivament sha fet daquests?- Per qu? Sn coherents amb els objectius del programa?

    Activitats - Les activitats previstes en el disseny del programa o servei sestan duent a terme?

    - Shan fet altres actuacions no previstes? Per qu? - La variaci s coherent amb els objectius del programa?

    Productes - El programa assoleix els objectius operatius?- El programa est proveint els productes o serveis previstos?- Quins perfils de joves estan accedint al programa? Quins perfils nestan

    quedant fora?- Els participants estan obtenint els beneficis esperats amb la intervenci?

    D) Preguntes per a lavaluaci dimpacte

    Finalment, les preguntes vinculades a lavaluaci dimpacte cercaran respondre qestions com:

    Exemples de preguntes- El programa assoleix els objectius estratgics?- El problema o situaci a la qual es volia donar resposta sha mitigat?

    Aquest canvi es pot atribuir al programa o servei?- El programa est tenint impactes no previstos? (positius i negatius)- Els efectes del programa sobre la poblaci diana es mantenen al llarg del

    temps?

    14

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    - Els impactes tenen variaci segons els perfils de beneficiaris i/o el context en qu es proveeix el servei?

    Pas 2. Selecci del mtode

    Arribats aqu, hem decidit les nostres preguntes davaluaci, i arriba el moment de veure com respondrem aquestes preguntes.

    Hi ha un seguit de condicionants que determinaran la nostra capacitat per respondre aquestes preguntes. Aquests condicionants tenen a veure amb els recursos de qu disposem i, directament relacionats, amb els requeriments tecnicometodolgics que es desprenen dels tipus davaluaci i les preguntes que finalment hem acotat.

    2.1 Recursos davaluaci i recollida de dades

    En el disseny de lavaluaci hem de vetllar per la coherncia entre all que volem avaluar i els recursos de qu efectivament disposem per fer-ho. Per tant, en la definici del projecte davaluaci caldr valorar la disponibilitat dels recursos segents:13

    Finanament

    El finanament s un recurs que ens determinar el que podrem o no podrem fer. Ens permet disposar de lopci de generar dades i informaci ad hoc (per exemple, fer una enquesta o contractar sales per fer grups de discussi) o contractar avaluacions externes o professionals de suport en avaluaci per a lorientaci i lassessorament en aquesta.

    Expertesa

    Dur a terme una avaluaci requereix dun cert coneixement vers eines i tcniques danlisi. Per exemple, en el cas de lavaluaci dimpacte, requereix un coneixement tcnic ms especialitzat. A la DGJ-ACJ, disposem drees i perfils especialitzats que poden, en un moment determinat, donar suport i orientaci per iniciar avaluacions internes. A lhora de cercar professionals interns/externs podem tenir en compte:

    1- La capacitat danlisi.

    2- El coneixement de lestructura organitzativa.

    3- Que determinades avaluacions poden ser desenvolupades per personal amb menys coneixements tcnics.

    Implicaci i suport del personal (agents) associat del programa/servei/intervenci

    La cooperaci del personal que gestiona el programa que volem analitzar s un recurs no tangible per determinant per desenvolupar lavaluaci, per poder accedir a les dades i informacions sobre aquella rea. Abans diniciar lavaluaci est b establir protocols per poder accedir a determinades rees, de quina manera i en quin moment per no crear possibles conflictes.

    13 Font: BLASCO, J. Guia prctica 1. Com iniciar una avaluaci: oportunitats, viabilitat i preguntes davaluaci. Collecci Ivlua, guies prctiques sobre avaluaci de poltiques pbliques. 2009.

    15

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    La informaci i les bases de dades disponibles

    Les dades sn un requeriment necessari en lavaluaci, per aix haurem de preveure don i com obtindrem aquestes dades. Podem trobar que les dades ja existeixin o que shagin de crear. Si existeixen, el ms habitual s que les obtinguem a travs de registres administratius; aquestes bases de dades (daqu en endavant BD) sn avantatjoses en tant que resulten ms barates i que podem tenir en compte tota la poblaci. Una altra modalitat amb relaci a la disponibilitat de dades existents s lexplotaci duna BD provinent duna enquesta. En aquest sentit, a la DGJ-ACJ disposem de lEJC12 i de lEPP11, que poden aportar informaci diversa sobre realitat juvenil (necessitats). Aquests recursos preexistents tenen, per, com a desavantatge que sn limitats pel que fa a la disponibilitat de dades ad hoc i, per fora, ens haurem dadaptar a les dades que ja existeixen. Si les dades shan de crear, hi ha lavantatge que pots generar la informaci a mida, per requereix temps , un cost elevat i uns certs coneixements de recerca en cincies socials.

    El temps

    Tot i que pot semblar molt obvi, el temps s un recurs necessari per poder desenvolupar una avaluaci, per aix cal fer una previsi que sigui realista i que tingui en compte les crregues de treball en coherncia amb el timings previstos per a lavaluaci.

    2.2 Plantejament metodolgic

    Les preguntes davaluaci que, com hem vist, es relacionen directament amb uns tipus davaluaci o altres, determinaran on posem el focus de lanlisi i, per tant, les eines metodolgiques que haurem de posar al servei de lavaluaci.

    Per iniciar lanlisi que ens ha de portar a respondre les preguntes, caldr que tinguem molt clar qu s el que anem a buscar. Fem un breu reps dels tipus danlisi que es deriven de cadascun dels tipus de preguntes (i tipus davaluaci) que haurem plantejat en la fase anterior.

    2.2.1 Qu analitzem si fem una avaluaci de necessitats

    Si estem plantejant una avaluaci de necessitats (preguntes vinculades a les problemtiques juvenils i a la necessitat de serveis per donar-hi resposta), lanlisi cercar determinar labast i les dimensions de la problemtica i quina s la millor manera per donar-hi resposta.

    Lanlisi de necessitats socials (en aquest cas juvenils) distingeix tres nivells (o estadis) per a lanlisi:

    a) Anlisi de necessitats de rendiment (anlisi de la problemtica). En aquest nivell analitzarem la necessitat en si mateixa, el problema a resoldre:

    Acotaci i quantificaci del problema (on i quantes persones joves ho pateixen).

    Definici dels perfils diferenciats que pateixen la problemtica.

    Anlisi de les causes del problema. Integralitat de la realitat, multicausalitat dels problemes.

    16

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    b) Anlisi de necessitats de serveis/actuacions. Cerca informaci sobre els serveis necessaris per donar resposta a la problemtica (estimaci del tipus, les caracterstiques i el volum de la prestaci). Es tracta, doncs, de definir el que hauria de ser el servei o programa ideal per donar resposta al problema o necessitat. En aquest cas, la informaci sobt a partir de la revisi daltres casos i experincies semblants (avaluacions i recerques acadmiques) que ens orientin en aquesta definici. Les eines o fonts que ens poden proveir aquesta informaci sn:

    - Estudis sobre efectivitat o cost de lefectivitat (altres serveis o programes que atenguin la mateixa problemtica social).

    - Grups dexperts i comparativa.

    c) Anlisi de la relaci entre les necessitats i la utilitzaci que efectivament sest fent del servei o programa que volem avaluar. Aquest darrer estadi resulta de la relaci dels dos anteriors, i labordatge ser diferent si ens referim a programes en actiu o a programes que es troben en fase de disseny.

    c.1. Per a programes en actiu (relaci entre teoria i prctica)

    En el cas de programes en actiu es tractar danalitzar si les persones que pateixen el problema sn les que en realitat estan accedint al programa o si, al contrari, hi ha una dissonncia entre la necessitat social i laccs als recursos que han de donar resposta a aquesta necessitat. Lanlisi, per tant, se centra en la relaci de la demanda, laccs i la necessitat:

    - Necessitats no cobertes sense demanda (hi ha un segment de la poblaci diana que parteix de la problemtica per no demanden el servei i per tant no hi accedeixen).

    - Demanda no atesa, necessria i no necessria (usuaris que demanden el programa, no el necessiten i no hi accedeixen i usuaris que demanden el programa, el necessiten i no hi accedeixen).

    - Demanda no necessria i atesa (usuaris que no pateixen el problema per demanden el servei i el reben).

    - Oferta de serveis (no necessaris) sense demanda

    - Necessitat i utilitzaci del servei (amb demanda o sense demanda) situaci ptima.

    c.2. Per a programes en fase de disseny

    Es far lanlisi segons altres mecanismes que estiguin fent servir les persones que pateixen el problema per donar-hi resposta. s a dir, com que en aquest cas estem analitzant quina s la millor manera de donar resposta a un problema (o necessitat) social, caldr cercar quines estratgies estan fent servir les persones que pateixen el problema per palliar-lo.

    Eines per avaluar necessitats

    En una avaluaci de necessitats, lexercici analtic se centra en els individus (joves) com a unitat danlisi bsica. Per a aix sutilitzen principalment tcniques quantitatives que permeten estudiar labast poblacional duna problemtica o els factors que influeixen (o determinen) a partir daquesta problemtica. Tanmateix, les tcniques qualitatives poden aportar un altre tipus dinformaci de caire discursiu que reculli percepcions, discursos grupals i motivacions ocultes vers la problemtica o el programa a avaluar. Finalment, cal tenir en compte les potencialitats de tcniques prpies de lIAP (Investigaci-Acci Participativa) per analitzar una problemtica des duna perspectiva de construcci conjunta; aquest tipus de

    17

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    tcniques aporten un altre enfocament basat en la innovaci metodolgica i en lorientaci vers les solucions.14

    Quantitatiu % joves en risc de pobresa.Rtio dutilitzaci dun servei homes/dones.

    Distribuci de joves que utilitzen un servei segons caracterstiques.

    Qualitatiu

    Expectatives dels i les joves en risc de pobresa respecte a la seva trajectria educativa.

    Percepcions dhomes i dones sobre el servei (horaris, accessibilitat, llenguatge, etc.).

    Demandes dels i les joves respecte als serveis que sofereixen en el seu municipi.

    Sigui com sigui, hi ha un seguit de tcniques i eines metodolgiques que resulten tils per abordar una avaluaci de necessitat. Lelecci duna o altra tcnica tindr a veure amb els recursos disponibles i les preguntes davaluaci que ens hem plantejat anteriorment:

    - Enquestes realitzades ad-hoc. Sn les dissenyades especficament per a lavaluaci i, per tant, amb informaci acotada a aquest respecte. En canvi, requereix ms recursos econmics i dexpertesa.

    - Explotaci duna enquesta ja existent. En aquest cas disposem de lEnquesta a la joventut de Catalunya (EJC-12) que recull informaci transcendent sobre diferents mbits de la vida de les persones joves de Catalunya i de la qual podem disposar dexplotacions a mida.

    - Registres administratius. Es tracta danalitzar BD preexistents amb informaci de carcter individual (cens, BD de serveis socials, BD del Carnet Jove, BD sobre prestacions, CatSalut, etc.). Els costos sn molt menors, per sovint laccs i ladaptaci de les dades al nostre objecte destudi s parcial.

    - Combinaci de fonts secundries (mtodes destimaci indirecta). A vegades no es disposa duna font de dades que reculli tot all que necessitem per donar resposta a les preguntes davaluaci, per en canvi es disposa de diferents fonts que, complementades, poden ajudar-nos a abordar lanlisi del problema. Per exemple, en el cas de municipis on no es pot fer una enquesta i de qu es disposa no sn representatius a lmbit municipal. Es fa una combinatria entre registres administratius municipals i estimacions (respecte a comarca-mbit) a partir denquestes existents prviament.

    2.2.2 Qu analitzem si fem una avaluaci de disseny

    Es basa en la reconstrucci de la teoria del programa Teoria del canvi. Aquest exercici serveix, o b com a pas previ necessari per dur a terme lavaluaci dimplementaci o com una avaluaci prpiament dita que analitzi la consistncia del disseny del programa per donar resposta a la necessitat social a la qual respon. Aquest segon punt s el que sanomena avaluaci del disseny i consisteix a desagregar la hiptesi (o hiptesis) causal de la intervenci pblica.

    14 Segons els recursos i de les necessitats dinformaci, en cada cas sescolliran unes o altres perspectives danlisi, en tot cas, es sempre recomanable fer una combinaci de diferents tcniques que permeti abordar lanlisi des de diferents angles. Us recomanem revisar la Guia breu de tcniques i eines danlisi per a les poltiques de joventut. http://www20.gencat.cat/docs/Joventut/E-Joventut/Recursos/Tipus%20de%20recurs/Documentacio/Catalunya/Arxiu/Document/Guia_Breu_Tecniques_Eines_Analisi.pdf

    18

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    Es tracta de cercar les possibles desviacions entre el disseny del programa i els impactes que pretn assolir, tenint en compte la poblaci diana (o segments daquesta) i els efectes del context. Lobjectiu final daquesta avaluaci s construir una seqncia lgica que connecti els impactes a llarg termini amb els impactes a curt termini. Els impactes a curt termini amb els productes, cada producte amb cada activitat i cada activitat amb els recursos necessaris per dur-la a terme.

    Arribats aqu, es tracta de definir la cadena causal ideal que permeti relacionar cadascun dels components de manera lgica i coherent amb els altres components amb els quals est associat (la seva adequaci, suficincia i consistncia). Un cop definides les hiptesis causals (si fem x passar y) caldr acotar com observar-les, s a dir, haurem de definir els indicadors, entesos com a dimensions mesurables de lelement que sha danalitzar.

    En aquest punt cal fer un breu parntesi. Lavaluaci de disseny no basa lanlisi en la mesura dindicadors. Tanmateix, hi ha diferents elements del disseny del programa (de la Teoria del canvi) que shauran de dimensionar a travs de dades observables. Nogensmenys, aquests elements poden ser tangibles (pressupost assignat) o intangibles (millora ocupacional). En el segon cas, caldr fer un exercici per acotar all que efectivament volem que sigui lindicador (per exemple, trobar feina, ser capa de mantenir-la durant un perode de temps establert o adquirir un seguit de coneixements prviament definits). En tot cas, com hem dit, aquests indicadors serviran per descriure la Teoria del canvi ideal i generar la cadena causal lgica daquesta, no sutilitzen, per, com a eina per a lanlisi. Tanmateix, cal assenyalar que tamb podem utilitzar informacions qualitatives per dimensionar el problema, la poblaci diana o les dinmiques de gesti del programa o servei ideal.

    Eines per avaluar el disseny

    Per fer aquest exercici per dur a terme una avaluaci de disseny, no hi ha una metodologia concreta i nica. Lanlisi del disseny dun programa o actuaci t a veure amb lexpertesa i el coneixement respecte al programa i la problemtica a la qual respon. Pot ser abordada a partir de diferents tcniques de recollida dinformaci, des de la revisi dinformes i recerques prpies de les cincies socials, el treball amb grups dexperts o entrevistes, o la comparativa daltres avaluacions o experincies prctiques vinculades a la problemtica a la qual respon el programa.

    2.3.3. Qu analitzem si fem una avaluaci dimplementaci

    Lavaluaci dimplementaci tracta de valorar les desviacions entre el disseny (teoria) i la implementaci real (prctica) del programa, aix com els efectes daquesta distncia sobre els productes i els impactes del programa. Es tracta de veure en quin grau els recursos, les activitats i els resultats (productes-outputs) sadeqen al compliment dels objectius estratgics i operatius del programa.

    Seguint la idea que el programa que estem avaluant pretn generar un canvi respecte a un problema (necessitat) que afecta un collectiu (poblaci diana), lavaluaci dimplementaci analitza si tal com es desenvolupa el programa s possible generar aquest canvi15 (no analitza si es genera o no el canvi, sin si el programa est orientat a generar-lo).

    Lavaluaci dimplementaci centrar lanlisi en dos grans blocs:

    1. Relaci entre la poblaci diana i els serveis previstos15 Aquest punt s, a ms a ms, el pas previ i necessari per dur a terme una avaluaci dimpacte.

    19

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    Sanalitza si sest donant la cobertura adequada a les necessitats socials que provoquen la intervenci. Aix vol dir analitzar:

    - Si all que el programa se suposa que fa (activitats) sha fet amb el volum i la qualitat adequats. (Quants serveis/activitats? Han estat adequats/ades? Per qu?).

    - Si all que el programa fa (activitats) est arribant a la poblaci diana i si sen fa ls esperat (aprofitament). Per qu?

    Aquest nivell danlisi es focalitza en la relaci entre les activitats i la poblaci diana. Es tracta de veure si la poblaci diana a qui va adreat el programa est accedint-hi: fent les activitats o rebent els serveis previstos. Es poden destacar un seguit derrors habituals de la implementaci que fan que la poblaci diana no accedeixi al recurs o ho faci duna manera no prevista. En aquests casos, es parla de biaix, que s la distncia entre all previst i all que efectivament passa:

    - Biaix dauto selecci. Es dna quan la participaci s voluntria i atreu determinats perfils, mentre que daltres en queden fora. Per exemple: un programa que promogui la generaci despais interculturals entre joves a travs de lesport on finalment noms (o majoritriament) participen joves duna determinada cultura .

    - Biaix per la dinmica de funcionament i laplicaci dels criteris dadmissi del programa. Sn els casos en qu hi ha una predisposici (volguda o no) per afavorir la participaci de determinats perfils. Per exemple, programes de foment de la participaci per a joves que ja participen o en un programa dinserci laboral per a joves amb baixa qualificaci en qu es decideix prioritzar a perfils que, tot i no ser els de ms baixa qualificaci, poden aprofitar millor el programa.

    - Biaix per barreres fsiques, cognitives o funcionals (desigualtats en laccs). Es dna en aquells casos en qu els recursos, les dinmiques de funcionament o les activitats no estan adaptades a la diversitat de joves que formen la poblaci diana. Es dna, per exemple, si els llenguatges utilitzats per donar a conixer el programa estan allunyats dels continguts simblics de les persones joves a les quals sadrea, si els horaris de les activitats deixen fora un grup, si els continguts que es treballen sadrecen noms a una determinada tipologia de joves, si els equipaments no estan arquitectnicament adaptats per a persones amb mobilitat reduda o amb discapacitat sensorial, etc.

    - Biaix de sobrecobertura. Es dna quan el programa atreu usuaris/participants als quals, en principi, no anava adreat.

    Tanmateix, ms enll danalitzar els possibles biaixos en laccs al programa, s important cercar els perqus, s a dir, all que motiva el biaix. Analitzar aquests aspectes ens permetr conixer all que cal millorar per complir els objectius operatius i veure les possibles desviacions en latenci a la poblaci diana.

    En aquest sentit, a la ACJ-DGJ hi ha disponibles diferent tipus de fonts sobre variables, indicadors i anlisis que aporten informaci rellevant sobre laccs desigual de les persones joves als serveis i recursos pblics. El SiJove i lEJC-12 ofereixen dades i anlisis especfiques en aquest sentit. A ms a ms, des dels equips dinterculturalitat i de gnere shan elaborat guies i

    20

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    manuals en aquest respecte, podeu trobar-ne referncia al web, a le-joventut o sollicitar-los als mateixos equips.16

    A ms, aquesta informaci s necessria per fer un altre tipus davaluaci de la qual no es tracta en aquesta pauta: lavaluaci de leficincia operativa del programa; proporci del pblic objectiu al qual estem atenent i amb quins recursos per poder decidir sobre la continutat, la modificaci o lampliaci del sistema de gesti del programa o servei.

    2. Adequaci del funcionament i lorganitzaci interna del programa

    En aquest cas, analitzem si el programa sorganitza i gestiona de la manera ms adequada, s a dir, si els recursos, els productes i les activitats operen correctament per produir el resultats previstos. Aquest nivell danlisi, se centra, per tant, en la contrastaci de la cadena causal terica que vincula els recursos, les activitats i els productes amb all que efectivament est passant durant la implementaci.

    Dins daquesta anlisi caldr considerar tant els efectes de lentorn com aquells elements del disseny que, un cop posat en marxa el programa, shan anat desviant. Igual que en el punt anterior, la cerca de solucions davant de les possibles desviacions de la implementaci tindran a veure amb conixer el perqu daquesta desviaci.

    Per tant, les possibles dimensions a avaluar del programa sn:

    - Recursos econmics i materials- Personal- Processos de producci i provisi de serveis- Estructures organitzatives- Planificaci- Relacions interorganitzatives- Gesti de la qualitat

    Eines per avaluar la implementaci

    Els dos nivells danlisi plantejats per dur a terme una avaluaci dimpactes pivotaran sobre la Teoria del canvi que hem reconstrut en el pas A. Recordem que hem definit els components o dimensions clau del programa, els seus impactes i la cadena dhiptesis lgica per aconseguir-ho. Des daquest punt de vista, la reconstrucci de la Teoria del canvi t un valor instrumental per poder dur a terme lavaluaci dimplementaci, en tant que defineix all que el programa hauria de fer.

    En lavaluaci dimplementaci sanalitzar la relaci entre all que fa el programa o servei respecte al que hauria de fer segons la Teoria del canvi, per tant, se centra en:

    - Recursos (inputs)

    - Activitats (processos)

    - Productes (outputs)

    16 A le-joventut tamb podeu trobar un document sobre laplicaci dels principis rectors del PNJCat. En aquest document s interessant veure ladaptaci del principi de transformaci en les diferents fases de planificaci duna poltica de joventut a lmbit local.

    21

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    Tanmateix, per analitzar la distncia entre la teoria i la prctica hi ha un seguit de decisions metodolgiques que cal prendre en aquest respecte. Aquestes decisions tenen a veure amb la definici dels indicadors amb qu valorarem com sha dut a terme la implementaci, aquesta decisi shaur de valorar en cada cas concret, tot i que ha de tenir com a referncia les hiptesis que haguem plantejat de partida. Per exemple, si es parteix de la hiptesi que el pressupost necessari per dur a terme el programa ha de ser dx quantitat, que ha destar disponible en un perode de temps i que shaur de distribuir duna manera determinada entre les diferents activitats programes, la definici dels indicadors, en aquest cas, tindr a veure amb fer el seguiment daquests elements, veure com han evolucionat durant la implementaci i en quina mesura estan afectant a lobtenci duns productes (resultats). En un altre nivell danlisi, aquestes informacions han de sevir per detectar el grau dinfluncia de la implementaci en els impactes del programa (objectius estratgics).

    La definici dels indicadors no sempre s senzilla. Tanmateix, independentment de qu duguem a terme una avaluaci dimplementaci ms o menys complexa, aquests sn elements clau de la nostra feina i, per tant, els diferents programes i actuacions que es desenvolupen des de la DGJ-ACJ haurien de contenir un seguiment daquest tipus dinformaci en termes dimplementaci.

    Sigui com sigui, la interpretaci de les desviacions s el moll de los de lavaluaci dimplementaci. Aquesta interpretaci haur destar guiada pel coneixement sobre la matria o temtica sobre la que tracta el programa (necessitat o problema social), per tant, caldr revisar la literatura disponible respecte a la matria, altres avaluacions realitzades sobre programes semblants i recerques socials que hi puguin estar relacionades. Tamb podem abordar aquest coneixement a partir de dades ad-hoc basades en el coneixement de persones expertes o coneixedores del programa i la seva gesti.

    2.3.4 Qu analitzem si fem una avaluaci dimpacte

    Una avaluaci dimpacte no consisteix a veure si el problema ha mitigat o si ha empitjorat, si no a esbrinar en quin grau el programa ha contribut a la millora del problema sobre el que actua. Una avaluaci dimpacte consisteix doncs, a cercar (o analitzar) la causalitat entre el programa i la millora o evoluci de la situaci de partida.

    Per al cas de lavaluaci dimpacte, la metodologia danlisi s quantitativa. Lanlisi de la causalitat es fa a partir dun contrafactual que ens permet observar la distncia entre el que ha passat i el que hauria dhaver passat en absncia del programa/poltica. De fet, el moll de los duna avaluaci dimpacte s trobar aquest contrafactual, aquesta dada que ens permeti comparar els outcomes del programa amb una situaci de no participaci (o benefici) daquests outcomes.

    Ara b, qu vol dir outcome o impacte? Loutcome s un indicador (una mesura) del fenomen que volem observar, ha de tenir una connexi directa amb els objectius estratgics del programa-poltica: s lexpressi mesurable dels objectius estratgics. Per aix s important que en la reconstrucci de la Teoria del canvi (fase 1) aquests outcomes estiguin ben definits i acotats.

    22

    Associaci no vol dir causalitat

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    A ms a ms, s molt habitual que el programa/poltica tingui diferents objectius i que aquests siguin multidimensionals (es construeixen a partir de la combinaci de diferents dimensions mesurables). Per tant, caldr definir una estructura doutcomes que siguin el reflex del fenomen a analitzar.

    - Acotar en un perode temporal en qu shan de produir els impactes.

    - Acotar les dimensions que formen limpacte (per exemple, en un programa de foment de locupaci podrem definir loutcome com aconseguir feina o b, com mantenir-la desprs dun perode determinat de temps).

    Fent un breu parntesi, hi ha dos conceptes clau a tenir en compte en la definici de lindicador:

    - Validesa, la mesura s coherent amb el fenomen que es vol estudiar (el descriu adequadament)

    - Fiabilitat , la mesura s replicable a altres avaluacions (o moments de lavaluaci) amb els mateixos resultats s de mesures estandaritzades-

    Ara b, un cop definit all que ens ajuda a aproximar-nos a limpacte del nostre programa, cal cercar la manera de comparar aquestes dades amb all que hauria passat si el programa/poltica no shagus dut a terme (aix saconsegueix el contrafactual).

    Per calcular aquest supsit (o hiptesi) cal disposar duna dada complementaria que ens permeti calcular loutcome de les persones que no hi ha participat. Normalment, aquesta dada sobt a travs dun grup de control (un grup de no-participants) que, amb caracterstiques semblants a les dels participants, permeten observar un fenomen que en principi no seria observable. El procediment, doncs, consisteix a obtenir els indicadors seleccionats per tots dos grups, la diferencia entre un i laltre ens permet obtenir el contrafactual.

    Eines per avaluar impacte

    Respecte les eines metodolgiques per dur a terme una avaluaci dimpacte ja hem comentat que aquest tipus davaluaci es realitza principalment sota una perspectiva quantitativa.17 No obstant, s interessant utilitzar tamb eines qualitatives com a complement a les quantitatives (s de mtodes mixtos) ja que aquestes permeten dotar de sentit i ajuden a interpretar les dades quantitatives.

    Pel qu fa a les eines quantitatives, ats que han de validar un fenomen no observable sota una hiptesi causal, lideal seria poder fer un experiment que permets controlar al mxim (i sota el principi daleatorietat) tant el grup de control com el grup de participants. Fer un experiment, per, acostuma a ser costs i poc factible. Hi ha altres tcniques de tipus quasi-experimental que sovint resulten ms abastables:

    - Abans-desprs (sense grup de control) s la tcnica menys robusta i noms es fa servir si no s possible dur a terme cap de les altres que explicarem. Consisteix a passar un qestionari al grup de participants abans i desprs del programa.

    17 Existeixen perspectives analtiques de caire qualitatiu que permeten aproximar la contribuci del programa a la generaci del canvi. Aquestes aproximacions es basen en la reconstrucci de la cadena argumental que guia el desenvolupament del programa amb relaci amb la situaci final (impacte). Tanmateix, aquests abordatges, no permeten allar els efectes de lentorn sobre la situaci final i requereixen un procs analtic molt curs per tal que el coneixement obtingut sigui prou slid.

    23

  • Passos per a lavaluaci de poltiques i programes de joventut Document Intern - DGJ-ACJ

    - Sries temporals interrompudes (sense grup de control) utilitza informaci sobre diferents moments tant abans com desprs de la intervenci (determina el comportament normal abans de la intervenci i el contrasta amb el comportament desprs de la intervenci).

    - Matching (amb grup de control). Imita un experiment mitjanant un grup de control que ha de tenir les mateixes caracterstiques bsiques (variables independents) que cadascun dels membres del grup dintervenci. El mtode busca, per a cadascun dels membres del grup de participants, una parella idntica en el grup de comparaci. El grup de control sobt sempre ex post.

    - Dobles diferncies (amb grup de control). En aquest cas el grup de control es defineix a linici de la intervenci. El mtode consisteix a recollir informaci tant del grup de control com del grup de participants abans i desprs de la intervenci.

    24

  • Passes per lavaluaci de poltiques i programes de joventut Document Intern- DGJ-ACJ

    Necessitats Disseny Implementaci Impacte

    Qu cerca?

    Detectar una necessitat social no coberta (problemtica) o la idonetat dun programa/poltica per donar-li resposta.

    Determina si la lgica dintervenci que proposa la poltica s la ms adequada per donar resposta als objectius estratgics (impacte/problema).

    Analitza si all que fa el programa s el que hauria de fer. Sassenta sobre dues grans qestions:

    - la relaci entre la poblaci diana i el programa (cobertura);

    - ladequaci de la gesti i el funcionament del programa.

    Analitza si la intervenci ha assolit els seus objectius estratgics, quins sn els canvis que shan produt en la problemtica analitzada i quins sn atribubles a la intervenci.

    Preguntes

    - Quin s labast i la naturalesa del problema?

    - Quins serveis sn els adequats per solucionar el problema?

    - La cadena dhiptesis que planteja el programa (Teoria del canvi) mant la coherncia entre els diferents elements que la composen?

    - Els elements que composen la Teoria del canvi sn adequats per assolir limpacte esperat?

    - Els recursos assignats sn els adequats? (suficients)

    - Els perfils que accedeixen al programa sn els previstos?

    - Les activitats programades es duen a terme?

    El programa assoleix els objectius estratgics?

    El programa aconsegueix mitigar el problema al qual respon?Els diferents perfils de joves estan rebent els impactes de la mateixa manera? (impactes diferenciats)

    Indicadors

    - Proporci de joves que pateixen el problema

    ** i les seves caracterstiques.

    - Distribuci territorial dels i les joves que pateixen el problema.

    No hi ha indicadors, per s una revisi dhiptesis causals (teriques o observables) per veure quin seria el disseny idoni del programa/poltica.

    - Desviaci entre pressupost assignat i pressupost executat ().

    - Nombre de tallers duts a terme.

    - Nombre de joves atesos.

    - Nombre daccions o activitats desenvolupades i no previstes.

    **Contrafactual grup de control+ grup de participants / mesures en diferents moments de temps / mesura cas a cas

    Dimensiona i quantifica variables del tipus:

    - Competncies bsiques

    - Ocupabilitat

    25

  • Passes per lavaluaci de poltiques i programes de joventut Document Intern- DGJ-ACJ

    Mtode

    - Enquestes ad hoc.

    - Anlisi denquestes prvies.

    - Anlisi de BD administratives.

    - Grups de discussi/entrevistes.

    - Tallers de construcci amb agents i joves.

    - Grups dexperts.

    - Revisi documental.

    - Informes avaluatius daltres programes amb caracterstiques semblants.

    - Recerques socials prvies.

    - Grups dexperts.

    - Tallers de construcci amb agents i joves.

    - Informes de monitoratge sobre el programa.

    - BD administratives.

    - Entrevistes / grups de discussi.

    - Estudis de cas.

    - Grups dexperts.

    - Observaci (participant o no participant).

    - Enquestes ad hoc.

    - Experiments socials.

    - Abans-desprs (sense grup de control).

    - Sries temporals interrompudes (sense grup de control).

    - Matching (amb grup de control). - Dobles diferncies (amb grup de control).

    26

  • Guia. Passos per fer una avaluaci de poltiques i programes de joventut

    ANNEX

    27

  • Guia. Passos per fer una avaluaci de poltiques i programes de joventut

    Exemple 1. Teoria del canvi

    Per a qu ens servir:18

    - Conixer el que el programa vol aconseguir i les expectatives de com ho aconseguir.

    - Fer un test preliminar de lavaluabilitat per determinar si la intervenci pblica reuneix les condicions necessries per destinar-hi recursos i temps per avaluar-la.

    - Identificar quin tipus davaluaci s la ms adequada. Determinar si el programa s prou estable i madur per fer una avaluaci dimpacte o de disseny o deficincia.

    - Identificar les preguntes ms pertinents i les ms rellevants.

    Exemple: programa Talla amb els mals rotllos

    18 Extret de BLASCO, J.Guia prctica 1. Com iniciar una avaluaci: oportunitat de viabilitat i preguntes davaluaci. Collecci Ivlua, guies prctiques sobre avaluaci de poltiques pbliques. Barcelona: Ivlua 2009.

    28

  • Guia. Passos per fer una avaluaci de poltiques i programes de joventut

    Exemple de programa 3D

    29

  • Guia. Passos per fer una avaluaci de poltiques i programes de joventut

    PROBLEMA

    (quin s el problema que es vol

    solucionar?)

    RECURSOS

    (els recursos sn suficients?)

    ACTIVITATS

    (les activitats es desenvolupen com estaven previstes?)

    RESULTAT / PRODUCTES

    (els productes de les activitats sn

    els esperats?)

    IMPACTES

    A curt, mitj i llarg termini

    (la intervenci resol el problema?)

    Les condicions per a la participaci de lalumnat al centre no sn les idnies:

    - Manca de coneixement dels drets i deures, desigual funcionament dels rgans de participaci, dificultat daccs a la informaci, etc.).

    - Seduca poc en participaci lalumnat (no es fa treball tranversal de les competncies en participaci, manca de coherncia amb el funcionament del centre, etc.).

    - Lalumnat t poca capacitat dincidncia (incideix noms en els mbits ms festius i poc en els mbits nuclears...),

    - Hi ha un mal funcionament dels espais de participaci existents (poc aprofitament de les tutories; rgans del centre poc participatius, etc.).

    - Assessors experts en participaci per formar i assessorar els delegats i els tutors.

    - Sessions dassessorament i formaci als delegats i als tutors.

    - Realitzaci de cinc sessions dassessoraments.

    - Material didctic per als tutors i delegats.

    - Treball a laula sobre les competncies en participaci i realitzaci de dinmiques.

    - Realitzaci de cinc o ms sessions a laula.

    - Increment de les metodologies participatives a laula.

    - Majors competncies en participaci: aprendre qu vol dir participar, com es pot participar i quines actituds sn importants per participar.

    - Alumnat i tutor: a travs de la figura del delegat de classe i amb el suport del tutor porten a terme un projecte de participaci.

    - Desenvolupament i implementaci dun projecte participatiu.

    - El delegat i el tutor dinamitzen les sessions daula.

    - Implicaci del tutor i el delegat en el programa 3D.

    - Realitzaci dun projecte per grup aula i funcionament daquest.

    - Aprendre a dissenyar, implementar i avaluar un projecte de participaci.

    - Incrementar la capacitat dincidncia de la gent jove.

    - Reforar la figura del delegat/ada com a interlocutor de lalumnat i dinamitzador del grup aula.

    - Millorar la relaci entre tutor, delegat i la resta de laula.

    - Fomentar i millorar la participaci als centres educatius.

    - Millorar la qualitat dels espais de participaci existents a lentorn educatiu

    - Fomentar el rol actiu de lalumnat en el seu propi procs daprenentatge i dincidncia en els temes que lafecten.

    - Equip de foment de la participaci de la ACJ /DGJ per donar suport i assessorament als agents que participen en el programa.

    - Formaci, suport i seguiment als collaboradors.

    - Assessorament als IES.

    - Suport i seguiment als centres educatius del programa.

    - Realitzaci duna formaci.

    - Selecci de lIES que compleix els criteris de participaci.

    - Visita dun IES per fer coordinaci territorial.

    - Realitzaci duna sessi davaluaci amb els

    30

  • Guia. Passos per fer una avaluaci de poltiques i programes de joventut

    Exemple 2. Objectius estratgics

    Qu hem de tenir en compte?- 19Per descriure la Teoria del canvi ens caldr identificar quins sn els

    objectius que el programa intenta assolir. - Els objectius estratgics han destar relacionats amb el problema a resoldre

    o la situaci a millorar. - No han de ser objectius que descriguin qu s el programa o qu fa, sin el

    que el programa pretn assolir i si aquest funciona.- Han de fer referncia a un perode relativament llarg (ms de 2-3 anys, si el

    termini fos curt serien objectius operatius).- -El nombre ha de ser limitat (2-5 per programa).

    Exemples de definici dobjectius estratgics20

    Correcta Incorrecta Millorar el nivell dangls dels estudiants universitaris.

    Desenvolupar una eina daprenentatge virtual dangls per als estudiants universitaris.

    Expressa el canvi que es produir si el programa funciona.

    s una actuaci. No expressa qu canviar quan el programa es porti a terme.

    Millorar la xarxa assistencial adreada a les persones grans amb problemes de dependncia.

    Mantenir la xarxa assistencial per a gent gran amb dependncia.

    Expressa el canvi que es produir si el programa funciona.

    No representa cap repte. No expressa qu canviar quan el programa es porti a terme.

    Incrementar i millorar el capital hum vinculat al sistema de recerca i desenvolupament.

    Establir una lnia de concessi de beques a joves investigadors.

    Expressa el canvi que es produir si el programa funciona.

    s una actuaci. No expressa qu canviar quan el programa es porti a terme.

    Millorar el contingut de les accions formatives per adaptar-les a les necessitats del mercat de treball.

    Fer una convocatria de subvencions per a cursos de formaci ocupacional.

    Expressa el canvi que es produir si el programa funciona.

    s una actuaci. No expressa qu canviar quan el programa es porti a terme.

    Millorar el nivell de coneixement del catal entre la poblaci.

    Incrementar el nombre de pellcules en catal.

    Expressa el canvi que es produir si el programa funciona.

    s una actuaci. No expressa qu canviar quan el programa es porti a terme.

    19 Extret de la Guia 1 dIvlua, pgina 13.20 Guia per a lelaboraci de programes pressupostaris.

    31

  • Guia. Passos per fer una avaluaci de poltiques i programes de joventut

    Objectius estratgics (correcte) Objectius estratgics (incorrecte)

    Fomentar i millorar la participaci als centres educatius com a element bsic de la tasca educativa.

    Fomentar la participaci als centres educatius com a element bsic de la tasca educativa. Es lacci, no expressa qu canviar quan el programa es porti a terme.

    Potenciar i reforar la tasca del delegat com a interlocutor amb els rgans dels centres i com a dinamitzador de laula.

    Potenciar la tasca del delegat com a interlocutor amb els rgans dels centres i com a dinamitzador de laula. s una actuaci, no expressa qu canviar quan el programa es porti a terme.

    Millorar la qualitat dels espais de participaci existents a lentorn educatiu.

    Incrementar la qualitat dels espais de participaci existents a lentorn educatiu.

    . s una actuaci, no expressa qu canviar quan el programa es porti a terme.

    Altres exemples dobjectius correctes de programes de joventut

    - Augmentar les capacitats dautonomia i la xarxa relacional de les persones joves que es troben sense referents en el seu procs demancipaci per reduir la seva situaci de vulnerabilitat.

    - Reduir els obstacles i generar una igualtat doportunitats entre les persones joves sense referents per facilitar-los una transici a la vida adulta satisfactria.

    - Fomentar sinergies interculturals, de reconeixement mutu i dinclusi social mitjanant el procs de relaci humana que es genera entre la diversitat social i cultural de les persones joves mentorades i la de les persones mentores.

    - Diversificar el perfil de joves objecte de mentoria, aix com el de les persones mentores.

    32

  • Guia. Passos per fer una avaluaci de poltiques i programes de joventut

    Exemple 3. Objectius operatius

    Qu hem de tenir en compte- Han de ser especfics i reflectir all que es vol.- Han de ser mesurables per poder determinar quan shan complert i orientats

    a aconseguir un resultat (no sha dexplicar com es far, ja que aix correspon a les activitats).

    - Han destar situats en el temps i lligats a un horitz temporal concret.

    Exemples de definici dobjectius operatius21

    Correcta Incorrecta Incrementar en un 30% el nombre daules de secundria que disposin de mitjans de suport audiovisual el 2006.

    Millorar els mitjans TIC a les escoles.

    Especfic i mesurable. No s especfic ni mesurable.

    Assolir una cobertura de places residencials pbliques de 2 per cada 100 persones >65 anys.

    Incrementar el nombre de places residencials pbliques.

    Especfic, mesurable i quantificat. No est quantificat.

    Incrementar el nombre de personal dedicat a la investigaci en el conjunt del sector pblic i privat en 100 places.

    Fer una convocatria de beques dinvestigaci.

    Especfic, mesurable i quantificat. No s especfic i no est orientat a aconseguir resultats (s una actuaci).

    Incrementar en un 10% el nombre de cursos de formaci ocupacional relacionats amb la informtica i les TIC.

    Organitzar cursos de formaci ocupacional.

    Especfic, mesurable i quantificat. No s especfic ni mesurable i no est orientat a aconseguir resultats (s una actuaci).

    Incrementar en un 5% el nombre de pellcules exhibides en catal en els cinemes.

    Subvencionar el cinema en catal.

    Especfic, mesurable i quantificat. No s especfic ni mesurable i no est orientat a aconseguir resultats.

    21 Guia per a lelaboraci de programes pressupostaris de la Direcci General de Pressupostos de la Generalitat.

    33

  • Guia. Passos per fer una avaluaci de poltiques i programes de joventut

    Altres exemples dobjectius correctes de programes de joventut

    Objectius operatius Assolir que el 80% de les persones joves que han participat en els projectes de

    mentoria de la DGJ/ACJ hagin augmentat les seves capacitats dautonomia i de xarxa relacional en lmbit en el qual sha fet lacompanyament (IMPC).

    Assolir que el 60% dels processos de mentoria impulsats es consolidin amb xit i millorin les condicions digualtat i dinclusi social de la persona jove (IMPC).

    Incrementar en un 100% el nombre de processos de mentoria realitzats cada any des del 2014 al 2016, partint de consolidar i fer efectius 20 processos dacompanyament i mentoria satisfactoris arreu del territori durant lany 2013 (IMPCT).

    Incrementar el reconeixement social dels projectes de mentoria mitjanant actes concrets (IMPL).

    Generar coneixement i metodologia per exportar i reproduir el model de mentoria des de diferents mbits i agents de treball amb lobjectiu dafavorir processos dinclusi de persones joves (IMPL).

    Assolir que el 70% dels acompanyaments entre persones mentores i persones mentorades es mantinguin en el temps i es consolidin (IMPL).

    Assolir que el 50% dels processos de mentoria vinculin i relacionin persones amb perfils socials i culturals diversos.

    Incrementar en un 40% la diversitat en el perfil de persones joves objecte de la mentoria.

    Incrementar un 30% la participaci dagents socials en els projectes de mentoria per ampliar la diversitat de persones mentorades i de la xarxa relacional de suport (com a mnim i especialment deu entitats i grups de joves) (IMPL).

    34

  • Guia. Passos per fer una avaluaci de poltiques i programes de joventut

    Exemple 4. El que el programa t previst fer: activitats

    Qu hem de tenir en compte

    - Les activitats han danar associades amb cada un dels objectius.- El nombre dactivitats ha destar entre les 5 i 10 per cada programa, i

    haurien dincloure principalment aquelles activitats necessries per assolir els objectius definits.

    A lhora de definir les activitats s convenient comenar amb paraules que indiquin acci, com, per exemple: establir, preparar, analitzar, investigar, desenvolupar, crear, seleccionar, iniciar, implantar, integrar, elaborar, automatitzar, etc.

    Exemples de definici dactivitats22

    22 Guia per a lelaboraci de programes pressupostaris de la Direcci General de Pressupostos de la Generalitat.

    Correcta Incorrecta Establir cursos de formaci ocupacional per a dones de 40 a 55 anys.

    Millorar locupaci de les dones.

    Ens diu com podem contribuir a assolir lobjectiu de millora de locupaci de les dones en atur de 40 a 55 anys.

    Est formulat en termes dobjectiu, no ens diu com.

    Gestionar la creaci de noves residncies per a la gent gran amb dependncia.

    Augmentar les places de residncies per a la gent gran amb dependncia.

    Ens diu com podem contribuir a assolir lobjectiu daugment de places de residncies.

    Est formulat en termes dobjectiu, no ens diu com.

    Desenvolupar convenis de collaboraci amb les universitats catalanes per a lanlisi de leconomia catalana.

    Collaborar amb les universitats.

    Ens diu com podem contribuir a assolir lobjectiu de millorar la recerca en economia catalana.

    Est formulat en termes dobjectiu, no ens diu com.

    Fer un estudi de detecci de necessitats formatives en lmbit de la formaci ocupacional.

    Millorar la formaci ocupacional.

    Ens diu com podem contribuir a assolir lobjectiu de millora de la formaci ocupacional.

    Est formulat en termes dobjectiu, no ens diu com.

    Establir una lnia de subvencions per al doblatge de pellcules al catal.

    Impulsar el cinema en catal.

    Ens diu com podem contribuir a assolir lobjectiu de millora del coneixement del catal.

    Est formulat en termes dobjectiu, no ens diu com.

    35