Diganostico de Avance en Monitoreo y Evaluacion 2013

Embed Size (px)

Citation preview

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    1/432

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    2/432

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    3/432

    CONSEJO NACIONAL DE EVALUACIN

    DE LA POLTICA DE DESARROLLO SOCIAL

    Mara del Rosario Crdenas Elizalde Universidad Autnoma Metropolitana

    Fernando Alberto Corts Cceres El Colegio de Mxico

    Agustn Escobar Latap Centro de Investigaciones y Estudios

    Superiores en Antropologa Social-Occidente

    Salomn Nahmad Sittn Centro de Investigaciones y EstudiosSuperiores en Antropologa Social-Pacfico Sur

    John Scott Andretta Centro de Investigacin y Docencia Econmicas

    Graciela Mara Teruel Belismelis Universidad Iberoamericana

    SECRETARA EJECUTIVA Gonzalo Hernndez Licona Secretario Ejecutivo

    Edgar A. Martnez Mendoza Director General Adjunto de Coordinacin

    Ricardo C. Aparicio Jimnez Director General Adjunto de Anlisis de la Pobreza

    Thania Paola de la Garza Navarrete Directora General Adjunta de Evaluacin

    Daniel Gutirrez Cruz Director General Adjunto de Administracin

    COLABORADORES

    Equipo tcnico Edgar A. Martnez Mendoza Cristina Hayde Prez Gonzlez Israel Larry Escobar Blanco Clara Schettino Bustamante Analuisa Guerra Briones

    INVESTIGADORES ACADMICOS2010-2014

    DIRECTORIO

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    4/432

    Diagnstico del avance en Monitoreo y Evaluacin en las entidades federativas 2013

    Consejo Nacional de Evaluacin de la Poltica de Desarrollo SocialBoulevard Adolfo Lpez Mateos 160Colonia San ngel InnCP 01060Delegacin lvaro ObregnMxico, DFImpreso y hecho en MxicoPrinted and made in Mexico

    ISBN 978-607-95986-9-3

    Citacin sugerida:Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social.Diagnstico del avance en Monitoreo y Evaluacin en las entidades federativas 2013.

    Mxico, DF: CONEVAL, 2013.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    5/432

    AGRADECIMIENTOS

    El Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social agradecela colaboracin de las entidades federativas en la elaboracin de este diag-nstico; en particular, reconoce la participacin de los gobernadores estatales,secretarios de Desarrollo Social, Finanzas, Planeacin y reas relacionadas conlos instrumentos de monitoreo y evaluacin en las entidades. De igual forma, lacolaboracin de los enlaces designados, quienes proporcionaron informacinque contribuy al logro del objetivo del documento.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    6/432

    CONTENIDO

    GLOSARIO 7

    INTRODUCCIN 10

    CAPTULO 1.ANTECEDENTES 13

    CAPTULO 2.DIAGNSTICO DEL AVANCE EN MONITOREOY EVALUACIN EN LAS ENTIDADES FEDERATIVAS 2013 17

    Definicin de los componentes, elementos y variables de anlisis 18Principios para la consideracin de la informacin 20Fuentes de informacin 21Proceso para la integracin de la informacin 24Construccin y anlisis del ndice del Avance en Monitoreoy Evaluacin en las Entidades Federativas 2013 26Alcances del Diagnstico 28

    CAPTULO 3.RESULTADOS DEL AVANCE EN MONITOREOY EVALUACIN EN LAS ENTIDADES FEDERATIVAS, 2013 31Anlisis entre componentes, 2011- 2013 35

    Resultados del componente 1: el deberser en monitoreo y evaluacin 36 Resultados del componente 2: prctica en monitoreo

    y evaluacin 39

    Anlisis segn elementos 42 Existencia y alcance de la Ley de Desarrollo Social

    o equivalente 43 Criterios para la creacin de programas estatales

    de desarrollo social 45 Creacin de un padrn de beneficiarios 46 Elaboracin de reglas de operacin o equivalente 49

    Difusin de informacin acerca de los programas estatalesde desarrollo social 51

    Transparencia en el presupuesto asignado a los programasestatales de desarrollo social 53

    Elementos de monitoreo y evaluacin 55 Existencia, facultades e independencia del rea responsable

    de realizar/coordinar la evaluacin de la polticay los programas de desarrollo social en el estado 70

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    7/432

    CAPTULO 4.CONCLUSIONES Y REAS DE OPORTUNIDAD 75

    CAPTULO 5.FICHAS POR ENTIDAD FEDERATIVA 79Aguascalientes 81Baja California 92Baja California Sur 102Campeche 112Coahuila 121Colima 132

    Chiapas 142Chihuahua 153Distrito Federal 164Durango 177Guanajuato 187Guerrero 199Hidalgo 209Jalisco 219Estado de Mxico 230Michoacn 242Morelos 253Nayarit 264

    Nuevo Len 276Oaxaca 288Puebla 301Quertaro 312Quintana Roo 324San Luis Potos 333Sinaloa 344Sonora 354Tabasco 364Tamaulipas 375Tlaxcala 386Veracruz 398Yucatn 410Zacatecas 420

    BIBLIOGRAFA 430

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    8/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 7

    GLOSARIO

    Actividades.En la Metodologa de Marco L-gico se refiere a las principales acciones em-prendidas mediante las cuales se movilizanlos insumos para generar los bienes o servi-cios que produce o entrega el programa.

    Adecuado.Criterio para la eleccin de indi-cadores que consiste en proveer suficientesbases para medir. Un indicador no debe serni tan indirecto ni tan abstracto que convier-ta en una tarea complicada y problemticala estimacin del desempeo.

    mbito de desempeo. Aspectos del pro-ceso que deben ser medidos en cada nivelde objetivo.

    Aportacin marginal.Criterio para la elec-cin de indicadores que consiste en que,en caso de que exista ms de un indicadorpara medir el desempeo en determinadonivel de objetivo, el indicador debe proveerinformacin adicional en comparacin conlos otros indicadores propuestos.

    Calidad. Dimensin de indicadores quebusca evaluar atributos de los bienes o ser-vicios producidos por el programa respectoa normas o referencias externas.

    Claro.Criterio para la eleccin de indicado-res basado en la precisin y la claridad. Elindicador debe ser tan directo e inequvococomo sea posible, es decir, entendible.

    Componente de anlisis.Categoras de loselementos de anlisis del diagnstico, en

    las que se separa la informacin obtenidapor el CONEVAL mediante la bsqueda deinformacin. De acuerdo con el documen-to, se tienen dos componentes de anlisis:el deber ser en monitoreo y evaluacin, yprcticas de monitoreo y evaluacin.

    Criterio.Parmetro decalificar las caracte-rsticas especficas de la informacin iden-tificada en cada una de las variables delestudio. Los criterios se usan para determi-nar el valor ordinal de las variables. Deacuerdo con las caractersticas identifica-das en la informacin, el valor de la variablepuede ser de 0 a 4; cuantas ms caracters-ticas se identifiquen, mayor es el valor ordi-nal de la variable.

    Criterios de elegibilidad. Caractersticas

    socioeconmicas o geogrficas que debetener una persona para que sea elegibley pueda recibir los beneficios de una inter-vencin pblica.

    Eficacia.Dimensin de indicadores que mideel nivel de cumplimiento de los objetivos.

    Eficiencia. Dimensin de indicadores quemide qu tan bien se han utilizado los recur-sos en la produccin de los resultados.

    Elemento de anlisis. Cada uno de los te-mas que se analizan en el diagnstico paraconocer el avance en monitoreo y evalua-cin de las entidades federativas. En total, seanalizan ocho elementos de anlisis y unode ellos cuenta con siete subtemas.

    Entidades federativas. Los estados de laFederacin y el Distrito Federal.

    Evaluacin. Anlisis sistemtico y objetivode una intervencin pblica cuya finalidades determinar la pertinencia y el logro de

    sus objetivos y metas, as como eficiencia,eficacia, calidad, resultados, impacto y sos-tenibilidad.

    Frecuencia de medicin.Periodicidad conla cual es calculado un indicador.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    9/432

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    10/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 9

    blicos acerca de los avances en el logro deobjetivos de una intervencin pblica res-pecto de los resultados esperados.

    Padrn de beneficiarios. Relacin oficialde las personas, instituciones, organismos,segn corresponda, que reciben beneficiosde una intervencin pblica y cuyo perfil so-cioeconmico se especifica en la normati-va correspondiente.

    Poblacin objetivo. Poblacin que el pro-grama tiene planeado o programado aten-der para cubrir la poblacin potencial, yque cumple con los criterios de elegibilidadestablecidos en su normativa.

    Poblacin potencial. Poblacin total quepresenta la necesidad o el problema que jus-tifica la existencia del programa y que, por lotanto, pudiera ser elegible para su atencin.

    Poblacin atendida. Poblacin beneficia-da por el programa en un ejercicio fiscal.

    Reglas de operacin. Conjunto de dispo-siciones que precisan la forma de operarun programa, y cuyo propsito es lograr losniveles esperados de eficacia, eficiencia,equidad y transparencia.

    Sistema de evaluacin del desempeo.Conjunto de elementos metodolgicosque permiten realizar una valoracin ob-jetiva del desempeo de los programas apartir de los principios de verificacin delgrado de cumplimiento de metas y objeti-vos, con base en indicadores estratgicos

    y de gestin que hacen posible conocer el

    impacto social de los programas y los pro-yectos.

    Unidad de medida. Magnitud de referen-cia que permite cuantificar y comparar ele-mentos de la misma especie.

    Variable de anlisis.Aspectos especficosde los elementos de anlisis de los cua-les se realiz la bsqueda de informaciny que fueron usados para determinar elavance en monitoreo y evaluacin de lasentidades federativas. De acuerdo con esto,un elemento de anlisis puede tener una oms variables segn el nmero de aspec-tos que se busque conocer y analizar de l.Cada variable es ordinal y toma valores de0 a 4, donde 0 significa que no se encontrinformacin oficial y pblica disponible alrespecto, y 4, que el estado s cuenta con eltipo de informacin que se busca.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    11/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201310

    En el ciclo de las polticas pblicas, la evaluacin es la etapa en la que se obtieneinformacin acerca del desempeo, es decir, del grado de cumplimiento del ob-jetivo y las metas de la poltica implementada, por lo que constituye un elementofundamental para la toma de decisiones y la reanudacin del ciclo de las polti-cas pblicas. La evaluacin brinda informacin valiosa, resumida en sugerenciasy recomendaciones para la reorientacin de las intervenciones evaluadas.

    Adems, el monitoreo permite realizar un seguimiento constante a las intervencio-nes pblicas y aporta informacin para la ejecucin de acciones oportunas queanticipen posibles dificultades y retroalimenten los procesos de toma de decisio-nes en el marco de la planeacin a mediano plazo.

    En un contexto de mltiples problemas sociales y de recursos escasos, la eficaciacon que se invierten los recursos pblicos destinados a combatir las principalesproblemticas del pas es primordial para garantizar el xito de las polticas dedesarrollo social. En este sentido, institucionalizar un sistema de monitoreo y eva-luacin es vital para contar con informacin oportuna que contribuya a la mejoracontinua de la gestin gubernamental. En el mbito federal, a partir del ao 2000,se iniciaron los cambios institucionales y normativos para regular dicho sistema.En 2004, con la publicacin de la Ley General de Desarrollo Social se dispuso lacreacin del Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social

    (CONEVAL), organismo descentralizado cuyas atribuciones son normar y coor-dinar la evaluacin de la poltica y los programas de desarrollo social; aprobarlos indicadores de gestin, de servicios y de resultados de dichos programas; ydeterminar los criterios y lineamientos para la definicin, identificacin y medicinde la pobreza.

    Por otro lado, la Ley Federal de Presupuesto y Responsabilidad Hacendaria (2008)faculta a las secretaras de Hacienda y Crdito Pblico (SHCP) y de la FuncinPblica (SFP), en sus respectivos mbitos, a implementar el Sistema de Evaluacindel Desempeo, por medio del cual se busca que las dependencias y entidadesse enfoquen en una gestin por resultados. Un paso importante para la opera-

    cin de este sistema fue la formulacin de los Lineamientos generales para laevaluacin de los programas federales de la administracin pblica federal1por

    INTRODUCCIN

    1 Diario Oficial de la Federacin, 30 de marzo de 2007: http://www.coneval.gob.mx/rw/resource/coneval/eval_mon/361.pdf

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    12/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 11

    parte del CONEVAL la SHCP y la SFP, documento que regula la evaluacin de losprogramas federales, la elaboracin de la Matriz de Indicadores y los sistemasde monitoreo, as como la elaboracin de los objetivos estratgicos de las de-pendencias y entidades de la administracin pblica federal.

    Los cambios normativos para optimizar el gasto del gobierno tambin han tenidoinjerencia sobre la gestin de las entidades federativas. En el orden constitucio-nal se establece que los tres niveles de gobierno deben evaluar los resultadosdel ejercicio de los recursos pblicos federales a travs de instancias tcnicas in-dependientes de las instituciones que los ejercen.2De igual modo, la reforma de2012 a la Ley General de Contabilidad Gubernamental estipul que las entidades

    federativas debern incluir en su cuenta pblica los resultados de la evaluacindel desempeo de los programas federales, de las entidades federativas, munici-pales y de las delegaciones, para lo cual han de utilizarse indicadores, ademsde publicar en internet su programa anual de evaluacin, las metodologas, losindicadores de desempeo y los resultados de sus evaluaciones.3

    El ejercicio a nivel federal muestra que la institucionalizacin de los instrumentosde monitoreo y evaluacin se logra con un proceso continuo de mejora. El obje-tivo de este documento es proporcionar informacin a las entidades federativasacerca del avance que presentan en la institucionalizacin de estos instrumen-

    tos mediante la identificacin de los ejercicios realizados hasta el momento. Estaaccin bienal permite observar el proceso que han seguido las entidades fede-rativas, analizar qu tanto han avanzado de 2011 a la fecha e identificar culesson las reas de oportunidad en las que an se debe trabajar para lograr lainstitucionalizacin de los elementos de monitoreo y evaluacin.

    El documento contiene seis apartados. En el primero se abordan los anteceden-tes; en el segundo se desarrolla la metodologa para su elaboracin; en el tercerose muestran los alcances y en el cuarto, los resultados en el mbito nacional y seefecta la comparacin entre entidades federativas; en el quinto se esbozan lasconclusiones y reas de oportunidad de forma general, y en el sexto se presentan

    los resultados de cada entidad federativa.

    2Las leyes y los artculos que fueron reformados son los siguientes: artculo 134 de la Constitucin Poltica de losEstados Unidos Mexicanos y artculos 85 y 110 de la Ley Federal de Presupuesto y Responsabilidad Hacendaria.

    3 Ley General de Contabilidad Gubernamental, artculos 54, 61, 64, 67 y 79.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    13/432

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    14/432

    CAPTULO 1Antecedentes

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    15/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201314

    Desde su creacin y como parte de sus atribuciones, el CONEVAL ha impulsadola implementacin de esquemas de monitoreo y evaluacin en las entidadesfederativas y en el Distrito Federal.

    En virtud de lo anterior y del inters mostrado por las entidades federativas para

    conocer los resultados de las polticas pblicas que han implementado, en estedocumento se busca mostrar los avances significativos en la realizacin de ejer-cicios de monitoreo y evaluacin; sin embargo, a penas es el comienzo ya que sedebe trabajar en la construccin de un sistema que, adems de brindar eviden-cia sobre los avances en las polticas y los programas de desarrollo social, permitaidentificar y alinear prioridades de atencin, favorezca la coordinacin entre losdiversos actores estatales, as como la rendicin de cuentas y la transparencia enel uso de los recursos pblicos. Para lograrlo, es importante conocer qu se tiene yqu es necesario reforzar. Desde 2010, el CONEVAL se ha dado a la tarea de llevara cabo ejercicios para identificar los elementos de las entidades federativas quecontribuyen a la puesta en marcha de un sistema de monitoreo y evaluacin de

    los programas de desarrollo social, as como de sus elementos.

    El primer ejercicio, efectuado en 2010,4identific que: a) todas las entidades fede-rativas contaban con un rea con atribuciones de monitoreo y evaluacin distin-ta a los Comits de Planeacin para el Desarrollo Estatal, y en 21 entidades dicharea se enmarcaba en la Ley de Desarrollo Social (LDS); b) 29 entidades tenanuna secretara de desarrollo social o equivalente; c) 17 entidades, lineamientoso reglas de operacin para algunos programas estatales; d) 13 entidades, indi-cadores de resultados; d) 28 entidades, indicadores de gestin; e) 13 habanrealizado ejercicios de identificacin de beneficiarios de programas estatales; y

    f) cinco haban llevado a cabo ejercicios de evaluacin externa. Esto permiticonocer, de manera general, la situacin en la aplicacin de instrumentos demonitoreo y evaluacin en las entidades federativas y sentar las bases para elsegundo ejercicio en 2011, el cual, adems de los elementos analizados en 2010,incluy otros que favorecen la institucionalizacin del sistema de monitoreo y eva-luacin en cada entidad federativa.

    A partir de la informacin obtenida en 2010, el CONEVAL se dio a la tarea defortalecer el anlisis de dichos elementos; posteriormente, public el Diagnsticodel Avance en Monitoreo y Evaluacin en las Entidades Federativas 20115con elobjetivo de conocer el avance en la institucionalizacin de los instrumentos de

    4 La integracin de un sistema de monitoreo y evaluacin a nivel estatal en Mxico: un reto de poltica pblica, pre-sentado durante la VI Conferencia de la Red de Monitoreo y Evaluacin de Amrica Latina, en agosto de 2010, enla Ciudad de Mxico.

    5El documento se encuentra disponible en la pgina web del CONEVAL: http://www.coneval.gob.mx/Informes/Coordinacion/Entidades_Federativas/Diagnostico_del_avance_en_monitoreo_y_evaluacion_de_las_entidades_federativas_%202011.pdf

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    16/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 15

    6 Los ocho elementos fueron: existencia y alcances de la LDS o equivalente; criterios para la creacin de programasestatales de desarrollo social (programas nuevos); creacin de un padrn de beneficiarios; elaboracin de reglas

    de operacin o equivalentes; difusin de informacin acerca de los programas estatales de desarrollo social; trans-parencia en el presupuesto asignado a los programas estatales de desarrollo social; elementos de monitoreo yevaluacin en los que se inclua normativa en monitoreo y evaluacin, criterios/lineamientos para la evaluacin,planeacin de evaluaciones, publicacin de evaluaciones realizadas, seguimiento a los resultados de las evalua-ciones, estudios, diagnsticos, investigaciones o anlisis en materia de desarrollo social, indicadores de resultadospara la poltica y programas estatales de desarrollo social e indicadores de gestin de resultados para la poltica yprogramas estatales de desarrollo social, as como existencia, facultades e independencia del rea responsablede realizar/coordinar la evaluacin de la poltica y de los programas de desarrollo social en la entidad.

    7 En el informe 2012 se especifica que los ejercicios no son comparables entre s.

    monitoreo y evaluacin en las entidades federativas a travs del anlisis normati-vo y prctico de ocho elementos, los cuales se describirn en otro apartado.6Paraello, se reconoci la importancia del funcionamiento de estos elementos a partirde dos enfoques: una normativa que regule y de ejercicios prcticos por partedel estado.

    La puesta en marcha de este ejercicio en 2011 hizo posible reconocer que: a)todas las entidades difunden informacin de los programas de desarrollo social ydel presupuesto asignado a stos; b) la normativa de todas las entidades sealaun rea encargada de realizar o coordinar la evaluacin y el monitoreo; c) lamayora de las entidades han incluido en su normativa la obligacin de evaluarlas polticas y los programas de desarrollo social; y d) 26 entidades contaban coninformacin sobre indicadores de resultados, y 16, con una LDS o equivalente, queconsideraba aspectos como la identificacin de la poblacin objetivo, el presu-puesto asignado a la poltica y programas de desarrollo social, la evaluacin dela poltica social, entre otros.

    En general, los retos identificados en 2011 fueron: a) la mayora de las entidadesfederativas no disponan de regulacin para la creacin de programas nuevos dedesarrollo social; b) los ejercicios de evaluacin encontrados eran casos aislados,no estaban sistematizados o eran anteriores a 2011; c) pocas entidades federa-tivas contaban con normativa que regulara el seguimiento a los resultados delas evaluaciones y su implementacin era muy escasa; d) slo el Distrito Federalrealizaba planeacin en materia de evaluacin; y e) los ejercicios de reglas deoperacin y padrones de beneficiarios en los estados no eran homogneos.

    Aunado a los ejercicios efectuados por el CONEVAL, otras dependencias han reco-pilado los avances de las entidades en la institucionalizacin de sus instrumentospara elaborar el presupuesto o la gestin para resultados, sin medir directamen-te los avances en monitoreo y evaluacin. La SHCP ha redactado dos informesanuales del avance de las actividades de seguimiento de la implementacin dela iniciativa de presupuesto basado en resultados/Sistema de Evaluacin del Des-empeo (PbR/SED) en las entidades federativas;7el Banco Interamericano de De-sarrollo (BID) dise el Programa para la Implementacin del Pilar Externo del Plan

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    17/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201316

    de Accin a Mediano Plazo para la Efectividad en el Desarrollo (PRODEV); por suparte, Transparencia Mexicana ha construido el ndice para el Fortalecimiento dela Institucionalidad de los Programas Sociales (IPRO), entre otros casos.

    Pese a que los estudios mencionados cubren algunos aspectos del monitoreo y la

    evaluacin, tanto el ejercicio de la SHCP como el del BID tocan de modo tangencialel tema, pues analizan otros pilares de la gestin el primero analiza el avance delas entidades en la implementacin del PbR y la institucionalizacin de la transpa-rencia, y el segundo, la planeacin de las entidades, la implementacin del PbR, lagestin financiera, la auditora y las adquisiciones, as como la gestin de progra-mas y proyectos. Adems, llevan a cabo una autoevaluacin de la administracinestatal, la cual evalan en su totalidad. En tanto, el ejercicio del CONEVAL, aunqueincluye la participacin de los funcionarios estatales, implica una evaluacin ex-terna enfocada de manera exclusiva al sector del desarrollo social. Por ltimo, aun-que el ndice de Transparencia Mexicana se centra, al igual que el CONEVAL, en elsector social, el organismo solicita una autoevaluacin de las entidades en la que

    slo se realiza una valoracin cuantitativa de los instrumentos es decir, si la enti-dad cuenta o no con ellos, independientemente de su calidad, mientras que enel diagnstico del CONEVAL la puntuacin otorgada a las entidades depende noslo de la existencia de estos elementos, sino de su contenido.

    A dos aos del Diagnstico 2011, el CONEVAL presenta en este documento losresultados del Diagnstico del Avance en Monitoreo y Evaluacin en las Entida-des Federativas 2013 con la intencin de identificar los cambios generados y ascontar con mayor informacin para seguir impulsando la implementacin, el de-sarrollo y la consolidacin de este tema en el orden estatal.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    18/432

    2CAPTULODiagnstico del Avance enMonitoreo y Evaluacinen las Entidades

    Federativas 2013

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    19/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201318

    Con el objetivo de conocer el avance en la institucionalizacin del monitoreo y laevaluacin en las entidades federativas entre 2011 y 2013, el CONEVAL presentaen este documento la actualizacin del ejercicio realizado hace dos aos. Parala seleccin de los elementos analizados se utiliz como referencia el marco nor-mativo federal aplicable a las entidades federativas, as como el contexto interna-

    cional con base en la identificacin y el anlisis de ejercicios considerados comobuenas prcticas.

    Para el anlisis de los instrumentos de monitoreo y evaluacin implementadosen las entidades federativas y la asignacin de puntuacin, el CONEVAL tom encuenta slo los documentos oficiales y pblicos emitidos o autorizados por unainstancia competente y disponibles en medios electrnicos, impresos o a travsde solicitudes formales ante el Instituto de Transparencia local identificados enel proceso de recopilacin de informacin.

    EL CONEVAL, tras el aprendizaje adquirido, decidi incorporar nuevos elementos

    al ejercicio 2013. Por un lado, para fortalecer el universo de informacin relacio-nada con los elementos de monitoreo y evaluacin en materia de desarrollosocial en las entidades federativas, por lo que defini un esquema de inclusindel ente evaluado en el cual las mismas entidades tuvieron una participacinms activa en la recopilacin de informacin. Por otro, a partir de este nuevoesquema, se solicit informacin adicional a fin de analizar en un segundo mo-mento los instrumentos relacionados con las actualizaciones normativas y nue-vas prcticas internacionales para mantener un ejercicio innovador que hicieraposible no slo observar el avance en cierto momento, sino que tambin fijaralos elementos que sirvieran de referencia para implementar las mejores prcti-

    cas de monitoreo y evaluacin a nivel estatal.

    A continuacin se presenta el marco metodolgico utilizado para conocer elavance de los instrumentos de monitoreo y evaluacin en las entidades federati-vas a travs de la definicin de los componentes, elementos y variables de an-lisis; los principios para la consideracin de informacin; fuentes de informacin;el proceso para integracin de informacin, as como la construccin del ndice.

    DEFINICIN DE LOS COMPONENTES,ELEMENTOS Y VARIABLES DE ANLISISEl anlisis del avance en monitoreo y evaluacin en las entidades federativas sellev a cabo con base en dos componentes: el deber ser y la implementacin. Elprimero hace referencia al anlisis de la normativa emitida por los rdenes de go-bierno de las entidades federativas y el segundo, a la puesta en prctica de di-chos componentes. Examinar stos permite elaborar un diagnstico integral del

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    20/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 19

    grado de institucionalizacin del monitoreo y la evaluacin en las entidades fede-rativas; en particular, contar con un marco normativo facilita consolidar los instru-mentos de monitoreo y evaluacin al fomentar la perdurabilidad de ejerciciosque se han puesto en marcha en la entidad o que se buscan replicar dado quese consideran buenas prcticas de otras entidades, de la Federacin o interna-

    cionales; sin embargo, no poner en prctica dichos instrumentos normativos elimi-na o limita los posibles avances en materia normativa.

    Componente 1.El deber ser en monitoreoy evaluacin

    Identifica la normativa emitida por las entidades federativas para regular los elementosencontrados en el anlisis y que conforman los sistemas de monitoreo y evaluacin.

    Componente 2.Prcticas de monitoreo yevaluacin

    Identifica la implementacin de elementos encontrados en el anlisis y que estnrelacionados con los ejercicios en materia de monitoreo y evaluacin que desarrollanlas entidades.

    Como resultado del anlisis anterior, en el Diagnstico 2013se estudiaron losocho elementos previamente establecidos y fundamentados en el ejercicio2011, tanto en el plano normativo como en la prctica, para mantener la homo-geneidad en la comparacin y conocer as el avance de las entidades federa-tivas. Los elementos son:

    Existencia y alcance de la LDS o equivalente. Criterios para la creacin de programas estatales de desarrollo social (pro-

    gramas nuevos). Creacin de un padrn de beneficiarios.

    Elaboracin de reglas de operacin o equivalente. Difusin de informacin acerca de los programas estatales de desarrollo social. Transparencia en el presupuesto asignado a los programas estatales de

    desarrollo social. Elementos de monitoreo y evaluacin. Existencia, facultades e independencia del rea responsable de realizar/

    coordinar la evaluacin de la poltica o los programas de desarrollo socialen el estado.

    Con la intencin de efectuar un ejercicio comparable (2011-2013), se decidi man-tener en este documento los ocho elementos y las 27 variables del ejercicio ante-

    rior. Tambin se consideraron los mismos criterios, caractersticas y condiciones quedebe cumplir cada variable para garantizar la calidad de los instrumentos de moni-toreo y evaluacin que permitan su institucionalizacin, de tal forma que se asegurela estricta comparabilidad de los resultados. Por lo tanto, el reto para el siguiente ejer-cicio de evaluacin ser incorporar el anlisis de la nueva informacin recopilada.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    21/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201320

    PRINCIPIOS PARA LA CONSIDERACIN DE LA INFORMACINAl igual que en el Diagnstico 2011, y debido a que la implementacin de sistemasde monitoreo y evaluacin requiere la existencia de estos principios por parte delos tomadores de decisin, el ejercicio parte de dos supuestos o principios bsicospara considerar la informacin analizada: transparencia y rendicin de cuentas.

    Por un lado, una poltica pblica ms transparente permite al ciudadano contarcon informacin para evaluar la efectividad de dicha poltica y, por otro, la ren-dicin de cuentas significa la interaccin entre ciudadana y gobierno con laintencin de que este ltimo informe y justifique el uso de los recursos pblicos.En este sentido, la evaluacin es una herramienta para llevar a cabo la rendi-cin de cuentas.

    Dada la importancia de los dos conceptos para la implementacin de sistemasde monitoreo y evaluacin, y que ambos estn contenidos en la normativa de laadministracin pblica federal y de las entidades federativas para guiar las accio-nes de poltica pblica, la recopilacin de informacin para este documento se

    sustenta en dichos principios: la transparencia y la rendicin de cuentas.

    TransparenciaDe acuerdo con el artculo 6 de la Ley Federal de Transparencia y Acceso a laInformacin Pblica, se deber favorecer el principio de mxima publicidad y dis-ponibilidad de la informacin en posesin de los sujetos obligados.8Si bien lasentidades federativas no son sujetos de obligacin de esta ley, la transparenciaes una prctica reconocida y aceptada a nivel estatal, ya que todas las entida-des cuentan con normativa en materia de acceso a la informacin.9

    De igual forma, el Plan Nacional de Desarrollo 2013- 2018 destaca que La trans-parencia y el acceso a la informacin deben constituirse como herramientas quepermitan mejorar la rendicin de cuentas pblicas, pero tambin combatir y pre-venir eficazmente la corrupcin, fomentando la participacin de los ciudadanosen la toma de decisiones gubernamentales y en el respeto a las leyes.

    Rendicin de cuentasEl Plan Nacional de Desarrollo (PND) 2013-2018 considera una estrategia trans-versal la implementacin de un gobierno cercano y moderno, y especifica como

    8Los sujetos obligados son el Poder Ejecutivo federal, la administracin pblica federal y la Procuradura Generalde la Repblica; el Poder Legislativo federal, integrado por la Cmara de Diputados, la Cmara de Senadores, laComisin Permanente y cualquiera de sus rganos; el Poder Judicial de la Federacin y el Consejo de la JudicaturaFederal; los rganos constitucionales autnomos; los tribunales administrativos federales, y cualquier otro rganofederal.

    9 Con la intencin de reforzar la obligacin por parte de las entidades federativas en los temas de transparencia yrendicin de cuentas, se pueden consultar todas las leyes de transparencia estatales en el anexo II.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    22/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 21

    lnea de accin garantizar el acceso a la informacin y a la proteccin de losdatos personales, fomentando la rendicin de cuentas.

    El PND reconoce la importancia de contar con mecanismos de evaluacin quepermitan mejorar el desempeo y la calidad de los servicios, que simplifiquen la

    normativa y los trmites gubernamentales y que rindan cuentas de manera claray oportuna a la ciudadana. Dado lo anterior, se establece que la administracinpblica debe estar enmarcada en un gobierno cercano y moderno orientado aresultados, que optimice el uso de recursos pblicos, utilice las nuevas tecnologasde la informacin y la comunicacin, e impulse la transparencia y rendicin decuentas con base en el artculo 134 de la Constitucin: Los recursos econmicosde que dispongan la Federacin, los estados, los municipios, el Distrito Federal y losrganos poltico-administrativos de sus demarcaciones territoriales, se administra-rn con eficiencia, eficacia, economa, transparencia y honradez para satisfacerlos objetivos a los que estn destinados.

    De acuerdo con la Ley de Planeacin, respecto a que los gobiernos podrn par-ticipar en la planeacin nacional del desarrollo, existen elementos que permitenconsiderar la rendicin de cuentas como un principio confiable sobre el cual laciudadana, las dependencias y las entidades tienen la facultad de solicitar infor-macin y ser atendidas.

    Por lo tanto, para el cumplimiento de ambos principios, se considera para estediagnstico que los elementos identificados para analizar el avance en monito-reo y evaluacin debieran ser pblicos y de fcil acceso a travs de los mecanis-mos pblicos de solicitudes expresas de informacin tanto para la ciudadana

    como para cualquier dependencia o entidad que decida consultarlos.

    FUENTES DE INFORMACINCon base en los supuestos ya descritos, una de las innovaciones del ejercicio2013 es que, para fortalecer la identificacin de informacin disponible y minimi-zar cualquier tipo de exclusin de sta, la recoleccin se realiz en dos procesosparalelos:10

    10Ambos procesos se llevaron a cabo entre mayo y junio. Sin embargo, en el ejercicio de bsqueda externa se con-sider la informacin publicada por las entidades hasta agosto que cumpla con los criterios establecidos por elCONEVAL.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    23/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201322

    Una de las fortalezas del ejercicio 2013 fue la respuesta favorable de las entidadesfederativas y la aportacin de informacin a travs del segundo proceso. Para elDiagnstico 2011, una vez identificada la informacin, el CONEVAL solicit la parti-cipacin de las entidades con la intencin de validar y complementar la informa-cin ya integrada. En aquella ocasin, slo se cont con la respuesta de quinceentidades federativas12y se entendi que los dems estados no tuvieron informa-cin adicional que aportar. En la elaboracin del Diagnstico 2013 participarontodas las entidades federativas.

    Si bien este segundo proceso brinda mayor certeza sobre el universo de infor-macin con el que se cuenta, es importante aclarar que el hecho de que lasentidades federativas hayan tenido la oportunidad de enviar toda la informa-cin que consideraron pertinente, no significa que el cambio en los resultadosmostrados entre 2011 y 2013 se deba a la mayor cantidad de informacin porel proceso de recopilacin y no a la generacin de nueva informacin de 2011a la fecha. Ms adelante se ejemplifica la relacin de documentos aportadospor las entidades e identificados a travs del ejercicio ciudadano para algunasentidades federativas.

    La seleccin de los dos procesos permiti al CONEVAL verificar que se preserva-ran los principios de transparencia y rendicin de cuentas en el mbito estatal;por un lado, llevar a cabo una simulacin de ejercicio ciudadano o bsquedaexterna al utilizar los mecanismos pblicos de transparencia estatales y, por otro,desarrollar un proceso inclusivo en el cual los informantes que trabajan y co-nocen la informacin en profundidad son tomados en cuenta al momento deldiagnstico. Esto se explica en la figura 1.

    Proceso 1 Proceso 2

    Se identific la informacin disponible en las pginas de internet delas dependencias gubernamentales de las entidades federativas, yse realizaron solicitudes de informacin a travs de los mecanismospblicos de transparencia de los estados. Estas solicitudes seformularon a nombre de ciudadanos ajenos al CONEVAL,11por loque se considera un ejercicio ciudadano.

    Los funcionarios estatales, designados por el gobernador opor algn secretario, por medio de una aplicacin en lnea,respondieron a un cuestionario en el que se solicitabainformacin relacionada con los elementos analizados en estedocumento para conocer el avance en monitoreo y evaluacinen las entidades federativas.

    11 Es importante mencionar que las entidades que tuvieron elecciones en 2013 Aguascalientes, Baja California,Coahuila, Chihuahua, Durango, Hidalgo, Oaxaca, Puebla, Quintana Roo, Sinaloa, Tabasco, Tamaulipas, Veracruz yZacatecas y que, por lo tanto, tuvieron veda electoral no se vieron afectadas en la recopilacin de informacin,pues la bsqueda se hizo una vez que el impedimento haba finalizado.

    12Las entidades federativas que aportaron informacin para el Diagnstico 2011 fueron: Chiapas, Colima, DistritoFederal, Guanajuato, Guerrero, Hidalgo, Jalisco, Estado de Mxico, Michoacn, Nuevo Len, Oaxaca, Puebla, Que-rtaro, Yucatn y Zacatecas.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    24/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 23

    Proceso 1. Identificacin de la informacin disponible en las pginas de internetoficiales de las dependencias estatales y solicitudes de informacin.

    Este proceso abarc dos etapas: a) bsqueda en pginas electrnicas oficialesde los gobiernos de las entidades federativas, as como en las pginas de inter-net oficiales de las dependencias vinculadas al desarrollo social; b) solicitudesde informacin enviadas a travs de los mecanismos pblicos de transparenciacreados para este fin por las entidades federativas.

    Los mecanismos de recopilacin de informacin en el primer proceso se sus-tentan en el principio de transparencia, en el que un ciudadano o cualquier de-pendencia gubernamental podra tener acceso a la informacin relacionadacon los instrumentos de monitoreo y evaluacin de una entidad federativa, yasea en sus sitios de internet o por solicitudes expresas de informacin.

    Proceso 2. Los funcionarios estatales, a travs de una aplicacin en lnea, respon-dieron a un cuestionario en el que se solicitaba informacin relacionada con loselementos de anlisis para conocer el avance en monitoreo y evaluacin en lasentidades federativas.

    A la par de la implementacin del primer proceso, y con base en el principio derendicin de cuentas, el CONEVAL solicit la colaboracin de los gobiernos de lasentidades federativas para complementar la bsqueda en las pginas de internety las solicitudes de informacin. Para ello, por medio de una aplicacin en lnea quepermite sistematizar la informacin, se envi un cuestionario a los funcionarios esta-

    Figura 1. Enfoque ciudadano y de inclusin por parte del evaluado

    Informacin pblica y disponible en fuentes oficiales

    PROCESO 1

    Bsqueda de informacinEjercicio ciudadano

    PROCESO 2

    Envo de informacin porentidades federativas

    CONEVAL

    Integracin de informacin

    Anlisis y evaluacin

    de informacin por entidad Resultados del avance 2011-2013

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    25/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201324

    tales de las dependencias de desarrollo social, planeacin y finanzas, o sus smiles,con diversas preguntas referentes a las variables analizadas en este documento.

    Es importante recalcar que, con la intencin de preservar el principio de trans-parencia, en el caso de que los funcionarios estatales respondieran de manera

    afirmativa a las preguntas del cuestionario, deban ingresar la URL en la que seencontraba la informacin probatoria. De otro modo, si la informacin no estabadisponible electrnicamente, deban adjuntar el documento probatorio siempre ycuando fuera pblico, es decir, que no fuera informacin protegida y, por lo tanto,estuviera a disposicin de la ciudadana a travs de solicitudes de informacin.

    Tras la elaboracin y aprendizaje del ejercicio 2011, con la intencin de asegurar larecopilacin de la mayor cantidad de informacin posible, se comunic a las de-pendencias de desarrollo social, finanzas y planeacin (o sus smiles) de las 32 enti-dades federativas que se iniciara con la actualizacin del Diagnstico para 2013y se les solicit designar un enlace por secretara que fungira como informante

    para el CONEVAL. La importancia de tomar en cuenta a las tres secretaras radicaen que, en muchas ocasiones, la informacin relacionada con el monitoreo y laevaluacin de los programas de desarrollo social se encuentra en las secretarasde Planeacin y Finanzas. A su vez, las secretaras podan designar un enlace deotra dependencia si lo consideraban necesario.

    Este proceso se llev a cabo durante mayo y junio de 2013, periodo durante elcual se mantuvo estrecha comunicacin con todas las entidades federativas conel propsito de minimizar el riesgo de no incluir toda la documentacin posible yen el que se tuvo la colaboracin de todas ellas. Vale la pena destacar que, al 31

    de mayo, 27 entidades enviaron toda la informacin que consideraron pertinentepara el anlisis; nicamente cinco solicitaron de modo explcito una ampliacindel plazo para enviar la documentacin correspondiente, el cual concluy enjunio. Como se mencion, esta informacin facilita la comparacin de los resulta-dos en el avance de dichos elementos entre 2011 y 2013.

    PROCESO PARA LA INTEGRACIN DE LA INFORMACINLa implementacin de ambos procesos dio los siguientes resultados:

    Proceso 1: Informacin identificada en la bsqueda de los sitios web. Informacin adquirida a travs de las solicitudes de informacin ciudadanas. Informacin no identificada.

    Proceso 2

    Informacin identificada por los funcionarios estatales a travs de URL. Informacin identificada por los funcionarios estatales en documentacin probatoria adjunta. Informacin no respaldada por URL o documentacin adjunta. Informacin no identificada por los funcionarios estatales.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    26/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 25

    De acuerdo con lo anterior, se integr la informacin recopilada mediante los dosprocesos. En el anlisis se tom en cuenta slo la de carcter oficial emitida oautorizada por una instancia competente y pblica disponible en medios elec-trnicos o impresos, tales como el peridico oficial de la entidad, su pgina deinternet, etctera; o bien, que el documento no fuera informacin protegida

    y que el ciudadano pudiera acceder a ella despus de una solicitud formalal inst ituto de transparencia local. As, la informacin que se consider para elanlisis deba cumplir con alguna de las siguientes caractersticas:13

    Estar respaldada por una URL identificada por los funcionarios estatales opor el ejercicio realizado al interior del CONEVAL.

    Estar respaldada por los funcionarios estatales con documentacin adjuntay que, en el ejercicio a cargo del CONEVAL, se identificar en alguna URL ofuera adquirida a travs de una solicitud de informacin ciudadana.

    Estar respaldada por una URL identificada durante el ejercicio realizado porel CONEVAL aunque el funcionario estatal hubiera desconocido la existen-

    cia de ese sitio web al responder el cuestionario. Estar respaldada por informacin producto de una solicitud ciudadana

    aunque el funcionario estatal hubiera desconocido la existencia del docu-mento al responder el cuestionario.

    13Slo se consider como informacin probatoria aquella que fuera oficial, es decir, emitida o autorizada por unainstancia competente.

    Figura 2. Clasificacin de informacin considerada en el Diagnstico 2013

    *Considera la informacin entregada de manera oportuna por medio de solicitud de informacin.

    Funcionarios estatales

    Ejercicioc

    iudadano

    Solicitud deinformacin a rganosde transparencia locales

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    27/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201326

    Una vez analizada la distribucin de la informacin, se encontr que no necesa-riamente los enlaces enviaron ms de la que se obtuvo gracias a la bsqueda delCONEVAL en sitios oficiales. Por lo tanto, las diferencias observadas entre 2011 y 2013no se derivan de contar con mayor informacin por parte del informante, sino por lageneracin y publicacin de sta en este periodo; por ejemplo, en cuanto a la in-

    formacin recabada en el proceso 1 por parte de las entidades, se recibieron 2,047documentos, de los cuales 1,615 (78.9 por ciento) fueron a travs de una URL, conla cual se pudo comprobar su disponibilidad en medios electrnicos oficiales. Lue-go, con el proceso simultneo de bsqueda de informacin se constat que, de los432 documentos adjuntos sin URL, 221 fueron identificados de manera electrnica,aun cuando los enlaces en las entidades no los hayan enviado. Esto signific quepara casi noventa por ciento de los documentos revisados en el Diagnstico 2013se tuvo accesibilidad y disponibilidad electrnica, ya sea porque fueron enviadospor las entidades federativas o por la identificacin externa del CONEVAL.

    nicamente para diez por ciento de la documentacin no se tuvo acceso de

    manera electrnica y, por lo tanto, se enviaron 211 solicitudes de informacin a lasinstituciones de transparencia correspondientes. De stas, no se obtuvo respuestapara 191 (90.5 por ciento); para ocho se recibi una liga electrnica a la que nose pudo acceder; para siete se argument que los documentos solicitados re-queran mayor precisin temporal; y para una se inform que no se contaba conalgn documento con las especificaciones requeridas. Por ltimo, se recibi el do-cumento sealado solo para cuatro solicitudes, que s fueron incluidas en el anlisisdel Diagnstico 2013; el resto no fue considerado para el estudio al no permitirseel acceso a dicha informacin.

    Toda la informacin enviada por las entidades pas por un proceso de verifica-cin y validacin. En el primero se revis el funcionamiento, es decir, que las URLdireccionaran a un sitio existente y que los documentos adjuntos se pudieranabrir. En caso de algn error, se avis al enlace en la entidad para hacer ajustescorrespondientes y contar con la informacin completa. En el segundo se validel contenido de la informacin para considerar en el anlisis nicamente aquellaque representaba lo que deca ser. Este ltimo proceso se valid con la documen-tacin encontrada por el CONEVAL en la bsqueda externa.

    CONSTRUCCIN Y ANLISIS DEL NDICE DEL AVANCE

    EN MONITOREO Y EVALUACIN EN LAS ENTIDADESFEDERATIVAS 2013Una vez integrada la informacin de las 27 variables distribuidas en los dos com-ponentes, se asignaron valores segn el nivel de cumplimiento de cada una deellas es decir, de acuerdo con el nmero de criterios con los que cumpla para

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    28/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 27

    as construir el ndice del Avance en Monitoreo y Evaluacin en las EntidadesFederativas 2013.

    Cada variable analizada es ordinal y toma valores en una escala de 0 a 4, dondecero significa que no se encontr informacin oficial y pblica disponible14al res-

    pecto, y cuatro, que la entidad federativa cuenta con informacin oficial y pblicaque respalda la existencia de los instrumentos de monitoreo y evaluacin, ade-ms de cubrir todos los criterios establecidos por el CONEVAL para considerar queel instrumento se halla en una situacin ptima. Los valores intermedios indicanqu tan cerca o lejos est una entidad de contar con los elementos necesariospara tener instrumentos ptimos de monitoreo y evaluacin, segn el nmero decaractersticas que cumplen.

    Por ejemplo, si una entidad cuenta con una LDS recibir una calificacin de uno.Si esta ley cumple con ciertas caractersticas mnimas que el CONEVAL conside-ra que facilitan la implementacin de instrumentos de monitoreo y evaluacin

    como acciones de difusin de programas, creacin de padrones de beneficia-rios, criterios de asignacin de presupuesto, entre otros, recibir una puntuacinmayor (cuyo valor mximo es de cuatro puntos). Aquellas entidades para las cua-les no es posible identificar la existencia de una LDS o equivalente adquieren demanera automtica una puntuacin de cero en ese rubro.

    Adems de los componentes y variables retomados del ejercicio 2011 para ase-gurar la comparabilidad en este periodo, la asignacin de valores segn el cum-plimiento de criterios tambin mantiene la estructura de 2011.

    El ndice se construy mediante los siguientes pasos:

    Se asignaron valores de 0 a 4 a cada una de las variables, segn el nivel decumplimiento de los criterios que se establecieron para cada una. En todoslos casos, mientras ms criterios se cumplan, mayor era su calificacin.

    Se sumaron los valores obtenidos en las 27 variables, por lo que el valormximo que poda alcanzar una entidad era de 108. Esta puntuacin sloes alcanzable si la entidad cumple con todos los criterios analizados, es de-cir, si obtiene la mxima puntuacin en cada una de las 27 variables.

    14Por oficial se entiende que el documento probatorio debe ser emitido o autorizado por una instancia competente,y por pblico, que el documento debe encontrarse disponible en medios electrnicos o impresos de la entidadfederativa, tales como peridico oficial, pgina de internet, etctera, o bien, que el documento no sea informacinprotegida, es decir, que el ciudadano pueda acceder a ella mediante una solicitud formal al instituto de transpa-rencia local.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    29/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201328

    Para facilitar el anlisis e interpretacin de los resultados, se estandarizaronlos valores en una escala de 0 a 100, es decir, una puntuacin de 108 querepresenta el valor mximo que poda alcanzar una entidad equivale alcien por ciento de avance.

    Finalmente, a partir de los valores obtenidos, se efectuaron cuatro tipos de anlisis:

    Entre entidadesSe puede observar el ordenamiento de las entidades federativas a nivel global y para cada uno de los doscomponentes del diagnstico.

    Entrecomponentes

    Se puede observar para cada entidad federativa el valor que obtuvieron para cada uno de los dos componentesrespecto al nivel mximo alcanzable, el normativo y el prctico.

    Por elementode anlisis

    Se puede observar para cada entidad federativa el valor que obtuvieron para cada uno de los once elementosrespecto al nivel mximo alcanzable, el cual vara para cada elemento en funcin del nmero de variablesque lo componen.

    Comparativo2011-2013

    Uno de los propsitos de la actualizacin del Diagnstico 2013 es comparar los instrumentos de las entidadesfederativas en 2011 y los que poseen en 2013. Para realizar lo anterior, el anlisis mantiene la estructura delDiagnstico 2011, la cual toma en cuenta ocho elementos de anlisis, 27 variables y se mantiene el mismonmero de criterios establecidos en 2011 para evaluar cada una de ellas.

    ALCANCES DEL DIAGNSTICOLos resultados presentados en este documento reflejan el avance de los elemen-tos mencionados con base en la informacin pblica y accesible que se pudoidentificar, sin que esto signifique, que el estado carezca de los elementos de mo-nitoreo y evaluacin analizados. En este sentido, es importante tener claro el pro-

    ceso de recopilacin de informacin la bsqueda en las pginas de internet, elenvo de solicitudes de informacin al rgano de transparencia local y la informa-cin provista por los funcionarios locales, as como el periodo de recopilacinmayo y junio de 2013.

    Los elementos analizados en el diagnstico son aquellos que se consideran comoelementos mnimos identificados a escala federal e internacional, sin que ello impli-que que sean los nicos que permitan dar cuenta del avance en las entidades. Poresto, la ponderacin asignada en este documento hace referencia nicamente alos ocho elementos y sus 27 variables asignadas tanto en materia normativa comode implementacin. No es una calificacin sobre el desempeo general de la enti-

    dad; reconocemos la complejidad del tema y de todas las acciones que se llevana cabo para su ejecucin.

    Dado que el mbito de accin del CONEVAL es la poltica y los programas dedesarrollo social, en el Diagnstico 2013 se examinan nicamente los ejercicios

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    30/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 29

    de monitoreo y evaluacin que tienen que ver con el tema, sin que ello representeel universo completo de ejercicios llevados a cabo por las entidades federativaspara los programas y las polticas relacionadas con lo no social.

    Adems, a dos aos del Diagnstico 2011, el anlisis de la institucionalizacin de

    los elementos de monitoreo y evaluacin en las entidades federativas no puedemantenerse esttico y debe incorporar los instrumentos que las reformas normati-vas han regulado para las entidades federativas. De esta forma en la recopilacinde informacin el CONEVAL incluy nuevos elementos, variables y caractersticas,como la planeacin, la existencia de sistemas de informacin, la vinculacin entrela planeacin, la evaluacin y el proceso presupuestario, as como la definicinestatal del programa de desarrollo social. Sin embargo, con el inters de lograrun ejercicio comparable (2011-2013), para la elaboracin de este documento sedecidi mantener los ocho elementos, las 27 variables y las caractersticas eva-luadas en el ejercicio anterior; por ejemplo, en el tema de programas estatales dedesarrollo social, la definicin reportada por las entidades federativas es hetero-

    gnea. Por este motivo, el CONEVAL clasific estos programas como aquellos cuyodiseo, implementacin y operacin son exclusivos del estado, cuentan con pre-supuesto estatal, y son pblicos y estn disponibles en la pgina oficial del estado.

    Por lo tanto, el reto para el siguiente ejercicio ser incorporar el anlisis de estosnuevos elementos y definir los criterios con base en los cuales se determina su cum-plimiento tanto normativo como prctico, adems de que, en un futuro, el ejerciciodeber apuntalar no slo a estos componentes, sino su integracin en un sistemade monitoreo y evaluacin.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    31/432

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    32/432

    CAPTULO 3Resultados del avance enmonitoreo y evaluacinen las entidades

    federativas, 2013

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    33/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201332

    Los resultados obtenidos muestran que en el orden nacional se tuvo un avanceen la implementacin de instrumentos normativos y prcticos de monitoreo y eva-luacin. En 2011, el promedio del ndice global fue de 44.4, mientras que en 2013se sita en 52.5, lo que representa un incremento de 18.2 por ciento.15

    Pese a que en el promedio nacional se identific una mejora, el cambio de lasentidades federativas en la implementacin de elementos de monitoreo y eva-luacin de 2011 a 2013 ha sido heterogneo. Si bien algunas entidades se hanesforzado de manera considerable, a otras an les queda trabajo por hacer.

    A continuacin se presentan los resultados del avance en monitoreo y evaluacinen las entidades federativas para 2013, as como el cambio experimentado entre2011 y 2013 a partir del ltimo ejercicio realizado por el CONEVAL. Se debe men-cionar que en el componente normativo, el avance en 2013 se refiere a los instru-mentos que las entidades han utilizado y que siguen vigentes sin importar cundofueron publicados, es decir, que sean documentos normativos en funcionamiento;

    en el componente prctico, el avance se refiere a los instrumentos prcticos im-plementados en los ltimos dos aos. El cambio 2011-2013, ya sea aumento o dis-minucin, tiene que ver con el comparativo en la informacin identificada de losinstrumentos que las entidades aplicaron en los ltimos dos aos. Tanto el avanceen 2013 como el cambio en los ltimos dos aos a nivel global, por componente yelemento de anlisis, se muestran para cada entidad federativa.

    NUMERALIA 2013

    52.5

    78.7

    18

    50.9

    Promedio nacional

    Calificacin mxima alcanzada

    Entidades federativas con un avance

    por arriba del promedio nacional

    Puntos de diferencia entre las entidadescon mayor y menor avance en monitoreoy evaluacin

    15Algunos datos pueden diferir debido al redondeo.

    Segn el ndice global, las entidades que presentan en 2013 el mayor avanceen la implementacin de los instrumentos normativos y prcticos de monitoreoy evaluacin son: Oaxaca (78.7), Estado de Mxico (77.8), Distrito Federal (73.1),Guanajuato (72.2) y Puebla (68.5), mientras que las de menor avance son: Baja

    California Sur (27.8), Sinaloa (33.3), Chiapas (35.2), Coahuila (36.1) y Morelos(38.9).

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    34/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 33

    Al analizar el periodo 2011-2013, las entidades que registraron un mayor cambio enel ndice global fueron: San Luis Potos, con un incremento de 30.6 puntos; Oaxaca,con 26.9 puntos; Hidalgo, con 25.9 puntos; Puebla, con 23.1; y Tlaxcala, con 22.2.

    En cambio, las que tuvieron una disminucin en los instrumentos normativos y prc-

    ticos fueron: Guerrero, con una disminucin de 9.3 puntos; Chiapas, con 8.3; DistritoFederal, con 7.4; Coahuila, con 4.6; y Quintana Roo, con 3.7 puntos. Al analizar cadauno de los componentes en 2013, es posible observar que el normativo presenta unmayor avance, lo que permitir mejorar la implementacin de los elementos a largoplazo. En particular, este avance se vio reflejado principalmente en que todas las en-tidades federativas cuentan con una LDS o equivalente; en todas se solicita la crea-cin de padrones de beneficiarios; la difusin de informacin de los programas dedesarrollo social; se establece el mandato legal de evaluar la poltica y los programasde desarrollo social, as como la existencia y atribuciones del rea responsable deefectuar o coordinar la evaluacin de la poltica y los programas de desarrollo social.

    Los principales cambios positivos entre 2011 y 2013 se dieron en este componen-te: siete entidades crearon su LDS, por lo que, en 2013, todas contaban ya coneste ordenamiento o su equivalente; diecisis incrementaron la normativa rela-cionada con las atribuciones del rea responsable de la evaluacin; quincereflejaron una mejora para regular la elaboracin de reglas de operacin; trecemejoraron en la emisin de normativa que establece la evaluacin y el monito-reo de la poltica y los programas de desarrollo; doce aumentaron la emisin denormativa relacionada con la creacin de padrones de beneficiarios; y diez re-gularon los criterios para la creacin de programas nuevos, entre otros.

    nicamente tres entidades disminuyeron en este componente debido, sobre todo, aque establecieron normativa con periodicidad anual, lo que limita su perdurabilidad.

    Si bien el posicionamiento del componente prctico tuvo menor avance en 2013,se identific que 29 entidades cuentan con padrones de beneficiarios y cuatrode ellas muestran un avance en la construccin de un padrn nico de benefi-ciarios; todas las entidades difunden informacin de sus programas de desarrollosocial; en 28 funcionan reglas de operacin para algunos de sus programas; 27presentan indicadores de resultados y 30, indicadores de gestin.

    Respecto al cambio de 2011 a 2013 en este componente, de las 29 entidades que

    experimentaron un avance para 2013 en la elaboracin de padrones de bene-ficiarios, nueve lo hicieron en estos ltimos dos aos, ya sea porque comenzarona implementarlos o porque incluyeron informacin adicional sobre la poblacinbeneficiaria; once reflejaron una mejora en la elaboracin de estudios o diagns-ticos; ocho en la creacin de indicadores de gestin y trece, en la informacin

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    35/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201334

    que stos presentan. En indicadores de resultados, once mejoraron su implemen-tacin y quince, la informacin que ofrecen.

    A diferencia de la normativa, que permite institucionalizar los elementos para ase-gurar su permanencia en el largo plazo, la prctica depende, adems de la de-cisin y voluntad por parte del ejecutor de la poltica social, de diversos factores

    asociados a la operacin de los ejercicios de evaluacin, por ejemplo, la disponi-bilidad presupuestaria.

    Por esto, entre 2011 y 2013, los decrementos ms altos se dieron en el componenteprctico y no en el normativo. Sin embargo, la magnitud de la disminucin identifi-cada no es equivalente al avance que se logr. En promedio, ambos componen-tes crecieron en este periodo y por ello se dio un aumento en el promedio globaldel ndice para 2013.

    La disminucin de informacin en los elementos del componente prctico se de-bi principalmente a que se encontraron menos ejercicios de evaluaciones, y me-

    nos informacin en los padrones de beneficiarios y en los indicadores de gestin.

    Grfica 1. ndice de Monitoreo y Evaluacin por Entidad Federativa 2013

    Fuente: Diagnstico en monitoreo y evaluacin, CONEVAL, 2013.

    Oaxaca

    Mx

    ico

    Distr

    ito

    Fe

    dera

    l

    Guana

    juato

    Pue

    bla

    Ja

    lisco

    San

    Lu

    isPotos

    Quertaro

    Hida

    lgo

    Nuevo

    Le

    n

    Veracruz

    Aguasca

    lientes

    Chihua

    hua

    Co

    lima

    Tabasco

    Sonora

    Michoac

    n

    Nayarit

    Campec

    he

    Durango

    Tlaxca

    la

    Guerrero

    Tamau

    lipas

    Ba

    jaCa

    liforn

    ia

    Yucatn

    Zacatecas

    Qu

    intana

    Roo

    More

    los

    Coa

    hu

    ila

    Chiapas

    Sina

    loa

    Ba

    jaCa

    liforn

    iaSur

    0

    20

    40

    60

    80

    100

    78.

    7

    77.

    8

    73.

    1

    72.

    2

    68.

    5

    66.

    7

    65.

    7

    60.

    2

    60.

    2

    57.

    4

    56.

    5

    55.

    6

    55.

    6

    54.

    6

    54.

    6

    53.

    7

    52.

    8

    52.

    8

    51.

    9

    44.

    4

    44.

    4

    43.

    5

    42.

    6

    41.

    7

    41.

    7

    41.

    7

    41.

    7

    38.

    9

    36.

    1

    35.

    2

    33.

    3

    27.

    8

    Total

    Prctica

    Normativa

    Promedio nacional 52.5

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    36/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 35

    0

    10

    20

    30

    0

    10

    20

    30

    2011 2013 2011 2013

    22.327.7

    22.1 24.8

    ANLISIS ENTRE COMPONENTES, 2011- 2013Al igual que en el promedio del ndice global, tambin se observa un incrementoen el promedio de ambos componentes de 2011 a la fecha. Por un lado, el pro-medio del componente normativo en 2011 fue de 22.3, mientras que en 2013, de27.7, lo que representa un aumento de 24.2 por ciento. Por otro, en el componenteprctico el promedio nacional pas de 22.1 en 2011 a 24.8 en 2013, lo que signi-fica un crecimiento de 12.2 por ciento.

    Grfica 2. Variacin absoluta del ndice de Monitoreo y Evaluacin por Entidad Federativa 2011-2013

    Grfica 3. Promedio nacional de las entidades federativas por componente 2011 y 2013

    Fuente: Diagnstico en monitoreo y evaluacin, CONEVAL, 2013.

    Componente 1.El deber ser en monitoreo y evaluacin

    En el componente normativo, el nivel mximo alcanzable es 51.8,por lo cual la calificacin promedio obtenida en 2013 (27.7) implicaque las entidades federativas, en promedio, ya cuentan con msde 53 por ciento de los instrumentos normativos que se analizan eneste diagnstico.

    Componente 2.La prctica en monitoreo y evaluacin

    En el componente prctico, el nivel mximo alcanzable es 48.1, porlo cual la calificacin promedio obtenida en 2013 (24.8) implicaque las entidades federativas, en promedio, ya cuentan con msde 51 por ciento de los instrumentos prcticos que se analizan eneste diagnstico.

    Fuente: Diagnstico en monitoreo y evaluacin, CONEVAL, 2013.

    San

    Lu

    isPotos

    Oaxaca

    Hida

    lgo

    Pue

    bla

    Tlaxca

    la

    Veracruz

    Guana

    juato

    Quertaro

    Ja

    lisco

    Nayarit

    Co

    lima

    Mx

    ico

    More

    los

    Ba

    jaCa

    liforn

    iaSur

    Tabasco

    Durango

    Sonora

    Campec

    he

    Tamau

    lipas

    Ba

    jaCa

    liforn

    ia

    Aguasca

    lientes

    Zacatecas

    Sina

    loa

    Chihua

    hua

    Nuevo

    Le

    n

    Michoac

    n

    Yucatn

    Qu

    intana

    Roo

    Coa

    hu

    ila

    Distr

    ito

    Fe

    dera

    l

    Chiapas

    Guerrero

    Avance prctico

    Avance normativo

    -15

    -10

    -5

    0

    5

    10

    15

    20

    25

    30

    3530.6

    26.9

    25.9

    23.1

    22.2

    21.3

    17.6

    16.7

    14.8

    11.1

    9.3

    9.3

    8.3

    7.4

    7.4

    7.4

    6.5

    6.5

    5.6

    4.6

    4.6

    3.7

    2.8

    1.9

    0.9

    0.0

    -0.9

    -3.7

    -4.6

    -7.4

    -8.3

    -9.3

    Cambio total

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    37/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201336

    Al igual que el comportamiento heterogneo observado entre entidades en el ndi-ce global, en el anlisis por componente se puede ver que existen entidades quehan avanzado en ambos; otras que muestran un avance en alguno de los dos, yalgunos casos que registran disminuciones en uno o en los dos componentes. Sinembargo, en promedio, las entidades han avanzado la mitad del camino identi-ficado en este diagnstico para completar el esquema normativo y prctico en

    monitoreo y evaluacin.

    Resultados del componente 1: el deber ser en monitoreo y evaluacinEn este componente se identifica la normativa emitida por las entidades federa-tivas que regula tanto los instrumentos que facilitan el monitoreo y la evaluacinpadrones de beneficiarios, reglas de operacin, entre otros como la de aquelloselementos que corresponden al sistema mismo de monitoreo y evaluacin indi-cadores, evaluaciones, entre otros.

    El promedio nacional de este componente fue de 27.7, con un valor mximo al-canzable de 51.8, lo que significa un avance de 53.5 por ciento en promedio.

    Actualmente, existen 20 entidades 62.5 por ciento del total que se encuentranpor arriba del promedio nacional y la diferencia entre las entidades con mayor ymenor ndice es de 38 puntos.

    Los estados que presentan un mayor ndice en el componente normativo son: elEstado de Mxico (49.1), Puebla (38.9), Distrito Federal (38.0), Oaxaca (38.0) eHidalgo (35.2). Es importante resaltar que estas cinco entidades ya han emitidonormativa para ms de 65 por ciento de los elementos analizados en este diag-nstico. En particular, destaca el esquema normativo del Estado de Mxico, quepermite regular prcticamente 95 por ciento de todos los elementos establecidos.

    Aun as, todava es posible avanzar en el fortalecimiento de los criterios para lacreacin de programas estatales de desarrollo social o en la normativa para es-tablecer la elaboracin de reglas de operacin.

    El Estado de Mxico alcanz este nivel de normativa gracias a que, entre 2011 y2013, public los Lineamientos generales para la evaluacin de los programaspresupuestarios, que disponen la ejecucin del Programa Anual de Evaluacin, lapublicacin de las evaluaciones realizadas y el mecanismo para el seguimientode las recomendaciones. Adems, public el Manual general de organizacindel Consejo de Investigacin y Evaluacin de la Poltica Social, en el cual se men-ciona que es funcin de la Secretara Ejecutiva del Consejo de Investigacin y

    Evaluacin de la Poltica Social establecer normas, lineamientos y criterios para laevaluacin y monitoreo de los programas sociales.

    Despus del Estado de Mxico, Puebla cuenta con normativa para 75 por cientode los elementos y criterios incluidos en el diagnstico. A pesar de haber elimi-

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    38/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 37

    nado el Instituto de Evaluacin y Medicin de Marginacin y Pobreza, entre 2011y 2013, public los Lineamientos generales para la formulacin de nuevos pro-gramas sociales estatales, los Lineamientos generales para la conformacin delpadrn nico de beneficiarios de los programas estatales, y los Criterios para laelaboracin de reglas de operacin de los programas sociales estatales.

    En trminos de evaluacin, se identificaron los Lineamientos generales para laevaluacin externa de los programas sociales estatales, los cuales precisan lostipos de evaluacin, los elementos mnimos de las evaluaciones y los requisitosque deben cumplir los evaluadores. Adems, cuenta con los Lineamientos ge-nerales para el monitoreo y la evaluacin de programas sociales, que contienencriterios para el desarrollo de indicadores de desempeo de los programas dedesarrollo social.

    En contraparte, las entidades con un menor avance en la regulacin de los ele-mentos de monitoreo y evaluacin son: Baja California Sur (11.1), Morelos (12.0),Baja California (15.7), Sinaloa (18.5) y Tamaulipas (19.4). Si bien stas presentan el

    menor avance, a excepcin de Baja California y Tamaulipas, las otras tres s cuen-tan con elementos que les permitieron mejorar en los ltimos dos aos.

    Por ejemplo, en Baja California Sur se identific la publicacin del Reglamentode la Secretara de Promocin y Desarrollo Econmico, el cual ordena llevar unregistro de los beneficiarios de los programas sociales que ejecuten las diferen-tes dependencias y entidades de la administracin pblica estatal, as comola evaluacin de los programas especiales para el combate a la pobreza ymarginacin contenidos en el Plan Estatal de Desarrollo. Durante la edicin deeste documento, el estado de Morelos aprob la LDS, con lo cual, en la siguiente

    medicin, se podr ver reflejado un avance por parte de la entidad.

    Respecto al cambio registrado entre 2011 y 2013, la grfica 5 revela que en 27entidades se tuvo un cambio positivo en el tema normativo, es decir, en 84.4 porciento de ellas. En dos no se identificaron cambios y nicamente para tres se iden-tifacaron disminuciones.

    Entre 2011 y 2013, las entidades federativas con un mayor cambio en el componentenormativo fueron: Veracruz, con un incremento de 19.4 puntos; Oaxaca, de 18.5 pun-tos; San Luis Potos, de 14.8; Puebla, de 13.9; e Hidalgo, de 11.1 puntos respecto a 2011.

    Es de resaltar el avance en la normativa emitida por Veracruz, la cual implic uncrecimiento de 19.4 puntos al pasar de 13.9 (posicin 28 del componente nor-mativo) en el ndice 2011 a 33.3 (posicin seis del componente normativo, quecomparte con Guanajuato y San Luis Potos) en 2013, es decir, con un crecimientode 140.0 por ciento.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    39/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201338

    Este cambio se debi a que en este periodo, Veracruz public la Ley de DesarrolloSocial y Humano y su reglamento, que regulan la creacin de un padrn nico debeneficiarios y la evaluacin de programas de desarrollo social, as como los cri-terios para la creacin de programas nuevos y de reglas de operacin, as comola publicacin de las evaluaciones realizadas. Adems, public lineamientos en

    materia de construccin, monitoreo y difusin de indicadores de desempeode la administracin pblica estatal y el Reglamento Interior de la Secretara deDesarrollo Social, el cual asigna ms facultades al rea de evaluacin.

    En general, los elementos normativos en los que se identific un mayor creci-miento en las entidades fueron: en la emisin de normativa para definir las atri-buciones del rea responsable de la evaluacin, en la que diecisis entidadespresentaron una mejora; la elaboracin de reglas de operacin, con una me-jora en quince entidades; la normativa para el monitoreo y la evaluacin deprogramas estatales de desarrollo social, con un incremento en trece entidades;y la creacin de padrones de beneficiarios, con una mejora en doce entidades

    de 2011 a 2013.

    Grfica 4. Componente 1. El deber ser en monitoreo y evaluacin segn entidad federativa 2013

    Fuente: Diagnstico en monitoreo y evaluacin, CONEVAL, 2013.

    Mximo alcanzable

    Promedio nacional

    0

    10

    20

    30

    40

    5051.8

    27.7

    M

    xico

    Pue

    bla

    Distr

    ito

    Fed

    era

    l

    Oax

    aca

    Hida

    lgo

    Guanajuato

    San

    Lu

    isPo

    tos

    Veracruz

    Guer

    rero

    Aguasca

    lientes

    Colima

    Dura

    ngo

    Jalisco

    Michoa

    cn

    Qu

    intana

    Roo

    Taba

    sco

    Son

    ora

    Campe

    che

    Chihua

    hua

    NuevoL

    en

    Yucatn

    Zacate

    cas

    Quer

    taro

    Chia

    pas

    Nayarit

    Coah

    uila

    Tlaxca

    la

    Tamaul

    ipas

    Sina

    loa

    Ba

    jaCa

    lifo

    rnia

    More

    los

    Ba

    jaCa

    liforn

    ia

    Sur

    49.

    1

    38.

    9

    38.

    0

    38.

    0

    35.

    2

    33.

    3

    33.

    3

    33.

    3

    30.

    6

    29.

    6

    29.

    6

    29.

    6

    29.

    6

    29.

    6

    29.

    6

    29.

    6

    28.

    7

    27.

    8

    27.

    8

    27.

    8

    25.

    9

    25.

    9

    24.

    1

    23.

    1

    22.

    2

    20.

    4

    20.

    4

    19.

    4

    18.

    5

    15.

    7

    12.

    0

    11.

    1

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    40/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 39

    Grfica 5. Variacin del componente 1. El deber ser en monitoreo y evaluacin segn entidad federativa 2011-2013

    Fuente: Diagnstico en monitoreo y evaluacin, CONEVAL, 2013.

    Resultados del componente 2: prctica en monitoreo y evaluacinEn este componente se identifica la implementacin tanto de los instrumentosque facilitan como de los que conforman el monitoreo y la evaluacin en lasentidades federativas. El promedio nacional fue de 24.8, con un valor mximoalcanzable de 48.1, lo que significa un alcance de 51.6 por ciento en promedio.Actualmente, existen 18 entidades que estn por arriba del promedio nacionaly la diferencia entre la de mayor y menor ndice es de 28.7 puntos, es decir, haymenos heterogeneidad entre entidades que en el componente normativo.

    Los estados con un mayor ndice en el componente prctico son: Oaxaca (40.7),Guanajuato (38.9), Jalisco (37.0), Quertaro (36.1) y el Distrito Federal (35.2); to-

    dos ellos pusieron en prctica en 2013 ejercicios de monitoreo y evaluacin enms de setenta por ciento de los elementos analizados en este diagnstico.

    Es de resaltar la implementacin de diversos elementos prcticos por parte deOaxaca ya que cuenta con un padrn nico de beneficiarios para los progra-

    Veracruz

    Oaxaca

    San

    Lu

    isPotos

    Pue

    bla

    Hida

    lgo

    Ja

    lisco

    Tabasco

    Tlaxca

    la

    Mx

    ico

    Yucatn

    Durango

    Nayarit

    Campec

    he

    Guana

    juato

    Chiapas

    Michoac

    n

    Chihua

    hua

    Co

    lima

    Quertaro

    Aguasca

    lientes

    Ba

    jaCa

    liforn

    iaSur

    More

    los

    Nuevo

    Le

    n

    Sonora

    Qu

    intana

    Roo

    Sina

    loa

    Zacatecas

    Coa

    hu

    ila

    Guerrero

    Distr

    ito

    Fe

    dera

    l

    Tamau

    lipas

    Ba

    jaCa

    liforn

    ia-5

    0

    5

    10

    15

    20

    1

    9.4

    1

    8.5

    1

    4.8

    1

    3.9

    1

    1.1

    1

    0.2

    1

    0.2

    1

    0.2

    8

    .3

    8

    .3

    8

    .3

    8

    .3

    5

    .6

    4

    .6

    4

    .6

    3

    .7

    2

    .8

    2

    .8

    2

    .8

    1

    .9

    1

    .9

    1

    .9

    1

    .9

    1

    .9

    0

    .9

    0

    .9

    0

    .9

    0

    .0

    0

    .0

    -0.9

    -0.9

    -2.8

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    41/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201340

    mas de la Secretara de Desarrollo Social y Humano, reglas de operacin, indi-cadores de resultados y de gestin, estudios en materia de desarrollo social,planeacin de evaluaciones, evaluaciones realizadas y un rea responsablede hacerlas o coordinarlas.

    Le sigue Guanajuato que de 2011 a 2013 public un programa anual de eva-luaciones, implement cuatro evaluaciones a programas de la Secretara deDesarrollo Social y Humano, y cuenta con ms y mejores indicadores de gestiny de resultados. Luego est Jalisco, con ms y mejores indicadores de gestin yde resultados, realizacin de evaluaciones a programas sociales, y elaboracin deestudios y diagnsticos en materia de desarrollo social.

    Entre las entidades con un menor avance en la implementacin de los elementosde monitoreo y evaluacin se encuentran: Quintana Roo (12.0), Chiapas (12.0),Guerrero (13.0), Sinaloa (14.8) y Durango (14.8). De stas, nicamente Sinaloatuvo un avance positivo en los ltimos dos aos; las dems registraron una dismi-

    nucin que se analizar ms adelante.

    En el caso de Sinaloa, por ejemplo, la mejora se debe a que se identificaron reglasde operacin para cuatro programas de desarrollo social; un padrn de benefi-ciarios; indicadores de gestin para cinco secretaras; y difusin de informacinde 31 programas de desarrollo social.

    Al analizar el periodo 2011-2013, en la figura 4 se observa que las entidades conun mayor cambio en el componente prctico son: San Luis Potos (15.7), Hidalgo(14.8), Quertaro (13.9), Guanajuato (13.0) y Tlaxcala (12.0). El caso de San Luis Po-

    tos es interesante, ya que, despus de ocupar la posicin 25 en 2011, con un valorde 16.7, fue la entidad con mayor avance y en 2013 ocupa la posicin seis, conun valor de 32.4 en el componente prctico del ndice de Monitoreo y Evaluacin.

    Especficamente, San Luis Potos cuenta con lineamientos/reglas de operacinde sus programas de desarrollo social actualizados a 2013. Aunque no se exigeen su normativa, efecta una planeacin de evaluaciones para siete programassociales y con evaluaciones para diez programas. La Direccin de Planeacin yEvaluacin de la Secretara de Desarrollo Social y Regional lleva a cabo la eva-luacin y monitoreo de programas sociales, por lo que el estado tiene un rea enoperacin responsable de realizar/coordinar la evaluacin de la poltica y los pro-

    gramas de desarrollo social, que coordin las diez evaluaciones mencionadas.

    Si bien en 2013 Oaxaca presenta el mayor avance en este componente (40.7),fue la sptima entidad con mayor cambio en la prctica en los ltimos dos aos,es decir, que ya tena un avance importante desde 2011.

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    42/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 41

    Por el contrario para algunas entidades se identific un cambio negativo en la im-plementacin de los instrumentos de monitoreo y evaluacin; por ejemplo, en losltimos dos aos no se identificaron evaluaciones realizadas, no se actualizaronlos padrones de beneficiarios ni se identific seguimiento a las recomendacionesde las evaluaciones implementadas, entre otras acciones.

    Las entidades con la mayor disminucin de 2011 a 2013 son: Chiapas (-13.0 pun-tos), Yucatn (-9.3 puntos), Guerrero (-9.3 puntos), Distrito Federal (-6.5 puntos) yQuintana Roo (-4.6 puntos).

    Como se mencion, la prctica depende tambin de diversos instrumentos fueradel alcance de los responsables de la evaluacin y el monitoreo de los programassociales. Uno de los factores que afecta la implementacin de estos instrumentoses el presupuesto: aun cuando la entidad cuente con la estructura suficiente paraemprender evaluaciones, si no tiene los recursos financieros, difcilmente podr lle-varlas a cabo. Este fue el caso de Nuevo Len, lo que le ocasion una disminucin

    en el componente prctico.

    Grfica 6. Componente 2. Prcticas de monitoreo y evaluacin segn entidad federativa 2013

    Fuente: Diagnstico en monitoreo y evaluacin, CONEVAL, 2013.

    Oaxaca

    Guanajuato

    Jalisco

    Quer

    taro

    Distr

    ito

    Fed

    era

    l

    San

    Lu

    isPo

    tos

    Nayarit

    NuevoL

    en

    Pue

    bla

    M

    xico

    Chihua

    hua

    Mor

    elos

    Aguasca

    lientes

    Ba

    jaCa

    lifo

    rnia

    Colima

    Hida

    lgo

    Sonora

    Taba

    sco

    Campe

    che

    Tlaxca

    la

    Michoa

    cn

    Tamaul

    ipas

    Veracruz

    Ba

    jaCa

    liforn

    ia

    Sur

    Coah

    uila

    Yucatn

    Zacate

    cas

    Dura

    ngo

    Sina

    loa

    Guerrero

    Chia

    pas

    Qu

    intana

    Roo

    Mximo alcanzable

    Promedio nacional

    0

    10

    20

    30

    40

    50 48.1

    24.7

    40.

    7

    38.

    9

    37.

    0

    36.

    1

    35.

    2

    32.

    4

    30.

    6

    29.

    6

    29.

    6

    28.

    7

    27.

    8

    26.

    9

    25.

    9

    25.

    9

    25.

    0

    25.

    0

    25.

    0

    25.

    0

    24.

    1

    24.

    1

    23.

    1

    23.

    1

    23.

    1

    16.

    7

    15.

    7

    15.

    7

    15.

    7

    14.

    8

    14.

    8

    13.

    0

    12.

    0

    12.

    0

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    43/432

    DIAGNSTICO DEL AVANCE EN MONITOREO Y EVALUACIN EN LAS ENTIDADES FEDERATIVAS 201342

    ANLISIS SEGN ELEMENTOSEn este apartado se presenta el avance de las entidades federativas por cadauno de los elementos considerados en el diagnstico, tanto en materia norma-tiva como en la prctica, as como la variacin que tuvieron entre 2011 y 2013.Para cada uno se muestran las grficas de la(s) variable(s) que lo conforman,las cuales tienen una escala de 0 a 4, segn el grado de cumplimiento decada entidad. Hay que recordar que los ocho elementos analizados son:

    Existencia y alcance de la LDS o equivalente. Criterios para la creacin de programas estatales de desarrollo social

    (programas nuevos). Creacin de un padrn de beneficiarios. Elaboracin de reglas de operacin o equivalente. Difusin de informacin acerca de los programas estatales de desarrollo social. Transparencia en el presupuesto asignado a los programas estatales de

    desarrollo social. Elementos de monitoreo y evaluacin:

    Normativa en monitoreo y evaluacin.

    Criterios/lineamientos para la evaluacin. Planeacin de evaluaciones. Publicacin de evaluaciones realizadas. Seguimiento a los resultados de las evaluaciones. Estudios, diagnsticos, investigaciones o anlisis en materia de desarro-

    llo social.

    Grfica 7. Variacin del componente 2. Prcticas de monitoreo y evaluacin segn entidad federativa 2011-2013

    Fuente: Diagnstico en monitoreo y evaluacin, CONEVAL, 2013.

    San

    Lu

    isPotos

    Hida

    lgo

    Quertaro

    Guana

    juato

    Tlaxca

    la

    Pue

    bla

    Oaxaca

    Ba

    jaCa

    liforn

    ia

    Co

    lima

    More

    los

    Tamau

    lipas

    Ba

    jaCa

    liforn

    iaSur

    Ja

    lisco

    Sonora

    Aguasca

    lientes

    Nayarit

    Zacatecas

    Sina

    loa

    Veracruz

    Campec

    he

    Mx

    ico

    Chihua

    hua

    Durango

    Nuevo

    Le

    n

    Tabasco

    Michoac

    n

    Coa

    hu

    ila

    Qu

    intana

    Roo

    Distr

    ito

    Fe

    dera

    l

    Guerrero

    Yucatn

    Chiapas

    -15

    -10

    -5

    0

    5

    10

    15

    20

    15.7

    14.8

    13.9

    13.0

    12.0

    9.3

    8.3

    7.4

    6.5

    6.5

    6.5

    5.6

    4.6

    4.6

    2.8

    2.8

    2.8

    1.9

    1.9

    0.9

    0.9

    -0.

    9

    -0.

    9

    -0.

    9

    -2.

    8

    -3.

    7

    -4.

    6

    -4.

    6

    -6.

    5

    -9.

    3

    -9.

    3

    -13.

    0

  • 7/21/2019 Diganostico de Avance en Monitoreo y Evaluacion 2013

    44/432

    CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL 43

    Indicadores de resultados para la poltica y los programas de desarrollosocial.

    Indicadores de gestin para la poltica y los programas de desarrollo social. Existencia, facultades e independencia del rea responsable de realizar/

    coordinar la evaluacin de la poltica y de los programas de desarrollo social.

    La importancia de llevar a cabo un anlisis que permita reconocer el avance porseparado, tanto de la normativa como de la prctica, radica en que es posibleidentificar aquellas entidades que implementaron elementos de monitoreo y eva-luacin aun cuando no estn obligados por ley a hacerlo; para estas entidades,emitir normativa relacionada con estos ejercicios es de suma importancia paraasegurar su perdurabilidad. Asimismo, este ejercicio contribuye a descubrir lasreas de oportunidad en cada elemento en las entidades que han formuladonormativa para los instrumentos de monitoreo y evalua