Evaluación estratégica Modelo teórico y aplicación

IC7 (2014)

Informes CoNCA

El documento Evaluación estratégica: modelo teórico y aplicación, incluido en la colección Informes CoNCA, ha sido elaborado por el Consejo Nacional de la Cultura y de las Artes (CoNCA).

Este documento ha sido aprobado por el Plenario del CoNCA el 21 de noviembre de 2014.

Miembros del Plenario:

Carles Duarte i Montserrat, presidente

Gemma Sendra i Planas, vicepresidenta primera

David Albet i Sunyer, vicepresidente segundo

Mercè Gisbert i Cervera, secretaria

Pilar Parcerisas i Colomer, vocal

Isona Passola i Vidal, vocal

Valentí Puig i Mas, vocal

Directora:

Sílvia Muñoz d’Imbert

Autoría:

Jordi Auladell Marquès

Han colaborado en su elaboración:

Gemma Carbonell Jorquera

Ramon Castells Ros

Lluïsa Sala i Tubert

Equipo del CoNCA:

Anna Andreu Martínez, Lídia Benito Porté, Jesús Fernández Acebal, Cèlia Garcia Trujillo, Cristina Huguet Martínez y Joan Torrent Pérez.

Corrección lingüística y traducción al castellano y al inglés: Tau traduccions SL

Maquetación: Vitamina.cat

El documento Evaluación estratégica: modelo teórico y aplicación, incluido en la colección Informes CoNCA y editado por el Consejo Nacional de la Cultura y de las Artes (CoNCA), está sujeto a una licencia de Reconoci-miento – NoComercial 4.0 Internacional de Creative Commons. Se permite su copia, distribución y comunica-ción pública sin uso comercial, siempre que se cite la fuente.

Puede descargarse la versión electrónica de este informe en catalán, castellano e inglés en: http://www.conca.cat.

Barcelona, diciembre de 2014

Depósito legal: B 27668-2014

INtroduCCIóN 4

1. AplICACIóN dEl modElo dE EvAluACIóN: públICo «vs.» prIvAdo 6

2. mEtodologíA y EstrAtEgIAs dE EvAluACIóN 8

2.1. Recopilación metodológica 9

2.1.1. Metodologías genéricas de evaluación de organizaciones 9

2.1.2. Metodologías de evaluación específicas del sector cultural 12

2.2. Modelo teórico propio 21

2.2.1. La evaluación ex ante 23

2.2.2. La evaluación estratégica 27

3. AlCANCE y CoNtENIdos dE lA EvAluACIóN EstrAtégICA 31

4. sIstEmAtIzACIóN dE lA INformACIóN 34

4.1. Procedimiento y herramientas de obtención 36

5. pArAmEtrIzACIóN dE lA INformACIóN 40

5.1. Ejes estratégicos transversales 41

5.1.1. Ejes de eficiencia 42

5.1.2. Ejes de eficacia 45

5.2. Modelo de indicadores 47

5.2.1. Indicadores cuantitativos 48

5.2.2. Indicadores cualitativos 50

5.3. Valoraciones de expertos 50

5.4. Interpretación y valoración por ejes estratégicos 52

6. ANálIsIs y EvAluACIóN 57

6.1. Consecución de objetivos 58

6.2. Conclusiones. Fortalezas y debilidades 59

6.3. Recomendaciones 61

6.4 Reflexiones finales 62

7. proCEso dE mEjorA CoNtINuA 64

7.1. Evidencias de seguimiento 66

7.2. Autoevaluación 69

7.3. Evaluación continua 70

ACróNImos 71

glosArIo 72

bIblIogrAfíA 76

ANExo I: guíA dE lAs fIChAs dE EvAluACIóN EstrAtégICA 79

ANExo II: tAblAs dE INdICAdorEs 104

íNdICE

4 5

La Ley 6/2008, de 13 de mayo, del Consejo Nacional de la Cultura y de las Artes, en su artículo 3 indica que el CoNCA «tiene por objeto asesorar al Gobierno en el conjunto de la política cultural, velar por el apoyo a la creación artística y por su promoción, así como realizar la evaluación de la misma [...]».

En este sentido, ha de centrar su misión en el desarrollo de la actividad cultural, colaborar en el ordenamiento de la política cultural en lo que a la creación artística se refiere, intervenir en la polí-tica de apoyo a la creación artística y cultural y de promoción de la misma, y organizar un siste-ma de auditoría cultural de los equipamientos y las subvenciones públicas. Por ejemplo, tex-tualmente, en el artículo 4.k) de dicha ley, a partir de las modificaciones introducidas por la Ley 11/2011, de 29 de diciembre, de Reestructuración del Sector Público para Agilizar la Actividad Administrativa, se establece lo siguiente:

«k) Elaborar las auditorías culturales de los equipamientos culturales de titularidad de la Admi-nistración de la Generalitat y de las entidades públicas o privadas que se lo encomienden, así como realizar una auditoría bienal sobre la repercusión cultural de las subvenciones concedi-das y hacerla pública.»

La realización de una evaluación estratégica a instituciones públicas, como expresión de la au-ditoría cultural, implica el seguimiento y la valoración en la aplicación práctica de las políticas cul-turales que, definidas por la Administración, se desarrollan mediante equipamientos a los que se encarga la función finalista. Asimismo, se conforma como el instrumento que, en lo que a las or-ganizaciones objeto de análisis se refiere, verifica la corrección de la propuesta de actividades y de su ejecución con respecto a los objetivos propuestos y el sistema de evaluación que se haya establecido para realizar su seguimiento, con la finalidad central de que sus conclusiones vehicu-len las decisiones precisas para alcanzar una mayor cuota de relevancia en los objetivos, eficacia en su consecución y eficiencia en el uso apropiado de los recursos disponibles.

La singularidad de la evaluación estratégica viene motivada por la escala de su aplicación, a nivel microeconómico, centrada individualmente en los equipamientos culturales, con una voluntad ex-clusiva de focalizar la optimización de la gestión y la rentabilidad social en los entes instrumentales encargados de transmitir las políticas culturales o en aquellos privados con fin cultural. En este sentido, el propósito del informe de evaluación es reflejar la imagen concreta y puntual del ente como realizador del proyecto e incidir sobre los aspectos de mejora aportando posibles alternativas. El proceso correspondiente posibilita poner en valor los equipamientos culturales, evidenciando en positivo la tarea realizada con respecto a los objetivos sociales y culturales que los caracterizan.

A partir de una estructura básica y estandarizada de obtención e interpretación de información, se propone un modelo de metodología de aplicación común a las diversas tipologías de equipamien-

Introducción

4 5

to existentes, que adapta sistemáticas conocidas y de amplia aceptación, y las desarrolla con la premisa básica de que los procesos de conocimiento, análisis y evidencia sean empleados con una dinámica de mejora continua que garantiza la optimización progresiva y constante del servicio a la sociedad.

Para alcanzar una comprensión profunda de los entes evaluados, se procede a gestionar informa-ción cuantitativa y cualitativa. La sistematización y complementación de ambas tipologías de da-tos incorpora valor añadido al estudio y lo diferencia de los sistemas de control por indicadores exclusivamente numéricos y de las apreciaciones críticas de tipo subjetivo.

6 7

1.Aplicación del modelo de evaluación: público «vs.» privado

La presente metodología de estudio y de análisis de organizaciones ha sido diseñada para su aplicación en equipamientos culturales, principalmente de titularidad pública, pero también, en virtud de las funciones que por norma legal son encomendadas al CoNCA, en instituciones sin ánimo de lucro gestoras de equipamientos de carácter privado. Con destino a esta tipología de organizaciones, el modelo propuesto se centra en medir la consecución de objetivos con interés social a partir de parámetros de economía, eficiencia y eficacia.

La dualidad «público-privado» en referencia a la cultura implica concepciones antitéticas en fun-ción de su dependencia de la sociedad o de la política.1 En la visión liberal de tradición anglosajo-na, entes y equipamientos surgen de la sociedad civil como proyecto mercantil que, según la ley del mercado, ofrece un servicio con fines lucrativos. En sociedades con más implicación del sector público, las políticas culturales definidas desde los poderes públicos se vinculan a una participación institucional principal en las infraestructuras y entes culturales de carácter colectivo, lo que supone una inversión y asunción de gasto a cambio de originar un impacto social (Palma y Aguado, 2011; Varbanova, 2013). De manera progresiva en los últimos decenios, la interacción entre el sector público y el sector privado determina la actividad cultural con el establecimiento de fórmulas mixtas y de colaboración. Las más generalizadas, desde la más cercana al sector públi-co hasta la más distante, se indican a continuación.

Por un lado, están los organismos de derecho privado que actúan funcionalmente como socie-dades de este sector, pero que mantienen la titularidad exclusivamente pública o, en determina-dos casos, con cotitularidad de la sociedad civil. Estos entes dependientes pueden ejercer su labor de manera comercial y con una gestión de tipo privado específica y adaptable, con grados de participación pública diversa. Los formatos jurídicos más empleados son las entidades autó-nomas, los entes de derecho público, consorcios (a veces con otros consorciados institucionales o con entes privados), fundaciones públicas o las sociedades mercantiles con capital público (Mallado, Lucuix y Franco, 2004). La aplicación del modelo de evaluaciones estratégicas les es totalmente compatible.

Un segundo modelo de coparticipación mixta corresponde a los entes privados concertados con el sector público; en esta relación se establece un compromiso recíproco de deberes y derechos entre las partes que implica financiación con recursos públicos de la actividad con finalidades

1. La concepción socrática supone la acepción de la cultura desde un ámbito social, de los ciudadanos, desvinculada del poder público. En contraposición, la concepción aristotélica implica el control político de la cultura como medio para asegurar su difusión a la totalidad de la población y la generación de oferta cultural sin rendimiento económico; este modelo, aplicado de manera extrema, corresponde a políticas autárquicas o autoritarias; sin embargo, con connotaciones de tipo mixto, es el vinculado a tradiciones occidentales socialdemócratas o democratacristianas.

6 7

consideradas de interés general (Harvey, 2005).2 En la práctica, la concertación queda abierta a todo tipo de organización, mercantil o sin ánimo de lucro, a la que se exige la gestión del equipa-miento de titularidad pública con unos condicionantes económicos y de servicio delimitados y en un horizonte temporal concreto.

Con respecto a los organismos de titularidad pública, el paralelismo se encuentra en la finalidad comunitaria, que también se encuentra restringida a los objetivos para la explotación del equipa-miento, que se convierten en un deber de obligado cumplimiento en el compromiso que une y vincula a ambas partes. En este marco, la aplicación efectiva del modelo de evaluaciones estraté-gicas queda en buena parte condicionada a las características del ente gestor y a la concreción y exigencia del convenio; de igual modo, una definición de deberes asimilable a los que implícita-mente desarrolla una entidad de perfil público, con obligaciones respecto al servicio a la sociedad (medidas de cohesión, planes educativos, de promoción externa o de calidad de servicio y ejem-plaridad de gestión), la compatibiliza en los aspectos relativos a la eficacia y a la eficiencia opera-tiva. En el supuesto de entidades sin ánimo de lucro (asociaciones y fundaciones), la vigencia del modelo de evaluaciones estratégicas incluye los aspectos económicos y organizativos internos; no sería el caso aplicarlo a sociedades mercantiles, donde el margen de beneficio empresarial, con una lógica económica y financiera diferenciada, implica la disfunción de los indicadores rela-tivos al rendimiento y al aprovechamiento de los recursos (económicos, materiales y de personal).

Como variante del modelo de colaboración público-privada anterior, están los equipamientos y organismos que se acogen al apoyo público mediante subvenciones y ayudas de carácter regular, destinados a actividad o infraestructura y que, por definición, no presuponen un carácter estable y continuado en el tiempo. De este tipo de cooperaciones participan entidades privadas y entida-des públicas, que solicitan aportaciones financieras a otras administraciones públicas. La conce-sión de una ayuda pública supone la aceptación de unos condicionantes de actuación y, princi-palmente, de difusión social, que entroncarían con la finalidad de los objetivos de política cultural (Harvey, 2005-2006). La aplicación del modelo de evaluación estratégica sería útil en la medida en que se diera una explotación no empresarial del equipamiento.

La última modalidad de equipamiento cultural es el proyecto privado, surgido de la sociedad y desvinculado operativa y económicamente del poder público, en forma de sociedad mercantil, que explota un negocio cultural, o de ente sin ánimo de lucro formado a partir de unos patronos o asociados con objetivos concretos y particulares, no específicamente sociales o coincidentes con los del sector público (Muñoz-Seca y Riverola, 2011). En estos supuestos, los ejes estratégi-cos que articulan y argumentan la evaluación estratégica no son aplicables y no permiten justificar la idoneidad de las acciones y de la gestión llevada a cabo.

2. Sistema de concertación definido e innovado en los sectores culturales francés y canadiense. En el modelo vigente en el Estado español correspondería a los convenios de explotación de equipamientos públicos con entidades de naturaleza privada.

8 9

2.metodología y estrategias de evaluación

Las metodologías relativas al control, el impacto y los resultados de las políticas o servicios públi-cos tienen una amplia tradición en los estudios derivados de la optimización de la Administración pública.

A fin de evaluar el retorno social que han tenido los gastos e inversiones destinados al beneficio público, se procede al análisis de diversos conceptos, algunos intangibles y vinculados a opinio-nes y percepciones comunitarias. Sin embargo, existen dificultades para identificar los resultados y objetivarlos, lo que condiciona culminar el proceso con indicaciones o recomendaciones para mejorarlos.

En el sector cultural, las actuaciones llevadas a cabo por los equipamientos públicos se enmarcan en las conceptualizaciones de objetivos. Del hecho de que se cumplan o no dependerá una valo-ración previa al retorno social de las actividades propuestas; si los objetivos marcados han sido llevados a cabo por el equipamiento, se podrán valorar los resultados obtenidos y replantear, en su caso, la idoneidad de los procedimientos empleados o la validez de las políticas originales.

Los objetivos que definen las actuaciones de los entes del sector público, también en el ámbito cultural, se manifiestan mediante las siguientes vías:

• Enlanormaolasnormasjurídicasiniciales,enlasquesehallaunaexpresióndeobjetivosyfinalidades iniciales: se detallan en ellas las razones que motivaron su creación o la asignación de funciones consideradas de interés y que pueden constituir una función nueva añadida o diferente de la redactada inicialmente en la norma fundacional. Los objetivos responden a una necesidad social que la Administración debe satisfacer en virtud de sus competencias y cum-pliendo las obligaciones de servicio al conjunto de los ciudadanos.

• Enlosplanesdeaccióndepartamentales,enlasquelasvoluntadespolíticasmanifestadasprogramáticamente se expresan en prioridades, finalidades y objetivos que han de llevar a cabo los medios públicos.

• Enlosplanesestratégicos,enlosquelosequipamientosdesarrollansusestrategiasamedioy largo plazo, estableciendo la consecución de objetivos normativos y aquellos que deriven de ellos.

• Conindependenciadelosanteriores,laAdministraciónylosequipamientosestablecenacuer-dos o convenios, generalmente con el formato de contrato-programa a fin de vincular el com-promiso de realización de actividades y el cumplimiento de objetivos con la dotación presu-puestaria correspondiente.

8 9

La medición de la consecución de objetivos depende de su concreción, tanto inicial como final. La sistematización posibilitará que sean cuantificables y medibles y, en consecuencia, suscepti-bles de comparación. Con los datos y referencias objetivables y disponibles para la interpretación posterior, la fase de evaluación incluye el análisis cualitativo de las evidencias, donde lo que se añade de subjetividad complementa la contextualización de los resultados y su motivación, en un marco que permite comprender el porqué de las casuísticas de las instituciones, cuáles son los efectos de su actividad, cómo operan para alcanzar sus objetivos, dónde se encuentran las inefi-ciencias que deben revertirse y, por último, cuáles son las herramientas, actuaciones y estrategias que permitirán mejorar.

Con independencia de la medición de los objetivos, la finalidad de toda metodología de valoración y evaluación consiste en verificar la idoneidad de las estrategias y acciones para cumplirlos (la efectividad) así como en la optimización de su ejecución con los medios disponibles (la eficiencia).

La base teórica debe desarrollar los procedimientos que identifiquen los elementos clave de la institución, estableciendo un modelo de indicadores que cuantifique y sistematice la información susceptible de análisis e interpretación.

2.1. recopilación metodológica

La transmisión directa de servicio o producto es la característica principal que determina el funcio-namiento de los equipamientos culturales. Sujetos al procedimiento administrativo propio del sec-tor público, en el caso de instituciones vinculadas a la Administración, su operativa se singulariza en función de la disciplina —o las disciplinas— que fomenta y promociona y se determina en re-lación con las funciones que desarrolla, ya sean de producción, exhibición, conservación, etc. Buena parte del modus operandi de la institución, principalmente en la vertiente logística, está vinculado a qué ofrece al público y, en general, a la sociedad.

Así pues, la sistematización de un modelo común de recogida de información y el análisis posterior de la amplia diversidad de organizaciones se convierte en el objetivo metodológico de las evalua-ciones estratégicas. Con la finalidad de dar relieve a estas casuísticas, se han recopilado sintética-mente los apartados de más interés de diferentes ensayos teóricos, de raíz académica o de ges-tión empresarial, cuyas bases conceptuales configuran diversas opciones de sistematización.

Con el fin de establecer un fundamento amplio y aprovechable para un modelo propio, de tipo microeconómico, destinado a la evaluación estratégica de equipamientos culturales, se diferen-cian las aportaciones entre determinadas metodologías de aplicación genérica en un gran abani-co de organizaciones, pero adaptables a la realidad de los equipamientos culturales, y las meto-dologías específicas para el sector de la cultura.

2.1.1. metodologías genéricas de evaluación de organizaciones

Metodología de cuantificación del retorno social (Eusko Jaularitza, 2013; SROI Network, 2012)

El método SROI cuantifica el valor actual neto (VAN) de una inversión social a partir de los princi-pios de reconocimiento, medición y comunicación de aquellos valores de tipo social que no se manifiestan financieramente, que pueden estar englobados en parámetros de intangibilidad. La

10

conversión económica de este conjunto de información permite objetivizar la valoración y repre-sentar la contrapartida con unidades homogéneas.

La metodología se centra en la comparación entre el valor que genera una iniciativa y su coste o la inversión que realiza la entidad o administración impulsora. Como conclusión, establece una ratio de valor creado, en unidades monetarias, por cada una invertida, si bien el interés principal está en los procedimientos de medición, síntesis y traslación numérica de las consecuencias de la intervención.

Se establece una cadena de creación de impacto con diferentes etapas o procedimientos que definen el proceso valorativo y que, adaptando el modelo a las estrategias de evaluación de orga-nizaciones públicas, se estructura del siguiente modo:

• Costedelequipamiento:recursospresupuestariosqueconformanelcapítulodeingresosyque representan el valor que se asigna desde las administraciones responsables para posibi-litar los objetivos del equipamiento.

• Actividadesdesarrolladas:accionesquesellevanacabopropiasdeloscontenidosdestina-dos al público.

• Resultados:indicadoresdeoutput, indicadores de outcomes y medición de datos que esti-man lo que ha provocado la realización de las actividades desarrolladas.

• Medicióndelcambiopropiciadoporlasactividades:cuantificacióndelimpactoaplicandolosajustes correspondientes (desplazamiento, peso muerto,3 atribución decrementos).

Metodología de evaluación de políticas públicas (Ivàlua, 2009-2011)

En los modelos de síntesis metodológica asumidos por el Instituto Catalán de Evaluación de Po-líticas Públicas (Ivàlua), la evaluación de las políticas adoptadas se enfoca desde las ópticas pre-vias a las implantaciones de los programas o actuaciones (evaluaciones ex ante de carácter diag-nóstico para determinar las necesidades sociales y evidenciar el punto de partida sobre el que desarrollar la estrategia); las evaluaciones de los diseños de las estructuras, introduciendo el mo-delo de la teoría del cambio de las intervenciones públicas, o de las políticas a adoptar, si procede; las evaluaciones referentes a la implementación del proceso, así como las propias del impacto externo producto de su aplicación.

En referencia a los apartados de análisis, la evaluación de los aspectos económicos de la activi-dad implica determinados parámetros de interés conceptual y de posible aplicación a modelos culturales:

• Determinaciónde laspreguntasdeevaluación:hayquedefinir lascuestionesaresponder,con qué propósitos se formulan y los recursos, tanto necesarios como disponibles, para su respuesta exhaustiva.

• Alternativadecomparación:hayqueestablecercuálessonlosmodelosalcanzables(exter-nos) o los parámetros objetivos en las tablas de la propia tendencia (internos). Implica la des-cripción de perspectivas o criterios clave a considerar, matizando o enfatizando aquellos indi-

3. Ineficiencia inherente al procedimiento.

11

cadores que es consideran determinantes o relevantes, como por ejemplo costes, valores output, de valores o referentes de tipo cualitativo.

Dentro de una tipología de análisis del rendimiento económico aplicable a las instituciones públicas, se incide en determinados ítems de interpretación, como la valoración del coste-efectividad (cuan-tificación del valor consumido para alcanzar objetivos), el coste-consecuencias (detalle del anterior que permite ampliar la consideración individualizada y precisa de las acciones o actividades a fin de identificar los puntos débiles en la ejecución), el coste-minimización (comparación entre actua-ciones a partir del coste y los resultados obtenidos), el coste-utilidad y el coste-beneficio.

Metodología de implantación de calidad (I) (CDA, 2002; AENOR, 2008)

Los modelos surgidos de la gestión de la calidad aportan aspectos adaptables a realidades cul-turales, principalmente en el ámbito de la excelencia organizativa.

La norma ISO 9001/2008 introduce conceptos de gestión interna a partir del enfoque hacia el usuario/cliente/público objetivo. Para conseguir generar eficientemente el servicio o producto destinado al consumidor, se articula un enfoque basado en procesos en los que interviene la to-talidad de la organización. En este sentido, establece unos requisitos básicos del sistema en los que prevalece el concepto de enfoque basado en procesos:

• Gestióndelsistemadecalidad: identificacióndeprocesos, interacción,criterios,análisisycontrol, medición y mejora continua.

• Responsabilidaddeladirección:compromisoyenfoquealcliente,políticasyobjetivos,res-ponsabilidad y comunicación y revisión por parte de la dirección.

• Gestióndelosrecursoshumanosymateriales.

• Realizacióndelservicio:producción,planificación,procesosorientadosalcliente,prestaciónde servicio, control y seguimiento de las acciones.

• Medición,análisisymejora:seguimientodeldestinatariodelservicio,mejoracontinua,accióncorrectiva y acción preventiva.

Se establecen indicadores de calidad ligados a los objetivos de la organización y, en el marco de un proceso de mejora continua, se implanta la filosofía PDCA (plan, do, check, act)4 en concor-dancia con unas etapas o fases de evaluación pautadas:

a) Diagnóstico inicial (informe de diagnosis): identificación de los procesos, políticas de calidad preexistentes, necesidades de formación y de recursos, objetivos vigentes y cumplimiento de requisitos de la norma.

b) Establecimiento del plan de desarrollo del sistema de gestión de la calidad: temporalización, organización del comité responsable y planificación.

c) Elaboración de la documentación de calidad: manual, mapa de procesos interrelacionados, procedimientos (con instrucciones de trabajo y otra documentación, si es preciso) y registros.

4. Ciclo de Deming (AENOR, 2008).

12

d) Implantación del sistema de gestión de calidad para generar registros y conocimiento del sistema entre la organización: ejecución del plan, revisión de la ejecución, verificación de los recursos y del resto del sistema.

e) Revisión y auditoría: asegurar el cumplimiento de los requisitos y proceder al seguimiento periódico de su evaluación.

Metodología de implantación de calidad (II) (EFQM, 2012-2014)

El sistema EFQM implica el concepto de calidad total. Considera que la satisfacción de los impli-cados y el impacto social se consiguen mediante el liderazgo que impulse las políticas y las estra-tegias, la gestión de personal y de los recursos y los procesos directamente dirigidos a la excelen-cia. Su objetivo central es mejorar el funcionamiento, por lo que se emplea un procedimiento de autoevaluación constante; se entiende que este consiste en un proceso orientado a la mejora, en el que se identifican los puntos débiles y fuertes y se incluyen las acciones reformadoras, median-te la preparación del personal y su vinculación con el concepto de calidad total.

El sistema requiere un conocimiento detallado de la situación previa y establecer una planificación guiada a fin de examinar de manera sistemàtica los aspectos (criterios) de funcionamiento de la organización, lo que le permitirá medir el rendimiento y proceder a la comparación con terceros. En este sentido, los procesos del sistema están orientados a los destinatarios del servicio, a la asociación con los proveedores, a la participación de los trabajadores en todo el proceso: en los procedimientos que permitan implementar la mejora continua y la innovación, en el fomento del liderazgo proactivo y la coherencia de objetivos, en la ética y la responsabilidad y en la orientación a resultados.

El sistema EFQM desarrolla el modelo mediante la identificación de los criterios que considera característicos y estandarizados:

• Loscriteriosagenteso«cómosegestiona»:correspondenalliderazgo,lapolíticayestrategia,la gestión del personal, las alianzas y recursos y los procesos definidos y en activo.

• Loscriteriosresultadoso«quéconsiguelaorganización»,queseránlabasedelplandeme-jora posterior: resultados de satisfacción con los usuarios, resultados de satisfacción con el personal, resultados de satisfacción con la sociedad (retorno social), resultados clave respec-to a la estrategia y la expectativa generada, etc.

2.1.2. metodologías de evaluación específicas del sector cultural

Contratos-programa de equipamientos culturales (Ribas y Vilalta, 2003; Rius, 2010)

Los contratos-programa nacen como la formalización del vínculo entre administraciones y equipa-mientos culturales con el objetivo de establecer un marco metodológico de optimización de la gestión, contextualizando esfuerzos con respecto a la eficacia y la eficiencia de las acciones. Ac-túan como herramienta de medición de objetivos estableciendo un seguimiento y control de la gestión y evidenciando los parámetros que determinan su funcionamiento y su tendencia.

13

Desde el Departamento de Cultura de la Generalitat de Cataluña se estableció una unificación de parámetros de control aplicada en el Plan de Museos (2012) y en determinados contratos-progra-ma que reproducen el modelo preestablecido.5 En esta metodología, las instituciones museísticas incluidas, de carácter nacional, adquieren una obligación básica de coordinación sobre su área temática respecto de sus propias sedes y otros equipamientos de implantación territorial.

En el mismo sentido que las instituciones anteriores, el resto de entes y equipamientos, también dependientes mayoritariamente de la Administración pública o de su financiación, asumen el ran-go de núcleo de contenido de los propios ámbitos y definen, con más o menos detalle, las finali-dades en forma de actividades a realizar.

El procedimiento de medición y control establecido en los contratos-programa se desarrolla me-diante el establecimiento de objetivos estratégicos que detallan el encargo público que asume el ente. Estos propósitos generales se traducen en la práctica en acciones que se citan como obje-tivos operativos; los indicadores serán los valores, baremos y ratios que medirán la consecución y naturaleza de implantación de los objetivos operativos.

Los objetivos estratégicos de los equipamientos se encuentran vinculados a las particularidades del sector y de la institución, las disposiciones jurídicas que afectan a su constitución y gobernan-za y la casuística de las funciones por las cuales fue creada. Asimismo, se definen unos conceptos prioritarios comunes que configuran los objetivos estratégicos de todo equipamiento cultural pú-blico (figura 1).

En el caso de los museos, se coincide en priorizar la función de centralidad asignada, orientando las medidas que reafirmen la posición de liderazgo en el sector. Con las acciones propias vincula-das a la difusión pública de las colecciones y actividades, juntamente con la conservación, el leitmotiv original del ente, los objetivos estratégicos hacen una incidencia especial en la eficiencia de la aplicación de recursos, dirigiendo esfuerzos a la colaboración externa para hacer comunes actividades y exposiciones y optimizando la estructura mediante una mayor carga de actuacio-nes. En el resto de entes y equipamientos también destaca el papel de promoción de la actividad y la centralidad en la gestión; no obstante, se insiste especialmente en la calidad de los conteni-dos y su difusión.

Vinculados a los objetivos estratégicos, los objetivos operativos o acciones trasladan a paráme-tros medibles los propósitos generales. El número de operativos depende de la concreción de los anteriores y del despliegue de la estrategia que se desea llevar a cabo.

Como continuación del despliegue de los objetivos operativos, estos manifiestan valores median-te la existencia de indicadores. Se aportan valores de referencia y objetivos que hay que alcanzar, especificando el punto de inicio y el valor objetivo. Los indicadores cuantitativos (numéricos y porcentuales) corresponden a indicadores de output y de resultados, principalmente en referencia a los objetivos de difusión, y a indicadores de eficiencia6 en los apartados relacionados con cálcu-los de coste y aprovechamiento de recursos. Los indicadores de tipo cualitativo se utilizan en la evidencia de todos los objetivos operativos.

5. En formato de contrato-programa o acuerdo estratégico se han incluido en la muestra de estudio los referentes a los entes siguientes: Con-sorcio del Mercat de les Flors (vigencia 2012-2015), Museo de la Ciencia y de la Técnica de Cataluña (MNACTEC) (vigencia 2012), Museo de Historia de Cataluña (MHC) (vigencia 2012), Museo de Arqueología de Cataluña (MAC) (vigencia 2012), Fundació Privada Jove Orquestra Nacional de Catalunya (JONC) (vigencia 2010-2013), Teatre Nacional de Catalunya, S.A. (TNC) (vigencia 2010-2013), Biblioteca de Cataluña (vigencia 2013-2016).

6. Los indicadores de eficiencia relacionan diferentes valores (normalmente internos y otros de tipo output) para dar ratios, que ofrecen valores relativos empleados como referencia para evidenciar resultados. Se utilizan principalmente para medir y comparar la utilización de recursos.

14

Los contratos-programa indican la constitución de comisiones de seguimiento a tal efecto que, en reuniones periódicas, valoran el cumplimiento de los objetivos. Por otro lado, no se incluyen he-rramientas de autocontrol que permitan evidenciar desde el propio ente la evolución de los indica-dores: cuadros de mando, calendario de revisiones periódicas, procedimientos de revisión de in-dicadores tipo (check list), etc. La evaluación no continua de las actuaciones presupone la no intervención sobre dinámicas de desviación de objetivos, sobre los que no se detalla ningún plan de contingencia que adecue el resto de variables vinculadas.

Figura 1. Cuadro resumen de objetivos e indicadores tipificados en el modelo de contratos- programa para los equipamientos culturales aplicado en el Plan de Museos

Naturaleza de los objetivos estratégicos

Objetivos operativos tipo Indicadores tipo

POLÍTICAS Y ACTUACIONES DE PROMOCIÓN SECTORIAL

- establecer y/o aumentar proyectos intersectoriales y programas con otras instituciones

- participación y apoyo en proyectos de terceros

- creación y/o consolidación del despliegue y red territorial

- aumento de programación de actividades

- potenciación de perfil y marca propia

- número de actividades en colaboración externa lideradas por el ente

- número de acciones y actividades compartidas con la red

- porcentaje de incremento nuevas actividades sectoriales

- número de actividades itinerantes

- número de participaciones en actividades genéricas referentes al sector

- número de cesiones de material propio

MEJORA EN LA CALIDAD DE CONTENIDOS OFRECIDOS

- digitalización de contenidos y servicios

- programación de propuestas/artistas innovadores

- apertura de espacios a producciones/colecciones ajenas

- aumento de identificación y catalogación de nuevo patrimonio afecto

- aumento de actuaciones de prestigio

- aumentar acciones de prestigio (publicaciones, actividades científicas)

- porcentaje de digitalización de la colección

- número de proyectos de investigación

- porcentaje incremental de materiales de fondo

- numero de programas/actuaciones de valor singular

- número de congresos (participación), publicaciones, etc.

15

Naturaleza de los objetivos estratégicos

Objetivos operativos tipo Indicadores tipo

EFICIENCIA DE LOS RECURSOS EMPLEADOS

- aumento de ingresos propios

- mejora de rentabilidad del gasto corriente

- mejora de la eficiencia en gasto energético

- aumento de la coproducción de actividades

- número de actividades de producción propia

- índice de gasto no estructural respecto al gasto total

- porcentaje de autofinanciación sobre el total de ingresos

- porcentaje por naturaleza de los ingresos propios (entradas, actividad comercial, patrocinio, ayudas)

- porcentaje de minoración del gasto energético

POLÍTICAS DE DIFUSIÓN Y MARKETING

- aumentar y diversificar público usuario

- difundir programas educativos y acciones culturales

- implantar acciones y programas de fidelización

- aumentar la satisfacción del público usuario

- difundir producciones y actividades

- abrir espacios de exposición temporal del fondo

- número y tipo de usuarios

- número de visitas/consultas digitales (web, redes sociales)

- número de actividades educativas

- número de acciones culturales

- número de usuarios fidelizados y tipología

- número de exposiciones/actividades temporales

- creación de herramientas de difusión en red

Metodología de indicadores culturales para la planificación estratégica (Varios autores, 2014; FEMP, 2009; UNESCO, 2009)

En un marco de interpretación macroeconómico del diseño de programas y políticas culturales, organizaciones de tipo supranacional (UNESCO, 2009) o territorial (FEMP, 2009) proponen mar-cos teóricos unificados y metodologías destinadas a la optimización de la planificación estratégi-ca; se mide el impacto, se evalúan variables y se procede a establecer acciones sincrónicas sobre el programa o la política a fin de adaptar su encaje en la sociedad.

El sentido de la metodología se centra en dos objetivos básicos: por un lado, aportar datos y análisis relativos a eficiencia y eficacia para la toma de decisiones; por otro, no menos importante en las actividades públicas, reforzar la transparencia y la rendición de cuentas. Una consecuencia del proceso es la cuantificación de los rendimientos de la inversión en cultura, ya que la compa-ración coste-beneficio de las políticas públicas permite justificar su propia existencia, también desde el punto de vista económico, ante la sociedad.

El sistema se articula a partir de dos procesos diferenciados, consecutivos y destinados al objeti-vo (figura 2). En un formato sistematizado, la idoneidad del sistema se basa en la definición de

Figura 1. Cuadro resumen de objetivos e indicadores tipificados en el modelo de contratos- programa para los equipamientos culturales aplicado en el Plan de Museos (cont.)

16

variables, la sostenibilidad en el tiempo de la recopilación de datos y la homogeneidad en el trata-miento para dar respuestas y extraer conclusiones asimilables y comparables.

Figura 2. Esquema básico de fases de desarrollo de la metodología

La unificación metodológica de recopilación de datos en un sistema de información cultural (SIC) es la premisa para poder realizar el sistema de indicadores. Además, la orientación del sistema de indicadores hacia las evidencias que permitan decisiones estratégicas determina la utilidad del sistema.

Las tipologías de los indicadores empleados son básicamente las conocidas en otras metodo-logías:

• Indicadoresdeeficiencia:midenresultadosyrecursosempleados.

• Indicadoresdeeficacia:relacionanresultadosconobjetivosprogramados.

• Indicadoresdeeconomía:seincideenlacapacidaddeadecuacióndelosrecursosalasne-cesidades definidas para alcanzar los objetivos.

• Indicadoresdecalidad:destinadosavalorarlacapacidadpararesponderalasnecesidadesdel usuario.

El método quiere dar respuesta a la necesidad de herramientas para la planificación estratégica efectiva. En este sentido, los indicadores se agrupan para facilitar datos a la toma de decisiones en dos etapas diferenciadas temporalmente:

• Paraposibilitarlaplanificaciónacortoplazoyfacilitarlagestióncotidiana,determinadosindi-cadores configuran el llamado sistema básico, con indicadores de recurso, de proceso y de producto (Varios autores, 2014).

• Elsistemaestratégico,medianteelanálisis,permitefijaractuacionesa largoplazo,marcarobjetivos y detectar las claves que permitirán alcanzar los objetivos.

La combinación de los indicadores y matrices relacionadas permite estructurar un sistema de objetivos operativos, tácticos y estratégicos, así como la interacción posterior entre dos sistemas

Sistema de información cultural

Sistema de indicadores culturales

PLANIFICACIÓN ESTRATÉGICA DE LA CULTURA

17

de análisis, el de marco lógico (estudio del programa por etapas y comparación con objetivos previstos) y el de matrices de evaluación (seguimiento del proceso y evaluación continua).

Metodología de evaluación cultural por conceptos de control (Gilhespy, 1999)

El modelo compilado por Gilhespy define los objetivos del procedimiento para evaluar equipa-mientos de tipo público, que exponemos a continuación. Así pues, el sistema:

• Debemedirunamplioabanicodeobjetivosestratégicos.

• Debeutilizarestándaresadaptablesaloscambiosdeobjetivos.

• Debecombinarlosconceptosdecontrol:eficiencia,efectividad,economíayequidad.

• Debesersusceptiblederevisiónyvalidación.

Para la validación interna, a fin de comprobar la aplicación de los conceptos de control, se deter-minan cinco objetivos de maximización, en nomenclatura del autor, que funcionan como eviden-cias físicas del funcionamiento del ente; objetivos de maximización que, a la vez, se articulan en indicadores que evidencian los aspectos que hay que medir (figura 3).

Figura 3. Tabla de objetivos de maximización

Objetivos de maximización

Indicadores de resultado Qué se mide

Acceso a las actividades

Número de visitantes de la tercera edad (o niños, parados, estudiantes) / total asistentes

Eficacia y equidad

Invitaciones / total asistentes Eficacia y equidad

Nuevos asistentes / total asistentes Eficacia y equidad

Coste de la mejora de los resultados / gasto bruto

Eficiencia

Aumento de usuarios / total asistentes Eficacia y equidad

Localización visitantes (locales, regionales, extranjeros) / total visitantes

Eficacia y equidad

Asistencia a las actividades

Total asistentes Eficacia

Total asistentes / gasto bruto Eficiencia

Abonados (carné amigo) / total asistentes Eficiencia y eficacia

Total asistentes / aforo Eficiencia

Economía de las actividades

Coste en publicidad / ingresos Economía

Mantenimiento infraestructuras / ingresos Economía

Coste estructura / ingresos Economía

Coste personal / ingresos Economía

Costes previstos (proyectos) / costes reales (mediana del porcentaje de desvío)

Economía

18 19

Con los anteriores, siguiendo el esquema desarrollado con indicadores, se incorporan objetivos de carácter ideológico (figura 4), que deben comprobarse a efectos de validación interna.

En referencia a la validación exterior de los impactos alcanzados sobre la sociedad, estos se agru-pan por objetivos de política cultural (figura 5).

Objetivos ideológicos

Indicadores de resultado Qué se mide

Diversidad y multiculturalismo

Número de actividades de diversidad / total actividades

Eficacia

Gasto en diversidad / total gasto Eficacia

Educación Gasto en educación / total gasto Eficacia

Excelencia Ratios de calidad Eficacia

Innovación Nuevas compañías en programación anual Eficacia

Cohesión social

Gastos referentes a cohesión / total gastos Eficiencia

Asistencia a actividades cohesión / total asistentes

Eficacia

Aumento de la asistencia Eficacia / equidad

Asistencia de grupos exclusión social (o étnicos) / total asistentes

Eficacia / equidad

Tercera edad (niños, parados, estudiantes) / total asistentes

Eficacia / equidad

Número de voluntarios Eficacia / equidad

Objetivos de maximización

Indicadores de resultado Qué se mide

Acceso al taquillaje o a la recaudación

Ingresos / gastos Economía

Ingresos taquillaje / ingresos totales Economía

Mecenazgo / ingresos totales Economía

Calidad de servicios

Calidad percibida en la funcionalidad y el diseño de las infraestructuras (cafetería, escena, merchandising, aparcamiento, etc.)

Eficacia

Calidad percibida en el servicio (atención al público, personal, limpieza)

Eficacia

Calidad percibida general (ambiente, cohesión equipo)

Eficacia

Figura 3. Tabla de objetivos de maximización (cont.)

Figura 4. Tabla de objetivos ideológicos

18 19

La compilación de los resultados de los indicadores genera una batería de referencias objetivas susceptibles de comparación.

Metodología de evaluación de programas culturales por indicadores clave (Varios autores, 2012; Noguera y Ferrer, 2011; Willoughby y Benson, 2011)

La evaluación de programas culturales, en los apartados aplicables al funcionamiento de los equi-pamientos públicos, implica un procedimiento de etapas consecutivas que agrupan indicadores cuantitativos y cualitativos considerados ítems clave. Para su puesta en práctica, hay que definir lo siguiente:

a) El cuestionario de evaluación de características iniciales: con indicadores de objetivos, del diseño de actividades, de la planificación, de la gestión operativa, de la gestión de activida-des, indicadores relativos de los resultados y de la repartición de responsabilidades.

b) Las preguntas diagnósticas (25-30) divididas en cuatro secciones: propósito y objetivos (20%), planificación estratégica (10%), gestión (20%) y resultados (50%).

c) El establecimiento de un parámetro evaluador sintetizado en una escala valorativa de puntos: equipamiento eficaz, moderadamente eficaz, adecuado o ineficaz.

d) La definición de indicadores evolutivos, comparando el mismo ente en el tiempo. Las ratios tiene que establecer una relación directa con el objetivo estipulado; hay que considerar su priorización por importancia conceptual y ponderar su impacto o peso relativo en el conjunto de indicadores. La revisión de los valores objetivo futuros se encuentra vinculada a los resul-tados reales obtenidos.

Objetivos de política cultural

Indicadores de resultado Qué se mide

Impacto económico

Volumen del sector equipamiento Eficacia

Impacto equipamiento en sector (público equipo / público sector)

Eficacia

Ocupación directa Eficacia

Ocupación inducida Eficacia

Taquillaje turístico Eficacia

PrestigioPrestigio cívico (sondeo de opinión) Eficiencia

Prestigio nacional (sondeo de opinión) Eficacia / equidad

Calidad de vida

Disposición del público local al pago (sondeo de opinión)

Eficacia

Cultura percibida como parte de la calidad vital (sondeo de opinión)

Eficacia

Figura 5. Tabla de objetivos de política cultural

20 21

Metodología de evaluación de políticas públicas culturales: sistemas y modelos (Gascó, 2003)

Desde la vertiente de la gestión de las políticas públicas en el campo cultural, la propuesta esta-blece un sistema lógico de desarrollo a partir de la definición de determinados conceptos que uniformizan el marco teórico, así como un método y su aplicación para obtener los resultados que le permitan la reflexión posterior (figura 6).

El método propone una concepción de la evaluación centrada en la identificación de las casuísti-cas que caracterizan al ente evaluado mediante dos modelos teóricos:

• Lateoríadesistemas,dondesedefinelaevaluacióncomounelementoreguladordelasac-ciones que se han de llevar a cabo y que funciona, en este sentido, como herramienta de control estratégico; en la exposición del sistema, se diferencian las partes y los elementos interrelacionados, lo que explica su retroalimentación durante el propio desarrollo de las ac-ciones vinculadas.

• Lateoríademodelos,queposibilitalacomprensióndelacasuísticadelaevaluación,trasla-dando la información a una estructura de modelo y simplificándola para su interpretación; en este sentido, es dependiente de la definición del sistema para poder extrapolar cualquier modelo.

Figura 6. Etapas en el desarrollo de la propuesta metodológica de sistemas y modelos (Gascó, 2003, p. 16)

RESULTADOS

REFLEXIONES FINALES

Análisis de evaluavilidad Evaluación intermedia Evaluación posterior

Propuestas estratégicas Obstáculos encontrados e investigaciones potenciales

MARCO TEÓRICO

Cambio de

paradigma

Análisis de políticas

públicas

Evolución de la evaluación

El concepto de

evaluación

Modelos evaluativos

Tipo de evaluación

PROPUESTA METODOLÓGICA

Teoría de sistemas y teoría de modelos El itinerario de nuestra investigación

20 21

A partir de la caracterización sistémica de la política evaluada y de la definición de su modelo, se genera el resultado en tres facetas de aspectos que hay que considerar:

• Elanálisisdeevaluabilidad,enelqueseconsideranbásicamenteaspectoscualitativosrefe-rentes a los programas y políticas, los objetivos estratégicos y la vinculación y coherencia de los mismos respecto a los presupuestos.

• Laevaluaciónintermedia,dondedestacanlaevaluacióndelaimplantaciónylamonitorización.

• Laevaluaciónposteriordelaeficacia,equidad,sensibilidadysostenibilidad,que,enelmode-lo, valoran los programas públicos culturales.

Como desenlace del modelo, a partir de las ineficiencias se determinan las propuestas concretas de mejora y las dificultades o cambios en el sistema que estas pueden provocar.

Otras metodologías de acreditación sectorial: museos (Arts Council England, 2011; Gilhespy, 1999)

La gestión de los museos ha sido objeto de control y de acreditación por parte de organismos públicos y privados a partir de modelos anglosajones y centroeuropeos.

La metodología empleada en el sector incorpora diversas aplicaciones de tipo generalístico (cali-dad, retorno social, etc.), incidiendo en el proceso autoevaluativo y el control por parte del órgano externo en cuanto a eficiencia, eficacia, transparencia y buenas prácticas, gestión de la planifica-ción y cambio para la mejora continua.

Como modelo representativo, el sistema de acreditación museístico británico establece tres ejes básicos de control que se subdividen en aspectos clave para ser evaluados:

• Losaspectospropiosdelagobernanza:laidoneidaddelaarquitecturadegobierno,ladefi-nición de un plan estratégico que responda a las necesidades públicas, la adecuación de las acciones de gestión y gerencia más adecuadas, la planificación previsional de los recursos, la seguridad de los contenidos, la estabilidad financiera, la estructura organizativa, el entorno y la accesibilidad en el asesoramiento externo, la existencia de planes de contingencia o las políticas de sostenibilidad ambiental.

• Losaspectosvinculadosalagestióndecontenidos(colecciones):eficienciaenlaclasifica-ción, conservación y documentación, planificación de las intervenciones, definición de los procedimientos vinculados y de la seguridad.

• Enrelaciónconelpúblicoylaaceptacióndelaoferta:aspectosdecalidadyserviciodirigidoal consumidor del servicio (definición del perfil de público, necesidades del usuario, propues-tas para el crecimiento de visitantes, servicios y atención al cliente), coordinación con los in-tereses comunales, oferta didáctica.

2.2. modelo teórico propio

Los requerimientos de una metodología de evaluación referida a los equipamientos del sector cultural implican dos premisas iniciales y definitorias que determinan el diseño del modelo: por un lado, la relativa a los parámetros propios de toda gestión pública; por otro, el perfil microeconómi-

22 23

co de la intervención. En este sentido, se ha procedido a elaborar el modelo de aplicación a partir del marco determinado y de las metodologías citadas como ejemplares.

La evaluación ex ante ha significado la plasmación empírica de un primer modelo formal. De las metodologías precedentes adapta diversos ítems destacados:

• Lapropiaexistenciayconformacióndeunmodelopreliminar,ex ante, que plasma las casuís-ticas del sujeto de evaluación y que, en la metodología específica, se interpreta como el ins-trumento de verificación y puesta en práctica del sistema basado en la definición de ítems identificativos y la introducción de la eficiencia y la eficacia como valores de comparación.7

• Lacadenadecreacióndeimpactoenlacuantificacióndelimpactosocialdelasactuacionesde los entes evaluados, con un especial interés por la vinculación entre costes económicos, actividades, resultados y la medición del cambio propiciado.8

• Laintroduccióndelaclasificaciónporprocesosyprocedimientosparaestructurarmodeloscualitativos integrales, donde se incide en las responsabilidades, la gestión de recursos, la realización del servicio y la medición de toda actuación, que en aplicación al modelo propio representa un formato que integra a la vez la gobernanza, la organización interna y la gestión de los contenidos.9

• Laorientacióndelosprocesoshaciaelservicioaldestinatario(público,cliente,usuario,visi-tante), su satisfacción y la aceptación de la oferta. Estos se centran en estrategias de mejora continua y autoevaluación como adaptación de las organizaciones a pautas de ciclo PDCA (planificar, hacer, comprobar, actuar).10

• Laimplantacióndeindicadoresdecomparaciónglobaldelainversión–gastoenactividadesysus resultados a partir de las evidencias relativas a la eficiencia, la eficacia, la transparencia, la afectación social y la cuantificación de los rendimientos.11

• Ladeterminacióndeunprototipodeconceptosdecontrol(eficiencia,eficacia,economíayequidad) que en la evaluación ex ante se ajustan a la definición más explícita de ejes transver-sales, traspasados a objetivos que, como en los contratos-programa, vinculan indicadores y su medición.12

La evaluación estratégica significa la evolución de la ex ante y se incorporan instrumentos especí-ficos para cerrar un modelo de aplicación efectiva con herramientas de control interno y procesos de mejora continua:

• Lamedicióndelaconsecucióndelosobjetivos,queenlametodologíareferenteacontratos–programa circunscribe los operativos como evidencia de las estrategias, y que en la evalua-ción estratégica se amplía a las finalidades fundacionales y a las expresadas en planes estra-tégicos y de actuación.13

7. Metodología de evaluación de políticas públicas (Ivàlua, 2009-2011).

8. Metodología de cuantificación de retorno social (Eusko Jaurlaritza, 2013; SROI, 2012).

9. Metodología de implantación de calidad (I) (CDA, 2002; AENOR, 2008). Metodologías de acreditación sectorial (Arts Council England, 2011; Gilhespy, 1999).

10. Metodología de implantación de calidad (I) (CDA, 2002; AENOR, 2008). Metodología de implantación de calidad (II) (EFQM, 2012-2014).

11. Metodología de indicadores culturales para la planificación estratégica (Varios autores, 2014; FEMP, 2009; UNESCO, 2009).

12. Metodología de evaluación por conceptos de control (GILHESPY, 1999).

13. Metodología de contractes programa (Ribas y Vilalta, 2003; Rius, 2010).

22 23

• Laconsideracióndeconceptosclavecomoparámetrossintéticoseidentificablesderealida-des complejas, indicadores evolutivos de los procedimientos de seguimiento interno.14

• Laidentificacióndemodeloscomparadoresmedianteladeterminacióndelaspartesylainte-rrelación que configura cada sistema de organización y de los modelos que esta técnica concluye de las casuísticas de los equipamientos evaluados, a fin de alcanzar un análisis final y comparar para obtener márgenes ineficientes.15

2.2.1. la evaluación ex ante

Figura 7. Diagrama de interacción de los procesos en la evaluación ex ante

14. Metodología de evaluación de programas culturales por indicadores clave (Varios autores, 2012; Noguera y Ferrer, 2011; Willoughby y Ben-son, 2011).

15. Metodología de evaluación de políticas públicas culturales: sistemas y modelos (Gascó, 2003).

INICIO

INFORME FINAL (CoNCA)

selección de entidades para la evaluación ex ante (¿a quién se evalúa?)

aportación de documentación inicial (¿qué datos se analizan?)

análisis y homogeneización de la información aportada (¿qué evidencias caracterizan?)

sistematización de fichas modelo (check list / indicadores / ratios)

redacción de fichas singularizadas (CoNCA)

Cumplimentación definitiva restante (ente evaluado)

definición de interlocutores equipamientos de referencia

EVALUACIÓN ESTRATÉGICA

verificación de las fichas

Sí

No

Evidencia: Informe inicial

Evidencia: Fichas singulares

Evidencia: Fichas modelo

24 25

La puesta en marcha de un sistema de evaluaciones estratégicas ha requerido un estudio previo, ex ante, de tipo prospectivo, enfocado y motivado por la definición del modelo de evaluación cul-tural. Como herramienta de definición de objetivos y horizontes propios sujetos a comparación evolutiva, la evaluación ex ante ha posibilitado el fundamento empírico para la planificación identi-ficativa de futuras actuaciones predefiniendo modelos a implantar.

El modelo de evaluación ex ante nace como consecuencia de dicho recorrido teórico y se sitúa como plasmación en un contexto microeconómico de una adaptación de los modelos preceden-tes y de la concreción de aspectos determinantes de interés específico; en este sentido, asume la disposición y conceptualización genérica de las diferentes propuestas en una síntesis sujeta a la aplicación práctica, que se manifiesta experimentalmente en el estudio de tres equipamientos considerados centrales en la política cultural del país.16

El funcionamiento que la metodología de la evaluación ex ante implanta en los proyectos a llevar a cabo tiene los siguientes objetivos:

• ajustar,adecuaryvalorarlaintervenciónencadaente,vinculandoestaactuaciónalasnece-sidades que la motivan;

• evidenciarlosítemsrepresentativosygenéricosenlasinstituciones,definiendounmapadeindicadores fundamentales;

• aportarunavisióninicialdelequipamiento,cómoesyquéquiereser,sistematizandolainfor-mación en parámetros que faculten para detectar la evolución hacia los objetivos propios e institucionales.

Con dichas finalidades, el corpus metodológico se forma mediante la introducción de un procedi-miento de fichas en formato formulario, que combina los campos propios de check list o verifica-ción de información con los descriptivos. Estas fichas configuran un modelo homogéneo de ges-tión de los datos dirigido a la elaboración de un informe final de situación y con perspectivas de intervenciones posteriores.

Se han diseñado cinco modelos preliminares de fichas estandardizadas que recogen los conteni-dos necesarios y que, una vez cumplimentadas, articulan indicadores operativos (cuantitativos y cualitativos, datos estadísticos y ratios de gestión). Agrupan la información en apartados que re-sumen el marco y la familia de procesos que se desarrollan en cualquier institución cultural:

a) Gobernanza: aspectos legales y normativos, órganos de gobierno y funciones.

b) Estructura organizativa: definición y características de la organización, procesos desarrollados y procedimientos vinculados.

c) Actividades y público: resumen estadístico, cuantitativo y tipológico de las actividades realiza-das, cuantificación de visitantes y políticas comerciales.

d) Estructura financiera y presupuestaria: desglose económico de ingresos y gastos, cálculo de costes y análisis presupuestario.

16. El modelo experimental de evaluación ex ante fue aplicado a la identificación y el anàlisis del Museo Nacional de Arte de Cataluña (MNAC) (ejercicios 2010-2012), del Mercat de les Flors – Centro de las Artes de Movimiento (ejercicios 2010-2012) y del Grupo Consorcio del Audi-torio y la Orquesta (ejercicios 2010-2012).

24 25

e) Planificación estratégica: descripción de plan estratégico, contrato-programa y plan de ope-raciones.

Los datos recopilados constituyen la base argumental sobre la que se define la evaluación estra-tégica que se encuentra articulada en forma de indicadores input y output, indicadores de calidad y de resultado y valoraciones cualitativas. Su interpretación se vertebra empleando una estructura de ejes transversales, ya definidos para la medición macroeconómica de la cultura,17 que se han adaptado a la realidad microeconómica que afecta a las instituciones evaluadas de manera indi-vidualizada:

1. Coordinación institucional: actuaciones y criterios de interrelación entre las entidades del sec-tor público o con este. A fin de concretar los ámbitos de interpretación, el eje se segmenta en los ámbitos siguientes:

a) Coordinación.

b) Gobernanza.

c) Planificación estratégica.

2. Financiación y gestión del gasto: características de la gestión económica y financiera del ente, así como de los recursos disponibles. A fin de concretar los ámbitos de interpretación, el eje se segmenta en los siguientes ámbitos:

a) Financiación pública.

b) Gasto privado en cultura.

c) Mecenazgo y autofinanciación.

d) Gestión del gasto.

3. Públicos y actividades: aspectos vinculados al producto o servicio ofrecido y a los destinata-rios. A fin de concretar los ámbitos de interpretación, el eje se segmenta en los ámbitos si-guientes:

a) Actividades.

b) Usuarios.

4. Consolidación estructural del sector: eje relativo a la gestión patrimonial del equipamiento, a los recursos físicos disponibles y a su impacto sectorial. A fin de concretar los ámbitos de interpretación, el eje se segmenta en los ámbitos siguientes:

a) Economía.

b) Trabajo.

17. Se denomina «ejes transversales» a los parámetros comunes que definen y caracterizan la idiosincrasia, la operativa y la actividad de las instituciones culturales públicas (ICC, 2013). La finalidad de los ejes quedaría conceptualmente emparentada con los temas u objetivos de maximización que engloban los conceptos de control (Gilhespy, 1999) y las agrupaciones de indicadores claves (Willoughby y Benson, 2011) e indicadores culturales para la planificación estratégica (UNESCO, 2009).

26 27

c) Oferta.

d) Concentración.

5. Cohesión social: cumplimiento de la finalidad pública genérica de definición de un espacio de uso y dedicación social. A fin de concretar los ámbitos de interpretación, el eje se segmenta en los ámbitos siguientes:

a) Acceso a la cultura y la difusión.

b) Diversidad.

c) Asociacionismo.

d) La cultura como motor de cohesión.

6. Educación: aplicación de las actuaciones hacia la formación y las propuestas educativas. A fin de concretar los ámbitos de interpretación, el eje se segmenta en los ámbitos siguientes:

a) Nivel educativo.

b) Enseñanzas artísticas.

c) Acento educativo en la acción cultural.

7. Internacionalización: actuaciones destinadas a la incidencia en mercados externos, con voca-ción global o vinculadas a reflejar e importar las corrientes culturales o artísticas internaciona-les. A fin de concretar los ámbitos de interpretación, el eje se segmenta en los ámbitos si-guientes:

a) Mercados.

b) Creación y producción.

c) Redes.

d) Permeabilidad y atractividad.

e) Prestigio intelectual y científico.

8. Excelencia: parámetro de medición de la calidad interna y del producto o servicio ofrecido. A fin de concretar los ámbitos de interpretación, el eje se segmenta en los ámbitos siguientes:

a) Conocimiento e innovación.

b) Reconocimiento externo.

c) Reconocimiento interno.

d) Prestigio intelectual y científico.

e) Calidad.

26 27

9. Paradigma digital: orientación del ente hacia la utilización y el aprovechamiento de la digitali-zación y las tecnologías de la información. A fin de concretar los ámbitos de interpretación, el eje se segmenta en los ámbitos siguientes:

a) Nuevos modelos de consumo.

b) Innovación en la producción.

c) Presencia – impacto.

d) Digitalización para conservar y difundir el patrimonio.

El modelo de evaluación ex ante desarrollado por ejes se nutre de un volumen de información que requiere un procedimiento previo de recogida de datos. Se evidencia la necesidad de proponer experiencias piloto que aporten fundamento empírico al proyecto. De su implantación en determi-nados equipamientos derivará el modelo posterior y definitivo.

El trabajo de campo de recogida de información se ha articulado a partir de reuniones directas con los interlocutores del equipamiento, la cesión de los informes de actividades, memorias económi-cas y distintos dossiers vinculados a la gestión de los ejercicios de estudio y la búsqueda de datos ampliativos de interés.

Finalmente, una vez recopilada la información precisa, organizada por ejes de interpretación, y obtenidos los indicadores que muestran la situación y la evolución temporal, se generan unas conclusiones segmentadas en aspectos de tipo organizativo y económico, así como las que afec-tan a la oferta y el contenido. Las conclusiones derivan en aquellas reflexiones y recomendaciones que permiten abrir vías de perfeccionamiento al ente evaluado, en un proceso de mejora continua.

2.2.2. la evaluación estratégica

Previamente desarrollada la evaluación ex ante para delimitar las necesidades de la metodolo-gía, con la denominación de evaluación estratégica se determina la herramienta tipo o medio para verificar los procesos que se desarrollan y los resultados que obtienen los equipamientos culturales.

La evaluación estratégica asimila en su modelo teórico conceptos tomados de modelos estructu-rados, modelos específicos del sector cultural y modelos genéricos referentes a la gestión.

Por un lado, en lo que a la argumentación lógica del proceso evaluador se refiere, adapta los di-versos parámetros que hay que controlar a los estándares medibles, especialmente los relativos a calidad y retorno social, así como las actuaciones referentes al control del cumplimiento de las finalidades normativamente indicadas o por los contratos y convenios con las instituciones públi-cas responsables.

Por otro lado, en cuanto a la metodología de articulación de los procedimientos que conforman el proceso evaluador, incorpora la planificación por etapas consecutivas de obtención, verificación e interpretación de la información objetivizada. En este sentido, se introduce el concepto de indica-dores como elementos de medida estandarizada definiendo los modelos que relacionan estos indicadores con los aspectos (conceptos clave, objetivos) que su respuesta identifica.

28 29

Finalmente, al marco teórico que define la evaluación se incorpora la necesidad de culminar, con un proceso de mejora continua, su control y la consecución de la excelencia como finalidad pri-mera, así como de retroalimentarse de ella.

La metodología resultante se adapta a un necesario enfoque microeconómico que, por la natura-leza de los entes evaluados, acoge aspectos propios de la gestión privada y de la idiosincrasia organizativa y operativa de las instituciones de carácter público. Las características troncales de esta reinterpretación se refieren a aspectos de articulación del proceso evaluador, de los conteni-dos a gestionar y de la sistemática de interpretación:

• Searticulaunapropuestametodológicaunificadaqueconcluyeenreflexionesyrecomenda-ciones finales.

• Seentiende la identificaciónde losobjetivosestratégicoscomocompromisossujetosa laevaluación.

• Sediseñalaestandarizacióndeunabaseomarcodeinformacióncomopremisaquegaran-tice la veracidad de los resultados y la equiparación del modelo en contextos de aplicación distintos.

• Sefijaunadivisióntemáticadeconceptosevaluables,queelmodelodenominaejesestraté-gicos, y que acogen conceptos básicos de control y parámetros clave de identificación de la realidad de cada equipamiento.

• Seestablecenlosdosconceptosbásicosdeanálisis,laeficienciaylaeficacia:

- el análisis de la eficiencia y el rendimiento económico, en matrices de combinación de utilización de recursos (coste) y variables de resultado;

- la definición de procesos y la articulación de los procedimientos que permitan actuar con eficacia.

• Seincluyenlosparámetrosdecalidadyexcelenciacomovertebradoresdelasactividadesyel funcionamiento de los entes evaluados.

• Sedefinelautilizacióndeindicadorescuantitativoscomoreflejoobjetivodelamedidaenelcumplimiento de los objetivos, con finalidad evolutiva y comparativa.

• Seincorporaelconceptoderetorno–impactosocialy,portanto,sumedicióncomoelementofundamental de justificación de la existencia del equipamiento.

• Seimplantaelprocesodeautoevaluacióncomoherramientainternadedeteccióndeáreasdedesarrollo y de análisis de ineficiencias.

• Sedesarrollaelconceptodemejoracontinua:seextraenlasconclusionesqueseránaplica-bles por la misma institución en ejercicios posteriores y que posibilitarán la base empírica para la planificación y el cambio.

El objetivo final de la evaluación estratégica se centra en evaluar y señalar posibilidades de mejora en cualquier ente del sector cultural, a fin de que pueda alcanzar un estándar de calidad. Se con-figura, por lo tanto, una evaluación formada por una interacción de procesos cuya finalidad es la mejora continua del ente evaluado (figura 8).

28 29

Figura 8. Diagrama básico de interrelación entre los entes implicados

Con un objetivo general común a todos los equipamientos, internamente la evaluación establece una vinculación entre el conjunto de tareas a llevar a cabo, los ámbitos a los que afecta el análisis y los resultados que se pretenden obtener, a la vez que se pone de manifiesto qué hace la evalua-ción, dónde centra su estudio y cuáles son los resultados que obtiene.

En el sentido de lo que acabamos de mencionar, las tareas que la evaluación estratégica desarro-llará son las siguientes:

• Identificarcaracterísticasdelaorganizaciónylascasuísticasqueladeterminan.

• Evidenciarlasprácticasrealizadas.

• Comprobarelcumplimientodelosobjetivosestratégicospredefinidos.

• Analizarlagestiónconparámetrosobjetivos.

• Relacionarloscontenidosofrecidos,elretornosocialylainversiónylagestióndelosrecursosasignados.

• Evidenciarlasfortalezasydebilidadesdelaorganización.

• Explorarvíasyposibilidadesdemejora.

Asimismo, los aspectos en los que las evaluaciones estratégicas fijan su estudio son los siguien-tes:

• Elcumplimientode losobjetivosculturalesyestratégicosque lapropiamisiónyel interéspúblico determinen.

• Lagestióndelasactividadesyelaprovechamientoeconómicoquesederivadelafinancia-ción pública.

• Laofertadecontenidosysuadecuaciónalplanestratégicooprogramacorrespondiente.

• Laestimacióndelimpactosocialyculturaldelasaccionesyestrategiasllevadasacabo.

A partir de las tareas a desarrollar y los aspectos de estudio previos, los resultados que se obten-drán con las evaluaciones son los siguientes:

• Lamedicióndelcumplimientodelosobjetivospredefinidosconestándaresdeeficaciaydeeficiencia.

Evaluación estratégica

Proceso de mejora continua

ENTE EVALUADO

ENTE EVALUADOR

30 31

• Ladefinición,conparámetroscomparablesyobjetivables,de lagestiónyejecucióndelosobjetivos operativos señalados.

• Lamedicióndelarentabilidadsocialdelequipamiento.

• Laconcrecióndeunos indicadoresque funcionencomoherramientadeseguimientoydeevolución de la eficiencia en próximos ejercicios.

• Lasrecomendacionesparalaoptimizaciónylamejoracontinua.

Para alcanzar el éxito en los ámbitos especificados, la evaluación mide cuantitativamente y cuali-tativamente los distintos parámetros aportados, que son objeto de comparación tanto con la institución, a través de la evolución temporal de los propios indicadores, como en modelos ajenos asimilables. Actúa como herramienta de evolución sobre la definición de las políticas culturales y las estrategias, la programación de las actividades y su ejecución, estableciendo una cadena de valor entre recursos y los resultados que de ellos se obtienen.

30 31

En el corpus metodológico del modelo de evaluación estratégica se definen los procesos básicos de actuación y de desarrollo de los objetivos (figura 9).

Figura 9. Diagrama de interacción entre los procesos que intervienen en el modelo de evaluación estratégica. La agrupación por fases aparece esquematizada

3.Alcance y contenidos de la evaluación estratégica

INICIO

INFORME DE EVALUACIÓN

definición del marco de evaluación

obtención de información

descripción por ejes transversales

consecución de objetivos conclusiones

interpretación por ejes transversales

seguimiento

AUTOEVALUACIÓN

EVALUACIÓN CONTINUA

recomendaciones

verificación de información

Sí

No

ANEXOS

SIS

TEM

ATIZ

AC

IÓN

PAR

AM

ETR

IZA

CIÓ

NE

VALU

AC

IÓN

ME

JOR

A C

ON

TIN

UA

fichas modelo doc. interna trabajo de campo inf.externa

indicadores: cuantitativo cualitativo

valoración de expertos

reflexiones finales

conceptos de control

conceptos clave

32 33

Como fase previa al desarrollo de los procesos, se establece una etapa inicial de delimitación del alcance del proyecto, que se enmarca en dos variables que afectan directamente a los objetivos de la evaluación.

Por un lado, la temporalidad del proyecto, en qué se fija un período estándar de tres ejercicios de interés a partir de los cuales se establece el modelo comparativo en la propia institución con una evolución o tendencia de los indicadores obtenidos. Es necesario disponer de los ejercicios cerra-dos más recientes o adaptar el calendario de ejecución del estudio a su disponibilidad; esta impli-cará la información económica auditada y los informes relativos a contenidos, impacto y gestión de operaciones (memorias de actividades, estudios de públicos, etc.).18

Por otro lado, el segundo aspecto a determinar corresponde al marco jurídico de los entes en cuestión, las personalidades jurídicas afectadas y los objetivos determinados por los actores de la gobernanza.

La definición del contexto de la evaluación determinará la casuística de la aplicación de los proce-sos y los resultados generados por la intervención, así como de su posterior seguimiento.

Definido el marco o contexto de evaluación, las fases que articulan el desarrollo de la metodología son las siguientes:

a) La sistematización de la información, en la que se incluyen los procesos para su obtención y verificación.

b) La parametrización de la información sistematizada, en la que se relacionan los procesos vinculados a la descripción del ente evaluado y a la interpretación de los datos obtenidos previamente.

c) La evaluación de los resultados e interpretaciones, donde consta el grado de consecución de los objetivos estratégicos de la entidad evaluada, así como las conclusiones que se ex-traen de la parametrización previa.

d) La fase de mejora continua a partir del seguimiento de las ineficiencias detectadas y de las recomendaciones efectuadas.

Los contenidos que comprenden los procesos se detallan en las temáticas de las fichas modelo y se describen y se analizan organizándolos por ejes temáticos.19 En general, afectan a todos aquellos aspectos que conforman las características del ente y de los servicios que produce; en-tre los que adquieren más relevancia están los siguientes:

• laarquitecturalegal;

• lagestióninternaysudesarrollooperativo;

• lageneracióndelproductooservicioofrecido;

18. En el caso de equipamientos que programan la actividad por temporadas, normalmente de septiembre a junio, se produce una asincronía entre la actividad y el año contable. El criterio se basa en ejercicios anuales y, en este caso, será necesaria la mensualización de los conte-nidos a fin de encajar la valoración en el criterio estandarizado.

19. Aspectos ampliados en los capítulos 4.1. Procedimientos y herramientas de obtención y 5.1. Ejes estratégicos transversales, respectiva-mente.

32 33

• lasocializacióndelaoferta;

• elimpactoalcanzado;

• lacalidadgenéricadelasactuacionesqueelentellevaacabo.

Con independencia de la metodología empleada, la optimización del modelo de evaluaciones estratégicas se fundamenta en la extrapolación de los resultados individuales obtenidos y su apli-cación a diferentes contextos, en un proceso de aprendizaje común y de mejora continua enfoca-do a la excelencia.

34 35

sistematización de la información4.

Figura 10. Esquema de la fase de sistematización

El objetivo de la recogida y sistematización posterior de la información se centra en obtener los datos que faciliten el análisis del equipamiento.

La fase de sistematización se inicia con la definición necesaria del marco en el que se desarrolla la evaluación. En este momento previo, hay que especificar cuáles son los límites del propio proceso:

• Elalcancetemporalocuáleselperíododeestudio:metodológicamente,elanálisispermiteapuntar tendencias con la evaluación de las informaciones generadas en un horizonte de tres ejercicios consecutivos. A fin de mantener el sentido y la coherencia de la evaluación, los ejer- cicios deben ser los inmediatamente anteriores.

• Laspersonalidadesjurídicasafectadasporelestudio: lasingularidaddelosequipamientospúblicos y de los gestionados sin afán de lucro provoca que, por motivos históricos o casuís-ticas diversas, puedan estar compuestas por diferentes entes o personalidades jurídicas de naturaleza múltiple.20 Con la intención de que la evaluación ponga de relieve todos los aspec-tos que intervienen en la realidad del equipamiento y sus beneficios sociales y los determinen, es preciso que el evaluado y el evaluador definan a qué entes afecta o a qué funciones de los mismos se encuentran vinculadas.

20. Son habituales entes con distintos formatos jurídicos bajo la cobertura de los grandes equipamientos nacionales catalanes. El principal está integrado por las administraciones públicas y participa en el resto de entidades, que son previas al estatus vigente o se han conformado por motivos fiscales, de integración a la gobernanza o por razones puramente operativas.

PROCESOS

verificación

definición del marco de evaluación

PROCEDIMIENTOS E INSTRUCCIONES

- marco evaluador (entes afectos, temporalización, logística)

- fichas de obtención- recopilación de documentación específica- trabajo de campo- búsqueda de información externa

- incidencias- justificación

obtención de información

34 35

• Losaspectosoperativosdelaevaluaciónylospropiosdelseguimientoyelprocesodemejo-ra continua: metodología de intervención, responsabilidad, participantes, logística, estableci-miento de un calendario, criterios y estándares, etc.

A partir del marco establecido y acordado, se inicia la recopilación de la información susceptible de parametrización.

El volumen compilado y la naturaleza de la selección han de permitir:

• Aportardatosexplicativosrespectoacadaejeestratégicotransversal.

• Aportarlosdatosquemidenlosindicadorescuantitativosyrespondenalosindicadorescua-litativos estandarizados.

• Describirloscorpusprocedimentalesylasestructurasorganizativasinternasquedefinenlaidiosincrasia de la organización.

• Justificarlamotivaciónyelmarcoconceptualdelasactividadesdesarrolladas.

• Identificarlasinteraccionesconlosstakeholders que conforman el entorno (administraciones públicas, sector, etc.) y que condicionan las características y las actuaciones del ente.

La validez y utilidad de la información recogida está sujeta a un contexto de actuación singular dentro del ente de estudio, donde existen variables ajenas al contenido objetivo que pueden re-percutir en la tarea de búsqueda y recopilación.

En lo que a los requerimientos logísticos previos se refiere, la premisa inicial permanece en las li-mitaciones temporales y de recursos de los evaluadores. La correcta diagnosis de los equipa-mientos se basa en el conocimiento máximo de la casuística, de aquella explícita documental-mente y de la observación y estudio presencial; la falta de proximidad implica desconocimiento y obtención de información descontextualizada o parcial. En cuanto a las posibles dificultades inter-nas de la organización, hay que advertir de la disponibilidad e idoneidad de medios físicos y hu-manos. La configuración inadecuada en la gestión documental o de registro de datos implica di-ficultad en la recuperación de la información sensible de interés. En paralelo a los obstáculos materiales, es determinante la colaboración del personal adecuado; de su dedicación y de su grado de cooperación dependerá el éxito de la obtención de los datos más representativos y de mayor calidad.

Asimismo, ante de la importancia de disponer de una base informativa amplia y contrastada que funcionará como sustrato de todo el estudio posterior, se establece una definición de las fuentes a utilizar y una metodología de recopilación.

Las fuentes primarias son aquellas que aportan los datos obtenidos en origen, en el seno de la organización que las genera, y por tanto, sin más elaboración o preparación que su inventario por parte del equipamiento evaluado. La corrección y veracidad de la información está directamente vinculada al registro directo y se relaciona con referencias tanto cuantitativas y numéricas (datos económicos y financieros, registros de público) como más documentales. La aplicación de la metodología referente a las fuentes primarias implica un procedimiento de fichas estandarizadas y la selección de otra documentación original. Por sus características, el origen principal proviene de la propia institución de estudio, si bien las políticas de transparencia institucional han posibili-tado su difusión e inclusión en elaboraciones de terceros, momento en el que se convierten en fuentes secundarias.

36 37

Se consideran fuentes secundarias aquellas que elaboran o analizan datos e información y, en este sentido, conforman una presentación a posteriori del origen. Sin sustituir la información original, aportan comparativas, contextualizaciones o reflexiones que pueden permitir el acceso a recopi-laciones pretéritas de interés en la definición de la especificidad y el marco de actuación del ente de estudio.

4.1. procedimiento y herramientas de obtención

Uno de los ejes cualitativos básicos sobre los que se asienta el proceso de evaluación estratégica es la adopción y el aprovechamiento de los recursos derivados de la digitalización y la utilización de la red como herramienta de facilitación a la logística de las operaciones. Su aplicación a la procedimentación de las evaluaciones estratégicas ha de permitir generar un instrumento orienta-do a recoger en la web los datos directamente de los evaluados para proceder, posteriormente, a la parametrización correspondiente.

En cuanto a la obtención de la información necesaria para llevar a cabo la evaluación estratégica, esta se articula en cuatro procedimientos correlativos bastante diferenciados:

a) la cumplimentación de las fichas de evaluación por parte del equipamiento evaluado;

b) la aportación de otra documentación específica y original por parte del ente evaluado;

c) el trabajo de campo que ha de desarrollar el evaluador;

d) la búsqueda de información externa por parte del evaluador.

a) El procedimiento principal de obtención de información corresponde a la implantación de un procedimiento de fichas en formato formulario, que combina los campos propios de check list o verificación de información y los campos de tipo descriptivo. Con esta herramienta simple se re-copilan de la fuente primaria los principales datos cuantitativos y cualitativos que nutrirán los indi-cadores posteriores; es, por tanto, la respuesta directa de la entidad de estudio a un modelo uniformizado de cuestiones tipo comunes. En el mismo sentido, se considera fundamental la en-trega de los documentos a los evaluados y su cumplimentación sin participación del evaluador.

Se han diseñado cinco modelos preliminares de fichas estandarizadas, que agrupan la informa-ción en apartados temáticos propios del marco organizativo y de actuación habitual en institucio-nes de tipo cultural (anexo I):

1. Gobernanza: acoge los aspectos legales y normativos, así como la configuración y funciones de los órganos de gobierno.21

2. Estructura organizativa: enumeración de las características de la organización, su segmenta-ción y funcionamiento, con apartado específico relativo a los recursos humanos, y la relación de los procesos desarrollados y de los procedimientos vinculados.22

21. Apartados: personalidad jurídica propia / forma jurídica / participantes públicos / participantes privados / norma legal / objetivos estatutarios / funciones estatutarias / órganos de gobierno estatutarios / órgano superior de gobierno / órgano ejecutivo de gobierno / dirección / geren-te – administrador / otros órganos de gestión o consultivos.

22. Apartados: organigrama / funcionamiento real – actual / transición funcionamiento actual – organigrama estratégico / definición áreas orga-nigrama y asignación personal / definición de puestos de trabajo / perfil personal propio / sistemas de calidad vigentes / definición de pro-cesos / definición de procedimientos.

36 37

3. Actividades y público: ficha centrada en los contenidos producidos y/o transmitidos al público final, así como en las características de los receptores y destinatarios; incluye el detalle por modalidades, naturaleza y origen de la actividad, su impacto externo, la cuantificación de los visitantes y aspectos de marketing y políticas comerciales.23

4. Estructura financiera y presupuestaria: desglose del apartado económico y financiero al nivel requerido por la evaluación, con ingresos y gastos, cálculo de costes y análisis presupues-tario.24

5. Planificación estratégica: ficha referente a los desarrollos previsionales y líneas de actuación, con definición del plan estratégico, del contrato-programa, del plan de operaciones y del de marketing, así como de otros acuerdos anexos.25

b) Disponer de la fuente primaria permite solicitar al evaluado una determinada documentación específica o de uso interno referente al funcionamiento propio, a las relaciones con terceros o al detalle de datos de interés, así como informes u otras fuentes secundarias de valoración de los mismos. Se posibilita la ampliación de la información de las fichas de evaluación y la descripción de otros aspectos cualitativos.

Los documentos implicados son los siguientes:

• Normativaydocumentaciónlegal:estatutos,leyesynormativasvigentes,contratos-progra-ma, plan estratégico, convenios, contratos de servicios, otros contratos mayores, concesio-nes administrativas, etc.

• Informeseconómicos: auditoríasde losejercicios, cierres,mayorescontables, estadosdeejecución presupuestaria, etc.

• Descripcionesdeorganizacióninterna:planesdeactuación,enumeracióndeprocesosen-cargados y desarrollados, organigramas funcionales e interacciones, relaciones de puestos de trabajo, descripción de puestos y cargas de trabajo, procedimientos, manuales de calidad, sistemas de gestión certificados, etc.

• Registrosdepúblico,deusuariosydeaforo.

• Informessingulares:memoriasdeactividad,estudiosdepúblico,detaquillaje,demarketing, de acción comercial, etc.

• Metodologíasderegistro:sistemasdecontrolinterno(económico,deactividades,etc.),cua-dros de mando, etc.

c) El trabajo de campo vinculado implica la colaboración directa de la institución evaluada para definir los procesos que se llevan a cabo, los procedimientos para alcanzar dichos procesos, la tipología y la idiosincrasia de las actividades desarrolladas y las eficiencias e ineficiencias que la organización genera. Representa, en definitiva, un eslabón fundamental en el conocimiento direc-to de los equipamentos por parte del equipo evaluador.

23. Apartados: tipología de actividades / usuarios y públicos / precios / visibilidad y plan de marketing.

24. Apartados: ingresos propios / aportaciones públicas / gastos / detalle presupuestario / detalle económico-financiero.

25. Apartados: plan estratégico vigente / contrato-programa vigente / planificación operacional.

38 39

La optimización de los resultados del trabajo de campo está relacionada con la respuesta a as-pectos mencionados en los procedimientos documentales anteriores (fichas y otra documenta-ción), con su revisión y con los vacíos de información que se detectan en ellos. Debe predefinirse un esquema básico de actuación del evaluado en el que se puedan añadir la casuística particular y la búsqueda de los aspectos informativos menos desarrollados hasta el momento.

Se desarrolla en un manual de actuación que determina las siguientes tareas, no necesariamente consecutivas:

• Visitaalasinstalaciones:observanciadelfuncionamientogeneral,delasáreasydepartamen-tos y en el desarrollo de actividades clave, lo que supondrá que el equipo evaluador adquiera referencias objetivas y conciencia subjetiva de la realidad del ente.

• Entrevistasindividualesconpersonaldirectivoyoperativo:medianteuncuestionarioylacon-versación inducida, hay que identificar los puntos de vista sobre las ineficiencias y los puntos fuertes, la coordinación y todo parámetro de funcionamiento interno.

• Organizacióndereunionescolectivastipofocus group26 a fin de evidenciar las características del modus operandi, definir el conocimiento del personal respecto al know how, estimar la competencia procedimental e identificar las diferencias de criterio que pueden generar inefi-ciencias.

d) La búsqueda de información externa agrupa desde los datos de fuentes secundarias referen-tes al evaluado hasta el estudio de los entornos en los que desarrolla su actividad, tanto marcos sectoriales como entornos geográficos, poblacionales, etc.

Elevaluadorllevaacaboelprocedimientoqueexponemosacontinuación,queseestableceapartir de la recopilación:

• Búsquedadeinformaciónsobreelsectorenelqueinteractúaelequipamiento:dimensionesdel sector, características y concentración, volúmenes de público y económico, agentes par-ticipantes, perfil de prescriptores, rol de la Administración pública, las agrupaciones profesio-nales, etc.

• Revisióndelawebdelaentidadylaredsocial:verificacióndelaaccesibilidad,contenidos,participación y consultas, interacción con los usuarios.

• Referenciasexternasalequipamiento:noticiasenlosmedios,comentariosenblogsyredessociales, menciones directas o indirectas de terceros sobre la organización y las actividades, bibliografía, etc.

• Medidadeimpactosocial:documentacióndelapercepciónyrepercusiónquelaaccióndelente genera en diferentes ámbitos (ciudadanía general, mundo cultural o científico, sector artístico, entorno geográfico y sentido de pertinencia a grupo).

26. Grupos de discusión internos sobre el mismo punto de interés, tanto sin procedimiento reglado con diferente personal de la organización como con reuniones sobre percepción interna y posibilidades de mejora, basado en la metodología del lean management.

38 39

• Búsquedadocumentadadeinstitucionesdereferenciaajenasalosevaluados,conlasquesepuedan establecer paralelismos o nexos temáticos, institucionales o de cualquier otro tipo.27

En cuanto a la verificación de toda la información recogida, la diversidad de fuentes consultadas y la naturaleza de uso por parte de la fuente originaria y de los propios destinatarios, puede impli-car la heterogeneidad o, directamente, la contradicción de datos. Las discrepancias pueden afec-tar a temas de organización, cuestiones económicas y aspectos de contabilización de públicos o actividades, e implican el cuestionamiento de los resultados de la evaluación; el análisis a partir de datos incorrectos tiene como consecuencia una diagnosis errónea y medidas o recomendaciones específicas para una realidad inexacta del ente, lo que puede originar la adopción de medidas contraproducentes.

En este sentido, resulta necesaria la identificación de las diferencias entre la información obtenida y su justificación y origen, mediante el establecimiento de los mecanismos de regularización que sean necesarios.28 Del mismo modo, corresponde al equipamiento evaluado efectuar el procedi-miento de verificar y certificar la corrección de los datos disponibles, que ha de corresponder a la expresada en los documentos y registros oficiales: cuentas auditadas, datos aprobados por los órganos de gobierno, registros en las administraciones públicas, etc.

27. En los contactos previos con el evaluado, se expresa el modelo de referencia para el equipamiento: cuál es el ente o institución al que se querría parecer y en qué aspectos, cuáles son los procedimientos que se consideran indicativos de buena gestión o actuación, etc. Estas instituciones «modelo» y aquellas que por singularidad, prestigio o casuística el evaluador considera de interés son las que se documentarán, incidiendo en aquellos indicadores más representativos susceptibles de comparación y valoración. De la amplitud de esta recopilación, de la interpretación correcta de sus casuísticas y de la actualización de los datos e informaciones dependerá su validez de uso.

28. En los equipamientos culturales dedicados a la exhibición de artes escénicas y musicales, un factor de distorsión habitual corresponde a la estructuración por temporadas, normalmente asimilables al curso escolar, lo que no encaja con los cierres económicos por años y estable-ce diferencias habituales en la segmentación y el registro de las actividades en ambas periodizaciones.

40 41

Figura 11. Esquema de la fase de parametrización

El modelo de evaluación estratégica establece como condicionante metodológico principal el hecho de objetivizar la información y los datos obtenidos del equipamiento de estudio. Como consecuencia lógica de la sistematización previa, un modelo de parametrización estándar posibi-lita la diagnosis posterior del ente evaluado; este tiene que permitir generar posibilidades de refor-ma o evolución en los aspectos susceptibles de mejora y aportar conclusiones de valor intrínseco que sean comparables y extensibles a otros equipamientos.

La fase de parametrización se convierte en el segundo eslabón básico para la evaluación estraté-gica de los equipamientos culturales. El paso inicial se aplica a la organización y el diseño de las fichas de obtención de información, que se vincula a la recopilación posterior de datos y a su ar-ticulación en formatos susceptibles de estudio parcial.

5.parametrización de la información

PROCESOS

descripción por ejes transversales

PROCEDIMIENTOS E INSTRUCCIONES

- gobernanza y coordinación institucional: indicadores- economía, financiación y gestión del gasto: indicadores- estructura organizativa e interacción sectorial: indicadores- actividades y públicos: indicadores- paradigma digital: indicadores- cohesión social: indicadores- educación: indicadores- internacionalización: indicadores- excelencia: indicadores

- valoración de expertos- gobernanza y coordinación institucional: valoraciones- economía, financiación y gestión del gasto: valoraciones- estructura organizativa e interacción sectorial: valoraciones- actividades y públicos: valoraciones- paradigma digital: valoraciones- cohesión social: valoraciones- educación: valoraciones- internacionalización: valoraciones- excelencia: valoraciones

interpretación por ejes transversales

40 41

Con los datos articulados temáticamente por las fichas, la gestión de los conceptos y la interpre-tación posterior se vertebran empleando una estructura de ejes transversales organizados y definidos en ocasiones anteriores para la medición macroeconómica de la cultura (CoNCA, 2013; ICC, 2013) que se han adaptado a la realidad microeconómica que afecta a las instituciones su-jetas a evaluación.

5.1. Ejes estratégicos transversales

Como ejes transversales se identifican conceptos comunes a los equipamientos culturales y con sentido temático, que evidencian aquellos aspectos de interés definitorios de la manera de hacer y la actividad de cada ente evaluado. Con esta finalidad, han de servir para ordenar y clasificar los aspectos que caracterizan al ente, su organización interna, las actividades que desarrolla y la gestión de sus recursos.

Los ejes transversales se clasifican por la naturaleza de objetivos.

Los ejes de eficiencia o de optimización de la gestión agrupan a aquellos que se centran en medir la evolución de la gestión interna del ente, tanto en referencia al consumo de recursos físicos y humanos como económicos, con el propósito de mejorar el rendimiento de las diver-sas operativas y actividades que se llevan a cabo. En esta parametrización se identifican los siguientes:

1. Gobernanza y coordinación institucional.

2. Economía, financiación y gestión del gasto.

3. Estructura organizativa e interacción sectorial.

4. Actividades y públicos.

5. Paradigma digital.

Como ejes de eficacia o de consecución de objetivos se definen aquellos dirigidos a medir el grado de éxito en la ejecución y el resultado obtenido en relación con los propósitos preestableci-dos en las normas que rigen el ente, finalidades para las que fue creado y recibe la dotación pú-blica correspondiente. En esta parametrización se identifican los siguientes:

6. Cohesión social.

7. Educación.

8. Internacionalización.

9. Excelencia.

42 43

5.1.1. Ejes de eficiencia

1. Gobernanza y coordinación institucional

El diseño institucional y de la gobernanza determina la gestión del equipamiento y su capacidad para llevar a cabo las finalidades explícitamente expresadas y los objetivos estratégicos que se vayan fijando.

Implica varios aspectos de interés para la evaluación: las interrelaciones y obligaciones mutuas entre el ente y la Administración o administraciones públicas vinculadas, así como con terceros externos al sector público; la limitación normativa que posibilita o limita las acciones organizativas; la responsabilidad respecto al proyecto y su financiación detallada en la norma, que adquiere es-tructura en el plan estratégico o con los compromisos periódicos asignados en los contratos- programa hasta la traslación de la gobernanza a la operativa más funcional.

El desarrollo del equipamiento y la función social que lo justifica pueden resultar lastrados o impul-sados por la conveniencia y adecuación de la gobernanza. En este sentido, la eficiencia ha de ser un criterio que guíe la coordinación entre las instituciones y los equipamientos.

A fin de concretar las características y valoraciones posteriores del eje, se establecen tres sub- apartados:

a) Coordinación

b) Gobernanza

c) Planificación estratégica y operativa

2. Economía, financiación y gestión del gasto

La dimensión económica de la cultura es importante tanto por la aportación que puede realizar en su entorno económico como porque indica el grado de desarrollo de las estructuras industriales del sector.

Asimismo, la financiación ha sido desde siempre una cuestión central en el desarrollo cultural del país; pero, en la actualidad, la preponderancia se acentúa con la exigencia básica de sostenibili-dad económica para todo proyecto en el sector. En este sentido, en el contexto actual, buena parte de los equipamientos públicos dependen en porcentaje mayoritario del apoyo institucional, y el consumo que de él hacen las personas es una aportación porcentualmente menor. Desde este perfil se puede evidenciar el grado de centralidad que tiene la cultura en la estrategia de país y la implicación del sector privado, en expresión de mecenazgo y patrocinio, en la construcción de esta identidad.

La gestión interna, la eficiencia del gasto, el procedimiento de control económico y el proceso de optimización en la operativa son los aspectos de intervención más directos por parte de la direc-ción ejecutiva de los entes.

A fin de concretar las características y las valoraciones posteriores del eje, se establecen cuatro subapartados:

42 43

a) Financiación pública

b) Situación patrimonial

c) Mecenazgo y autofinanciación

d) Gestión del gasto

3. Estructura organitzativa e interacción sectorial

La definición y puesta en práctica de una organización interna lo bastante eficaz para cumplir los objetivos marcados y lo bastante eficiente para alcanzarlo con los medios más justos y apropia-dos es la herramienta básica para ejecutar las políticas públicas y acercar la cultura a los usuarios.

Aparte del contacto con el consumidor final, la función de todo equipamiento incluye el hecho de actuar como aglutinante del sector de actividad. La interacción sectorial hace referencia a una dimensión de la cultura que tiene que ver con los protagonistas de la creación y la producción cultural. Los creadores, los participantes y las empresas que forman toda la cadena de valor con-figuran una estructura que hay que consolidar para el desarrollo de la cultura del país.

La concentración sectorial tiene aspectos positivos en relación con la capacidad de generar clús-teres culturales, pero también negativos en el sentido de la diversidad. En cualquier caso, es un elemento clave a tener presente en el análisis sectorial.

A fin de concretar las características y las valoraciones posteriores del eje, se establecen dos subapartados:

a) Organización interna

b) Interacción sectorial

4. Actividades y públicos

Llegar a los diferentes públicos es el objetivo principal de toda creación y producción cultural. El nivel de consumo cultural es indicador claro del desarrollo cultural del país. Tener una ciudadanía interesada y activa en su función de público de la cultura es la mejor garantía de una ciudadanía formada y con capacidad crítica.

La información relativa a las actividades y los públicos puede ser la más amplia y, a la vez, inter-pretable del volumen de datos que gestiona la evaluación. Los datos referentes a la producción del equipamiento, ya sea generando las actividades o exponiéndolas ante el consumidor final, o ambas cosas, han de referirse tanto al proceso material de la producción, y las variables de recur-sos y logísticas implicadas,29 como a los contenidos de la oferta, con dos tipos de información que caracterizan las actividades y que en el proceso de parametrización se estudiarán con métodos diferentes. Asimismo, los públicos evidencian la aceptación y el impacto social de la oferta, y es necesaria la información referente a su número, naturaleza, motivaciones, opiniones o variaciones

29. En este apartado de operaciones encontramos la planificación de actividades (procedimientos, temporalización, plan de explotación y pre-visión de recursos) y la gestión de los recursos (cuantificación, definición de unidades productivas, cumplimiento de los parámetros de lega-lidad y responsabilidad).

44 45

en el tiempo; en el mismo sentido, del estudio del público usuario podrán deducirse las políticas de marketing y las estrategias destinadas a hacer la oferta más atractiva.

A fin de concretar las características y las valoraciones posteriores del eje, se establecen dos sub- apartados:

a) Oferta y actividades

b) Usuarios

5. Paradigma digital

La transformación en los modelos de producción y consumo culturales en la actualidad es una clara expresión del cambio de época que vive nuestra sociedad. Se trata de transformaciones im-portantes respecto a las que solo hay una certeza: nada es como era antes, ni lo será. Hay que plantearse si la sociedad catalana tiene capacidad de adaptación a estos cambios y si se está avanzando, desde la cultura, en la adaptación de los instrumentos tradicionales a la nueva realidad.

La digitalización de elementos patrimoniales, sobre todo documentales, ha sido un gran avance en la posibilidad de asegurar la conservación del conocimiento, el estudio del patrimonio y su di-fusión. Hacer crecer el patrimonio digital es hacer crecer la cultura y las posibilidades constantes de análisis.

El consumo cultural a través de medios digitales cada vez es más importante y expresa un cambio de modelo. Hay que valorar cómo evoluciona este cambio, dónde están los límites y qué acceso se tiene a ellos. A la vez, hay que incidir en la necesidad de disponer de los medios suficientes para optimizar su rendimiento.

Los nuevos formatos han comportado una revolución en la manera de producir contenidos cultu-rales. El nuevo paradigma digital es un espacio que se abre a la creatividad y a la innovación su-perando límites que hasta el momento dificultaban el desarrollo. No se trata exclusivamente de modelos de negocio innovadores, sino de la apertura de oportunidades para la creación y la inno-vación, en formatos y en modelos de distribución.

El mundo digital abre nuevas ventanas en las que los equipamientos catalanes tienen posibilida-des de proyección más allá de los límites físicos. Internet es una oportunidad para ganar presencia en el mundo, y hacerlo vinculando la innovación y las nuevas fórmulas de producción y consumo cultural. Se trata de una oportunidad para el talento, el ingenio y la innovación, así como de una plataforma para que la producción artística y la oferta de servicios puedan tener una presencia mayor y mejor más allá del ámbito físico o territorial.

A fin de concretar las características y las valoraciones posteriores del eje, se establecen cuatro subapartados:

a) Nuevos modelos de consumo

b) Innovación en la producción

c) Presencia / impacto

d) Digitalización para conservar y difundir el patrimonio

44 45

5.1.2. Ejes de eficacia

6. Cohesión social

La cultura desempeña una importante función como generadora de cohesión social. Esta función, que siempre ha sido básica en una sociedad diversa como la catalana, se hace aún más necesa-ria en contextos de dificultad económica y de aceleración de los cambios en una realidad cada vez más compleja. La cultura aporta instrumentos para la capacidad reflexiva, la comprensión, la adaptación y la creatividad. La diversidad social, que se expresa en multitud de formas, es nece-sario que sea atendida desde la cultura y, especialmente, desde los equipamientos culturales. Por un lado, facilitando el acceso a ellos, independientemente de la situación personal o del colectivo social, y por otra, a partir de estructuras de sociedad civil que se organiza y genera un tejido social cohesionador.

La garantía de acceso a la cultura es uno de los indicadores básicos para comprobar su función en el fomento de la cohesión social. Entenderla como un derecho obliga a tomar medidas para garantizar el acceso sobre todo de aquella parte de la ciudadanía que tiene más dificultades de acceder a ella.

Un reto importante para las políticas culturales es conseguir que la diversidad de perfiles socia-les del público y del consumidor cultural refleje la diversidad social que conforma la población del territorio. Este reflejo sería el mejor indicador de que la cultura llega con igualdad a toda la población.

El asociacionismo cultural, con una larga tradición en Cataluña, es una de las riquezas de la cul-tura del país. Expresa una ciudadanía activa que genera tejido asociativo, que hace una función básica de cohesión social y que se suma a la de dinamización de la vida cultural catalana.

A fin de concretar las características y las valoraciones posteriores del eje, se establecen cuatro subapartados:

a) Acceso a la cultura y difusión

b) Diversidad

c) Asociacionismo

d) La cultura como motor de cohesión

7. Educación

La educación y la cultura son dos caras de una misma moneda. El objetivo último es la mejora de la capacidad receptiva, reflexiva y crítica de la ciudadanía. En este sentido, el desarrollo cultural de un país tiene relación directa con su desarrollo educativo.

Todas las estadísticas de consumo y hábitos culturales muestran que el nivel educativo es la va-riable explicativa principal del baremo de consumo y práctica cultural de la ciudadanía. Se entien-de que el aumento de este nivel tiene que comportar un aumento del consumo cultural.

El nivel de desarrollo de las enseñanzas artísticas en un país es indicador de la importancia que da la ciudadanía a este tipo de lenguaje en su educación. Además, una población formada en

46 47

enseñanzas artísticas será más probablemente consumidora y creadora de cultura. Así pues, la apuesta por estas enseñanzas tiene repercusiones positivas en el futuro.

La totalidad de la actividad cultural puede entenderse como una actividad educativa. Ahora bien, muchas instituciones culturales han desarrollado programas específicos en los que el acento edu-cativo todavía se hace más presente. La singularidad y preponderancia de los productos y servicios educativos en las actividades del equipamiento determinan, en parte, su retorno social posterior.

A fin de concretar las características y valoraciones posteriores del eje, se establecen tres sub-apartados:

a) Nivel educativo

b) Enseñanzas artísticas

c) Acento educativo en la acción cultural

8. Internacionalización

La internacionalización de la cultura catalana se entiende positivamente como un elemento de progreso o desarrollo cultural. En un mundo globalizado donde los mercados culturales y los flujos culturales superan los límites fronterizos, la presencia internacional se hace más necesaria que nunca, sobre todo teniendo en cuenta la dimensión reducida del mercado interno. El crecimiento y la consolidación del sector cultural catalán, potenciado por los equipamientos públicos, requie-ren un incremento de su presencia en los mercados internacionales de la cultura.

La presencia internacional de la producción y la creación catalanas, además de posibilitar el equi-librio económico de los proyectos por lo que implica de ampliación de mercados, también es in-dicadora de la calidad y el talento por el reconocimiento y el interés que despierta. La internacio-nalización hoy no es solo penetración en mercados, sino también intercambios, flujos y presencia en redes internacionales y en debates culturales de actualidad.

La internacionalización también se puede entender como la abertura o permeabilidad de la cultu-ra en relación con las expresiones artísticas de otros países que enriquecen la propia cultura y la oferta a la que puede acceder la ciudadanía. Asimismo, esta permeabilidad, de cultura abierta y rica en diálogo, puede suponer un incentivo a la atractividad de Cataluña, tanto para los profesio-nales de la cultura como para el turismo.

La internacionalización de la cultura también tiene relación con la presencia de una voz propia en los debates intelectuales y científicos del momento. Se trata de una visión cualitativa de la presen-cia catalana en el exterior, pero que también repercute en la imagen externa que se proyecta.

A fin de concretar las características y valoraciones posteriores del eje, se establecen cuatro sub-apartados:

a) Mercados

b) Creación y producción

c) Redes

d) Permeabilidad y atractividad

46 47

9. Excelencia

Ser exigentes en los criterios de profesionalidad y excelencia es una responsabilidad con respec-to a la sostenibilidad del sistema cultural, y también hacia el compromiso con los ciudadanos, que contribuyen al mantenimiento del sistema cultural, tanto a través de sus impuestos como directa-mente mediante la compra de una entrada o un producto cultural. La excelencia es un horizonte que debe orientar la actividad cultural para que el desarrollo cultural sea enriquecedor para las personas.

La apuesta por el conocimiento y la innovación debe tener reflejo en un contexto cultural en el que se da valor a lo que se produce. Desde la academia, desde las iniciativas privadas y desde el sector público, hay instrumentos para esta apuesta. Hay que expresarla en todos los ámbitos de la gestión de los equipamientos culturales; desde la mejora continua de la calidad percibida y manifestada en el funcionamiento interno hasta la excelencia en la investigación, la difusión cien-tífica y la divulgación al gran público, al que transmite un alto conocimiento.

Los usuarios son los que valoran el grado de excelencia de la oferta cultural que el país es capaz de producir; a la vez, el reconocimiento que desde otros territorios recibe la actividad cultural ge-nerada desde Cataluña se demuestra por la atracción que los creadores y artistas sienten por la actividad que aquí se desarrolla.

La internacionalización de la cultura también tiene relación con la presencia de una voz propia en los debates intelectuales y científicos del momento. Se trata de una visión cualitativa de la presen-cia catalana en el exterior, pero que también repercute en la imagen externa que se proyecta.

A fin de concretar las características y valoraciones posteriores del eje, se establecen cinco sub-apartados:

a) Conocimiento e innovación

b) Reconocimiento externo

c) Reconocimiento interno

d) Prestigio intelectual y científico

e) Calidad

5.2. modelo de indicadores

Los ejes transversales se entienden como la expresión de los aspectos temáticos que caracteri-zan a los equipamientos; sin embargo, hay que definir los identificadores que los manifiestan y que han de servir de ítem comparativo y evidencia de su actividad. Se puede considerar que los indi-cadores corresponden a cualquier elemento que informe sobre el ente evaluado, sea una canti-dad, una ratio, una medida o cualquier valor perceptivo.

La información que aportan los indicadores debe reunir unas condiciones determinadas para ser empleada en su interpretación posterior:

• Debeserútil:elindicadorsirveparalarealidadquequiereidentificar.

48 49

• Debeseraccesible:quepuedaobtenersedirectamentedelainformacióntécnicadeusoenel ente evaluado o en las fuentes secundarias.

• Debesercomprensible:quereconozcademaneraevidenteysinambigüedadeselconceptode interés.

• Debeserespecíficayconcreta:envirtuddeunarelacióndirectaylosuficientementerestrin-gida al concepto que queremos identificar.

• Debeserfiable:conlacondicióndequelosresultadosaportadosconcuerdenconlarealidady se ajusten exclusivamente a las circunstancias que se quieren evidenciar.

• Debeserprecisaysensible:queconunmargendeerrorverificadoyajustadosealobastan-te aprovechable para percibir las variaciones relativas o absolutas que se produzcan.

Los indicadores se agrupan y se organizan por ejes, de manera que se establecen relaciones y vinculaciones entre los diversos datos aportados (fichas, otras fuentes primarias, fuentes secun-darias). Su expresión posibilita la simple evidencia de valores ya conclusivos o la elaboración de tablas, diagramas o cualquier expresión gráfica de síntesis del significado de aquellas informacio-nes consideradas determinantes. La interpretación de resultados objetivos a partir de la aplicación del modelo estandarizado posibilita posteriores conclusiones extensibles al conjunto de equipa-mientos.

A fin de establecer la procedimentación que uniformice el análisis singular de los diferentes ejes, se aplican dos tipologías básicas de indicadores: los cuantitativos y los cualitativos. Su función es la de concretar los datos identificativos del ente en los ejercicios evaluados (los tres últimos cerrados) y responder a las cuestiones que genera la propia gestión y la realización de actividades.

En lo que a aspectos metodológicos se refiere, la descripción de los ejes transversales se conforma a partir de la respuesta a los indicadores cualitativos y a la relación de resultados de los indicadores cuantitativos. Los indicadores transforman la información obtenida del evaluado en un conjunto de afirmaciones y valores sistemáticamente homogeneizados susceptibles de ser interpretados.

5.2.1. Indicadores cuantitativos

Los indicadores cuantitativos corresponden a las ratios y las evidencias numéricas obtenidas a partir de los valores cuantificables; estos permiten obtener expresiones objetivas de las realidades evaluadas.

Según su tipología, los indicadores pueden ser de input (generación interna), de output (impacto externo) y de outcome (efecto de la medida); con la combinación de los datos se obtienen indica-dores que muestran el nivel cualitativo y de cumplimiento de los resultados objetivo de la institu-ción (Generalitat de Cataluña, 2011).

En este sentido, se define una batería genérica de indicadores cuantitativos aplicables a los equi-pamientos culturales y que miden actividades, públicos, recursos operativos, financiación o ges-tión del gasto (anexo II).

Los indicadores cuantitativos posibilitan la interpretación a partir de:

48 49

• La representatividad intrínsecadel valorexistente,en formadedatoeconómico (unidadesmonetarias, ratios/valores relativos) o número real de unidades, proyectos, visitantes, etc.

• Laevoluciónsingularizada:comparativaporañosde losdiferentes indicadoresenelmismoente; a fin de justificar los crecimientos y decrecimientos vinculados, se incluyen los datos co-rrespondientes a los tres últimos ejercicios presupuestarios cerrados (año n, año n-1 y año n-2).

• Lacomparaciónconmodelosexternos:comentarioapartirdelosindicadoresdelamismanaturaleza y obtenidos de entes terceros; en relación con la modalidad de indicador, algunos son comparables a diversa tipología de organizaciones (los de tipo económico, de gobernan-za o de internacionalización); los indicadores pueden ser también equiparables a los de enti-dades de objetivos institucionales similares y que desarrollen su actividad en entornos cerca-nos o ajenos.

Asimismo, la evolución de las actividades de los equipamientos culturales del país apunta hacia una multiplicidad de tareas. Las necesidades sociales actuales a las que tienen que responder los equipamientos se alejan progresivamente de los patrones clásicos e inmovilistas que los encaja-ban en un único segmento de especialización y un margen de actuación limitado. Las entidades se adaptan a los cambios sociales aportando aquellos servicios que interpretan como demanda del público y que, habitualmente, generan sinergias con la actividad central de la institución. En el modelo común de prestaciones actual, a la función básica definida por la norma legal, en el caso de los entes públicos, se añaden una serie de tareas complementarias y compatibles que ofrecen una oferta más amplia, con mayor capacidad de atracción y que, llegado el caso, posibilitan un incremento en la obtención de recursos.30

En relación con este entorno de equipamientos plurifuncionales, la naturaleza de los indicadores señala la existencia de los de tipo básico, comunes y genéricos a la mayor parte de casuísticas (económicos, referentes a la organización, al público, al marketing, a la proyección digital, etc.), y los específicos, que son aquellos vinculados a características singulares y aplicables puntualmente.

A fin de atribuirles indicadores específicos y expresar la polivalencia de los de tipo más genérico, se segmentan por modalidades de actividad cultural que pueden llevarse a cabo desde los equipa-mientos culturales, tiene en cuenta su compatibilidad. Se agrupan en las definiciones siguientes:

• Artesescénicas:programación.

• Artesescénicas:producción.

• Actividadmuseísticayexpositiva.

• Música:programación.

• Música:producción.

• Actividadesdebibliotecay/oarchivo.

• Filmotecayexhibicióncinematográfica.

30. Como muestra, en la actividad expositiva troncal, los equipamientos museísticos nacionales del país añaden servicios educativos (talleres, cursos), biblioteca especializada, archivo documental, investigación (proyectos de investigación, publicaciones), conferencias, seminarios o mesas redondas, restauración de bienes patrimoniales, etc. En el rango de actividades con fines lucrativos, se pueden añadir al taquillaje y a otras fuentes de recursos habituales el alquiler de espacios y la explotación de servicios (librería, cafetería – restauración, etc.), entre otros.

50 51

• Investigación.

• Restauración–conservación.

• Actividadeseducativasyformaciónprofesional.

• Actividadessociales.

• Actividadesdefomentodelespíritucrítico.

5.2.2. Indicadores cualitativos

Los indicadores cualitativos se articulan igualmente en los ejes transversales mencionados y posibilitan informar sobre aspectos de difícil reflejo en las ratios de tipo cuantitativo. Por un lado, estos indicadores se caracterizan por mostrar la información de tipo legal, normativo, contractual, etc., en la que se requiere un mayor detalle explicativo que el aportado por la síntesis numérica; por otro lado, se corresponden al texto libre, descriptivo y comprensivo de todas las singularida-des, apriorismos o circunstancias relevantes que puedan explicar la cotidianidad de los equipa-mientos. La teórica subjetividad de las descripciones concretas de los aspectos propuestos es compensada por la riqueza informativa de sus contenidos, que complementa y aporta contexto a los datos numéricos.

Se han definido una serie de inputs con la intención de complementar la información cualitativa no especificada por los indicadores numéricos. Actúan, por tanto, como recordatorio de aspectos relevantes de cada eje y describen el funcionamiento del equipamiento; se comportan, pues, como un cuestionario de respuestas desarrolladas en cada realidad (anexo II).

5.3. valoraciones de expertos

La evaluación estratégica comprende los aspectos definidos por los ejes transversales. Entre ellos, diferenciado de la arquitectura institucional y la gestión de operaciones y recursos, adquiere una relevancia singular la valoración de los contenidos, entendida como la idoneidad de la pro-puesta ofrecida al público en función de los objetivos marcados por la norma que rige el ente, el plan estratégico aprobado y los contratos-programa que vinculan proyectos, tareas y financia-ción, en el caso de los equipamientos públicos.

La medición de las actividades se considera un factor de interés específico en el proceso de eva-luación estratégica. En el marco normativo establecido, en los usos habituales sobre equipamien-tos culturales, la decisión respecto a la naturaleza de las actividades recae en la figura del director, que periódicamente valida la gestión y dirección del proyecto con los órganos de máximo gobier-no de la entidad.31

31. La atribución de responsabilidad del director sobre las actividades se inicia con el proyecto artístico que la identifica y que, generalmente, actúa como argumento en su incorporación; una vez aceptado el proyecto, este queda asumido por la institución y mediante planes estra-tégicos o de actuación de horizonte temporal variable es periódicamente renovado y aceptado. En el mismo orden y en paralelo al modelo gestional de los equipamientos públicos francófonos y anglosajones, se tiende a diferenciar las figuras y funciones de director artístico (de-nominado habitualmente “director”) y de gerente o administrador, responsable de la gestión logística y administrativa, sin responsabilidad conceptual en los contenidos.

50 51

Del mismo modo, en forma de aportación de elementos al discurso, se considera de interés aña-dir, en primer término, el comentario gestional de la logística y de la calidad procedimental que afecta a las actividades y que puede ser cuantificado o cualificado mediante los indicadores es-tandarizados. En segundo término, entre los elementos que motivan la evaluación, está la contri-bución al proceso de diseño y formulación de la creación de contenidos, para la que hay que aportar el criterio de especialistas externos en la materia. Superando la visión profana o genérica, la valoración de estas opiniones permite alcanzar dos objetivos diferenciados:

• Sobrelasactividadesdesarrollas:evidenciarunavisióncríticaconlaspositividadesylasde-bilidades estratégicas, conceptuales o en la ejecución, a fin de focalizar las actuaciones de autoevaluación y mejora cualitativa sobre aspectos concretos.

• Sobrelasactividadesadesarrollar:mostrarescenariosposiblesovisionesdiversassobrelarealidad que aporten nuevos enfoques en posteriores contenidos o líneas argumentales.

En una aplicación restringida de las metodologías de resolución de casuísticas en grupo basada en la metodología Delphi (Landeta, 1999), se estructura un modelo de recopilación de valoracio-nes de expertos, con un número estimado de entre tres y cinco participantes. Se estima que el número puede variar en relación con la idiosincrasia de estudio; en todo caso, el perfil de los ex-pertos ha de posibilitar una visión interna de contenidos y externa como posible usuario de estos, confrontada con más de una opinión.

La valoración de los expertos debe estar delimitada a determinados aspectos relativos al contenido:

• Lacalidaddelaoferta:elproductooservicioofrecidoseenmarcaenlosparámetrosconsi-derados aceptables por el rango del equipamiento en cuanto a nivel artístico, producción y logística derivada de la presentación de la oferta.

• Lasingularidad:elproductooservicioesexclusivoencuantoatemática,presentación,públi-co al que accede o distribución geográfica; en todo caso, si la oferta no resulta redundante con la existente en su nicho de mercado.

• Lainnovación:lasactividadesdesarrolladasoelproyectollevadoacabosignificanunavanceen la producción cultural nacional, sea por formato, creatividad de los contenidos, reinterpre-tación de la tradición o el clasicismo o por la metodología de difusión.

• Losvaloresculturalesoformativos:laofertadeactividadesdelequipamientodifundeaspec-tos éticos y humanísticos locales o globales, de contenidos o interés social, de difusión cultu-ral o de carácter formativo.

• Elvalorimplícitodelaoferta:generaprestigioparalaproducciónnacional,incideenlaculturacatalana o la eleva a consumo mayoritario, vehicula aspectos como la actualidad y la contem-poraneidad o trata de realidades cotidianas.

• Laproyecciónexterior:capacidaddeinternacionalizacióndelproductocultural,trascenden-cia e interés común de la propuesta.

En lo referente al desarrollo metodológico de la valoración de los expertos y en consonancia con el modelo general aplicado, el procedimiento consiste en tres etapas delimitadas y consecutivas:

a) Una etapa inicial que consiste en la solicitud a los expertos de sus valoraciones mediante un informe pautado uniforme y relativo conceptualmente a las actividades del equipamiento, con

52 53

especial referencia a aquellas consideradas principales o que se definen como finalidad nor-mativa del equipamiento. En el aspecto formal, se dispone de una clasificación de la informa-ción en niveles básicos para la interpretación posterior:

- Los aspectos genéricos y comunes: consideraciones respecto al funcionamiento y objeti-vos de política cultural que puedan afectar al equipamiento público.

- Los aspectos propios del sector: consideraciones referentes a finalidades y propósitos compartidos en la práctica actual por los equipamientos vinculados al sector o disciplina.

- Los aspectos de contenidos y actualidad: comentario crítico del desarrollo de las progra-maciones precedentes, con evolución comparativa de los últimos ejercicios.

- La propuesta de mejora y alternativas razonada, donde se extraen conclusiones a partir de las valoraciones previas en clave de futuro.

Con la premisa de que cada equipamiento presenta un proyecto artístico singularizado y que desarrolla actividades principales que le son inherentes y otras complementarias, la sistema-tización de la valoración de los expertos consiste en un cuestionario único y particular por ente evaluado en el que se detallan los aspectos concretos de comentario.

En este documento de obtención de información de los expertos se incluyen apartados de verificación (check list) y campos de libre expresión a partir de cuestiones dirigidas, donde puedan constar las diversas visiones subjetivas, críticas e interpretativas de los contenidos y las actividades que desarrolla cada ente.

b) Una segunda fase que consiste en la sistematización de la información recibida y la consi-guiente confrontación entre las diferentes aportaciones. De su análisis depende la organiza-ción de entrevistas personalizadas, en las que se pregunte sobre la propia valoración y se expongan las de los otros expertos, con el fin de buscar posiciones comunes; opcionalmente, se prevé la posible celebración de sesiones conjuntas o mesas redondas donde los expertos puedan debatir las interpretaciones y alternativas planteadas.

c) Con las valoraciones determinadas por los expertos, el procedimiento implica que el evalua-dor parametrice e interprete la información definitiva recibida, a fin de circunscribir la subjetivi-dad y establecer, por un lado, aspectos consensuados y, por otro, apreciaciones discordan-tes. El formato empleado corresponde a una matriz de identificación de los puntos fuertes y las debilidades, con los aspectos de atención específica, así como las propuestas de mejora. La culminación del procedimiento consiste en un esquema de ópticas consensuadas y mati-ces personalizados y/o discrepantes que enriquece una visión poliédrica, con puntos comu-nes y alternativos a la propuesta existente en el equipamiento.

5.4. Interpretación y valoración por ejes estratégicos

La culminación de la etapa de identificación de la entidad sujeta a evaluación, que en esta meto-dología consistiría en los procesos de sistematización y de parametrización, corresponde a la valoración de la información aportada (figura 12), procedimiento final posible para la segmentación por ejes de interés y la posterior síntesis y elaboración mediante los diferentes indicadores.

52 53

Figura 12. Índice esquemático de relación de la información requerida en los ejes transversales y las herramientas de obtención correspondientes

Fichas de evaluaciónDocumentación específica

Trabajo de campo

Documentación externaficha 1 ficha 2 ficha 3 ficha 4 ficha 5

1. Gobernanza y coordinación sector

Coordinación p. 3 p. 7-9 p. 1 p. 5convenios, estatutos

entrevistas personal

Gobernanza p.1-13 p. 2estatutos, norma legal

Planificación estratégica

p. 1-4

plan estratégico, contrato-progra-ma, plan de actuación

entrevistas dirección

valoración expertos externos

2. Economía y financiación

Financiación pública p. 2presupuesto ejecutado

presupuesto ejecutado administraciones públicas

Situación patrimonial p. 4-5

balances, cierres, auditorías, sistemas de control interno

Mecenazgo y autofinanciación

p. 3 p. 1

presupuesto ejecutado, balances, concesiones administrado

entrevistas dirección

Investigación con stakeholders

Gestión gasto p. 3

presupuesto ejecutado, balances, contratos de servicios, cuadros de mando

entrevistas personal

3. Estructura organizativa

Organización internap. 1-6, 8-9

manual procesos, organigrama, RLT

reuniones focus group, observancia

Interacción sectorial p. 5 convenios

valoración expertos externos, webs sectoriales

Herramientas de

obtenciónEjes

54 55

Fichas de evaluaciónDocumentación específica

Trabajo de campo

Documentación externaficha 1 ficha 2 ficha 3 ficha 4 ficha 5

4. Actividades y públicos

Oferta y actividades p. 1 p. 3-4

memorias de actividad, plan de actuación, fichas coste actividades

observancia

valoración expertos exter-nos, búsqueda genérica y webs de cultura

Usuarios p. 2-3

registro de públicos, estudios de público, plan de marketing

búsqueda genérica y webs de cultura

5. Paradigma digital

Nuevos modelos de consumo

plan de actuación, plan de marketing

valoración expertos externos, web propia, búsqueda genérica

Innovación plan de actuación

valoración expertos externos, web propia, búsqueda genérica

Presencia – impacto p. 4memorias de actividad

estudio medios, referencias externas

Digitalización

memorias de actividad, sistemas de registro, sistemas de control interno

entrevistas personal, observancia

web propia

6. Cohesión social

Acceso cultura p. 4memorias de actividad, plan de actuación

estudio medios, referencias externas

Diversidad p. 1memorias de actividad

observanciareferencias externas

Asociacionismo p. 5convenios, memorias de actividad

webs sectoriales

Motor cohesión p. 1memorias de actividad

búsqueda genérica, referencias externas

Figura 12. Índice esquemático de relación de la información requerida en los ejes transversales y las herramientas de obtención correspondientes (cont.)

Herramientas de

obtenciónEjes

54 55

Fichas de evaluaciónDocumentación específica

Trabajo de campo

Documentación externaficha 1 ficha 2 ficha 3 ficha 4 ficha 5

7. Educación

Nivel educativo p. 1memorias de actividad, estudios de público

observanciabúsqueda genérica y webs de cultura

Enseñanzas artísticas p. 1 p. 5memorias de actividad

búsqueda genérica y webs de cultura

Acento educativo p. 1memorias de actividad

búsqueda genérica y webs de cultura

8. Internacional

Mercados p. 4plan de marketing, estudios de público

búsqueda genérica, referencias externas, webs sectoriales

Creación – producción p. 1memorias de actividad

observancia

Redes p. 5convenios, norma legal

webs sectoriales

Permeabilidad p. 1memorias de actividad

9. Excelencia

Conocimiento p. 4memorias de actividad

entrevistas personal, observancia

Reconocimiento externo

p. 1, 4memorias de actividad

búsqueda genérica, referencias externas, webs sectoriales

Reconocimiento interno

auditorías, manual de procesos

entrevistas personal, observancia

Prestigio p. 4

memorias de actividad, presu-puesto ejecutado, plan de actuación

observanciareferencias externas,webs sectoriales

Calidad p. 7-9 p.1, 4manual calidad, certificados de gestión

reuniones focus group, observancia

Figura 12. Índice esquemático de relación de la información requerida en los ejes transversales y las herramientas de obtención correspondientes (cont.)

Herramientas de

obtenciónEjes

56 57

La valoración consiste en la recopilación y la interpretación de los datos aportados. En relación con cada eje estratégico transversal, debe incluir lo siguiente:

• lasimplificacióndelainformaciónrecopilada;

• elsignificadodelosresultadosreferentesaratiosyvaloresrelativos;

• lainterpretacióndelosvaloresabsolutos;

• laincidenciadelosvaloresobtenidosenladescripcióndelente;

• elsentidoevolutivodelosvaloresenlostresejerciciosdeanálisis;

• laconceptualizacióndelainformacióngeneradaporlarespuestaalosindicadorescualitati-vos;

• lomásdestacadode lasdeficienciasobservadasydocumentadas,coneldetallemáximorespecto al origen o causa y la afectación en el equipamiento;

• lomásdestacadode las fortalezasevidenciadasydocumentadas,con lasconsecuenciaspositivas respecto a otros indicadores y en la gestión y los resultados obtenidos.

El sentido de los indicadores se encuentra limitado por la interpretación relativa o parcial que se puede derivar de algunos de los resultados. A fin de que la valoración aporte un nivel informativo que identifique la realidad del ente evaluado, hay que proceder a su contextualización y a su com-paración.

Se considera un aspecto central de la valoración y de la interpretación de la información la com-paración evolutiva del mismo ente en ejercicios diferentes. La observancia en un período temporal de un mínimo de tres ejercicios permite establecer un marco propio de actuación del equipamien-to: parámetros entre los que se desarrolla, dimensión real, segmentos de público y de mercado, etc. El modelo autocomparativo con variante temporal muestra la tendencia (mejora o empeora-miento) que señalan los diferentes indicadores; la parcialidad de la información que presenta cada uno de los indicadores puede ser compensada por su utilización conjunta en forma de batería que explica diferentes aspectos del ente.

56 57

6.Análisis y evaluación

Figura 13. Esquema de la fase de evaluación

La fase de análisis es consecutiva a las acciones de sistematización y parametrización de la infor-mación de los equipamientos evaluados. La conceptualización de los datos y la interpretación precedente han posibilitado la evidencia de significados concretos para los indicadores, que ofre-cen un escenario de características y casuísticas, segmentado temáticamente por ejes transver-sales y con un marco cronológico establecido; de la suma y la interrelación de los datos recogidos se establecerá la evaluación.

La fase de evaluación se centra en la conversión de la información y la interpretación en una diag-nosis del equipamiento. Se vinculan los resultados que muestra la entidad y los recursos asigna-dos para obtenerlos con la finalidad de manifestar y destacar los aspectos de excelencia, que se podrán ejemplificar, y los de ineficiencia, que servirán para señalar posibilidades de mejora. La determinación de los aspectos susceptibles de atención, en el marco de una dinámica de mejora continua, son objetivo de la evaluación.

El estudio de la información interpretada presenta valoraciones intrínsecas, ya apuntadas en el proceso de parametrización, respecto a la naturaleza de los resultados obtenidos. Por un lado, por el propio sentido de las referencias, lo que significan y lo que suponen para el ente de estudio; por otro, la valoración de las tendencias que implica la lectura de datos de igual naturaleza de un mismo equipamiento a lo largo de ejercicios sucesivos.

En dichas estimaciones, la fase propiamente de evaluación contextualiza la información aportada e incorpora variables de análisis extrínseco. La extrapolación de los resultados en contraposición a ejemplos externos implica diversos niveles de análisis, de acuerdo con las singularidades del ente al que se compara.

PROCESOS

consecución de objetivos y conclusiones

PROCEDIMIENTOS E INSTRUCCIONES

- medida de la consecución de objetivos- conclusiones de tipo organizativo- conclusiones de tipo económico- conclusiones relativas a la oferta y el contenido

- relación de recomendaciones- reflexiones respecto al sector y el entorno- oportunidades- responsabilidades

recomendaciones

58 59

La comparación parcial con los entes pertenecientes al mismo sector implica la posible sintonía conceptual en indicadores, cuantitativos o cualitativos, de utilidad y significación común; este sería el caso de los datos referentes a contenidos y actividades y su gestión. Asimismo, pese a la pertenencia a una misma familia temática, los entornos sociopolíticos y económicos definen mo-delos institucionales lo bastante diversos para ser comparables de forma directa. La aplicación de un modelo evaluativo con contrastaciones sectoriales supone una amplia discriminación y filtro de parámetros identificadores en virtud de las diferentes realidades de los equipamientos.32 En este sentido, debe ser previo a cualquier intento de equiparación el conocimiento detallado de los en-tes que actúan de valor modelo y los factores y las características que los determinan, a fin de establecer las limitaciones en la interpretación de las variantes.

Aparte de la contrastación sectorial, diversas variables en forma de indicador son comparables en relación con la realidad presente en el entorno geográfico, sociocultural o económico. En el caso del sistema catalán, la implantación y ejecución del mismo modelo de evaluaciones estratégicas hace viable la extracción de un conjunto de datos genéricos, relativos a aspectos de organización, gestión interna o impacto social y procedentes de otros equipamientos y organizaciones cultura-les del país, que facilite la comprensión y ponderación de los valores obtenidos.

A fin de articular los resultados de la diagnosis, los parámetros evaluados se agrupan por la valo-ración de la consecución de los objetivos previamente marcados y por las conclusiones genera-das, que derivan en recomendaciones para las problemáticas detectadas y reflexiones en que se vincula la casuística observada con el entorno y el contexto.

6.1. Consecución de objetivos

Los equipamientos culturales determinan su configuración y el correspondiente plan de acción mediante el establecimiento de objetivos estratégicos. Estos, definidos genéricamente como vo-luntades o finalidades, se convierten en el compromiso público entre la administración o las admi-nistraciones impulsoras y la sociedad; de su cumplimiento depende la justificación de la propia existencia del ente.

Los objetivos de las entidades del sector cultural se explicitan mediante varias vías:

• Ennormaslegales,leyesodecretos,detipoestatutarioocompetencial,enlasqueconstalamotivación que impulsó la creación del equipamiento, sus características y las finalidades que se le otorgan.

• Enplanesestratégicos,enlosqueseprecisan,ademásdeotrasconsideraciones,loscom-promisos actualizados que adquiere el equipamiento en el marco de un horizonte temporal a medio y largo plazo.

• Encontratos-programa,en losqueelequipamientoy laadministracióna laquesevinculaestablecen una relación que compromete dotación presupuestaria otorgada con desarrollo de funciones y actividades, en sintonía con un conjunto de objetivos acordados entre ambas partes.

32. Entre las entidades culturales públicas de igual sector, dentro del mismo contexto geográfico o en otros, existe una gran diversidad en as-pectos determinantes: en el diseño jurídico (arquitectura legal y organización interna), en el modelo de gobernanza (implicación y participa-ción de los integrantes y articulación del control sobre la entidad, participación del ámbito privado) y en los objetivos indicados (alcance, áreas de actuación, etc.).

58 59

El establecimiento de un marco temporal concreto faculta que las definiciones de objetivos de los planes estratégicos y los contratos-programa se desarrollen en objetivos operativos. Estos delimi-tan a los anteriores y especifican cuáles son los fines, proyectos o voluntades que el equipamien-to se compromete a llevar a cabo. Por definición metodológica, los objetivos operativos incluyen indicadores que los cuantifican o dimensionan.

En referencia a los objetivos, el proceso de análisis de la evaluación estratégica consiste en la medida de su consecución, con la intención de objetivizar el grado de ejecución de las finalidades predefinidas para los equipamientos de estudio. Con la identificación del compromiso estableci-do, el procedimiento valora los objetivos estratégicos a partir de los resultados de los indicadores mencionados o de aquellos que puedan evidenciar ítems relativos. En cuanto a los objetivos ope-rativos, si se han desarrollado, su concreción permite definir un modelo de comprobación interno adaptado al caso —un documento de trabajo tipo check list— de asunción de su consecución, donde se incluyan las evaluaciones de los indicadores vinculados.

La interpretación de las informaciones relativas a objetivos33 y su análisis debe responder a las cuestiones referentes a:

• Lacomprobacióndelavigenciadelospropósitosfundacionales,suadecuaciónalcontextopresente y el interés y oportunidad de la propuesta.

• Laviabilidadenlagestióndelasestrategias,laidoneidaddelaestructuraenvinculaciónasuspropósitos y la capacidad para llevarlos a cabo.

• Latraslaciónefectivaaobjetivosoperativosylaconcordanciaconlalíneadeactuaciónvigente.

• Elgradodeseguimientoydecumplimientodelosdiferentesobjetivosestablecidos,segúnestándares de eficacia y eficiencia.

6.2. Conclusiones. fortalezas y debilidades

Las conclusiones deben sintetizar la información recopilada y las evidencias detectadas en la evaluación, con objeto de convertir el estudio en una imagen fiel de la realidad, debidamente cla-sificada e interpretada bajo parámetros objetivos o con criterios afines a las estrategias fundacio-nales o a las políticas generales a las que el equipamiento esté vinculado.

Se agrupan en tres temáticas genéricas de interpretación: las conclusiones de tipo organizativo, las económicas y las relativas a la oferta y el contenido.

Conclusiones de tipo organizativo

Se incluyen aspectos propios de gobernanza, de relaciones institucionales, estrategia y objetivos o de diseño de la organización y la gestión interna. Hay que considerar la repercusión de estos aspectos en la realidad del equipamiento, su influencia como elemento catalizador de la gestión y las actividades desarrolladas o, en contraposición, como situación anómala que impide o dificulta

33. Informaciones compiladas en las fichas de evaluación 1. Gobernanza y 5. Planificación Estratégica en el anexo I, Guía de las fichas de eva-luación estratégica.

60 61

la administración y la consecución de objetivos por parte del ente. En este sentido, los factores a valorar son los siguientes:

• Simplicidad,eficaciayeficiencia,conlasquelaarquitecturadelosprocesosconduzcaalasvías de funcionamiento más directas posibles y con las que las relaciones de dependencia se perfilen para consumir los mínimos recursos posibles.

• Confluenciaycomunidaddeobjetivosyaccionesporpartedetodoslosmiembrosdelaor-ganización.

• Transparencia,graciasalacuallosflujosdedecisiónoinformaciónserijanporlatrazabilidady permitan en todo momento advertir la fase y la situación en la que se encuentran, evitando «zonas oscuras» o ambigüedades.

• Responsabilidad,ocapacidaddeidentificarencadafasedeactuaciónoproyectoaquiencorresponde la decisión de llevarlo a cabo.

Conclusiones de tipo económico

Son las conclusiones referentes a la situación patrimonial, la financiación y la gestión de los ingre-sos y los gastos. En este sentido, las conclusiones actúan como evidencia del análisis de la di-mensión económica y patrimonial, valorando condiciones o singularidades de la casuística (grado y valor de las colecciones, infraestructuras, estructura del pasivo, etc.).

En cuanto a financiación, estas conclusiones deben evidenciar que la aportación pública se apro-vecha con la máxima eficacia para lograr los objetivos y con eficiencia económica. Además, se considera básico subrayar la utilización que se hace de los fondos destinados para señalar la re-lación entre financiación y eficacia a fin de alcanzar los objetivos, su posible limitación o las pers-pectivas o posibilidades ante incrementos de dotación.

La interpretación de la economía de los evaluados debe hacer especial mención de la financiación propia, vía usuarios y público, mediante la explotación de la infraestructura o la participación del patrocinio y mecenazgo. Del mismo modo, las dinámicas de coste y de optimización del gasto tienen que ser ejes de las conclusiones económicas, así como la implantación y la utilización de mecanismos de aviso y de control como instrumentos habituales de gestión.

Conclusiones relativas a la oferta y el contenido

En este apartado de conclusiones figuran las recapitulaciones referentes a las actividades desa-rrolladas, los públicos y la aceptación social de la propuesta, donde se evalúa la rentabilidad social del equipamiento y los aspectos relacionados. Aunque no pueden separase unos de otros, los grandes temas sobre los que establecer conclusiones son los siguientes:

• Elproductooservicioofrecido:justificacióndelserviciocomopotencialidaddelainstitucióny demanda social, su diseño, diversidad de la oferta, operativa y actualización tecnológica para producirlo, naturaleza de sus contenidos, oportunidad e idoneidad, interacción con los destinatarios o calidad generada. Los aspectos a valorar engloban varios criterios: identifi-cación con los objetivos del ente y del marco estratégico de la administración de la cual depende el ente, viabilidad y corrección de su gestión operacional, ejecución y calidad afín con las capacidades del ente, adaptación del producto a los requerimientos sociales, seg-

60 61

mentación del mercado potencial, posicionamiento de la oferta o definición de públicos objetivo, entre otros.

• Ladifusióndelservicioofrecidoolasestrategiasseguidasparatrasladarlaofertaalpúblico.Se trataría de evaluar las políticas de comunicación y comercialización de la oferta, su efecti-vidad y su impacto en el abanico de propuestas culturales asimilables. Asimismo, deben contextualizarse las acciones en función del entorno y la competencia que la demás oferta cultural y de ocio significa para el equipamiento.

• Lospúblicosyusuariosdestinatariosdelaoferta;lasapreciacionesquepuedendeducirseenreferencia a las características advertidas y a los objetivos de la institución; la diversidad de las tipologías más representadas, la calidad en su gestión (información, trato, resolución de con-flictos, etc.); las técnicas de segmentación y posicionamiento en el mercado (Muñoz-Seca y Riverola, 2011), y la fidelización.34

La evaluación estratégica se desarrolla mediante un análisis integral del equipamiento; la globali-dad de la observación singulariza los aspectos positivos y beneficiosos en su idiosincrasia y los que se consideran funcionalmente perjudiciales o superfluos para la consecución eficiente de los objetivos señalados. La ambivalencia mencionada se refleja en las conclusiones con un formato de contrastación entre las fortalezas que se detectan, por un lado, y las debilidades del modelo analizado, por otro.35

6.3. recomendaciones

Las recomendaciones suponen la sucesión lógica a la fase de exposición de las conclusiones. Una vez presentadas las fortalezas y las debilidades del ente evaluado, la incidencia en los aspec-tos de optimización y mejora continua se centran en las ineficiencias detectadas y en sus causas, tanto posibles defectos de origen en los vínculos de relación con las instituciones, gobernanza u organización, como aspectos inherentes a la producción del servicio o a su difusión o indicios sintomáticos de un inadecuado aprovechamiento de los recursos.

Se considera que la definición de las recomendaciones es uno de los eslabones fundamentales del proceso de evaluación, cuando de forma sintética se hacen evidentes los problemas más significa-tivos y se apuntan las posibles soluciones o, en todo caso, la dinámica adecuada hacia la que el equipamiento tendría que tender. En este apartado, de máxima explicidad comunicativa de la eva-luación, se manifiesta la relación de las consideradas ineficiencias por el evaluador que más influyen en las tareas del equipamiento, así como las recomendaciones específicas para su regularización.

A efectos metodológicos, las recomendaciones se articulan por puntos, diferenciando individual-mente cada concepto sobre el que se detecta el problema y se apunta la recomendación corres-pondiente. Asimismo, a fin de mantener la coherencia del modelo, se usa el mismo criterio de agrupación por conceptos utilizado en las conclusiones, según el cual estos se dividen entre los de tipo organizativo, los de tipo económico y los referidos a la oferta y el contenido.

En cuanto a los contenidos que serán revisados en las recomendaciones, los parámetros cuya optimización y mejora cualitativa hay que impulsar son los siguientes:

34. Políticas de gestión de relación con el cliente (CRM): aplicación de esfuerzos de fidelización.

35. Adaptación de la matriz DAFO (SWOT) de utilización en marketing (VVAA, 2003).

62 63

• Agregacióndevalor,seasingularidad,innovación,creatividad,prestigioomaximizacióndelafuncionalidad.

• Proyecciónenelcontextoinmediato,entendidacomolacapacidaddedifusión,comunica-ción e integración participativa de la ciudadanía en las acciones y actividades del ente.

• Proyecciónexteriordelaculturanacionalydetodaexpresióncontemporáneaodeinteréshistórico que dé prestigio al país.

• Diversidadenloscontenidos,tantoenloqueserefiereavariedadtemáticacomoencuantoa número, multiculturalidad y enfoque de las actividades.

• Transparenciaen lagestión, incluyendo laeconómicay toda la relacionadaconelequipa-miento con terceros o stakeholders del ámbito privado, desde proveedores, colaboradores, residentes y participantes hasta público genérico.

• Organizaciónenfocadaa losobjetivos,conel liderazgode ladireccióny la implicacióndelpersonal.

• Eficienciaenlagestiónoperativa,enladefinicióndeprocesosylacalidadprocedimental,36 en el control de las actividades, en la gestión de los recursos y en las políticas de marketing.

• Implantacióndemedidasdecontrol internoencuantoal rendimientoporconceptosoencualquier aspecto de la gestión diaria.

6.4. reflexiones finales

Las reflexiones finales se conciben como el epílogo de la evaluación estratégica. El capítulo co-rresponde al espacio de redacción libre que integra las diferentes informaciones y características internas, así como las casuísticas externas que inciden en el futuro del ente evaluado, con la in-tención de introducir aspectos de valoración de su rol y de las expectativas sociales que genera. En este sentido, con la necesidad de abarcar de forma genérica la multiplicidad de elementos de estudio, se añade a la reflexión un apartado relativo a las oportunidades para aprovechar y al re-parto de responsabilidades.

En las reflexiones finales se aportan y confrontan datos o estimaciones de tipo sectorial o social que contextualizan la cotidianidad del equipamiento y que lo acercan a su incidencia externa. Con las fortalezas y debilidades previamente relacionadas y las recomendaciones que se derivan, en este apartado hay que apuntar las tendencias y perspectivas, su relación con las características del ente (estrategias, organización, servicio, comunicación) y la capacidad para asumir los esce-narios previsibles.

En cuanto al subapartado relativo a las oportunidades detectadas durante el proceso, estas se refieren a las circunstancias, tanto internas como externas, que presentan posibilidades de apro-vechamiento. Las internas pueden corresponder a potencialidades del propio equipamiento que no se explotan de forma adecuada (áreas infrautilizadas, departamentos de un interés especial a desarrollar), a temáticas o aspectos de contenidos posibles de abarcar (actividades diversas, in-

36. Se introduce el concepto de calidad administrativa en la acepción de la ordenación de procesos y continuidad y homogeneidad en su gestión.

62 63

crementos factibles de diversidad en las programaciones) o a las capacidades comerciales (arren-damientos, externalizaciones, merchandising, gestión comercial de las infraestructuras y los espa-cios, etc.). Otras circunstancias de origen interno se encuentran reflejadas en los puntos fuertes o fortalezas con una relevancia especial que se han puesto de manifiesto durante la evaluación. Por otro lado, el contexto sectorial, socioeconómico o geográfico, plantea determinadas coyunturas que ofrecen un marco de actuación abierto al equipamiento.

De las interacciones entre las características internas y el entorno, la evaluación tiene que apuntar a las oportunidades a las que puede sumarse.37 Se considera de especial interés mostrarlas en formato de relación sintética.

El apartado final de las reflexiones incide en la asunción de responsabilidades ante estas reco-mendaciones, entendiéndolas como quién tiene que encargarse de su ejecución y desarrollo, y en este debe constar el reparto entre los actores que participan en la gestión y evaluación del ente. De la coordinación y la actuación ante las cuestiones tratadas dependerá la factibilidad de la pues-ta en valor del equipamiento ante la sociedad.

En el caso de los equipamientos dependientes de las administraciones públicas, una cuota des-tacada de responsabilidad debe recaer en las instituciones a las que se vincula o que forman el órgano máximo de gobierno, las cuales dotan al ente de recursos y, por lo tanto, condicionan en gran medida el éxito en la consecución de objetivos. En el caso de organizaciones privadas, la responsabilidad recae en quienes forman el órgano de gobierno máximo, patronos o socios, en todo caso responsables de la aportación de fondo. La priorización y asunción por parte de las instituciones del apoyo explícito a los equipamientos transmisores de las políticas culturales se convierte en uno de los objetivos del proceso de evaluación estratégica.

En consonancia con el papel de ejecutor de políticas públicas de la entidad, la dirección y los ór-ganos ejecutivos del equipamiento tienen que asumir las recomendaciones en el grado que se determine y las acciones que se vinculan. 

Al organismo evaluador, al CoNCA en virtud de las atribuciones conferidas por ley, le corresponde la alícuota de responsabilidad, y tiene que erigirse como impulsor y verificador del modelo de mejora continua que posibilita el avance en la excelencia y la calidad del servicio y los resultados del ente.

37. Como en el apartado relativo a la descripción de fortalezas y debilidades, el análisis de oportunidades responde a la metodología DAFO.

64 65

Figura 14. Esquema de la fase de mejora continua

El proceso de mejora continua es la consecuencia de la evaluación estratégica. No se entienden la sistematización, la parametrización y la conclusión de un estudio evaluativo sin una revisión de las recomendaciones destinadas a la mejora funcional del equipamiento de análisis mediante un seguimiento para la verificación de su implantación y evolución en la gestión del ente.

Aun así, a efectos de un posterior control de los cambios y de las posibles mejoras que compor-tan, se propone la implantación de un procedimiento de seguimiento o de control temporal de los aspectos afectados en formato inteligible y compatible con las herramientas aplicadas para la evaluación estratégica. 

El punto de partida de la mejora continua se basa en las recomendaciones y las reflexiones que culminan la evaluación estratégica. En este sentido, el seguimiento observa los diferentes aspec-tos estudiados y se centra en las indicaciones para contrarrestar las ineficiencias detectadas, consideradas debilidades en las conclusiones, y las causas que las motivan. Sobre una estructu-ra de metodología unificada, el seguimiento perfila una definición individualizada de cada evalua-do, introduciendo los indicadores concretos y exclusivos derivados de su propia casuística. 

Metodológicamente, en sintonía con los sistemas de gestión de calidad, el proceso de mejora continua del modelo de evaluación estratégica, una vez detectada la evidencia de aspectos a modificar y las recomendaciones implicadas, se adapta a la aplicación de los cambios y las refor-

proceso de mejora continua7.

PROCESOS PROCEDIMIENTOS E INSTRUCCIONES

evaluación continua

- verificación de autoevaluaciones- recomendaciones

- valoración de evidencias- identificación de innovaciones- implementación de reformas

autoevaluación

- registro de evidencias por conceptosseguimiento

64 65

mas cualitativas correspondientes a la cuarta fase del ciclo de Deming.38 La ejecución de las propuestas y cualquier intervención sobre las deficiencias a corregir conforman el proceso.

Para llevar a cabo la tarea de seguimiento y su evolución temporal, el modelo se sirve formalmen-te de los siguientes instrumentos:

• Conceptosdecontrolyconceptosclave,definidosapartirde lasrecomendacionesyquearticulan las demás herramientas empleadas.

• Indicadores cuantitativos y cualitativos específicos, surgidos de los factores evidenciadoscomo ineficientes en la parametrización y el análisis de la información.

• Deteccióndelasnuevasevidenciassusceptiblesdeanálisis.

• Accionesypropuestasparalamejoracontinuaydefinicióndemedidasdecontrolpropias.

• Seguimientodeladinámicadecambio.

A efectos operativos, la mejora continua requiere una planificación acordada entre el ente evalua-do y el evaluador para concretar las características de aplicación de los instrumentos descritos y de la logística. Esta consiste en un proceso periodizado de hitos de seguimiento: en una tempo-ralización relativa al seguimiento interno de las medidas de control adoptadas y de la implemen-tación de las propuestas adecuadas, en paralelo a la actuación y verificación interna de los resul-tados de los ítems identificativos, se establece una programación de la observancia por parte del órgano evaluador, a quien corresponde el procedimiento de evaluación continua (figura 15).

38. Op. cit. 4.

66 67

Figura 15. Diagrama periodizado de acciones y participación de actores en el desarrollo del proceso de mejora continua

Las características del proceso de mejora continua implican la factibilidad de la digitalización de los distintos procedimientos relacionados y la vinculación entre los actores implicados mediante la aplicación correspondiente en el web del evaluador.

7.1. Evidencias de seguimiento

La traslación del concepto de mejora a un procedimiento establecido y ejecutivo se concreta con la herramienta formada por indicadores y evidencias con las que se lleva a cabo la monitorización del ente evaluado de manera sostenible. En el aspecto funcional, el modelo de seguimiento pue-de ser equiparable al cuadro de mando de uso en los sistemas de control de gestión del sector privado.

EVALUADOR EVALUADO

Evaluación estratégica

Autoevaluación

Autoevaluación

Evaluación continua

aplicación de innovaciones

y reformas

aplicación de innovaciones

y reformas

aplicación de innovaciones

y reformas

recomendaciones

recomendaciones MEJORA CONTINUA

ejercicio n

ejercicio n+1

ejercicio n+2

ejercicio n+3

66 67

La dificultad de estandarizar un formato está en el ajuste necesario a las características individua-lizadas de cada evaluación a las que, en la fase de aplicación del proceso de mejora continua, les resulta indispensable un procedimiento en el que se integren determinados condicionantes e indi-cadores que le son exclusivos. Del mismo modo, independientemente de los perfiles de los entes evaluados, el procedimiento de seguimiento se encuentra determinado por la asunción de un instrumento organizado sobre tres aspectos de revisión de la gestión y de las actividades de los equipamientos culturales:

a) conceptos de control

b) conceptos clave

c) identificación de innovaciones e implementación de reformas.

a) Conceptos de control

Los conceptos de control son los objetivos operativos del equipamiento, expresados en normas legales, planes estratégicos o contratos-programa, en los entes públicos; en los de titularidad privada, corresponderían a los objetivos y finalidades detalladas en el acto fundacional. Se añadi-rían a estos las recomendaciones presentadas en las conclusiones de la evaluación estratégica. 

Se consideran conceptos de control en la medida en que se cumplen ejecutando los objetivos operativos o procediendo a desarrollar tareas que se relacionan con las finalidades determinadas por estos. Para medirlo, se establece la correspondencia con los indicadores o las evidencias que indican su cumplimiento o señalan su tendencia o evolución.

Las recomendaciones expresadas en las conclusiones de la evaluación estratégica resumen en sus contenidos las debilidades más determinantes detectadas y a su vez añaden posibles contra-medidas posteriormente contextualizadas en las reflexiones finales; la síntesis descrita justifica que se pueda estructurar un discurso de seguimiento alrededor de la adopción de las propuestas. Su verificación se desarrolla con la introducción de los ítems siguientes:

• formulario–check list de cumplimiento individualizado;

• indicadorescualitativosopreguntasdiagnósticasreferentes;

• indicadorescuantitativossingularizadosen la recomendacióny laproporcióndeejecuciónllevada a cabo.

b) Conceptos clave

Los conceptos clave identifican informaciones de valor genérico o de interés particular de los equipamientos culturales evaluados. Corresponden a indicadores cuantitativos procedentes de la evaluación estratégica y se diferencian en dos grupos: los que evidencian conceptos genéricos y transversales y los que resulta de interés poner de relieve por las características del ente.

La propuesta de conceptos clave genéricos a todo ente evaluado y, por lo tanto, estándares del modelo, es la siguiente:

68 69

• númerodevisitantes(ref.65);39

• %deautofinanciación(ref.2):proporcióndeingresospropios(noaportacionesdeadministra-ciones) respecto al total de ingresos;

• costetotalporusuario(ref.11):costedelequipamientoporvisitanterecibido;

• costedeestructuraporusuario(ref.12):costedeestructura(gastosfijos)porvisitanterecibido;

• %degastodeactividades(ref.15):proporcióndegastoenactividadesrespectoaltotaldegasto;

• númerodeactividadesprincipales(ref.66);

• númerodeentradasenlapáginaweb(ref.36);

• %deactividadesconproyeccióninternacional(ref.59):proporciónrespectoaltotaldeactivi-dades de las actividades con proyección exterior;

• númerodeprocedimientosenelmanualdecalidad(ref.27).

Entre los demás conceptos clave relacionados con las casuísticas de los entes evaluados, a modo de muestra se podrían incluir los siguientes:

• %deocupacióndeactividades(ref.24):proporcióndepúblicorespectoalaforo(porequipa-mientos que programan actividades de exhibición de artes escénicas o musicales);

• %deactividadesdeproducciónpropia(ref.68):proporcióndeproduccionespropiasrespec-to al total de producciones (por equipamientos que generan actividades);

• índicederendimientodeproducciones(ref.99):cantidaddesesionesorepeticionesrespectoal número de producciones (por equipamientos exhibidores).

Metodológicamente, consisten en una batería de indicadores temporalizada, en la que el valor de referencia es el del último ejercicio evaluado y a la que se incorporan los nuevos valores compa-rativos en la fecha del seguimiento.

c) Identificación de innovaciones e implementación de reformas

En un primer estadio, la fase de conclusiones concierne al resumen de la evolución de los con-ceptos de control y de los conceptos clave como evidencias del estado de la institución y de las medidas que se consideraron como idóneas para su mejora continua.

En relación con lo anterior, hay que proceder a la identificación de determinadas variables respec-to a los resultados de la evaluación y las recomendaciones que genera:

• Cuáleshansidolasinnovacionesoloscambiosquelaevaluaciónestratégicapropusoyquese han implantado como reformas.

39. Los números de referencia corresponden a los indicadores cuantitativos listados en el anexo II.

68 69

• Cuáleshansidolaspropuestasnoimplantadasyporqué;reformassobrelaestructuradelente o su actividad que ha generado la asunción de innovaciones.

• Cuálessonlasáreasestructuralesolosprocedimientosquevariaránporefectodelasreformas.

• Consideracionesyevolucióndelosresultadosdelasreformasasumidas.

El principal valor de la mejora continua se encuentra en la capacidad, mediante el análisis de la evidencia mostrada en el seguimiento, para implementar innovaciones que respondan a las con-tingencias detectadas. Análogamente a las variables surgidas de la evaluación, del seguimiento hay que hacer constar las siguientes:

• Cuálessonlasinnovacionesqueseproponenenesteprocedimiento.

• Cuálessonlasáreasestructuralesolosprocedimientosquevariaránporefectodelasreformas.

A partir de la implementación de las reformas originadas por el seguimiento, se continúa el ciclo cualitativo hasta culminar con la posterior autoevaluación y medición de los resultados de la inno-vación aplicada. La continuidad del proceso y el control de innovaciones y reformas permitirán orientar sucesivas acciones hacia la excelencia, bajo los criterios de eficacia y de eficiencia y al amparo del cumplimiento de los objetivos estratégicos.

7.2. Autoevaluación

La autoevaluación se sirve del procedimiento de seguimiento para implementar una política de mejora continua. A diferencia de las intervenciones realizadas para la evaluación estratégica, en las que el sistema centra la gestión del proceso en la participación de un evaluador externo, la autoevaluación implica exclusivamente la existencia de un comité interno que, por accesibilidad a la información y el conocimiento y la implicación previa, debería corresponder al grupo de interlo-cutores participantes durante la evaluación estratégica. En paralelo al funcionamiento de los eva-luadores internos de los sistemas de gestión de calidad, la tarea supone la participación en el di-seño del apartado personalizado del procedimiento de seguimiento y en su redacción.

La dinámica de autoevaluación se estima en una periodización anual a partir de la culminación de la evaluación estratégica llevada a cabo en el equipamiento. La validez del proceso se halla en la sistematización y actualidad de su implantación, mediante la puesta en práctica de una disciplina de autoevaluaciones normativizadas cada año natural.

La programación de la autoevaluación está condicionada a la factibilidad en la obtención de datos y la información necesaria para desarrollar el procedimiento de seguimiento. Los factores habitua-les que condicionan la calendarización corresponden a:

• Disponerdelosplanesestratégicosocontratos-programaactualizadosoenaplicaciónenelente.

• Disponerdelejercicioeconómicocerradoyaserposibleauditado.

• Disponerde lamemoriadeactividadescerrada:en relaciónconelconflictodeasincroníaentre temporada y ejercicio fiscal, es aconsejable la realización de la autoevaluación una vez cerrada la última programación de actividades.

70 71

El resultado de la autoevaluación es la actualización de los índices señalados y la generación de un informe de evidencias y compromisos. Las evidencias repasan el grado de cumplimiento y el estado de los conceptos de control y los conceptos clave previstos, con los que se obtiene la imagen vigente del equipamiento.

7.3. Evaluación continua

La evaluación continua corresponde al evaluador como garante del estándar procedimental y de calidad. Este procedimiento se entiende como una evaluación estratégica periódica que verifica las autoevaluaciones y comprueba el efecto de las innovaciones y las consiguientes reformas aplicadas desde la propia entidad evaluada como resultado del procedimiento de seguimiento, en una aplicación estricta del ciclo de mejora permanente.

El modelo de evaluación continua que plantea el organismo evaluador se vertebra en las fases de observancia y de actuación. En la observancia, las acciones a desarrollar son las siguientes:

• Recopilacióndelasrecomendacionesvigentesdelaevaluaciónestratégicaanterior.

• Compilacióndemodificacionesenlaque,deformacronológicaytemática,selistanlasinno-vaciones, los cambios y las reformas originadas por la autoevaluación.

• Revisióndelasautoevaluaciones:análisisdelprocedimientoydelosresultadosobtenidosylas conclusiones, innovaciones y reformas que se propusieron.

• Actualizaciónbásicadeloscontenidosdelosejestransversalesanualizadosdelequipamien-to evaluado, con especial atención a los contenidos y las actividades programadas.

Con la mencionada base informativa, la aplicación de la fase de actuación consiste en las siguien-tes acciones:

• Verificacióndelaeficaciayeficienciadelasreformasintroducidasporlaautoevaluaciónconargumentación del diferencial respecto a la situación previa.

• Verificacióndelcumplimientodelosparámetrosdearmonizaciónentreactividadeseinnova-ciones incorporadas y objetivos estratégicos del ente.

• Detección,siprocede,deineficaciasoineficienciasvinculadas.

• Recomendaciones:propuestademejoraydeaccionescorrectivas.

• Establecimientodeobjetivospotencialesoparcialesdeconsecuciónparacomprobarlaopti-mización de la medida y su aplicación.

A efectos de la planificación, el horizonte temporal de la evaluación continua abarca tres ejercicios, de forma paralela al proceso original. Por lo tanto, en la fecha de la puesta en marcha del nuevo proceso diagnóstico, se dispondrá de la evaluación estratégica y de dos autoevaluaciones que permitirán advertir la evolución del equipamiento a partir de la intervención cualitativa.

70 71

AENOR: Asociación Española de Normalización y Certificación

CDE: Centro de Desarrollo Empresarial

CoNCA: Consejo Nacional de la Cultura y de las Artes

EFQM: European Foundation for Quality Management (Fundación Europea para la Gestión de la Calidad)

FEMP: Federación Española de Municipios y Provincias

Ivàlua: Instituto Catalán de Evaluación de Políticas Públicas

PECCat: Plan de Equipamientos Culturales de Cataluña

SROI: Social Return on Investment (retorno social de la inversión)

Acrónimos

72 73

Autoevaluación: Procedimiento que consiste en el seguimiento de la evolución de los parámetros e indicadores de evaluación por parte del equipamiento evaluado. Metodológicamente, se es-tablece efectuarlo con periodicidad anual y disponiendo de los datos del ejercicio precedente.

Ciclo Deming: Estrategia de planificación e implantación de la calidad y la mejora continua. Con-siste en la sucesión de las siguientes fases: planificar, hacer, comprobar y actuar.

Concepto / indicador clave: Ítem, valor o parámetro considerado identificativo y sintético como evidencia de la situación de un equipamiento cultural.

Concepto / indicador de control: Parámetros establecidos como objetivos estratégicos u ope-rativos que se asimilan a un estándar de verificación y cumplimiento.

Contenidos: Conocimientos culturales y artísticos que conforman las actividades del equipa-miento. Constituyen la base de la competencia científica, cultural y artística que fundamenta el know how sobre el que se motiva la constitución de equipamientos.

Contrato-programa: Instrumento estratégico para la gestión de entes vinculados a instituciones públicas en el que se pactan objetivos a ejecutar a cambio de la dotación presupuestaria co-rrespondiente en horizontes plurianuales (generalmente, a medio plazo). Se determina una revisión de objetivos de acuerdo con los resultados y las medidas de control destinadas a la comprobación de la consecución de los objetivos mencionados.

Economía: Coste real en comparación con el coste esperado. Se basa en la minorización contro-lada del coste de los recursos o medios manteniendo las características cuantitativas y cuali-tativas del servicio ofrecido.

Eficacia: Medida de proximidad entre el resultado (output) y el objetivo esperado. En la evaluación se valora el grado de consecución del objetivo prefijado en la norma legal, el plan estratégico, el contrato-programa o el plan de actuación.

Eficiencia: Mejor relación posible entre inputs y outputs. Consiste en la medida de la consecución de resultados con el menor gasto de recursos.

Eficiencia social: Conceptualización de lo socialmente deseable en lo que a distribución de re-cursos se refiere.

Eje estratégico transversal: Elemento de parametrización de la información aportada por los equipamientos evaluados, correspondiente a un aspecto o conjunto de conceptos común y equiparable a todo tipo de equipamiento cultural.

glosario

72 73

Equidad: Igualdad distributiva de recursos, productos o servicios que origina cohesión social. Puede ser de tipo intersocial (distribución de las oportunidades entre los grupos sociales), in-terespacial (distribución de las oportunidades en el territorio) e intergeneracional (distribución de las oportunidades entre generaciones).

Evaluación continua: Procedimiento incluido en la mejora continua y desarrollado como la verifi-cación periódica de las autoevaluaciones y la actualización de parámetros representativos de la evaluación estratégica. Metodológicamente, se programa con periodicidad trienal.

Evaluación estratégica: Suma de procesos destinados al estudio y análisis de los equipamientos culturales, sus características estructurales y sus dinámicas de actuación. Se entiende como la etapa introductoria al proceso de mejora continua por parte del evaluado.

Evaluación ex ante: Evaluación de equipamientos públicos con intención prospectiva que, en relación con la evaluación estratégica, ha consistido en la aplicación empírica de un modelo teórico previo y la verificación de su idoneidad.

Focus group: Metodología de obtención y gestión de información mediante la conducción de reuniones con colectivos con un índice temático pautado. Vinculada a sistemas de gestión de calidad y mejora de la eficiencia.

Fuentes primarias: Datos obtenidos de la organización que los genera, previos a cualquier para-metrización.

Fuentes secundarias: Datos obtenidos de la misma organización original o de terceros, caracte-rizados por la preparación sobre la versión inicial o por la simple repetición de estos.

Gobernanza: Modelo de relación y vinculación entre los diferentes actores implicados en el go-bierno de una institución pública o privada. En la evaluación se mencionan los órganos de gobierno de máxima jerarquía en los equipamientos culturales.

Indicador: Ítem o evidencia en forma de ratio, porcentaje, valor o concepto que se interpreta como representativo de la casuística o la estructura de una organización.

Indicador de calidad: Estadística de aceptación de servicio y cuantificación de medidas de ex-celencia.

Indicador de proceso: Medida de las acciones programadas a partir de los recursos disponibles.

Indicador de producto: Medida de la cuantía y calidad de servicio generado por las acciones implementadas.

Indicadores de recurso: Medida de la naturaleza y cantidad de factores participantes en una acción.

Indicadores de resultado: Combinación de varios indicadores destinada a obtener un parámetro identificativo total o parcial, generalmente en formato de ratio, porcentaje o valor económico.

Indicador de input: Indicador referente a la generación interna (actividad y estructura). Corres-ponde a los factores y recursos necesarios (características y coste) para la creación de todo servicio a ofrecer.

74 75

Indicador de outcome: Indicador de impacto social que evidencia los efectos económicos o sociales de la ejecución de programas y actividades o los servicios ofrecidos desde el equipa-miento cultural.

Indicador de output: Indicador relativo al producto o respuesta directa generada por la traslación del servicio ofrecido a los destinatarios.

Indicador cualitativo: Evidencia descriptiva a partir de la conceptualización de un aspecto iden-tificador de la organización sin estimación numérica.

Indicador cuantitativo: Evidencia objetivable a partir de la cuantificación o medida de valores representativos de la organización.

Método Delphi: Metodología de organización y gestión del conocimiento enfocada a la respues-ta y resolución de planteamientos de interpretación subjetiva. Se conforma a partir de grupos de expertos y la réplica correspondiente, en fases sucesivas y formatos alternativos, a las problemáticas presentadas en un formato único y común, a fin de permitir su análisis.

Mejora continua: Proceso mantenido en el tiempo que implica la sucesión de la evaluación es-tratégica de un equipamiento, la aplicación de las recomendaciones derivadas, la autoevalua-ción y la valoración externa (evaluación continua). Supone la estructuración procedimental de un ciclo de optimización y agregación de valor.

Paradigma digital: Marco de adaptación de los equipamientos culturales a las nuevas tecnolo-gías y a los nuevos formatos, tanto en referencia a la gestión interna como la comunicación con el público general y a los destinatarios de la oferta producida.

Parametrización: Proceso de conversión de la información obtenida en parámetros e idealizacio-nes evaluables e interpretables.

Plan de actuación – plan de acción: Compromiso de actividades periodizado, generalmente anual o a corto plazo, sin contrapartidas de terceros.

Plan de marketing: Conjunto de estrategias destinadas a presentar, difundir y, si procede, comer-cializar los servicios ofrecidos.

Plan departamental: Expresión del programa de políticas culturales y estrategias a medio y largo plazo impulsadas, en el contexto catalán, desde la conselleria competente.

Plan estratégico: Definición de la misión de la organización y del programa de actuación respec-to a los objetivos a largo plazo vinculados. Constituye el documento de referencia que enmar-ca las finalidades de la organización o equipamiento.

Procedimiento: Descripción concreta del método y las diferentes acciones para llevar a cabo las tareas que articulan los procesos.

Proceso: Actividad o conjunto de actividades que, con medios y recursos, se gestionan a fin de posibilitar que los ítems de entrada se transformen en resultados.

Sistematización: Proceso de recopilación de información y procedimentación de esta a estánda-res susceptibles de gestión posterior.

74 75

Stakeholders: Término empleado para englobar en una única categoría a todos los participantes externos que intervienen en la gestión y actividad de cualquier organismo y cuyo entorno con-figuran: clientes, visitantes, usuarios, acreedores diversos, proveedores, colaboradores, etc.

76 77

Arts CounCil EnglAnd. Acreditation Scheme for Museums and Galleries in the United Kingdom: Acreditation Standard. (n.e.). Londres: 2011. http://www.artscouncil.org.uk/media/uploads/pdf/accreditation_standard_english_web.pdf [consulta: 28 julio 2014].

AsoCiACión EspAñolA dE normAlizACión y CErtifiCACión. Sistemas de gestión de la calidad: Requisitos (ISO 9001:2008). Madrid: Grupo 24, 2008.

CEntrE dE dEsEnvolupAmEnt EmprEsAriAl. ISO 9001:2000 Mòduls de qualitat. Auditories de qualitat. Barcelona: Dep. Indústria, Comerç i Turisme, Generalitat de Catalunya, 2002.

ConsEll nACionAl dE lA CulturA i dE lEs Arts. Crisi, incerteses, sinergies. Estat de la cultura i de les arts 01_2013. Informe anual sobre el estado de la cultura y de las artes de Cataluña 2012. Barcelona: Consell Nacional de la Cultura i de les Arts, 2013.

EuropEAn foundAtion for QuAlity mAnAgEmEnt. An overview of the EFQM Excellence Model. Bruse-las: (s.n.), 2012.

EuropEAn foundAtion for QuAlity mAnAgEmEnt. EFQM Excellence Model. Bruselas: (s.n.), 2014.

Eusko JAurlAritzA/gobiErno vAsCo. Evaluación del retorno social de las ayudas públicas en cultura (diciembre 2012). Vitoria – Gasteiz: Observatorio Vasco de la Cultura. Dept. Educación, Política Lingüística y Cultura, 2013.

fEdErACión EspAñolA dE muniCipios y provinCiAs. Guía para la evaluación de políticas culturales loca-les. Madrid: FEMP ed., 2009.

gAsCó, m. L’avaluació de les polítiques públiques culturals: estudi empíric a l’administració local. Barcelona: Escola d’Administració Pública de Catalunya, Generalitat de Catalunya, 2003.

gEnErAlitAt dE CAtAlunyA. dEpArtAmEnt dE prEsidènCiA. dEpArtAmEnt d’EConomiA i ConEixEmEnt. Guia per a la planificació i pressupostació estratègica de la Generalitat de Catalunya. Barcelona: (s.n.), 2011.

gilhEspy, i. «Measuring the performance of cultural organisations; a model». International Journal of Arts Management [Montréal: Hec Montréal], vol. 2, nº 1 (otoño de 1999): p. 38-52.

hArvEy, E. r. Política y financiación pública del teatro. Madrid: Fundación Autor, 2005.

hArvEy, E. r. Política y financiación pública de la música. Madrid: Fundación Autor, 2006.

bibliografía

76 77

iCC Consultors. Mapa d’indicadors culturals de Catalunya. CoNCA. Barcelona: (s.n.), 2013.

institut CAtAlà d’AvAluACió dE polítiQuEs públiQuEs. Guia pràctica 3: Avaluació del disseny. Barcelo-na: Ivàlua, 2009 (Col·lecció Ivàlua de guies pràctiques sobre avaluació de polítiques públiques).

institut CAtAlà d’AvAluACió dE polítiQuEs públiQuEs. Guia pràctica 5: Avaluació d’impacte. Barcelona: Ivàlua, 2009 (Col·lecció Ivàlua de guies pràctiques sobre avaluació de polítiques públiques).

institut CAtAlà d’AvAluACió dE polítiQuEs públiQuEs. Guia pràctica 6: Avaluació econòmica. Barcelo-na: Ivàlua, 2009 (Col·lecció Ivàlua de guies pràctiques sobre avaluació de polítiques públiques).

institut CAtAlà d’AvAluACió dE polítiQuEs públiQuEs. Guia pràctica 7: Avaluació ex ante. Barcelona: Ivàlua, 2011 (Col·lecció Ivàlua de guies pràctiques sobre avaluació de polítiques públiques).

institut CAtAlà d’AvAluACió dE polítiQuEs públiQuEs. Guia pràctica 8: La metodologia qualitativa en l’avaluació de polítiques públiques. Barcelona: Ivàlua, 2011 (Col·lecció Ivàlua de guies pràcti-ques sobre avaluació de polítiques públiques).

lAndEtA, J. El método Delphi. Barcelona: Ariel, 1999.

mAllAdo, J. A.; Lucuix, I.; Franco, A. Contabilidad pública. València: Tirant lo Blanch ed., 2004.

muñoz-sECA, b.; rivErolA, J. (ed.). Arte y eficiencia. El sector de la cultura visto desde la empresa. Barañáin – Pamplona: Ediciones Universidad de Navarra, S.A., 2011.

noguErA, m.; fErrEr, l. «L’avaluació de resultats dels programes pressupostaris segons els seus indicadors». Notes d’Economia. Revista d’Economia Catalana i del Sector Públic [Barcelona], nº 99 (2011), pp. 185-191.

pAlmA, l. A.; AguAdo, l. f. «¿Debe el Estado financiar las artes y la cultura? Revisión de literatura». Economia e Sociedade [Campinas, Brasil: Instituto de Economia da Universidade Estaduel de Campinas], vol. 20, nº 1 (2011), pp. 195-228.

ribAs, J; vilAltA, J. m. «La gestió dels contractes - programa entre les universitats públiques cata-lanes i la Generalitat de Catalunya». Coneixement i societat. Revista d’Universitats, Recerca i Societat de la Informació [Barcelona: Departament d’Universitats, Recerca i Societat de la In-formació, Generalitat de Catalunya], nº 02 (2003): pp. 86-99.

rius, J. Els contractes programa dels equipaments culturals. Barcelona: Dept. de Cultura i Mitjans de Comunicació. Generalitat de Catalunya, 2010, p. 87 (Quaderns del PECCat,3).

sroi nEtwork. A guide to Social Return on Investment. Liverpool: The Cabinet Office, 2012. http://www.thesroinetwork.org/publications/doc_details/241-a-guide-to-social-return-on- investment-2012 [consulta: 24 de juliol de 2014].

unEsCo. Marco de las Estadísticas Culturales (MEC) de la UNESCO 2009. Montreal: Instituto de Estadística de la UNESCO, 2009. http://unesdoc.unesco.org/images/0019/001910/191063s.pdf [consulta: 26 de septiembre de 2014].

vArbAnovA, l. Strategic Management in the Arts. New York: Routledge ed., 2013.

vvAA. Marketing de las artes y la cultura. Barcelona: Ariel Patrimonio, 2003.

78 79

VVAA. Le système d’indicateurs de la culture et des communications au Québec. Deuxieme par-tie: les études de faisabilité. Montreal: Institut de la statistique du Québec, Observatoire de la culture et des communications du Québec, 2012. http://www.stat.gouv.gc.ca/observatoie/publicat_obs/index.htm [consulta: 28 de julio de 2014].

VVAA. «Propuesta metodológica para el diseño de un sistema de indicadores culturales local ba-sado en la planificación estratégica». Política y sociedad [Madrid: Universidad Complutense de Madrid], nº 51-2 (2014), pp. 423-446.

willoughby, k. g.; bEnson, p. «L’avaluació de programes, la planificació pressupostària basada en resultats i la PART». Notes d’Economia, Revista d’Economia Catalana i del Sector Públic [Barcelona: Departament d’Economia i Coneixement, Generalitat de Catalunya], nº 99 (2011): pp. 91-105.

78 79

dEsCrIpCIóN dE lAs fIChAs

Las cinco fichas preestablecidas agrupan la información en apartados que resumen el marco y los diferentes procesos que se desarrollan en todo equipamiento cultural:

1. Gobernanza: aspectos legales y normativos, definición de órganos de gobierno y funciones.

2. Estructura organizativa: definición y características de la organización, procesos desarrollados y procedimientos vinculados.

3. Actividades y público: resumen estadístico, cuantitativo y tipológico de las actividades realiza-das, cuantificación de visitantes y políticas comerciales.

4. Estructura financiera y presupuestaria: desglose económico de ingresos y gastos, cálculo de costes y análisis presupuestario.

5. Planificación estratégica: descripción de la estrategia, contrato-programa y plan de operacio-nes.

Se detalla la información a introducir en las fichas correspondientes.

ANExo I: guíA dE lAs fIChAs dE EvAluACIóN EstrAtégICA

80 81

1. gobernanza

1. Personalidad jurídica propia (sí/no, con cuadro de texto): ¿El ente evaluado tiene personali-dad jurídica o está incluido en el presupuesto de otra institución? En caso de ser dependiente, habría que mencionar la entidad matriz.

2. Forma jurídica (formulario de opciones con cuadro de texto): Se diferencian varios formatos de constitución en el ámbito de los entes públicos, en un grupo, y de los privados, en el otro; hay que señalar la forma jurídica correspondiente, especificando el tipo en Otros y en Sociedad mercantil, en caso de no aparecer como opción singularizada.

3. Participantes públicos (formulario de opciones y cuadro de texto): Se diferencian las cuatro administraciones públicas de incidencia presupuestaria más común en el contexto de las evalua-ciones estratégicas; en caso de no aparecer singularizadas (otras administraciones locales, co-munitarias, etc.), hay que mencionarlas nominalmente. Se incluye una columna de texto libre re-ferente al % de participación económica en el ente; hay que detallar la aportación que estipula la norma. Si no hay participación pública, se tiene que obviar el punto.

4. Participantes privados (formulario de opciones y campo descriptivo): En el formulario se dife-rencia entre mecenas (aportadores o cedentes de fondos con fines altruistas), patrocinadores (sociedades privadas aportadoras con contrapartida), unipersonales (personas físicas patrocina-doras con objetivo de aportación finalista), entes sin fin de lucro (asociaciones y fundaciones pri-vadas de tipo filantrópico), socios (relativos tanto a participantes en asociaciones como en socie-dades mercantiles) y patronos (fundaciones privadas o mixtas). Con la especificación de si están incluidos o no en la norma legal que rige el ente (consorciados y no consorciados), Hay que añadir las observaciones procedentes especificando si los participantes están incluidos o no en la norma legal que rige el ente.

5. Norma legal (formulario de opciones, campo descriptivo e instrucción adjunta): En el caso de personalidad jurídica propia, hay que señalar si esta se encuentra reflejada en una ley, si existen estatutos o ambas cosas. En el espacio descriptivo debe incluirse la cita de la referencia legal: número de ley/decreto/acuerdo, publicación (boletín/diario oficial), número de publicación, fecha legal y fecha de la publicación. Como documento anexo, hay que adjuntar una copia de la publi-cación en el boletín correspondiente de la norma o las normas legales vinculadas (anexo 1).

6. Objetivos estatutarios (campo descriptivo): Enumeración resumida de los objetivos descritos en la norma legal.

7. Funciones estatutarias (campo descriptivo): Enumeración resumida de las funciones resumi-das descritas en la norma legal.

8. Órganos de gobierno estatutarios (formulario de opciones con cuadros de texto): Entre las opciones propuestas, hay que señalar cuáles son los órganos de gobierno del ente. Se incluye un cuadro de texto en cada opción para describir la nomenclatura que se le da y la fecha del último nombramiento que afecta al órgano de gobierno.

9. Órgano superior de gobierno (cuadro de texto, campo numérico y campos descriptivos): Inicialmente, hay que mencionar el nombre con el que se designa al órgano mencionado. En el apartado Configuración hay que incluir el número de miembros del órgano ejecutivo de gobierno según la norma legal y en la actualidad, en caso de diferencia. En el mismo sentido,

80 81

se tienen que describir las características de representatividad de estos miembros, con el núme-ro de representados de cada institución fundadora y otros participantes incluidos en la norma legal.

El apartado Funciones corresponde al resumen de las funciones estatutarias del órgano. El apartado Régimen de funcionamiento corresponde a un resumen de las normas del reglamen-to interno con las que se gestiona el órgano.

10. Órgano ejecutivo de gobierno (cuadro de texto, campo numérico y campos descriptivos): Inicialmente, hay que mencionar el nombre con el que se designa al órgano citado.

En el apartado Configuración hay que incluir el número de miembros del órgano ejecutivo de go-bierno según la norma legal y en la actualidad, en caso de diferencia. En el mismo sentido, se tienen que describir las características de representatividad de estos miembros, con el número de representados de cada institución fundadora y demás participantes incluidos en la norma legal.

El apartado Funciones corresponde al resumen de las funciones estatutarias del órgano.

El apartado Régimen de funcionamiento corresponde a un resumen de las normas del reglamen-to interno con las que se gestiona el órgano.

11. Dirección (campos descriptivos): En la primera descripción deben enumerarse las funciones reconocidas por la norma legal atribuidas al director.

En la segunda descripción hay que definir cuál es, o ha sido, el procedimiento para nombrar al director.

12. Gerente / administrador (campos descriptivos): En la primera descripción deben enumerarse las funciones reconocidas por la norma legal atribuidas al administrador.

En la segunda descripción hay que definir cuál es, o ha sido, el procedimiento para nombrar al administrador.

13. Otros órganos de gestión y/o consultivos (campos descriptivos): En la primera descripción hay que proceder a la enumeración y descripción de otros órganos colegiados de tipo consultivo o de apoyo en ámbitos técnicos (de contenidos, de gestión económica, de marketing o difusión, legales, etc.).

En la segunda descripción hay que añadir cualquier información adicional de interés en relación con la gobernanza del ente.

82 83

EVALUAC

IÓN

ESTR

ATÉGIC

A

(NOMBRE DE LA ENTIDAD EVALUADA)

EvAluACIóN EstrAtégICA

1. GOBERNANZA Fecha:

1. personalidad jurídica propia

2. forma jurídica

3. participantes públicos

4. participantes privados

5. Norna legal (anexo 1)

6. objetivos estatutarios

8. órganos de gobierno estatutarios

Sí No Órgano dependiente de

Especificar

Especificar

% participación

Consorciados No consorciados Observaciones

REFERENCIAS

DESCRIPCIÓN

DESCRIPCIÓN

Sector público Fundación pública Consorcio Empresa pública Otros entes de derecho público (SEC)Sector privado Asociación (sin ánimo de lucro)Fundación privada Sociedad mercantil

Generalitat Ayuntamiento de Barcelona Diputación de Barcelona Adm. Gral. Estado Otros

Mecenas Patrocinadores Unipersonal Entes sin finalidad de lucro Patrones Socios

Órgano superior

Órgano ejecutivo Dirección Gerencia/administración Otros

Ley Estatutos

definirFecha último nombramiento

82 83

EVALUAC

IÓN

ESTR

ATÉGIC

A

otros órganos de gestión y/o consultivos

observaciones

13. otros órganos de gestión y/o consultivos:

DESCRIPCIÓN

sistema de nombramiento

12. gerente/administrador funciones DESCRIPCIÓN

sistema de nombramiento

11. dirección: funciones DESCRIPCIÓN

funciones

régimen de funcionamiento

DESCRIPCIÓN

DESCRIPCIÓN

10. órgano ejecutivo de gobierno: Configuración DESCRIPCIÓN REPRESENTATIVIDAD

MIEMBROS

régimen de funcionamiento

DESCRIPCIÓN

funciones DESCRIPCIÓN

9. órgano superior de gobierno: Configuración DESCRIPCIÓN REPRESENTATIVIDAD

MIEMBROSTotal miembros

Total miembros

(NOMBRE DE LA ENTIDAD EVALUADA)

EvAluACIóN EstrAtégICA

1. GOBERNANZA Fecha:

84 85

2. Estructura organizativa

1. Organigrama (formularios de opciones, con cuadro de texto, campo descriptivo e instrucción adjunta): Hay que señalar la opción correspondiente si se dispone de organigrama estratégico (disposición de los RH coordinada con la planificación estratégica) u operativo (RH vinculados a la coyuntura existente), o ambos, si son el mismo. En cualquier caso, debe determinarse su fecha de aprobación.

En cuanto a la modalidad del organigrama, hay que señalar qué modelo se ha seguido (funcional, jerárquico, mixto) y las observaciones que aporten información.

Como anexo habría que adjuntar el organigrama existente (anexo 1).

2. Funcionamiento real / actual (sí/no, campo descriptivo e instrucción adjunta): ¿Existen dife-rencias entre el organigrama en vigencia y el descrito como estratégico? 

En todo caso, hay que describir el funcionamiento genérico actual y adjuntar la configuración real en formato de organigrama (anexo 2).

3. Transición funcionamiento actual – organigrama estratégico (con cuadro de texto y campo descriptivo): En el supuesto de que el organigrama actual y el estratégico no sean el mismo, hay que señalar qué periodo temporal ocupa la transición de un modelo al otro. En el mismo sentido, tienen que enumerarse las medidas a ejecutar a fin de llevar a cabo la transición.

4. Definición de áreas organigrama y asignación personal (cuadros de texto y campo numé-rico): Deben enumerarse las áreas que forman el organigrama estratégico, el personal vinculado a cada una y las subáreas o secciones en las que se divide cada área.

5. Definición de puestos de trabajo (formulario de opciones, campos numéricos e instrucción adjunta): Debe indicarse si se dispone de una relación de puestos de trabajo (RTL) y/o de catálo-go de puestos de trabajo.

Debe indicarse el número de efectivos para cada jerarquía interna (directivos, cargos intermedios, técnicos y auxiliares), a fin de conocer el número total de puestos de trabajo.

Deben anexarse las fichas de puesto de trabajo o el catálogo correspondiente (anexo 3).

6. Perfil del personal propio (campos numéricos y campo descriptivo): Hay que distribuir el nú-mero de trabajadores según categoría (A: técnico superior; B: técnico de gestión; C: administrati-vo; D: auxiliar; E: subalterno) y tipo de contratación, con contrato laboral o estatutario de la propia institución, de las administraciones públicas vinculadas o de entes públicos normativamente su-bordinados que prestan servicios al ente, si procede.

La suma de los subtotales debe corresponder a la cifra de la suma de personal propio.

Se incluye un campo de observaciones para definir las características del colectivo anterior: nú-mero de trabajadores en cesión de servicio por parte de otros, personal propio cedido, división del personal entre entes contratantes, etc.

Hay que definir el número de puestos de trabajo que aparecen en la relación del punto 5 de esta ficha y que se encuentran cubiertos con personal subcontratado a terceras empresas. En el mis-mo sentido, debe describirse la casuística existente.

84 85

7. Sistemas de calidad vigentes (formulario de opciones y campo descriptivo): Si se dispone de un sistema integrado de gestión de la calidad, debe señalarse a qué norma se acoge (ISO 9001/2008, ISO 14001). Si no aparece en el formulario, hay que citar la nomenclatura (Otros) y describir las competencias.

8. Definición de procesos (sí/no, campo numérico, campo descriptivo e instrucción adjunta): Debe indicarse si se dispone de mapa de procesos y cuantificar el número de procesos que se realizan y se tienen relacionados (sólo deben incluirse los que ya se han documentado). En el campo descriptivo, hay que enumerar y hacer una lista de los procesos cuantificados.

Si se dispone del mapa de procesos vigente, hay que incluirlo (anexo 4).

9. Definición de procedimientos (sí/no, campo numérico, campo descriptivo e instrucción ad-junta): Hay que indicar si se dispone de manual de procedimientos y cuantificar el número total de procedimientos que se tienen relacionados (sólo deben incluirse los que ya se han documentado). En el campo descriptivo, debe elaborarse una lista de los procedimientos cuantificados indicando la referencia al proceso al que se encuentran vinculados.

Si se dispone del manual de procedimientos, hay que incluirlo como documento anexo (anexo 5).

86 87

EVALUAC

IÓN

ESTR

ATÉGIC

A

Categorías del personal propio

Número total

repartición categoría laboral

A b C d E

Altos cargos o asimilado

Funcionarios fijos

Funcionarios interinos

Laborales fijos

Laborales temporales

totales

n-2 n-1 n

- Núm. de personal directivo

- Núm. de cargos intermedios

- Núm. de técnicos

- Núm. de auxiliares

Núm. total puestos trabajo

áreas puestos de trabajo vinculados subáreas

1

2

3

4

5

6

7

8

1. organigrama (anexo 1)

2. funcionamiento real / actual (anexo 2)

3. transición funcionamiento actual – organig. estratégico

4. descripción áreas organigra-ma y asignación personal (año n)

5. definición puestos de trabajo (anexo 3)

6. perfil del personal propio (año n)

Estratégico Operativo Fecha de aprobación

Sí No

Previsión temporal

¿Existe una relación de los puestos de trabajo (RLT)?

Número de puestos de trabajo no cubiertos con personal propio

¿Existe un catálogo de los puestos de trabajo?

OBSERVACIONES

DESCRIPCIÓN

Diferencias con el organigrama aprobado:

Tipo de organigrama

Funcional Jerárquico

Mixto

Sí No

Sí No

OBSERVACIONES

DESCRIPCIÓN DIFERENCIAS

DESCRIPCIÓN MEDIDAS

(NOMBRE DE LA ENTIDAD EVALUADA)

EvAluACIóN EstrAtégICA

2. ESTRUCTURA ORGANIZATIVA Fecha:

86 87

EVALUAC

IÓN

ESTR

ATÉGIC

A

7. sistemas de calidad vigentes

8. definición de procesos (anexo 4)

9. definición de procedimientos (anexo 5)

ISO 9001/2008 ISO 14001 Otros (definir)

¿Existe un mapa de procesos? Nº de procesos definidos

¿Existe un manual de procedimientos? Nº de procedimien-tos definidos

Sí No

Sí No

OBSERVACIONES

COMENTARIO

COMENTARIO

(NOMBRE DE LA ENTIDAD EVALUADA)

EvAluACIóN EstrAtégICA

2. ESTRUCTURA ORGANIZATIVA Fecha:

88 89

3. Actividades y público

1. Tipología de actividades (cuadros de texto, formularios de opciones, campos numéricos, campos descriptivos e instrucción adjunta): Se define la información en Enumeración de activida-des, Contabilización por modalidad, Según origen de producción y Según difusión.

• Enumeración de actividades: en este apartado se diferencia lo que son actividades troncales (las definidas en los objetivos normativos del ente) y las demás. Las troncales se dividen entre permanentes (exposición continua de la colección, programación - ciclos estables de tempo-rada, actividades fijas de tipo educativo, de difusión, etc.) y temporales (exposiciones - pro-ducciones temporales con materiales ajenos o propios no de exposición permanente, pro-puestas y actividades puntuales, actos invitados fuera de programación estable, etc.). Hay que distribuir todas las actividades (principalmente de forma individual) correspondientes al último ejercicio (ejercicio n).

• Contabilización por modalidad: en este apartado se clasifican las actividades por modalidad según las siguientes definiciones: escénicas, expositivas, educativas, investigación, publica- ciones, jornadas/congresos y otras. En caso de disponer de informe de las actividades de los ejercicios en cuestión, debe incluirse (anexo 1). Asimismo, hay que diferenciarlas anualmente (ejercicios n-2, n-1 y n) y señalar si se trata de actividades permanentes o temporales (o am-bos); la información solicitada incluye el número de actividades para cada modalidad y, para-lelamente, el número de veces que estas se han repetido (número de repeticiones, sesiones, etc.). A fin de detallar, si procede, la información precedente, se incluye un apartado de obser-vaciones.

• Según origen de producción: en este apartado la metodología referente al origen de la pro-ducción se racionaliza mediante las siguientes definiciones: producción propia, actividades ajenas y actividades coproducidas (catalanas, resto del Estado, internacionales). Siguiendo el modelo de cuadro del apartado anterior, hay que diferenciar las actividades anualmente e in-dicar el número por modalidad y las veces que estas se han repetido. Se incluye un apartado de observaciones para detallar la información precedente.

• Según difusión: las actividades se clasifican por la proyección real que han tenido a lo largo de los tres ejercicios, diferenciándolas en tres grupos: proyección internacional (actividades que han circulado fuera del Estado español), compartidas en red (su itinerario se circunscribe a los centros vinculados que el ente articula) e itinerantes (actividades que circulan por el ám-bito catalán y el estatal). Siguiendo el modelo del cuadro del apartado anterior, hay que dife-renciar las actividades anualmente, indicando el número por modalidad y las veces que estas se han repetido. Se incluye un apartado de observaciones para detallar la información prece-dente.

2. Usuarios / públicos (por modalidad) (sí/no, campos numéricos, con cuadro de texto, campos descriptivos e instrucción adjunta):

• Informe: debe indicarse si se dispone de informes periódicos de público y la fecha del último disponible; se incluye un apartado de observaciones para detallar la información precedente. Si se dispone de análisis de público, debe anexarse (anexo 2).

• Contabilización de públicos: hay que distribuir el número de visitantes (periodizados por ejer-cicios) entre las siguientes modalidades de actividad: permanentes, temporales, educativas y otras. Hay que diferenciar la citada información entre los visitantes que han accedido por

88 89

entrada de pago y en cualquier formato de gratuidad (invitaciones, políticas de gratuidad, horario y fecha de libre acceso, etc.). Si es posible y se dispone del número de grupos y de sus integrantes, habría que añadir el porcentaje de visitantes que han accedido en grupo respecto a la totalidad de los visitantes, tanto si han accedido de forma gratuita como median-te pago. Se incluye un apartado de observaciones para detallar la información precedente.

• Origen del público: por años, hay que distribuir el número de visitantes según procedencia (Cataluña, resto del Estado, internacional), con el número total y el porcentaje de estos que realizaron la reserva o accedieron en grupo. Se incluye un apartado de observaciones para detallar la información precedente, en especial los grupos nacionales de mayor incidencia porcentual.

3. Precios (campos numéricos, cuadros de texto, sí/no, campos descriptivos e instrucción adjun-ta): Deben indicarse los diferentes precios de acceso según la modalidad de actividad, conside-rando cuál es su valor medio y definiendo la casuística del cálculo de este importe. En el mismo sentido, hay que anexar la lista de precios detallada de las actividades realizadas en el último ejercicio analizado (anexo 3).

• Estrategias vinculadas con la política de precios: a fin de plasmar en la ficha los criterios que definen la política de precios del ente, hay que señalar y definir si se siguen las siguientes estrategias: discriminación temporal (por temporadas, días u horario, con objeto de propiciar más consumo en momentos de menor demanda), discriminación por espacio (precio por lo-calidad en la sala, por diferentes espacios de una muestra, etc.), discriminación por segmen-tos de públicos en función de objetivos sociales (precios adaptados a situaciones económicas o familiares de especial protección), en función de objetivos políticos (para potenciar la afluen-cia de segmentos de interés específico), en función de objetivos de marketing (para separar por grupos de características comunes que interesa atraer o fidelizar), políticas de precios por canal de venta (si hay definidos precios específicos por vía de adquisición ajena al ente), polí-ticas de gratuidad (criterios que enmarcan la entrada sin precio) y otros (otras estrategias que afectan al precio de la entrada y que no se encuentran recogidas en las anteriores). Se incluye un apartado de observaciones para ampliar la información precedente.

4. Visibilidad (sí/no, con cuadros de texto, campos numéricos, campos descriptivos e instrucción adjunta):

• Impacto de las acciones de comunicación: periodizando los tres últimos ejercicios sujetos a análisis, hay que añadir el número de visitas y consultas a la página web y el número de se-guidores en las redes sociales. En referencia a las herramientas de difusión de la actividad, debe indicarse el número de boletines electrónicos y de boletines en formado papel que se publican al año (número de ediciones diferentes), así como el número de receptores (mailing) que los reciben. En cuanto al número de noticias aparecidas en los medios (menciones indi-viduales, artículos, columnas, cuñas no publicitarias, etc.), hay que indicar las referentes a los canales más habituales (televisión, radio, prensa y medios digitales) y diferenciar, por origen de emisor, si se trata de impactos en Cataluña o en España o son de ámbito internacional. Se incluye un apartado de observaciones para ampliar la información precedente.

• Impacto de la actividad de investigación: periodizando los tres últimos ejercicios sujetos a análisis, hay que diferenciar entre publicaciones, participación en congresos, conferencias y actividades especializadas e interacción con otros agentes. En referencia a las publicaciones, hay que enumerar las revistas de investigación que se editan (cabeceras), la suma de los nú-meros publicados durante el ejercicio de cada una de las mismas y la tirada media alcanzada entre todas. En cuanto a los monográficos, debe incluirse el número de monografías publica-

90 91

das y la tirada media de todos ellos. Respecto a los artículos de investigación realizados conjunta o individualmente por personal propio del ente, hay que indicar cuántos han apare-cido en publicaciones ajenas y cuántos en publicaciones propias. En lo que se refiere a pro-ducción del personal propio en congresos y actos científicos, cabe mencionar el número de ponencias y el de conferencias, la participación en congresos y cualquier otra actividad de difusión científica presencial. Independientemente de las anteriores, hay que citar el apoyo científico-técnico que el ente y su personal especializado prestan a terceros, indicando el número de asesoramientos realizados, la cantidad de préstamos de obra, cesión temporal de fondo o bienes de la colección del ente y otros varios (colaboraciones con investigadores, apoyo a trabajos de investigación, etc.). Se incluye un apartado de observaciones para am-pliar la información precedente.

90 91

EVALUAC

IÓN

ESTR

ATÉGIC

A

Actividades troncalesotras actividades

permanentes temporales

1

2

3

4

5

6

7

8

9

10

1. tipología de actividades Enumeración de actividades (año n)

Contabilización por modalidad (anexo 1)

según origen de producción

Per

man

ente

s

Tem

po

rale

s año n-2 año n-1 año n

Activi- dades

Repeti-ción

Activi- dades

Repeti-ción

Activi- dades

Repeti-ción

Escénicas

Expositivas

Investigación

Publicaciones

Jornadas/ Congresos

Otras

año n-2 año n-1 año n

Activ. Rep. Activ. Rep. Activ. Rep.

Producción propia

Actividades ajenas

Activida-des copro-ducidas

Catalanas

Resto Estado

Internacionales

OBSERVACIONES

OBSERVACIONES

(NOMBRE DE LA ENTIDAD EVALUADA)

EvAluACIóN EstrAtégICA

3. ACTIVIDADES Y PÚBLICO Fecha:

92 93

EVALUAC

IÓN

ESTR

ATÉGIC

A

Actividad principal

Actividad temporal

Actividades educativas

Otras

Total% en grupo

Total% en grupo

Total% en grupo

Total% en grupo

n-2 Pago % % % %

Invitaciones % % % %

n-1 Pago % % % %

Invitaciones % % % %

n

Pago % % % %

Invitaciones % % % %

año n-2 año n-1 año n

Total % en grupo

Total % en grupo

Total % en grupo

Catalunya % % %

Resto del Estado % % %

Internacionales % % %

Datos año n Explicación

Precio medio actividad general €

Precio medio actividad temporal €

Precio medio actividades educativas €

Precio otras actividades €

€

Actividades según difusión

Contabilización de públicos

origen del público

3. precios (anexo 3)

año n-2 año n-1 año n

Activ. Rep. Activ. Rep. Activ. Rep.

Proyección internacional

Compartidas en red

Itinerantes

OBSERVACIONES

2. usuarios / públicos Informe (anexo 2)

¿Se realiza un informe periódico de públicos / usuarios?

> año de la última publicaciónSí No

OBSERVACIONES

OBSERVACIONES

OBSERVACIONES

(NOMBRE DE LA ENTIDAD EVALUADA)

EvAluACIóN EstrAtégICA

3. ACTIVIDADES Y PÚBLICO Fecha:

92 93

EVALUAC

IÓN

ESTR

ATÉGIC

A

año n-2 año n-1 año n

Página web (número):

- visitas

- consultas

Redes sociales (número de seguidores):

- Facebook

- Twitter

- Otras

Boletines y herramientas de difusión de la actividad:

- Boletín electrónico Nº año

Número de receptores

- Boletines en papel Nº año

Número de receptores

Medios (número de noticias aparecidas):

- Televisión Cataluña

España

Internacional

- Radio Cataluña

España

Internacional

- Prensa Cataluña

España

Internacional

- Medios digitales Cataluña

España

Internacional

Estrategias vinculadas con la política de precios

4. visibilidad

Impacto de las acciones de comuni-cación

OBSERVACIONES

Sí No Observaciones

Discriminación temporal

Discriminación por espacio

Discriminación por segmentos de públicos

- En función de objetivos sociales

- En función de objetivos políticos

- En función de objetivos de marketing

Política de precios por canal de venta

Política de gratuidad

Otras

(NOMBRE DE LA ENTIDAD EVALUADA)

EvAluACIóN EstrAtégICA

3. ACTIVIDADES Y PÚBLICO Fecha:

94 95

EVALUAC

IÓN

ESTR

ATÉGIC

A

Impacto de la actividad de investigación

año n-2 año n-1 año n

Publicaciones:

- Revistas de investigación Cabeceras editadas

Números publicados

Tirada media por número

- Monográficos (catálogos, libros, etc.)

Números publicados

Tirada media por número

- Artículos de investigación Número de artí-culos en publica-ciones ajenas

Número de artí-culos en publica-ciones propias

- Otras

Participación en congresos, conferencias y actividades especializadas (número):

- Ponencias presentadas

- Conferencias realizadas

- Participación en congresos

- Otras

Interacción con otros agentes (número de acciones realizadas)

- Asesoramiento técnico

- Préstamo de obras

- Otras

OBSERVACIONES

(NOMBRE DE LA ENTIDAD EVALUADA)

EvAluACIóN EstrAtégICA

3. ACTIVIDADES Y PÚBLICO Fecha:

94 95

4. Estructura financiera y presupuestaria

1. Ingresos propios (campos numéricos, campos descriptivos y formularios de opciones):  Distribución de los ingresos propios de los tres últimos ejercicios sujetos a análisis.

Se diferencian dos apartados: uno de ingresos propios de explotación y otro relativo a Mecenazgo y patrocinio.

Los ingresos propios de explotación se articulan en cinco apartados:

• Ingresos por actividades: hay que enumerar y diferenciar aquellas actividades que sea viable cuantificar (entradas generales, por tipo de espectáculo o servicio, venta de merchandising, etc.) aprovechando los campos libres para su definición. Pueden agruparse por modalidad de actividad y si son de tipo permanente o temporales (escénicas, expositivas, educativas, de investigación, publicaciones, jornadas, otras).

• Ayudas obtenidas para proyectos: se refieren a subvenciones recibidas de carácter finalista y que no proceden de los consorciados. Hay que detallar los emisores de la ayuda y los proyec-tos de apoyo vinculados.

• Alquiler de espacios: corresponde a ingresos propios del arrendamiento y/o cesión para pla-zos cortos de los espacios de los edificios gestionados.

• Concesiones administrativas: hay que detallar los servicios y espacios de explotación por los que se cobra una tasa y/o un canon con los importes de ingreso vinculados.

• Otras actividades: hay que añadir los demás conceptos de ingreso no detallados previamen-te, excepto mecenazgo y aportaciones públicas.

Se incluye un campo descriptivo de observaciones en el que deben explicarse las características de las concesiones administrativas (condiciones económicas y temporales), los espacios ofreci-dos a terceros y cualquier otra información de interés.

En referencia a Mecenazgo y patrocinio, hay que distinguir en los tres últimos ejercicios sujetos a evaluación las aportaciones realizadas de carácter general, como contribución global a la institu-ción y a su funcionamiento, así como las específicas o por actividades, dirigidas a financiar de forma finalista una actividad concreta. En ambos supuestos, indicando su carácter (Generales / Por actividades), en el apartado Detalle patrocinios debe indicarse por separado cada una de las contribuciones realizadas: en el apartado Nombre, el patrocinador y el proyecto patrocinado (si es por actividad), con el importe vinculado al ejercicio o ejercicios en vigor. Se incluye un campo descriptivo de observaciones para ampliar la información.

2. Aportaciones públicas (campos numéricos y campo descriptivo): Para los ejercicios n-2, n-1 y n deben cuantificarse los ingresos presupuestarios, en total y por administraciones públicas, diferenciando las cantidades destinadas a gasto corriente y de capital. En el apartado Otros (loca-les, europeas, etc.) hay que identificar al emisor y la aportación correspondiente. No deben incluir-se las transferencias resultado de subvenciones y que, por naturaleza, no se consideran aporta-ciones presupuestarias: tipo de ayuda, carácter finalista u órgano subvencionador (no consorciado o no vinculado normativamente al ente). Se incluye un campo descriptivo de obser-vaciones para ampliar la información, si procede.

96 97

3. Gastos (sí/no, campos numéricos y campo descriptivo): Hay que señalar si existe algún siste-ma de control de costes de forma específica por proyecto.

Paralelamente, hay que distribuir los gastos en los últimos tres ejercicios evaluados según su na-turaleza:

Gasto de estructura: son los costes inherentes al funcionamiento de la empresa, vinculados a las funciones programáticas y considerados como indirectos. Incluyen gastos del personal de planti-lla (nóminas del personal, cotizaciones sociales, formación y otros, excepto los relativos a contra-tos de obra y servicio), gastos de publicidad y comunicación corporativa (se excluyen los gastos finalistas relativos a actividades), seguros generales (excluidos los de actividades o actos tempo-rales), mantenimiento, suministros y seguridad (excepto por actos temporales o eventos puntua-les), gastos de gestión y administrativos realizados por personal propio y no relacionables con actividades puntuales y las amortizaciones de inmovilizado y otros.

Gasto directo por actividades: se entienden por gastos directos aquellos vinculados expresamen-te a producción y a difusión de los bienes o servicios, como por ejemplo consumos (coste de las ventas) y servicios externalizados, incluyendo contratos de personal para obra y servicio y exclu-yendo el resto de personal propio, que se incluirán como estructura. A efectos del modelo de análisis, hay que enumerar y diferenciar los que sea posible aprovechando los campos libres para su definición; en caso contrario, tienen que agruparse por modalidad de actividad y si son de tipo permanente o temporales (escénicas, expositivas, educativas, de investigación, publicaciones, jornadas, otras).

Se incluye un campo descriptivo de observaciones para ampliar la información, si procede.

4. Detalle presupuestario (campos numéricos, campo descriptivo e instrucción adjunta): Deben indicarse de modo resumido los ingresos, los gastos y el resultado presupuestario de los ejerci-cios n-2, n-1 y n, incluyendo las observaciones correspondientes a la información aportada.

Hay que anexar los presupuestos ejecutados a nivel de partida de los ejercicios en cuestión (anexo 1).

5. Detalle económico-financiero (campos numéricos y campo descriptivo): A partir de los datos del balance de situación de los ejercicios n-2, n-1 y n, hay que anotar los valores totales del activo / pasivo. A continuación, debe definirse el importe del inmovilizado material (valor de los bienes patrimoniales materiales), dividiéndolo entre el de tipo inmobiliario (edificio y terreno, si procede), el propio de los bienes custodiados en su caso (fondos/colección), el valor físico generado por las producciones (mobiliario y material de exposiciones temporales, atrezzo y escenografía de pro-ducciones escénicas, etc.) y el valor contable de otro inmovilizado material que aporte patrimonio al ente, enumerando los conceptos. Todos los importes tendrán que haber sido actualizados descontando las amortizaciones correspondientes.

Hay que indicar el valor total del pasivo periodizado en los ejercicios citados, diferenciando los importes que corresponden a deuda a corto plazo (incluyendo proveedores, varios acreedores, impuestos y cotizaciones pendientes y periodizaciones) y a deuda a largo plazo.

Se incluye un campo descriptivo de observaciones para ampliar la información.

Hay que anexar los balances de situación (tres dígitos) de los ejercicios citados (anexo 2).

96 97

EVALUAC

IÓN

ESTR

ATÉGIC

A

año n-2 año n-1 año n

Importe total ingresos propios € € €

Ingresos por actividades € € €

- € € €

- € € €

- € € €

- € € €

- € € €

- € € €

- € € €

- € € €

Ayudas logradas para proyectos € € €

- € € €

- € € €

- € € €

Alquiler de espacios € € €

Concesiones administrativas € € €

- € € €

- € € €

- € € €

Otras actividades € € €

- € € €

- € € €

- € € €

1. Ingresos propios

mecenazgo y patrocinio

detalle patrocinios

OBSERVACIONES

OBSERVACIONES

año n-2 año n-1 año n

Importe total € € €

generales € € €

por actividades € € €

generalpor

actividadNombre mecenas-patrocinador

Actividad financiadaImporte aportado

año n-2 año n-1 año n

/ € € €

/ € € €

/ € € €

/ € € €

(NOMBRE DE LA ENTIDAD EVALUADA)

EvAluACIóN EstrAtégICA

4. ESTRUCTURA PRESUPUESTARIA Y FINANCIERA Fecha:

98 99

EVALUAC

IÓN

ESTR

ATÉGIC

A

año n-2 año n-1 año n

Importe total de ingresos aportaciones públicas € € €

- corrientes (cap. IV) € € €

- capital (cap. VII) € € €

Generalitat Catalunya

corrientes € € €

capital € € €

Ayuntamiento corrientes € € €

capital € € €

Diputación corrientes € € €

capital € € €

Administración General Estado

corrientes € € €

capital € € €

Otras € € €

corrientes € € €

capital € € €

corrientes € € €

capital € € €

año n-2 año n-1 año n

Importe total gasto € € €

- Gasto estructura € € €

- Personal € € €

- Gestión y administración € € €

- Gastos de mantenimiento € € €

- Publicidad y comunicación € € €

- Seguros generales € € €

- Amortizaciones € € €

- Otros: € € €

€ € €

€ € €

2. Aportaciones públicas

3. gastos

OBSERVACIONES

¿Existe algún control de costes para proyectos?

Sí No

(NOMBRE DE LA ENTIDAD EVALUADA)

EvAluACIóN EstrAtégICA

4. ESTRUCTURA PRESUPUESTARIA Y FINANCIERA Fecha:

98 99

EVALUAC

IÓN

ESTR

ATÉGIC

A

Gasto directo por actividades € € €

- € € €

- € € €

- € € €

- € € €

- € € €

- € € €

- € € €

- € € €

OBSERVACIONES

OBSERVACIONES

OBSERVACIONES

año n-2 año n-1 año n

- Ingresos € € €

- Gastos € € €

Resultado presupuestario € € €

año n-2 año n-1 año n

Total activo/pasivo € € €

Valor bienes patrimoniales materiales € € €

Edificio € € €

Fondos/colección € € €

Producciones € € €

Otros € € €

€ € €

€ € €

€ € €

Deuda a corto plazo € € €

Deuda a largo plazo € € €

4. detalle presupuestario (anexo 1)

5. detalle económico-financiero (anexo 2)

(NOMBRE DE LA ENTIDAD EVALUADA)

EvAluACIóN EstrAtégICA

4. ESTRUCTURA PRESUPUESTARIA Y FINANCIERA Fecha:

100 101

5. planificación estratégica

1. Plan estratégico vigente (sí/no, cuadros de texto, formulario de opciones, campos descripti-vos e instrucción adjunta): ¿Hay un plan estratégico en vigor? En caso afirmativo, deben citarse la fecha de la firma, los ejercicios de vigencia (desde cuándo y hasta qué año perdura) y la fecha de revisión, si consta.

En cuanto a su aprobación, debe señalarse si consta firmado por los participantes e identificarlos.

En cuanto a contenidos, hay que definir brevemente la misión, enumerar los ejes estratégicos básicos y, en el tercer campo descriptivo, resumir los objetivos de cada ámbito previamente enu-merado.

Deben incluirse, si procede, las observaciones que permitan ampliar las informaciones previas y adjuntar el documento base del Plan Estratégico (anexo 1).

2. Contrato del programa vigente (sí/no, cuadros de texto, formulario de opciones, campos descriptivos e instrucción adjunta): ¿Hay un contrato-programa en vigor? En caso afirmativo, debe citarse la fecha de la firma y la vigencia.

En cuanto a la aprobación, debe indicarse si consta firmado por los participantes e identificarlos.

En cuanto a contenidos, deben enumerarse los objetivos estratégicos, resumir los objetivos ope-rativos y enumerar los indicadores.

Hay que incluir, si procede, las observaciones que permitan ampliar las informaciones previas y adjuntar el documento del contrato-programa en el que aparezcan en detalle los objetivos y los indicadores que los desarrollan (anexo 2).

3. Planificación operacional (sí/no, cuadros de texto, formulario de opciones e instrucciones adjuntas): ¿Se ha detallado algún plan de contingencias anual donde se detallen variables (econó-micas, operativas, políticas, legales) que modifiquen las condiciones previstas en el presupuesto anual o el contrato-programa? En caso afirmativo, hay que incluir la fecha de redacción, adjuntar el documento correspondiente e incluir, si procede, las observaciones que permitan ampliar la información solicitada.

¿Se ha compilado un plan de operaciones o plan funcional anual que detalle las actuaciones con-cretas, como se prevé llevar a cabo y su periodización a lo largo del ejercicio? En caso afirmativo, hay que añadir la fecha de redacción y los documentos que forman parte e incluir, si procede, las observaciones que permitan ampliar la información solicitada.

En caso de disponer de alguno de los documentos citados, hay que adjuntarlo (anexo 3).

4. Plan de marketing (sí/no, cuadros de texto): ¿Existe un plan de marketing redactado y actua-lizado que aporte actuaciones respecto a los datos del informe de público? En caso afirmativo, debe indicarse la periodicidad de la actualización del plan, así como el año de elaboración del último estudio. Se incluye un apartado de observaciones para ampliar la información precedente. Si se dispone de él, debe anexarse el apartado correspondiente al DAFO, segmentación del mer-cado, posicionamiento y público objetivo (anexo 4).

100 101

5. Acuerdos y convenios (cuadros de texto): Hay que indicar el número de convenios firmados con el sector y la naturaleza de los mismos, con participantes y la descripción básica de los obje-tivos.

Se tienen que relacionar las instituciones que forman red con el equipamiento evaluado.

Hay que describir cuáles son las acciones o colaboraciones efectuadas con instituciones que no se encuentran en red y no están incluidas singularmente en ningún convenio o acuerdo.

102 103

EVALUAC

IÓN

ESTR

ATÉGIC

A

1. plan estratégico vigente (anexo 1)

2. Contrato-programa vigente (anexo 2)

3. planificación operacional (anexo 3)

Sí No

Sí No

Sí No

Sí No

Fecha de firma Ejercicios vigencia

revisión

Fecha de la firma vigencia

fecha de redacción

fecha de redacción

definir definir

definir

definir

Órgano superior de Gobierno Administraciones públicas

Otros participantes

Contenidos Misión

Ámbitos estratégicos

Objetivos por ámbito

Forma de aprobación:

documentos incluidos

Plan de contingencias anual

Plan de operaciones/funcional

Contenidos Objetivos estratégicos

Objetivos operativos

Indicadores evidencia

Órgano superior de Gobierno Entidad/ades firmante/s

relación expedientes actividad/proyecto Otra documentación anexa

OBSERVACIONES

OBSERVACIONES

OBSERVACIONES

Aprobación:

(NOMBRE DE LA ENTIDAD EVALUADA)

EvAluACIóN EstrAtégICA

5. PLANIFICACIÓN ESTRATÉGICA Fecha:

102 103

EVALUAC

IÓN

ESTR

ATÉGIC

A4. plan de marketing

(anexo 4)

5. Acuerdos y convenios

¿Existe un plan de marketing?

Periodicidad modificación Año de elaboración del último plan

años

OBSERVACIONES

Instituciones en red

Colaboraciones con terceros

Número de convenios con el sector

DESCRIPCIÓN CONVENIOS (participantes y objeto)

Sí No

(NOMBRE DE LA ENTIDAD EVALUADA)

EvAluACIóN EstrAtégICA

5. PLANIFICACIÓN ESTRATÉGICA Fecha:

104 105

INdICAdorEs CuANtItAtIvos

Los indicadores cuantitativos propuestos incluyen aspectos genéricos y válidos para todo tipo de actividad y otros más específicos. En este sentido, con el fin de concretar su idoneidad en los diferentes modelos de equipamiento cultural, se incorpora una tabla de las actividades más co-munes realizadas desde los entes del sector. 

Los identificadores de los tipos de actividad cultural son los siguientes:

A Artes escénicas: programación B Artes escénicas: producción C Actividad museística y expositiva D Música: programación E Música: producción F Actividades de biblioteca y/o archivo G Filmoteca y exhibición cinematográfica H Investigación I Restauración y conservación J Actividades educativas y formación profesional K Actividades sociales L Actividades de fomento del espíritu crítico

ANExo II: tAblAs dE INdICAdorEs

104 105

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

1. Gobernanza y coordinación institucional

30

número de cesiones o préstamos en el territorio

Cantidad de bienes patrimoniales del fondo del ente cedidos temporalmente en régimen de préstamo a terceros ubicados en el espacio geográfico de influencia (nacional, regional, etc.). Indicador de eficiencia en la acción territorial

• • •

69

número de entidades públicas colaboradoras

Cantidad de instituciones públicas o entes vinculados con las que se han establecido programas o actividades de participación y colaboración conjunta. Indicador de eficiencia en la acción territorial

• • • • • • • • • • • •

70número de colaboraciones institucionales

Cantidad de proyectos o actividades realizadas con instituciones públicas o entes vinculados. Indicador de eficiencia en la acción territorial

• • • • • • • • • • • •

2. Economía, financiación y gestión del gasto

1

total ingresos % diferencia respecto a año n-2

Cantidad total de ingresos obtenidos (aportaciones de terceros y propios). Porcentaje comparativo a partir de los ingresos del primer ejercicio cuantificado

• • • • • • • • • • • •

116

total ingresos de explotación % diferencia respecto a año n-2

Cantidad total de ingresos obtenidos con la finalidad exclusiva de financia-ción de la estructura o de la actividad (explotación), con exclusión de las inversiones. Porcentaje comparativo a partir de los ingresos del primer ejercicio cuantificado

• • • • • • • • • • • •

16

ingresos por actividad ingresos por actividades / número de actividades

Importe medio obtenido por cada actividad realizada. Mide el aprovechamiento económico

• • • • • • • • •

17

ingresos por sesión – actuación ingresos por actividades / número de actuaciones

Importe medio obtenido por cada sesión – repetición de las actividades realizadas. Mide el rendimiento obtenido de las producciones

• • • • • • • •

106 107

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

96

ingresos por actividad escénica ingresos de actividades escénicas / número de actividades escénicas

Cálculo de la media aritmética de los ingresos obtenidos por cada actividad escénica. Mide el aprovechamiento económico

• • •

97

ingresos por actividad educativa ingresos de actividades educativas / número de actividades educativas

Cálculo de la media aritmética de los ingresos obtenidos por cada actividad educativa. Mide el aprovechamiento económico

•

75

ingresos por alquiler de espacios % diferencia respecto a año n-2

Cantidades correspondientes al benefi-cio por alquiler de espacios propios del equipamiento. Baremo de la autofinan-ciación del ente y del rendimiento de las instalaciones. Porcentaje comparativo a partir del primer ejercicio cuantificado

• • • • •

2

% autofinanciación ingresos propios / ingresos totales

Proporción de ingresos propios respecto a la totalidad de ingresos, en los que se incluye la aportación institucional

• • • • • • • • • • • •

3

% patrocinio privado patrocinio privado / ingresos totales

Proporción de patrocinio privado sobre la totalidad de ingresos

• • • • • • • • • • • •

5

% aportaciones públicas ingresos presupuestarios / ingresos totales

Proporción de aportaciones públicas respecto al total de ingresos de la institución

• • • • • • • • • • • •

4

% ingresos actividades ingresos de actividades / ingresos totales

Proporción de ingresos generados por las actividades realizadas respecto al total de ingresos

• • • • • • • • •

82

% taquillaje (I) ingresos por taquillaje / ingresos propios

Porcentaje de ingresos por entradas (taquillaje) en la totalidad de ingresos propios que genera (por patrocinios, alquileres, etc.). Medida de impacto de la aportación directa del público visitante

• • • • • •

106 107

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

83

% taquillaje (II) ingresos por taquillaje / ingresos totales

Porcentaje de ingresos por entradas (taquillaje) respecto a todos los ingresos de la institución, tanto propios como de aportación institucional. Medida de impacto de la aportación directa del público visitante

• • • • • •

93

gasto en personal % diferencia respecto a año n-2

Importe total del gasto en personal propio (sueldo, seguros sociales y otros). Porcentaje comparativo a partir del primer ejercicio cuantificado. Indicador de la evolución en el gasto específico

• • • • • • • • • • • •

94

gasto en estructura (excepto personal) % diferencia respecto a año n-2

Suma del gasto en estructura (gastos fijos sin incluir el personal). Porcentaje comparativo a partir del primer ejercicio cuantificado. Indicador de la evolución en el gasto específico

• • • • • • • • • • • •

95

gasto en actividades % diferencia respecto a año n-2

Suma de los gastos relativos a actividades (gastos variables destinados a producciones). Porcentaje comparativo a partir del primer ejercicio cuantificado. Indicador de la evolución en el gasto específico

• • • • • • • • • • • •

6

coeficiente de estructura gasto estructural / gasto directo

Índice que mide los gastos fijos (estruc-tura) respecto a las variables (gastos por actividades). Indica la eficiencia de la organización: cuanto más elevado es el índice, más costosa es en relación con el servicio que produce

• • • • • • • • • • • •

7

ratio endeudamiento deuda total / fondos propios

Proporción de deudas respecto al patrimonio de la institución. Indicador patrimonial: cuanto menor es el valor, mayor es el endeudamiento

• • • • • • • • • • • •

14

índice de eficiencia de actividades ingresos de actividades / gastos actividades

Ratio de relación entre ingresos y coste de las actividades. Si es menor que 1, indica déficit

• • • • • • • • • • •

11

coste total por usuario gasto total / número de usuarios

Coste total del equipamiento por cada visitante recibido. Índice de rentabilidad unitaria

• • • • • • • • • •

108 109

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

117

coste total por usuario (dentro y fuera del equipamiento) gasto total / número de usuarios de actividades propias dentro y fuera del equipamiento

Coste total del equipamiento por cada visitante recibido (dentro y fuera del equipamiento). Índice de rentabilidad unitaria

• • • • • • • • • •

12

coste de estructura por usuario gasto de estructura / número de usuarios

Coste de la estructura por cada visitante recibido. Medido por usuarios del equipamiento. Índice de rentabilidad del equipamiento

• • • • • • • • • •

118

coste de estructura por usuario (dentro y fuera del equipamiento) gasto de estructura / número de usuarios de actividades propias dentro y fuera del equipamiento

Coste de la estructura por cada visitante recibido. Medido por usuarios del equipamiento en el equipamiento y fuera de él (actividades propias). Índice de rentabilidad de la entidad

• • • • • • • • • •

13

coste de personal por usuario gasto de personal / número de usuarios

Coste en personal que representa cada visitante recibido. Medido por usuarios del equipamiento. Índice de productividad

• • • • • • • • • •

119

coste de personal por usuario (dentro y fuera del equipamiento) gasto de personal / número de usuarios dentro y fuera del equipamiento

Coste en personal que representa cada visitante recibido. Medido por usuarios del equipamiento en el equipamiento y fuera de él (actividades propias). Índice de productividad

• • • • • • • • • •

108 109

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

18

coste de las actividades paralelas por usuario gastos actividades / número de usuarios de actividades paralelas

Importe unitario (por usuario) del coste de las actividades no troncales paralelas a las desarrolladas

• • • • • • • • • • • •

8

% endeudamiento total deudas / pasivo y patrimonio neto

Porcentaje de deuda sobre el pasivo. Indicador patrimonial; cuanto menor es el valor, más saneada está la institución

• • • • • • • • • • • •

9

% cofinanciación de actividades importe cofinan-ciado por activi-dades / gasto de actividades

Proporción de las actividades cofinan-ciadas por un tercero respecto al total del gasto en actividades. Muestra el peso de las colaboraciones externas

• • • • • • • • • • • •

10

% externalización importe subcontratado / gasto total

Proporción de gastos contratados a terceros respecto a la totalidad del gasto

• • • • • • • • • • • •

15

% gasto de actividades gasto en activida-des / gasto total

Porcentaje de los gastos que corres-ponde a las actividades desarrolladas. Indicador del peso de la dotación destinada a actividades (educativas, investigación, divulgación, etc.)

• • • • • • • • • • • •

108

% control de costes diferencia entre coste real y coste previsto / coste real

Valor porcentual representativo del margen de desviación sobre el coste previsto de los proyectos llevados a cabo. Indicador de eficiencia

• • • • • • • • • • • •

107

% rendimiento publicidad gasto en publici-dad y comunica-ción / ingresos propios

Relación porcentual entre el gasto ocasionado por publicidad y comunica-ción y los ingresos propios (taquillaje, patrocinio, alquiler de espacios, etc.). Cuanto menor es el valor, mayor es el rendimiento de las actuaciones publicitarias. Indicador de eficiencia

• • • • • • •

110 111

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

80

% valor de la colección sobre fondos propios valor colección / fondos propios

Porcentaje del peso del valor económico de la colección respecto al valor del patrimonio que posee el ente

• • • •

81

% valor de la colección sobre el activo valor colección / activo

Porcentaje del peso del valor económico de la colección respecto al valor total de los bienes y derechos del ente. Cuantifica el valor de la colección respecto a la totalidad de los derechos de que dispone (en patrimonio o deudores)

• • • •

3. Estructura organizativa e interacción sectorial

47

número de actividades: coproducciones catalanas

Cantidad de actividades realizadas con la colaboración de otro participante del territorio. Indica integración y cooperación con el sector

• • • • • •

48

número de sesiones de coproducciones catalanas

Cantidad de repeticiones realizadas de una actividad coproducida con la colaboración de una entidad del territorio. Mide la aceptación y la difusión del proyecto conjunto

• • • • • •

49

% coproducciones catalanas número de producciones catalanas / total producciones

Porcentaje de producciones con colaboraciones del territorio respecto al número total de producciones (propias y con terceros) realizadas. Cuantifica la importancia de las coproducciones nacionales para el equipamiento

• • • • • •

50

número de actividades: coproducciones estatales

Cantidad de actividades realizadas con la colaboración de otro participante del Estado. Indica integración y coopera-ción con el sector en el ámbito estatal

• • • • • •

51

número de sesiones de actividades coproducciones estatales

Cantidad de repeticiones realizadas de una actividad coproducida con la colaboración de una entidad estatal. Índice de eficiencia de la actividad

• • • • • •

52

% coproducciones estatales número de coproducciones estatales / total producciones

Porcentaje de producciones con colaboraciones estatales respecto al número total de producciones (propias y con terceros) realizadas. Cuantifica la importancia de las coproducciones estatales para el equipamiento

• • • • • •

110 111

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

53

número de acciones y actividades compartidas en red

Cantidad de actividades y acciones realizadas con la colaboración de la red de equipamientos vinculados. Indica coordinación y eficacia

• • • • • • • •

54número de sesiones com-partidas en red

Cantidad de repeticiones realizadas de una actividad coproducida con la red. Medida de eficacia de las actividades comunes

• • • • • •

55

% producciones compartidas en red número de producciones en red / total producciones

Porcentaje de producciones con la red respecto al número total de produccio-nes (propias y con terceros) realizadas. Cuantifica la importancia de la existen-cia de la relación con los equipamientos vinculados

• • • • • •

56

número de sesiones de producciones itinerantes

Cantidad de repeticiones realizadas por una actividad propia itinerante en otros equipamientos. Medida de eficacia de las producciones propias

• • • • • • •

57

% producciones itinerantes número de producciones itinerantes / total producciones

Porcentaje de producciones que van de gira respecto al número total de producciones (propias y con terceros) realizadas. Cuantifica la importancia de las itinerantes respecto al total de producciones

• • • • • • •

4. Actividades y públicos

24

% ocupación actividades número de usuarios / aforo

Porcentaje de público respecto al total de aforo. Indicador de rendimiento y eficacia

• • • • • • • •

66

número de actividades principales % diferencia respecto al año n-2

Cantidad de actividades principales propias (conciertos, exposiciones, actuaciones, etc.). Porcentaje compara-tivo a partir del primer ejercicio cuantifi-cado. Indicador de eficacia

• • • • • • • • • • • •

29

número de actividades principales fuera del equipamiento % diferencia respecto al año n-2

Cantidad de actividades principales propias (conciertos, exposiciones, actuaciones, etc.) que se han realizado fuera de las instalaciones del equipa-miento. Porcentaje comparativo a partir del primer ejercicio cuantificado. Indicador de eficacia, medida de difusión y aceptación de las actividades realizadas

• • • • • • •

112 113

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

67

número de sesiones – repeticiones de actividades

Cantidad total de repeticiones de las actividades o producciones (conciertos, talleres educativos, etc.). Indicador de eficiencia

• • • • • • •

68

% actividades producción propia número de actividades propias / número de actividades totales

Porcentaje de producciones propias respecto al número total de produccio-nes realizadas. Cuantifica la importancia de la producción interna para el equipa-miento. Indicador de eficiencia

• • • • • • • •

92

número de producciones – actividades musicales

Cantidad de producciones musicales incluidas en la oferta de actividades. Medida de difusión

• • • • • • •

104

número de otras actividades % diferencia respecto al año n-2

Cantidad de actos que no constituyen la actividad principal definida por los objetivos del ente. Porcentaje compara-tivo a partir del primer ejercicio cuantifi-cado. Indicador de eficacia

• • • • • • • • • • • •

105

número de otras actividades propias fuera del equipamiento % diferencia respecto al año n-2

Cantidad de otras actividades propias (no actividad principal) que se han celebrado fuera de las instalaciones del equipamiento. Porcentaje comparativo a partir del primer ejercicio cuantificado. Medida de difusión y éxito de las actividades realizadas

• • • • • • • •

99

índice de rendimiento de producciones número de sesiones - repeti-ciones / número de producciones

Cantidad de repeticiones de cada producción. Es una medida de aprove-chamiento de la preparación de activi-dades. Indicador de eficiencia

• • • • • • • • •

64

número de visitas % diferencia respecto al año n-2

Contabilización de visitas realizadas a los diferentes espacios y actividades del equipamiento, con independencia de que correspondan al mismo visitante. Porcentaje comparativo a partir del primer ejercicio cuantificado. Indicador de eficiencia genérico y fraccionable

• • • • • • • •

112 113

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

65

número de visitantes - usuarios - espectadores % diferencia respecto al año n-2

Contabilización de personas físicas que acceden a las instalaciones del equipa-miento. Porcentaje comparativo a partir del primer ejercicio cuantificado. Indicador básico de eficiencia en el cumplimiento de objetivos del ente

• • • • • • • •

120

número de usuarios - espectadores (dentro y fuera del equipamiento) % diferencia respecto al año n-2

Contabilización de las personas físicas que acceden a las instalaciones del equipamiento. Porcentaje comparativo a partir del primer ejercicio cuantificado. Indicador de eficiencia en el cumpli-miento de objetivos del ente

• • • • • • • •

112

% usuarios (según criterios identificativos) número de usuarios específicos / total usuarios

Identificación de usuarios respecto al total de visitantes. Porcentaje corres-pondiente según tramos de edad, nacionalidad del visitante turístico o situación sociolaboral (jubilados, parados, estudiantes, profesionales, etc.). Indicador de eficacia y equidad

• • • • • • • •

98

número de usuarios de actividades propias

Suma del número de espectadores y participantes a las varias actividades sociales y pedagógicas en el propio equipamiento y a las actividades realizadas fuera del mismo

• • • • • •

103

% asistentes a actividades de producción propia asistentes a producciones propias / total de asistentes a actividades

Porcentaje de espectadores que asisten a producciones propias (con-ciertos, espectáculos, exposiciones, etc.). Indicador de eficacia

• • • • • •

106

% abonados asistentes abonados / total asistentes

Porcentaje sobre el total de usuarios – espectadores que están abonados a algún programa de fidelización, descuento o micromarketing del ente. Indicador de eficiencia y eficacia

• • • • •

109

% invitaciones asistentes invitados / total asistentes

Porcentaje sobre el total de usuarios – espectadores invitados (estrenos, vips, estrategias de marketing, etc.). Indicador de eficacia y equidad

• • • • • •

114 115

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

5. Paradigma digital

25

% digitalización fondo número de bienes patrimoniales digitalizados / total bienes patrimoniales

Porcentaje respecto al grado de digitalización del fondo o las colecciones. Índice de eficacia

• • •

36número de entradas a la página web

Visitas realizadas a la página web. Indicador de eficacia en la trascendencia pública

• • • • • • • • • • • •

37número de impactos en las redes sociales

Seguidores en Facebook, Twitter, Vimeo y Flickr. Fraccionable por medio o red social. Indicador de eficiencia en la trascendencia pública

• • • • • • • • • • • •

113número de usua-rios del servicio por la web

Número de visitantes de la web que acceden a ésta para utilizar los servicios ofrecidos por el equipamiento

• • • •

87

% uso de audioguía número de visitantes con audioguía / número de visitantes totales

Porcentaje relativo al uso de asistentes de información de las colecciones por parte de los visitantes. Mide la introduc-ción en el público de dispositivos tecno-lógicos de ayuda a la visita

•

88número de ventas de arte a la carta

En ente con fondo patrimonial, número de ventas efectuadas por este canal comercial

•

6. Cohesión social

20

número de entidades sociales colaboradoras

Entidades sin finalidad de lucro, de tipo social o filantrópico, que participan con el ente en la generación de producto o servicio con finalidades sociales

• • • • • • • • • •

21

número de medidas de integración y participación social

Número de medidas concretas destinadas a la integración o participación en las actividades del ente de personas con riesgo de exclusión social

• • • • • • • • • •

22

% público con riesgo de exclusión número de visitantes en riesgo de exclusión / total visitantes

Porcentaje sobre el total de visitantes en riesgo de exclusión social. Índice de penetración del equipamiento en los sectores menos cohesionados socialmente

• • • • • • • •

114 115

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

23

número de acciones de mejora del entorno

Cantidad de acciones o actividades que han afectado directamente a la mejora del entorno físico (urbanístico, paisajístico, etc.) y que implican rendimiento social

• • • • • • • • • • • •

35número de apariciones en medios públicos

Cantidad de apariciones o menciones en medios escritos, audiovisuales o digitales de trascendencia pública. Indica el grado de eficiencia en la comunicación y trascendencia pública del ente

• • • • • • • • • • • •

78

número de participantes en actividades del programa de integración social

Cantidad de público incluido en el grupo con riesgo de integración social que ha accedido a las actividades específicas creadas por el ente. Indica el grado de aceptación de las estrate-gias sociales

•

100

número de participantes en conciertos sociales

Cantidad de público incluido en el grupo con riesgo de integración social que ha accedido a conciertos del ente. Indica el grado de aceptación de las estrategias sociales

• • •

7. Educación

32número de actividades formativas

Cantidad de actividades de tipo educativo. Medida de eficacia respecto a uno de los objetivos estratégicos de los equipamientos culturales

• • •

33

número de sesiones de actividades formativas

Cantidad de repeticiones de las diferentes actividades educativas realizadas. Medida de eficiencia y aprovechamiento de recursos

• • •

34

% participación en actividades formativas usuarios formación / visitantes totales

Porcentaje de personas que han realizado una actividad educativa respecto al total de visitantes. Indica el impacto o la aceptación de estas respecto al público de la institución

• • •

76

número de asistentes al programa escolar

Cantidad de público en edad escolar usuario de los programas educativos. Muestra la difusión de las actividades pedagógicas en el público objetivo

•

77

número de asistentes al programa familiar

Cantidad de público usuario de las actividades dirigidas conjuntamente a grupos familiares. Indica la idoneidad de establecer acciones individualizadas respecto a este segmento de público objetivo

• •

116 117

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

79

número de asistentes a otros programas socioeducativos

Cantidad de público asistente a los demás programas educativos y sociales que no tienen como objetivo el público escolar. Mide la idoneidad de las acciones pedagógicas

• •

101

número de asistentes a conciertos escolares

Cantidad de público escolar en los conciertos del programa correspondiente

• •

102

número de asistentes a conciertos familiares

Cantidad de público familiar en los conciertos del programa correspondiente

• • •

8. Internacionalización

31

número de actividades de proyección internacional

Cantidad de proyectos propios exportados. Medida del impacto internacional en el sector de actividad del ente

• • • • • • • • • • • •

58

número de sesiones de actividades de proyección internacional

Cantidad de repeticiones realizadas de una actividad propia que se ha mostra-do internacionalmente. Medida de eficacia y prestigio exterior

• • • • • • • • • •

59

% de actividades con proyección internacional número de actividades internacionales / total actividades

Porcentaje respecto al total de actividades que han salido al exterior. Ponderación de la calidad y el prestigio en el servicio/producto que se ofrece

• • • • • • • • • • • •

60número de coproducciones internacionales

Cantidad de actividades realizadas con la colaboración de otro participante internacional. Indica la cooperación externa con el sector

• • • • • •

61

número de sesiones de coproducciones internacionales

Cantidad de repeticiones realizadas de una actividad coproducida con la colaboración de entes internacionales. Mide la aceptación y prestigio externos

• • • • • •

62

% de coproducciones internacionales número de coproducciones internacionales / número total de actividades

Porcentaje de producciones con colaboraciones internacionales respecto al número total de producciones (propias y con terceros). Cuantifica la importancia de las coproducciones internacionales para el equipamiento

• • • • • •

116 117

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

63

% de visitantes internacionales número de visitantes internacionales / total visitantes

Porcentaje de público extranjero respecto al total de visitantes. Indica la trascendencia pública del ente

• • • • • • • •

71

número de noticias en medios internacionales

Cantidad de apariciones o menciones en medios escritos, audiovisuales o digitales de filiación internacional. Indica la trascendencia pública del ente

• • • • • • • • • • • •

72

número de producciones internacionales exhibidas

Cantidad de producciones internacionales que se han mostrado en las instalaciones del ente. Indica la permeabilidad a la oferta ajena

• • • •

73

% de producciones internacionales número de producciones internacionales / total producciones

Porcentaje de producciones internacionales mostradas en el ente respecto al número total de producciones realizadas. Cuantifica la importancia de la producción internacional para el equipamiento

• • • •

84

producciones propias en eventos internacionales

Número de producciones del ente exportadas para una muestra interna-cional. Indicador de prestigio y difusión de las actividades propias

• • • • • • • •

85coproducciones en eventos internacionales

Número de producciones que, con colaboración de terceros, han sido exportadas para una muestra internacional. Indicador de prestigio

• • • • • • • •

86

participación de creadores - artistas internacionales en actividades

Número de colaboraciones realizadas por creadores y pensadores internacionales (artistas, comisarios, conferenciantes, etc.) en actividades realizadas en el ente. Indica permeabilidad de ideas y creaciones

• • • • • • • • • • •

9. Excelencia

45

% de actividades de excelencia actividades de excelencia / total actividades

Porcentaje respecto al total de actividades (investigación, divulgación y comunicación científica) que añaden el plus de excelencia y progreso al ente

• • • • • • • • • • • •

118 119

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

46

grado de satisfacción encuesta visitantes (1-10) media aritmética encuesta de satisfacción

Valor medio obtenido a partir de a pregunta de nivel de satisfacción del público respecto al servicio ofrecido. Mide la calidad del impacto en la sociedad. Indicador de eficacia. Divisible por cada tipología de encuesta

• • • • • • • •

121

grado de calidad percibida en diseño y servicios media aritmética grado de satisfacción

Valor individualizado obtenido a partir de la pregunta de nivel de satisfacción del público respecto al diseño de infraestructuras (tienda, bar, accesibili-dad a espacios, sonido, etc.) y servicio ofrecido (atención al público, personal, limpieza, seguridad, etc.). Mide la calidad del impacto en la sociedad. Indicador de eficacia

• • • • • • • •

38

número de actividades para el fomento de la creatividad

Cantidad de actividades orientadas al desarrollo creativo, artístico, técnico o investigador del público receptor. Indicador de repercusión social

• • • • • • • • • • • •

39

número de actividades para el fomento del espíritu crítico (debates, etc.)

Cantidad de actividades organizadas para establecer diálogo y flujos de opinión (feedback) con el público asistente. Medida de la calidad en la transmisión cultural y científica

•

26número de participantes en debates

Usuarios contabilizados en las activida-des de comunicación y divulgación científica (conferencias, congresos, mesas redondas, etc.). Muestra el grado de impacto público de las actividades de divulgación científica directa

•

44número de jornadas - con-gresos propios

Cantidad de actividades de comunica-ción científica que desarrolla el ente. Medida de prestigio y divulgación científica

• • •

91

número de participaciones del personal propio en actos científicos

Cantidad de ocasiones en las que los trabajadores propios representan al ente en actos de divulgación o comuni-cación científica (congresos, jornadas, conferencias, debates, mesas redon-das, etc.). Indicador de investigación y prestigio científico

• • • •

42

número de proyectos - actividades de investigación

Cantidad de proyectos o actividades de tipo científico (propios o formando parte de redes) reconocidos dentro del proceso interno. Medida de prestigio y eficacia en el cumplimiento de objetivos de investigación

• •

118 119

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

74

número de proyectos subvencionados por la UE

Número de proyectos que reciben apoyo técnico, de infraestructuras o económico por parte de la UE. Implica colaboración con partners exteriores y la existencia de proyectos comunes de interés paneuropeo

• • • • • • • • • • • •

19

importe proyectos subvencionados por la UE

Cantidad económica que ha recibido el ente como subvención para actividades concedida por la UE. Implica la colabo-ración con partners exteriores y la existencia de proyectos comunes de interés paneuropeo

• • • • • • • • • • • •

110

número de personal propio en proyectos de investigación

Cantidad de trabajadores del ente implicados en proyectos o actividades de investigación

•

111

% de personal propio en proyectos de investigación número de personal de investigación / total personal propio

Proporción del personal implicado en investigación respecto al total de personal del ente. Medida de la tenden-cia en investigación llevada a cabo por el ente

•

41número de artículos publicados

Cantidad de artículos científicos o divulgativos publicados por el personal en distintos medios. Medida de prestigio

• • • • • • • • • • • •

122

número de artículos publi-cados en revis-tas indexadas

Cantidad de artículos científicos publicados por el personal en medios indexados reconocidos en investiga-ción. Medida de prestigio

• •

43número de publicaciones

Cantidad de revistas científicas, catálo-gos, compilaciones o monografías en formato papel o digital (con depósito legal), susceptibles de cambio (exclu-yendo agendas o programaciones) y que edita el ente. Medida de prestigio y divulgación científica. Divisible por cada tipología de publicación

• • • • • • • • • •

40

número de servicios o materiales cedidos externamente

Cantidad de objetos del fondo o servicios técnicos propios que se han prestado temporalmente a otras instituciones. Indicador de prestigio externo

• • • • • • • • •

89

número de bienes objeto de restauración y conservación

Cantidad de objetos o soportes documentales sometidos a procesos específicos de restauración, consolidación o conservación

• • • •

120 121

Ref. Indicador Descripción y función del indicador Tipo de actividad

Fórmula A B C D E F G H I J K L

90

número de fondos (colección) % diferencia respecto al año n-2

Cantidad de bienes de interés patrimo-nial que forman la colección. Porcentaje comparativo a partir del primer ejercicio cuantificado, que identifica la proporción de crecimiento o decrecimiento de esta

• • • •

115

número de adquisiciones de fondos % diferencia respecto al año n-2

Cantidad de bienes patrimoniales adquiridos para el fondo o colección. Porcentaje comparativo a partir del primer ejercicio cuantificado, que identifica la proporción de crecimiento o decrecimiento de la política de adquisiciones

• • • •

114

número de consultas del fondo % diferencia respecto al año n-2

Cantidad de consultas o peticiones de estudio de los fondos de la colección. Porcentaje comparativo a partir del primer ejercicio cuantificado. Indicador de investigación y de socialización del patrimonio conservado por el equipa-miento

• • • •

27

número de procedimientos en el manual de calidad

Cantidad de procedimientos que desarrolla la institución y que se en-cuentran redactados (o actualizados) en el manual de calidad del ente. Medida de fomento de la eficiencia

• • • • • • • • • • • •

28

% de trabajadores no propios número de trabajadores subcontratados / número de trabajadores propios

Proporción entre los trabajadores subcontratados y la plantilla propia. Se entiende que únicamente figura en plantilla el personal vinculado al know-how y el que es básico para la gestión

• • • • • • • • • • • •

120 121

INdICAdorEs CuAlItAtIvos

Los indicadores cualitativos permiten informar sobre aspectos difíciles de reflejar en las ratios y los cocientes de tipo cuantitativo. Se centran en la descripción de aspectos identificadores de la or-ganización, los cuales pueden no ser completamente evidenciados a partir de valores o estima-ciones numéricas.

La subjetividad apriorística de los indicadores cualitativos queda compensada por la riqueza infor-mativa de sus contenidos, que complementa y aporta contexto a las evidencias mostradas por los datos numéricos

Se incluyen en la evaluación como aspectos a valorar en la compilación informativa obtenida.

Ref. Indicador

1. Gobernanza y coordinación institucional

a) Actividades de coordinación con otros equipamientos

b) Proyectos participados y acciones de difusión comunes presupuestadas

c) Descripción de la gobernanza y procesos de decisión

d) Optimidad de la gobernanza y agilización de procesos de toma de decisiones

e) Ámbitos estratégicos y cumplimiento de objetivos vinculados

f) Planes estratégicos y vinculaciones programáticas

2. Economía, financiación y gestión del gasto

a) Dimensionamiento de la financiación para desarrollar los objetivos estatutarios

b) Políticas de control de costes

c) Evolución de los ajustes y medidas de ahorro. Impacto en las actividades

3. Estructura organizativa e interacción sectorial

a)Eficiencia de la organización y dimensionamiento de la estructura en comparación con la actividad

b) Promoción y apoyo a grupos emergentes

c) Promoción y apoyo a grupos consolidados

4. Actividades y públicos

a) Adecuación de oferta de actividades y demanda

b)Definición de los puntos débiles y fuertes. Superación de debilidades y consolidación de fortalezas

c)Definición de públicos objetivo y acciones vinculadas (micromarketing, segmentación, posicionamiento, fidelización y medidas de atracción de público)

d) Política de precios y acceso

122 123

Ref. Indicador

5. Paradigma digital

a) Presencia de las nuevas tecnologías en las diferentes actividades de la institución

b) Accesibilidad y virtualidad mediante el web de los fondos y/o actividad de la institución

c) Actuaciones de promoción con medios digitales

6. Cohesión social

a) Papel del ente en la difusión del sector

b) Objetivos de territorialidad de actividades

c) Definición y naturaleza de las actividades territorializadas

d) Orientación de valores culturales, sociales y didácticos ofrecidos

e) Medidas de apoyo a grupos emergentes

f) Promoción y apoyo a grupos consolidados

g) Entidades con convenios estables de colaboración

h) Entidades con vinculación puntual

i) Impacto y dinamización socioeconómica del entorno inmediato y nacional

j) Descripción de los valores comunitarios implícitos promovidos

k) Retorno social y consolidación de los valores a partir de la oferta

7. Educación

a) Análisis de los nichos de mercado y la posible oferta formativa

b) Informe curricular de la oferta

c) Modelo organizativo para la producción y práctica de actividades de carácter didáctico

8. Internacionalización

a) Disponibilidad de recursos para internacionalizar actividades

b) Localización del ente en la escena sectorial internacional; contactos e intercambios

c)Conocimiento del equipamiento por parte del visitante extranjero según encuestas de turismo

d) Modelos externos con paralelismos con la institución. Modelos objetivo

9. Excelencia

a)Aspectos relevantes en cuanto a singularidad, innovación y creatividad de la oferta al público (prestigio de contenidos)

b) Análisis de encuestas de público

c) Aplicación de estándares internacionales: sistemas de calidad en vigor

IC2 (2011)

IC3 (2012)

diagnosis y plan de actuación en materia de adquisiciones públicas de arte en Catalunya

l’estat actual de la formació de circ a Catalunya. propostes de recorreguts formatius relatories de les II jornades de formació de Circ, celebrades a barcelona els dies 20 i 21 de novembre de 2010

IC1 (2011)Estudio sobre el estado y perspectivas de futuro del sector de la fotografía en Cataluña. propuesta de política pública general en el ámbito de la fotografía

IC4 (2012)Entorn de la fotografia en el context de les arts visuals a Catalunya

IC7 (2014)Evaluación estratégica. modelo teórico y aplicación

IC6 (2014)dinámicas digitales en Cataluña. la creación, la producción y la difusión culturales ante la digitalización

IC5 (2014)36 propuestas para mejorar la condición profesional en el mundo de la cultura