Evaluación de planes y programas de ciudadanía y … · podemos establecer algunos rasgos significativos ... asuman los principios, normas y valores que conlleva la vida en común

47Nº 13 (2009)pp. 22-28

Facultad de Ciencias HumanasUNLPam

Introducción: aproximación conceptual1

Entre las conclusiones de un trabajo anterior (De Miguel, 2000) indicábamos que los evaluadores tenemos la obligación de fun-

damentar teóricamente lo que hacemos, cómo lo hacemos y por qué. Decíamos también que, previamente a cualquier decisión práctica, se requiere una profunda reflexión teórica sobre las características del objeto a evaluar ya que las cuestiones de carácter ontológico y epistemológico son prioritarias a las de tipo metodológico. De igual modo advertíamos que “suplir la reflexión por la afiliación a un paradigma” no contribuye al desarrollo de la teoría de la evaluación

Evaluación de planes y programas de ciudadanía y convivencia

Mario De MIGUeL DíAZ*

Resumen

El presente trabajo analiza la problemáti-ca implícita en los procesos de evaluación relativos a planes y programas orientados a fomentar la ciudadanía y la conviven-cia en sociedades multiculturales. Una vez identificadas algunas características sobre la naturaleza del fenómeno objeto de es-tudio establecemos tres requisitos a tener en cuenta en toda aproximación teórica y metodológica sobre el tema, a saber: a) el carácter procesual y democrático que debe orientar el diseño y aplicación de cualquier estrategia evaluativa que se lleve a cabo sobre esta temática, b) la natura-leza axiológica del objeto a evaluar dado que se trata fundamentalmente de valores y conductas sociales y, c) la finalidad pri-mordial que orienta la implementación y evaluación de estos programas: el empo-deramiento cívico por los ciudadanos de los derechos y obligaciones democráticas que rigen su participación en la vida pú-blica. De acuerdo con ello optamos por un modelo operativo de evaluación par-ticipativa y democrática (M.O.D.E.) e insistimos sobre el papel del evaluador como persona comprometida en la cons-trucción y desarrollo de una ciudadanía crítica que promueva la emancipación de las personas y el desarrollo de una socie-dad más justa e igualitaria.

Palabras Clave: Evaluación de programas sobre ciudadanía, Evaluación participa-tiva, Evaluación democrática, Empode-ramiento cívico, Educación para la ciu-dadanía.

Assessment of plans and programs of cit-izenship and coexistence

AbstractThis paper discusses the implicit prob-lems in assessment processes related to plans and programs that promote citi-zenship and coexistence in multicultural societies. Once identified some charac-teristics about the nature of the phenom-enon under study, we establish three cri-teria to be considered in any theoretical and methodological approach on the subject, namely: a) the procedural and democratic character that should guide the design and implementation of any strategy evaluation that is to be conduct-ed on this topic, b) the moral nature of the object to evaluate since this is essen-tially about social values and behaviours, and c) the main purpose that guides the implementation and evaluation of these programs: civic empowerment by citizens of democratic rights and obligations that guide their participation in public life. According to this we adopted an opera-tional model of participatory and demo-cratic evaluation (MODE) and insist on the role of the evaluator as a person en-gaged in the construction and develop-ment of a critical citizenry that promotes the empowerment of individuals and the development of a more fair and egalitar-ian society.

Key Words: Evaluation of programs on citizenry, participatory evaluation, de-mocratic evaluation, civic empowerment, education for citizenship.

* Catedrático de Métodos de Investigación en Educación de la

Facultad de Ciencias de la Educación de la Universidad de Oviedo.Ex Decano de la Facultad de

Ciencias de la Educación y Director del Departamento e Instituto de

Ciencias de la Educación en dicha universidad.

Aniceto Sela, s/n 33005. Oviedo. Tel. (98) 510 32 19 – 20

[email protected]

Detalle obra “Cerrada inmensidad”, Lita Beanatte

Nº 13 (2009)pp. 47-69

Mario DE MIGUEL DÍAZ

48 Nº 13 (2009)pp. 47-69


y a la comprensión del rol que juega el propio evaluador en los trabajos que realiza.

Tomando como referencia estas observacio-nes, y antes de abordar las cuestiones de carácter metodológico relativas a la evaluación de planes y programas de educación de ciudadanía y con-vivencia, deberemos reflexionar –aunque sea a tí-tulo de aproximación– sobre los parámetros que definen el objeto de nuestro estudio con el fin de obtener las claves que procede utilizar para defi-nir su naturaleza y los criterios que se pueden em-plear para su operativización. Necesitamos pre-cisar –como evaluadores comprometidos con la educación– qué entendemos y cuáles son las ca-racterísticas de los planes y programas que se lle-van a cabo en el ámbito educativo (EpC), con la finalidad explícita de que los sujetos asuman los derechos y deberes que conlleva ser ciudadanos y convivir en sociedades multiculturales.

El problema que constituye el objeto de nues-tro análisis no es la conveniencia y oportunidad de establecer planes y programas que tengan como finalidad fomentar la ciudadanía y la con-vivencia, sino identificar algunas características sobre la naturaleza de este fenómeno que puedan ser utilizadas como referentes a la hora de abor-dar su evaluación. Por ello, a pesar de que sea un tema extremadamente polémico en el momento actual, no podamos evitar una aproximación al concepto de ciudadanía aunque sea solamente con la finalidad de establecer algunos rasgos que consideramos deben tenerse en cuenta a la hora de planificar y evaluar las acciones educativas que se establezcan con esta finalidad.

La aproximación etimológica al término “ciu-dadanía”, desde nuestro punto de vista, no apor-ta claves significativas para definir este concep-to desde la perspectiva educativa. La mayoría de las definiciones al uso coinciden en denominar “ciudadanía” como “calidad y derecho del ciuda-dano” o “relativo a personas civiles como sujetos de derechos políticos”. Constituye, por tanto, una definición de carácter jurídico de este concepto que, aunque es importante desde la perspectiva política, no es tan útil desde un punto de vista educativo. Necesitamos otro tipo de acercamien-to de carácter más pedagógico que nos permita construir este concepto teniendo en cuenta las múltiples identidades y pertenencias en las que se ve inmerso el ciudadano en la sociedad actual. Necesitamos caminar hacia un nuevo concepto de ciudadanía (Cabrera, 2002; Bartolomé y Ca-brera, 2007).

Para un observador empírico la definición del término ciudadanía es compleja ya que constituye concepto multidimensional, contextual y relativo. Entendemos que es multidimensional ya que se define y operativiza con términos muy diversos según se considere como objetivo prioritario el aprendizaje de normas, valores, derechos, debe-res o conductas. Basta mirar los textos aproba-dos recientemente de esta asignatura para dar-se cuenta de los diversos planteamientos que se efectúan sobre los contenidos educativos y, en consecuencia, sobre los programas y acciones a desarrollar. Consideramos que es un concepto contextual ya que está sujeto a interpretaciones ideológicas, políticas y culturales diferentes don-de caben, al mismo tiempo, enfoques basados en discursos universalistas y otros de carácter más local o particular. Finalmente entendemos que es un término relativo ya que un mismo indivi-duo puede utilizar distintas formas de abordar el tema, según establezca su aproximación desde una perspectiva objetiva u subjetiva, generalmen-te condicionada por su situación y experiencia vital al respecto.

Debido a esta complejidad del concepto es comprensible que difícilmente podamos obtener una única definición válida a efectos de su ope-rativización. No obstante, por razones prácticas, necesitamos proceder a formular una definición del término que constituye el objeto de nuestra tarea como evaluadores, aunque sea simplemen-te con el fin de clarificar el marco de referencia donde se sitúa el autor. Desde nuestro punto de vista los programas de EpC implican el

diseño e implementación de procesos educativos orientados a que los sujetos asuman los derechos y obligaciones que conlleva la convivencia en las sociedades multiculturales y la participación en la vida pública de forma responsable y ética.

Entendemos, por tanto, que el concepto de ciudadanía no puede limitarse a los “derechos y deberes del ciudadano” –tal como parece des-prenderse de las definiciones al uso– sino que también implica asumir los valores que identi-fican una identidad ciudadana que posibilite la integración y participación responsable de las personas en la vida cívica. Procede, por tanto, acercarse al objeto como un proceso de cons-trucción abierto, como una “ciudadanía inclu-siva” (Prats, 2007).

Somos conscientes de que nuestra aproxima-ción al objeto no resuelve los dilemas que se plan-

evaluación de planes y programas de ciudadanía y…

49Nº 13 (2009)pp. 47-69


tean a la hora de establecer la finalidad y orien-tación de los programas de EpC, ya que caben posiciones muy distintas según se ponga énfasis en uno u otro objetivo: ¿derechos del individuo o interés de la comunidad?, ¿suministrar conoci-mientos o construir conocimientos?, ¿promover la cohesión social o la diversidad social?, ¿man-tener la estabilidad o generar cambios?, etc. La complejidad del tema es tan evidente que no re-quiere más comentarios. No obstante, partien-do de la aproximación conceptual formulada sí podemos establecer algunos rasgos significativos sobre el objeto que nos pueden ser muy útiles a la hora de decidir el enfoque teórico y el diseño metodológico que podemos utilizar para evaluar acciones educativas que tengan esta finalidad. Al-gunos de estos rasgos o características propias de los programas de EpC que nos interesa resaltar serían los siguientes:

a. Dado que la finalidad última de todo pro-grama o estrategia de educación para la ciu-dadanía y la convivencia es que los sujetos asuman los principios, normas y valores que conlleva la vida en común en sociedades multiculturales, no habrá auténtica educa-ción mientras no exista un empoderamiento (empowerment) por parte de los sujetos de los derechos y obligaciones propios del ciu-dadano responsable. No debemos entender por ciudadanía un estatus que se otorga a un sujeto que nace o vive en un territorio sino como una cualidad que se adquiere en tan-to que persona responsable que convive con otros dentro de un marco social definido por múltiples valores culturales y contribuye con su conducta al desarrollo de una sociedad más justa e igualitaria. La evaluación deberá orien-tarse a estimar y potenciar el nivel o grado de empoderamiento (autodeterminación/ eman-cipación/ capacidad para resolver sus propios problemas/ adquisición de habilidades per-sonales y sociales…) que el sujeto manifiesta como ciudadano.

b. Teniendo en cuenta que el fin último de toda acción orientada a promover la ciudadanía y convivencia es que las conductas sociales de los sujetos se rijan por principios de “carácter axiológico”, la forma más idónea para evaluar los efectos de cualquier tipo de estrategia o programa en este ámbito deberá efectuarse a partir de situaciones reales que constatamos en la vida pública. No se trata, por tanto, de

centrar la evaluación sobre conocimientos re-lativos a normas cívicas y códigos éticos sino de observar y valorar actitudes y conductas reales que los individuos manifiestan en la vida diaria en el contexto social donde se des-envuelven. Ello implica la utilización de mé-todos y técnicas reflexivas y participativas que posibiliten la autoevaluación y, sobre todo, la coevaluación ya que son los “otros” –aquellos con lo que convive un sujeto– quienes me-jor pueden ayudarle a revisar el repertorio de valores y conductas que manifiesta como ciudadano.

c. Finalmente, la dinámica de sociedad actual nos coloca de forma continua ante nuevas situaciones de convivencia que exigen una revisión de nuestros valores y conductas so-ciales de forma permanente. Este hecho es particularmente significativo en este momen-to en el que las naciones cada vez son más interculturales y que las diferencias entre los pueblos y las personas se nos presentan con mayor nitidez. El reto de lograr una socie-dad más igualitaria y justa determina que los programas de educación para la ciudadanía y la convivencia constituyan una tarea per-manente que nos implica a todos y en todo momento. Asumir los valores que nos otor-gan la categoría de “ciudadano” constituye un proceso educativo que nunca se acaba en un mundo globalizado, ya que siempre existen nuevos problemas y situaciones que no pue-den dejar al ciudadano indiferente y a los que hay que responder.

Tomando con referencia estas tres caracterís-ticas que consideramos fundamentales respecto al concepto de ciudadanía podemos avanzar que toda aproximación teórica y metodológica que se establezcan en relación con la evaluación de las acciones o programas sobre esta temática de-berá tener muy en cuenta: a) el carácter proce-sual y democrático que debe orientar el diseño y aplicación de cualquier estrategia evaluativa que se lleve a cabo en este ámbito; b) la naturaleza axiológica del objeto a evaluar dado que se trata fundamentalmente de valores y conductas socia-les y, c) que la finalidad última de todo proceso evaluativo es estimar el nivel de empoderamiento cívico por los ciudadanos de los valores, derechos y obligaciones democráticas que permiten me-jorar su participación en la vida pública. La eva-luación de los programas relativos a ciudadanía


50 Nº 13 (2009)pp. 47-69


y convivencia deberá optar por las alternativas teóricas y metodológicas que tengan en cuenta estas características.

Evaluación y Ciudadanía

Identificado el objeto de nuestro discurso procede que efectuemos un breve análisis sobre cómo puede contribuir la evaluación al logro de este objetivo. La evaluación en tanto que consti-tuye una parte inseparable de todo plan o estra-tegia educativa también tiene su papel en el lo-gro de los objetivos que pretendemos alcanzar. El problema es identificar cómo puede contri-buir el proceso evaluativo al logro de los objeti-vos que se persiguen con un programa. Por ello, en el caso EpC resulta oportuno reflexionar sobre cómo pueden contribuir los procesos y procedi-mientos de evaluación a lograr la finalidad edu-cativa que se proponen los programas y acciones que se implementen.

El papel que puede ejercer la eva-luación al respecto se percibe con ma-yor nitidez a medida que cambiamos nuestro enfoque sobre la tarea evalua-tiva. Como ya hemos señalado en otro momento (De Miguel, 1999a:347)

existe otra forma de entender los pro-cesos evaluativos –más allá de la bús-queda del conocimiento basado en la evidencia estadística– que com-promete la evaluación con la educa-ción cívica, el desarrollo humano y la emancipación social que le exige al evaluador abordar su tarea desde otra perspectiva más constructiva y crítica.

En palabras de Zúñiga (1992:62),

existe otra mirada sobre la prácti-ca profesional que no se centra en la imparcialidad y la certeza científi-ca sino que pretende incrementar la conciencia crítica colectiva sobre la acción social.

Situados en esta perspectiva, si po-demos captar “otros significados” de los procesos evaluativos en relación con la finalidad educadora que pre-tenden lograr los planes y programas de EpC. Destacamos tres que estima-mos oportunos:

i) Evaluar es aprender.Procede recordar que la evaluación se defi-

ne como un “proceso de búsqueda de evidencias pertinentes, válidas y fiables a partir de las cuales podamos justificar nuestras valoraciones”. En de-finitiva, obtener conocimientos que nos permitan una mayor comprensión del objeto que evalua-mos. En el caso de programas y acciones sociales es muy importante que los conocimientos –las evidencias adquiridas– tengan a su vez el “mayor escrutinio público”; es decir, el carácter de cono-cimientos compartidos dada su implicación sobre la conducta social de las personas. Esta función de la tarea evaluadora como proceso de apren-dizaje de conocimientos compartidos es funda-mental cuando se asume una perspectiva crítica (De Miguel, 1993). En otros términos, la utilidad de un proceso evaluador es mayor en la medida que todos los implicados participan en la elabo-ración de los conocimientos. Este mismo princi-

“País de voz quemada II”, Raquel Pumilla


51Nº 13 (2009)pp. 47-69


pio se puede aplicar a las organizaciones donde la evaluación adquiere un papel imprescindible como la estrategia para el aprendizaje y el cambio (Preskill y Torres, 1999; Rae, 1999).

El hecho singular que caracteriza los apren-dizajes que efectuamos a través de la evaluación de programas de EpC es que comprometen al propio sujeto. Del mismo modo que los apren-dizajes en el ámbito de la educación para la sa-lud o la educación vial permiten que los sujetos aprendan a valorar si regulan o no su conducta en estos campos de acuerdo con los conocimientos disponibles, la evaluación de los programas de EpC debe permitir no sólo que los sujetos perci-ban si poseen los conocimientos y valores nece-sarios para comprender la realidad social, sino también sí ejercen correctamente su papel como ciudadanos actuando con criterios éticos y man-teniendo una actitud constructiva, solidaria y res-ponsable en el cumplimiento de los derechos y obligaciones. Constituye, por tanto, una estrate-gia formativa mediante la cual los sujetos no sólo podrán autoevaluar los conocimientos y valores que rigen sus actitudes y conductas democráticas sino también aprender a mejorar sus relaciones y actuaciones cívicas con el fin de contribuir a lo-gro de una sociedad más justa e igualitaria. De ahí que podamos concluir que la evaluación de las acciones relativas a ciudadanía es, ante todo, un proceso de autoaprendizaje que permite a los participantes tomar conciencia de su “cualidad de ciudadanos” que pertenecen y actúan en una sociedad que tiene múltiples identidades cultu-rales.

ii) Evaluar es hacer democracia. Otra de las finalidades que se otorgan a los

procesos evaluativos dentro de las organizacio-nes es el control de las políticas públicas. La eva-luación de la actividad pública constituye una de las grandes conquistas de los países democráti-cos ya que permite valorar los resultados de las acciones desarrolladas, estimar los efectos de las políticas públicas sobre la ciudadanía y, en con-secuencia, legitimar el papel de las organizacio-nes. La evaluación, en la medida que constituye una estrategia de control y legitimación de las políticas públicas, no cabe duda que realiza una función social muy importante: construir la de-mocracia. Ahora bien, como ya hemos dicho en otro momento (De Miguel, 1995:213)

el ejercicio del control democrático sobre las po-líticas públicas no se ejerce plenamente mientras

los ciudadanos no participen de manera activa y crítica en los procesos de evaluación.

La evaluación no sólo contribuye a la cons-trucción de la democracia al ejercer la función de control y legitimación de las políticas públi-cas sino que también construye democracia en la medida que los propios procesos evaluativos permiten profundizar en los valores democráti-cos (Bañón, 2003). Cuando los implicados y los ciudadanos en general intervienen en el control de las políticas públicas potenciamos el desarro-llo del pensamiento crítico, la responsabilidad pública y la ética social que constituyen valores fundamentales de la democracia. Más aún, su participación activa en los procesos evaluativos implicará, además, asumir el diálogo, la negocia-ción y el consenso como herramientas imprescin-dibles para que una democracia funcione plena-mente. En resumen, la evaluación constituye un espacio de ejercicio de los valores democráticos necesarios para la convivencia de los hombres y los pueblos (Ryan, K y DeStefano, L., 2000).

En el caso de los programas de EpC esta fun-ción es primordial. El ejercicio de valores demo-cráticos tiene una importancia fundamental ya que, de una parte, constituye el objetivo priorita-rio a tener en cuenta de todo proceso evaluativo –estimar el desarrollo progresivo de estos valores entre ciudadanía– y, de otra, el mismo proceso evaluador debe entenderse como un espacio para ejercer las conductas democráticas que permitan mejorar su integración y participación construc-tiva en contextos multiculturales. Es una función de la evaluación que no debemos olvidar aunque, en muchos casos, los procesos concretos que rea-lizamos no contribuyan demasiado a ello.

iii) Evaluar es hacer política. La evaluación tiene a su vez un significado

político en la medida que se planifica y realiza desde una perspectiva teórica concreta que in-dudablemente tiene un significado político. Del mismo modo que consideramos que los progra-mas de intervención social constituyen el resul-tado de decisiones y prioridades políticas, di-fícilmente se puede sostener que el trabajo del evaluador es meramente técnico ya que el sesgo ideológico y político implícito en su tarea es in-evitable. Las decisiones que se adoptan en todo enfoque y proceso evaluativo están mediatiza-das por el conjunto de valores que constituyen el marco de referencia de la evaluación, que a su vez dependen de la posición ética e ideológica


52 Nº 13 (2009)pp. 47-69


que asume el evaluador. Por ello, no se puede ig-norar que el evaluador, además de técnico, ejerce un papel de mediador político que se hace aún más patente cuando las políticas públicas cons-tituyen el objeto de la evaluación. En estos ca-sos, “la evaluación debe comprenderse mas desde supuestos políticos que desde posiciones técnicas estrictamente metodológicas” (Bustelo, 2003:18). En otros términos

debemos cambiar nuestra percepción sobre los evaluadores de ser meramente técnicos a posicio-nes donde se reconozca su tarea como una acción política y al evaluador como la persona que ejer-ce opciones políticas (House, 1993:4).

El sesgo político que introduce el evaluador en el proceso no sólo tiene un componente ideo-lógico propio del sujeto sino también una dimen-sión contextual ya que

los evaluadores utilizamos nuestras vidas perso-nales y nuestras comunidades profesionales como perspectivas para interpretar lo que hacemos en el trabajo (Dahler-Larsen, 2002:62).

En muchas ocasiones es este marco contex-tual el que determina los valores de referencia que utiliza el evaluador para tomar las decisiones que adopta a lo largo del proceso evaluativo. Ambos

componentes políticos –ideológicos y contextua-les– siempre están presentes en una evaluación aunque la mayoría de las veces no se manifiesten de forma explícita. Por ello, sólo podremos “juz-gar y dar sentido” a un proceso evaluativo cuando nos acerquemos a su interpretación desde las cla-ves éticas e políticas del propio evaluador.

En el caso de la evaluación de programas de EpC la opción política constituye un criterio fun-damental a tener en cuenta ya que no se puede abordar el tema de la ciudadanía y la convivencia con un planteamiento neutral. Cuando se trata de evaluar valores no es admisible el “todo vale”. En el caso de programas de EpC el compromiso con unos determinados valores resulta inevita-ble, lo que implica asumir una opción política. Por ello, antes de la competencia técnica del eva-luador, deberemos estimar su competencia ética, a pesar de que constituya una cuestión difícil y comprometida. Su opción en defensa de determi-nados principios, valores y grupos a lo largo del proceso constituye un buen indicador de cómo entiende su papel como agente social crítico de-fensor de la justicia y los derechos humanos en una sociedad multicultural. No debemos olvi-dar que el término “valor” constituye el corazón de la palabra “evaluación” y que cuando habla-mos de valores no se puede eludir la defensa de

“Cerrada inmensidad”, óleoLita Beanatte


53Nº 13 (2009)pp. 47-69


los principios democráticos –derechos humanos, igualdad de oportunidades, responsabilidad so-cial e individual, etc.– que deben fundamentar la convivencia entre los individuos y los pueblos (House, 2001a).

Relacionando estas tres funciones que hemos destacado sobre el papel de la evaluación en el campo de las políticas públicas podemos concluir que los procesos evaluativos sobre programas de EpC constituyen un espacio que permite a todos los involucrados aprender los principios y valores que otorgan al individuo la categoría de ciudada-no y que contribuyen a la convivencia responsa-ble en sociedades multiculturales. Contribuyen, además, a que los sujetos participantes en los pro-cesos evaluativos sean conscientes de las actitudes y conductas que manifiestan como ciudadanos en la vida diaria y de cuál es su contribución a la construcción de una sociedad más democrática, justa y solidaria. Finalmente, la tarea evaluadora permite que los participantes reflexionen sobre el grado de coherencia ética que existe entre la opción política que defienden y su nivel de com-promiso y participación en la vida pública.

Tipología de los estudios evaluativos sobre ciudadanía

El tema de la ciudadanía y de la conviven-cia puede ser abordado desde distintos planos y con distintas estrategias dando lugar a una gran diversidad de estudios e investigaciones relacio-nados con el tema de la ciudadanía y la convi-vencia. En el ámbito de la evaluación los princi-pales estudios que cabe realizar en este campo se pueden agrupar en tres niveles: a) evaluaciones de las políticas públicas relativas a la ciudadanía; b) evaluaciones sobre el impacto de las políticas en los curricula y las organizaciones educativas y, c) evaluaciones relativas al ejercicio de la ciu-dadanía por los sujetos y colectivos en contextos multiculturales.

i) Evaluaciones sobre Políticas y Planes relativos a Ciudadanía. En todas las sociedades avanzadas los gobier-

nos han incrementado durante los últimos años su compromiso con el desarrollo de políticas so-ciales orientadas a la extensión y garantía de los derechos y valores cívicos a todos los ciudadanos. Las formas concretas de llevar a cabo este objeti-vo son muy diversas. En unos casos se establecen leyes orientadas a la defensa y protección –como

en nuestro caso la ley de igualdad o la dependen-cia– o se arbitran medidas compensatorias para atender colectivos marginados. El ámbito de la toma de decisiones políticas, las formas de llevar a cabo estas políticas, y los efectos de las mismas, difieren mucho de un contexto a otro lo que per-mite realizar estudios evaluativos diversos. Seña-lamos los más representativos:

a) Estudios diagnósticos orientados a detectar el grado en el que la ciudadanía disfruta del bienestar económico, político y social a efec-tos de justificar políticas y actuaciones en ma-teria de promoción de los derechos humanos y los valores sociales. A medida que existe una mayor presión para que los gobiernos garanti-cen los derechos fundamentales y un nivel de calidad social a todos los ciudadanos resulta necesario que las planes que se legislen en este ámbito no sólo se justifiquen desde la filosofía política del gobernante si no desde la propia realidad social para lo cual las evaluaciones diagnósticas son imprescindibles. Los Libros Blancos y las Agendas sobre Política Social de la Unión Europea constituyen una aportación muy importante al respecto (Beck, Maesen, �ómése y Walter, 2001).

b) Estudios comparativos sobre las políticas implementadas en este campo por diversos gobiernos y en diversos países, así como los efectos de las mismas, tanto a nivel general como de colectivos concretos. En esta línea destacamos como importantes las evaluacio-nes puestas en marcha en diversas Comuni-dades Autónomas sobre planes de igualdad y ciudadanía, así como los trabajos de compara-ción con otros países próximos de la Comuni-dad Europea con el fin de estimar la “calidad social “de nuestro desarrollo comunitario. La utilización de indicadores al respecto consti-tuye una estrategia a tener en cuenta con esta finalidad tal como se efectúa en el proyecto IEA sobre educación cívica (Torney-Purta, J. y al., 1999).

c) Finalmente existe un tercer tipo de estudios evaluativos específicos que, tomando como referencia un colectivo o comunidad (pueblo, barrio, institución, colectivo de emigrantes, etc.), evalúan determinadas políticas socia-les implementadas de carácter estatal o auto-nómico y los efectos de las mismas sobre el grado de “cohesión social” y “calidad social” en la ciudadanía. El carácter comprensivo de


54 Nº 13 (2009)pp. 47-69


este tipo de evaluaciones permite estimar el grado de oportunidad y realismo de algunas políticas sociales así como la repuesta ciuda-dana ante los efectos de las mismas (Morris y Cogan, 2001).

Los estudios a realizar dentro de esta tipolo-gía demandan un registro de datos que, cuando se realiza de forma sistemática, da lugar a los Ob-servatorios sobre Políticas Públicas. Estos Obser-vatorios, necesarios y recomendables en todos los ámbitos sociales (sanidad, vivienda, bienestar social, educación, economía, etc.), adquieren un interés especial cuando se trata de evaluar el ni-vel de protección y defensa de los derechos hu-manos que tienen todas las personas como ciu-dadanos. Los Observatorios, en la medida que aportan datos contrastados obtenidos de diversas fuentes, permiten la elaboración de indicadores –fundamentalmente cuantitativos– a partir de los cuales se pueden efectuar estudios de segui-miento y comparativos sobre la situación de los problemas relacionados con la ciudadanía y la convivencia en diversos colectivos, comunidades y países. Constituyen, por tanto, un instrumento

clave para evaluar el impacto de las políticas pú-blicas en este ámbito.

ii) Evaluaciones sobre el impacto de las políticas en los curricula y las instituciones. Las políticas públicas utilizan distintas estra-

tegias o instrumentos para su aplicación. Cuando éstas aluden a temas educativos –como es el caso que nos ocupa– normalmente recurren priori-tariamente al sistema educativo como medio a través de cual pretenden llevar a cabo sus pro-pósitos. Por ello, es habitual que se tienda a com-prometer a todas las instituciones señalando que la EpC constituye un objetivo fundamental del proceso educativo por lo que debe formar par-te del currículo escolar y de la actividad de otras instituciones sociales que tengan esta finalidad. Partiendo de este supuesto, los estudios evalua-tivos que cabe realizar al respecto se pueden en-cuadrar en los siguientes ámbitos:

a) Estudios diferenciales sobre los distintos pro-gramas de la EpC. Dado que existen formas distintas de planificar la EpC –distintas for-mas de entender la EpC como parte del cu-

rrículo escolar– podemos identificar un primer tipo de estudios evaluativos orientados a estimar la idoneidad de los distintos programas desarrollados en el marco de la educación formal y no formal en función de los propósitos que los justifican, así como las diferen-cias que se establecen en los mismos (contenidos, tiempos, recursos, etc.) según países y contextos. Este tipo de estudios no sólo es posible llevarlos a cabo tomando como referencia las distintas propuestas que se formulan desde organismos nacionales e inter-nacionales sino también dentro de un mismo contexto entre programas que se organizan integrados dentro del currículum escolar y programas que trabajan algún aspecto concreto sobre ciudadanía fuera del sistema escolar (Pike, 2007).b) Estudios sobre los curricula y las enseñanzas relativas a EpC. Otra ti-pología de estudios evaluativos de máxima actualidad en nuestro país es la comparación de los objetivos y contenidos (conocimientos y valores) de los curricula concretos que se pro-

“Invierno en el medanal”, óleoEliana Soulages de Leiva


55Nº 13 (2009)pp. 47-69


ponen en los libros de textos autorizados para impartir esta asignatura y en las enseñanzas que se llevan a cabo en las instituciones. Los distintos enfoques que se plantean en relación con esta asignatura se reflejan en los plantea-mientos que los diversos autores formulan sobre los contenidos curriculares y las estra-tegias y recursos didácticos que se proponen para su desarrollo. Es lógico que distintos planteamientos tengan también efectos dis-tintos. Por ello, la evaluación no sólo debe limitarse a constatar las diferencias entre los curricula propuestos sino estimar también las diferencias entre las distintas prácticas que se llevan a cabo en las instituciones y los efectos de las mismas (Bartolomé y al., 1999; Schwan-dt, 2003). De manera especial procede evaluar las percepciones y actitudes democráticas del profesorado implicado en esta materia ya que la obligación de respetar los derechos huma-nos también constituye una obligación para los profesores y las instituciones (Candau, 2007).

c) Estudios evaluativos sobre las competencias cívicas adquiridas por los alumnos. La finali-dad última de los planes y programas relativos a EpC es lograr que los alumnos adquieran unas competencias en relación como temas de ciudadanía y desarrollen unas conductas co-herentes con los valores cívicos. Dado que el ejercicio de las responsabilidades que conlleva la ciudadanía exige que los sujetos adquieran un conjunto de aprendizajes y competencias específicas que son claves para el desarrollo de las actitudes y conductas sociales, es ló-gico que muchos de los estudios evaluativos en el ámbito educativo tengan como objeti-vo evaluar el desarrollo y dominio de estas competencias por los alumnos (Bartolomé y Cabrera, 2007). Ahora bien, este tipo de eva-luación encierra cierta complejidad dado que antes de proceder a la evaluación debemos consensuar qué entendemos por competen-cias cívicas, cómo las vamos a definir y qué criterios vamos a utilizar para su evaluación. En el momento actual, la diversidad de plan-teamientos que se manifiestan al respecto no contribuye a generar posturas comunes al respecto.

Entre la tipología de estudios de este bloque no cabe duda que las evaluaciones sobre las com-petencias cívicas de los alumnos constituyen –en el momento presente– el reto más urgente. Los

problemas que diariamente cuestionan la convi-vencia y salud democrática de nuestra sociedad (violencia, racismo, insolidaridad, marginación, etc.) adquieren una dimensión peculiar cuando se miran desde la perspectiva de la educación. No obstante, la escuela no puede ser considera-da como la única responsable de que los alum-nos no manifiesten unas competencias cívicas adecuadas, ya que es toda sociedad la que queda cuestionada ante estos hechos. No es un proble-ma, por tanto, de la escuela sino de todos. Por ello, aunque no negamos el papel que las insti-tuciones tienen al respecto, sí consideramos que en los procesos de formación y de evaluación de las competencias cívicas deben participar todos los agentes implicados en cada contexto cultu-ral. Necesitamos todos, más que nunca, asumir un nuevo concepto de “ciudadanía inclusiva” que responda a los retos de nuestro tiempo.

iii) Evaluaciones relativas al ejercicio de la ciu-dadanía en contextos multiculturales.El tema de la ciudadanía y la convivencia no

puede quedar limitado al campo educativo ya que está presente en todas las manifestaciones socia-les de la vida diaria en una comunidad. Cada día las persona están inmersa necesariamente en si-tuaciones en las que ponen de manifiesto conduc-tas que reflejan valores –igualdad, aceptación del otro, respecto a los derechos humanos, solidari-dad, ética social, diálogo democrático, colabora-ción, etc.– y que ponen de relieve su compromiso con una ciudadanía ética y cívica. Se es ciudadano siempre y en todo momento. De ahí que a través del estudio y análisis de las conductas que obser-vamos en la vida real podremos estimar hasta qué punto determinados individuos o colectivos han asumido de los principios, valores y conductas re-lativos al nuevo concepto de ciudadanía inclusi-va necesario para responder a las características del mundo actual (Practs, 2007). Los principales tipos de estudios evaluativos que cabe realizar a este respecto son los siguientes:

a) Estudios que evalúan la construcción y las relaciones entre las identidades culturales y las entidades cívicas en sociedades multicul-turales. Todos los sujetos están llamados a construir una identidad cívica –sin renunciar a su propia identidad cultural– que les lleve a integrarse y participar en proyectos de su comunidad política dentro de un orden de-mocrático. De ahí la importancia de evaluar las dificultades que determinados colectivos


56 Nº 13 (2009)pp. 47-69


debido a su etnia, cultura, género, lengua, clase social o cualquier otro tipo de diversi-dad tienen para construir ambas identidades y desarrollar el sentimiento de pertenencia en una sociedad plural y reaccionar frente a cualquier factor que promueva su exclusión. Ello requiere un proceso emancipatorio en las personas que les lleve a tomar conciencia de su realidad –con sus fortalezas y debilida-des– y aprender a organizar, dirigir y hacer valer sus derechos e intereses (empowerment cívico) (De Miguel, 1992; Bartolomé, 2001).

b) Estudios sobre estilos de vida ciudadana y grupos en situación de riesgo. Las identidades culturales, en tanto que conjunto de signifi-cados simbólicos, se plasman en un conjunto de prácticas sociales (integración, exclusión, conflictos, etc.) que normalmente se denomi-nan “estilos de vida”.De ahí la importancia de estudiar las prácticas sociales en materia de ciudadanía vinculadas a determinadas iden-tidades culturales. Estos estudios evaluativos no solo nos aportan valoraciones sobre las diferencias que se establecen en las prácticas sociales relacionadas con la familia, el trabajo, la cultura, la sanidad, la vivienda o el ocio entre colectivos con identidades culturales diferentes sino que también nos informan de “sujetos o grupos en situación de riesgo” porque sé les niega o no pueden disfrutar plenamente de los derechos democráticos y oportunidades que ofrece la sociedad del bienestar. La evaluación de las prácticas so-ciales constituye una estrategia metodológica fundamental para estimar el nivel de “calidad social” que existe en una comunidad en la que conviven ciudadanos con identidades cultu-rales diferentes (Bartolomé, 1997).

c) Estudios relativos a la promoción de ciudada-nía en sociedades interculturales. Si conside-ramos que la principal finalidad de la educa-ción intercultural es potenciar la creación de estrategias que permitan la comunicación e intercambio entre comunidades con distintos patrones culturales, parece lógico que debe-mos analizar y evaluar los programas que exis-ten en cada contexto para acercar e integrar a los miembros de comunidades y colectivos peculiares promoviendo el desarrollo de una ciudadanía inclusiva que permita superar los diversos conflictos que generan. Dado que la educación intercultural la llevan a cabo di-

versos agentes (los gobiernos, las comunida-des autónomas, los medios de comunicación social, las instituciones sociales, las ONGs, etc.), los estudios evaluativos sobre este tipo de programas y acciones son muy diversos tanto por la finalidad que se proponen como por la metodología que utilizan (Bartolomé y Cabrera, 2000).

d) Estudios evaluativos sobre la participación ciudadana de los sujetos y colectivos dentro del espacio público. No basta con reconocer el derecho de tiene todo ciudadano a participar en la vida pública, debemos analizar cómo es en la realidad esta participación y cuáles son las desigualdades que se producen en determinados sujetos o colectivos para iden-tificarse con un proyecto común que agluti-ne los intereses de todos los ciudadanos. La relación entre el derecho y responsabilidad de participar y la forma y modo de cómo se lleva a cabo dicha participación constituye un espacio de análisis y evaluación que permite detectar factores que atentan contra la salud democrática de una sociedad civil.

Como se puede observar los ámbitos sociales en los que es posible realizar estudios evaluativos sobre temas de ciudadanía son muy diversos, por lo que resulta difícil acotar una tipología especí-fica como más representativa. Otorgar prioridad a una tipología determinada depende las necesi-dades reales a las que debamos dar respuesta en cada momento y en cada contexto. En nuestro caso, aunque coyunturalmente han tomado una notable actualidad todos los estudios relativos a la relación entre ciudadanía y sistema educativo, los problemas que determinados sujetos y colec-tivos tienen para la construcción de su identi-dad y sentimiento de pertenencia dentro de una comunidad multicultural –como requisito para la construcción de una ciudadanía responsable, participativa y crítica– pueden ser considerados como los tópicos que necesitan mayor reflexión y estudio, dado que los fenómenos de emigración y globalización constituyen uno de los “signos de nuestro tiempo”. De ahí que proceda destacar como más oportunos los estudios evaluativos so-bre los procesos de “empoderamiento” necesarios para que determinados colectivos puedan cons-tituir su identidad cultural y cívica que les lleve a participar en la vida pública de forma activa y responsable.


57Nº 13 (2009)pp. 47-69


Marco teórico y evaluación de programas sobre Ciudadanía y Convivencia

Teniendo en cuenta la diversidad de estudios posibles es comprensible la dificultad para poder concretar cuál es el enfoque apropiado para eva-luar programas de EpC dado que podemos utili-zar perspectivas teóricas diversas en función de los propósitos que orientan nuestro trabajo en cada momento. Si el objeto de nuestro estudio se centra sobre las políticas y los planes de ciudada-nía a nivel macro cabe pensar que es procedente utilizar de forma preferente enfoques positivistas (estudios extensivos, estudios de encuesta, uti-lización de indicadores, etc.) que nos permitan evaluar y comparar datos globales entre colecti-vos. Por el contrario, si nuestro trabajo se orien-te a evaluar dinámicas relativas a las conductas cívicas de los sujetos en contextos específicos ló-gicamente los enfoques antropológicos, etnográ-ficos, fenomenológicos y participativos resultan más adecuados. Por ello, necesariamente, parece obligado ofrecer un marco teórico global desde el que sea posible abordar todo tipo de estudios sobre esta temática. Aunque la respuesta no es simple intentaremos abordar el tema.

i) La evaluación como disciplina multiparadig-mática.Hablar de marco teórico nos remite al con-

cepto de paradigma, concepto controvertido dado que actualmente se utiliza con significados muy distintos debido a que los componentes ideoló-gicos o elementos teóricos que se utilizan para su caracterización han experimentado cambios im-portantes durante los últimos años. La dispersión y alternancia propia de las teorías en el campo de las ciencias sociales hace aún más patente que no sea posible abordar la epistemología de una disci-plina con un enfoque restrictivo ya que la natura-leza de estas ciencias es multiparadigmática. Tal como apunta Alexander (1990:15) “las ciencias sociales constituyen un buen ejemplo sobre cómo se incorporan y aplican conceptos provenientes de las nuevas epistemologías adaptándolos a las par-ticularidades de cada disciplina”.

El principal argumento que utilizan quienes defienden la opción multiparadigmática es que el conocimiento sobre la realidad social difícil-mente puede ser abordado desde una sola pers-pectiva o desde un único paradigma ya que las aproximaciones ontológicas, axiológicas y meto-dológicas en este campo son muy distintas, según

se tome como realidad social los hechos sociales, las acciones sociales o las conductas sociales de los ciudadanos. No es lo mismo abordar la reali-dad social como un conjunto de hechos sociales que influyen en el pensamiento y conducta de los individuos que entender lo social como un proceso permanente de interacción entre sujetos y conductas aprendidas de forma más o menos consciente. De ahí que cuando se consideran las ciencias sociales como disciplinas multiparadig-máticas no es debido a su inmadurez epistemoló-gica –tal como podría estimarse desde una posi-ción neopositivista– sino como una consecuencia de lo que entendemos por realidad social (Castro Nogueira y al., 2005).

Este mismo planteamiento lo podemos trasla-dar al ámbito disciplinar de la evaluación en ge-neral y de la evaluación de los programas de EpC en particular. La evaluación, como otras discipli-nas emergentes, ha experimentado durante los últimos años un notable desarrollo teórico con enfoques paradigmáticos distintos lo que a su vez ha generado nuevas perspectivas epistemológi-cas. La dispersión, falta de sistematización y de consenso disciplinar es tan patente que coexisten posicionamientos teóricos inspirados en la lógica positivista frente a otros que se manifiestan parti-darios de un constructivismo radical. Ante estas posiciones tan enfrentadas es frecuente que sur-jan llamadas a sentido común, al realismo como alternativa, dado que no sólo existen realidades sino también los significados sobre esas realida-des. Sin embargo, estas posiciones eclécticas tam-poco han tenido tampoco un desarrollo notable porque, al margen de tendencias coyunturales, lo cierto es que cabe realizar estudios evaluati-vos con enfoques teóricos muy diversos (Mark, 2003; Stern, 2005).

El caso que nos ocupa constituye un buen ejemplo de ello. El enfoque paradigmático a uti-lizar cambia radicalmente según el objeto del programa a evaluar y la finalidad que persigue el proceso. No es igual que nuestro objetivo se centre sobre las políticas públicas en materia de ciudadanía que sobre cómo estas políticas influ-yen en los programas que desarrollan las institu-ciones. No es igual evaluar el papel que ejercen las instituciones respecto al aprendizaje y desa-rrollo de los valores que representan la adquisi-ción de una ciudadanía ética y responsable que las conductas que manifiestan los individuos en las prácticas sociales de la vida diaria. Tampoco son iguales los enfoques a utilizar para evaluar los


58 Nº 13 (2009)pp. 47-69


problemas relacionados con la ciudadanía y con-vivencia según el marco teórico del que partimos (teorías descriptivas, teorías normativas, teorías explicativas, teorías heurísticas, teorías del cono-cimiento, etc.). Es lógico, por tanto, que ante la pluralidad de estudios distintos y perspectivas teó-ricas diversas necesariamente debamos abordar la evaluación de programas sobre ciudadanía desde una perspectiva multiparadigmática.

ii) El enfoque participativo como supuesto teó-rico pertinente. Aunque hemos justificado la pluralidad de en-

foques evaluativos dada la diversidad de estudios posibles, no obstante debemos considerar que el hecho de que sea posible utilizar un determinado tipo de enfoque evaluativo no significa necesa-riamente que sea el más pertinente. Por ello, cabe plantearse el siguiente interrogante: dados los su-puestos y fines que deben orientar toda estrate-gia de educación sobre ciudadanía y convivencia ¿existe algún enfoque que pueda ser considerado más adecuado para llevar a cabo la evaluación de programas en este ámbito?, ¿cabe identificar algún tipo de metodologías como más idóneas para llevar a cabo procesos de evaluación sobre este tipo de programas en este ámbito educativo?, ¿qué características deberían tener en cuenta los modelos evaluativos que se utilicen para evaluar programas de EpC?. Antes de dar respuesta a es-tas cuestiones procede tener en cuenta algunas consideraciones efectuadas al definir el concepto que constituye el tema de estudio.

En nuestro análisis sobre el concepto he-mos concluido que toda aproximación al tema de EpC

deberá asumir como supuesto el carácter proce-sual y democrático que debe enmarcar el diseño y aplicación de cualquier programa o estrategia cuya finalidad sea el empoderamiento de los va-lores, derechos y obligaciones del ciudadano.

Esta afirmación aporta elementos que, des-de la perspectiva teórica y metodológica de la evaluación, hace que nos situemos en uno de los polos que habitualmente se utilizan cuando se clasifican los modelos evaluativos de forma di-cotómica. Así, cuando se contraponen las carac-terísticas de la evaluación convencional o clásica y evaluación participativa, nuestra concepción sobre el objeto a evaluar se decanta claramente a favor de la participativa, especialmente cuando ésta se orienta a promover democráticamente el

desarrollo humano y el cambio social (Rebien, 1997; Whitmore, 1998).

Las diferencias entre estos dos enfoques de la evaluación son tan patentes en lo que respecta al concepto y estructura de una intervención social, los mecanismos a través de los cuales procede-mos a la construcción de los conocimientos y los usos o utilidad que pueden tener los mismos que, cuando abordamos temas de ciudadanía y convivencia, resulta fácil ubicarse en la perspec-tiva constructivista sin demasiada justificación. Es difícil comprender que podamos proceder a evaluar programas EpC sin tener en cuenta los procesos de interacción social de los sujetos en contextos interculturales –caracterizados por un conjunto de valores plurales– y sin la incorpora-ción activa en la construcción del conocimiento de todos los implicados en el propio proceso eva-luador, característica que define precisamente a las evaluaciones participativas. Así pues, conside-ramos que, aunque es posible utilizar en el ámbito de la EpC metodologías de evaluación distintas, la evaluación participativa puede ser considera-da como un modelo pertinente para los retos que comprometen a los evaluadores en el siglo XXI (Chelemsky y Shadish, 1997; Donaldson y Scri-ven, 2003; Lincoln, 2003).

Ahora bien, el encuadre dentro de un para-digma participativo no resuelve totalmente el problema ya que existen diversas metodologías participativas con distintas finalidades y distintas formas de integrar a los ciudadanos en los pro-cesos de evaluación. A lo largo del tiempo bajo la etiqueta de “evaluación participativa” se han ido desarrollando enfoques teóricos diferentes que ponen énfasis en cuestiones distintas según la finalidad primordial que se pretende conseguir –emancipación, cambio social, formación, etc.– dando lugar así a distintos modelos de evaluación (empowerment evaluation, cluster evaluation, co-llaborative evaluation, multicriteria evaluation, democratic evaluation, etc.). Todos estos mode-los defienden que las audiencias deben partici-par en los procesos de evaluación pero se dife-rencian en el modo o momento de hacerlo y en el grado de compromiso con que asumen su par-ticipación (Mark, 2003). De ahí que se puede de-cir que la evaluación participativa constituye un “paraguas” dentro del cual se cobijan diferentes propuestas evaluadoras –denominadas de nueva generación– que tienen en común la incorpo-ración de todos los implicados (stakeholders) al


59Nº 13 (2009)pp. 47-69


proceso evaluador (Cousins y Whitmore, 1998; Cousins, 2003).

Teniendo en cuenta esta pluralidad de enfo-ques del paradigma participativo parece necesa-rio avanzar un paso más e interrogarse sobre cuál de ellos resulta más oportuno en relación con la evaluación de los programas de EpC. Aunque igualmente es difícil establecer una única opción como válida dado que los objetivos a evaluar en cada caso son diferentes y requieren aproxima-ciones metodológicas distintas, sí cabe plantear que los supuestos de la denominada evaluación democrática constituyen la alternativa partici-pativa que más se acomoda a las características y finalidad que persiguen todos los programas sobre ciudadanía.

Dados los supuestos teóricos de esta modalidad de evaluación participativa existe una gran cohe-rencia lógica entre la finalidad genérica que per-siguen los programas sobre ciudadanía y la meto-dología que se utiliza en el proceso evaluador.

En ambos casos se busca un objetivo común construir y promover el conocimiento y los va-lores democráticos (House y Howe, 2000). Por ello cabe apostar por la evaluación democrática como la estrategia que no sólo permite a los ciu-dadanos adquirir conocimientos, ejercitar valo-res y asumir compromisos característicos de una ciudadanía cívica –tal como hemos señalado an-teriormente al comentar algunas funciones de la evaluación– sino que además les involucra de for-ma activa y democrática en los procesos de deci-sión y gestión que conlleva la realización de todo proceso de evaluación. La evaluación democráti-ca constituye por sí misma un espacio para apren-der, fomentar y evaluar los valores característicos de una ciudadanía inclusiva responsable.

iii) Desarrollo del modelo de evaluación demo-crática.La práctica nos viene a demostrar que la eva-

luación democrática no deja de ser un “desidera-tum” ya que en la realidad la presencia y partici-pación ciudadanía en los procesos de evaluación de las políticas públicas es más bien escasa. La falta de vertebración del tejido social determina que no siempre se pueda contar con personas, grupos y asociaciones sociales representativas de los intereses colectivos dispuestos a participar en procesos de negociación y evaluación democráti-ca. De alguna forma se podría decir que es muy difícil organizar el “contrapoder” que debe estar

presente en todo proceso de evaluación desde el comienzo del mismo. Más aún, en los casos en los que la participación ciudadana es factible, ge-neralmente, la falta de experiencia y método lle-va a que sus opciones e intereses no son tenidos en cuenta a la hora de la toma de decisiones, lo que implica aumentar sus reservas ante las ex-pectativas que puedan generar los procesos de participación.

Debido a ello los autores Floc’Hlay y Plottu (1998) proponen un modelo para operativizar la práctica de la evaluación democrática –Model for the Operationalization of Democratic Evaluation (MODE)– que permita integrar todos los colecti-vos implicados en lo programas y a la vez asumir mediante la negociación y el consenso las decisio-nes a tomar en relación con los procesos evalua-tivos. La operativización del modelo se establece en tres etapas definidas por distintos niveles de participación de los ciudadanos que se identifi-can con tres enfoques o modelos ya conocidos en la literatura sobre evaluación: empowerment eva-luation, participatory evaluation y multicriteria/collaborative evaluation. El MODE defiende que sólo es posible lograr una auténtica evaluación democrática cuando se integran estas tres meto-dologías como fases de un mismo proceso donde cada una de ellas sólo puede ser justificada si las otras dos también son puesta en práctica.

De acuerdo con este modelo, la primera eta-pa de todo proceso de evaluación democrática debe estar orientada a lograr que los ciudadanos asuman su papel como agentes implicados en las políticas públicas y su derecho y deber a partici-par en la evaluación y mejora de las mismas. Ello exige un proceso de toma de conciencia sobre el significado de la evaluación como mecanismo de control de las políticas públicas y de aprendizaje sobre los modos de participación en las estrate-gias evaluativas de las partes implicadas. Sólo a partir del conocimiento de los conceptos y téc-nicas que se utilizan en los procesos evaluativos se podrá promover la autodeterminación de las audiencias implicadas (Fetterman, 1994). De lo contrario, la manipulación de los procesos por los expertos resulta evidente. De ahí que para que sea posible llevar a cabo una evaluación democráti-ca los participantes deben en primer lugar reali-zar un proceso de “empoderamiento” de la eva-luación (empowerment evaluation) mediante un proceso de aprendizaje que les permita elaborar un proyecto colectivo sobre cómo se realizan los procesos y para qué.


60 Nº 13 (2009)pp. 47-69


La segunda etapa de la evaluación democráti-ca se concibe como un proceso dinámico de con-frontación de ideas y proyectos entre los diversos agentes implicados en la toma de decisiones. Una vez que los distintos colectivos implicados han lo-grado su “empoderamiento” sobre los procesos evaluativos procede la puesta en común y delibe-ración entre las diversas opciones y proyectos po-sibles para llevar a cabo la evaluación de políticas públicas específicas. La evaluación participativa (participatory evaluation) constituye la estrategia idónea en este caso, ya que permite que cada una de las partes implicadas pueda exponer su pro-yecto y criterios. Este proceso de confrontación de valores, puntos de vista y opciones diversas, no solo aporta mayor conocimiento sobre el ob-jeto al ser analizado desde distintas perspecti-vas sino que también permite conocer y utilizar otros criterios para abordar los procesos evalua-tivos. No obstante, procede precisar como muy importante que esta fase de confrontación y de-liberación debe permitir la construcción de una visión global sobre el objeto que tienda a unificar los diversos planteamientos de las audiencias ya que, de lo contrario, genera confusión y dificulta tomar decisiones operativas.

Finalmente, la última fase del modelo opera-tivo que se propone sobre la evaluación democrá-tica es el trabajo colectivo de todos los implicados en la decisión e implementación de una solución negociada que sea compartida mayoritariamente por todos Ahora bien, aplicar una solución ne-gociada implica que exista previamente consen-so y compromiso entre las partes involucradas para poner en marcha una estrategia evaluativa construida a partir de las aportaciones de todos. Se trata, por tanto, de consensuar una alternativa con las aportaciones y colaboración de todos los implicados De ahí que, aunque los autores titulan esta fase como evaluación multicriterio, desde mi punto de vista debería denominarse como eva-luación colaborativa. En el primer caso, se pone el énfasis en la necesidad de tomar distintos cri-terios de referencia antes de tomar decisiones en relación con los procesos evaluativos y, en el se-gundo, se destaca el procedimiento que se con-sidera oportuno para llegar al consenso sobre la opción elegida. Consideramos que la evaluación colaborativa, en la medida que clarifica los pasos o secuencias a seguir por todo el equipo durante el proceso, define de forma más precisa los obje-tivos que se pretenden alcanzar durante esta fase (O’Sullivan, 2004; Rodríguez-Campos, 2005).

En resumen, la evaluación democrática re-quiere que, antes de proceder a los procesos de confrontación y deliberación entre las distintas alternativas que se postulan, cada una de las par-tes implicadas en un proceso evaluativo elabore y asuma una posición (enfoque, criterios, valores.) respecto al tema que es objeto de evaluación; es decir, realice su empoderamiento de la evaluación que se debe realizar. Constituye un requisito pre-vio para que se negocie y aplique una solución consensuada que compromete a todos. En defi-nitiva, se trata de que, frente al predominio del papel que ejercen los expertos y patrocinadores en todas decisiones relativas a los enfoques y pro-cesos de una evaluación, se establezca desde el comienzo el contrapoder de los stakeholders que ponga de relieve otras formas de mirar y valorar la misma realidad desde la perspectiva del ciu-dadano. Solo cabe hablar de auténtica evaluación democrática cuando simultáneamente el poder y el contrapoder constituyen componentes esenciales del mismo proceso de evaluación. Esto es lo que el MODE defiende.

Las razones por las que hemos optado por la elección de este modelo como el más pertinen-te y oportuno a la hora de evaluar programas de EpC son las siguientes:

a) La mayoría de los programas de EpC se rea-lizan con sujetos y colectivos minoritarios (emigrantes, marginados, etc.) que tienen dificultades para lograr y defender su iden-tidad como personas y pueblos con creen-cias y valores singulares. La evaluación como estrategia de empoderamiento ayuda a estos sujetos y colectivos a que tomen conciencia de su realidad, conozcan los valores, derechos y obligaciones que definen su identidad cívica y asuman que la convivencia requiere no sólo defender sus derechos sino también respetar los valores de los otros. Por ello, es impor-tante que la evaluación de todos programas sobre ciudadanía comiencen promoviendo el empoderamiento cívico de los sujetos, no sólo como criterio de identidad sino también para que pueden defender por sí mismos sus intereses en cualquier tipo de proceso eva-luativo.

b) Los objetivos básicos que orientan la evalua-ción de todo programa de EpC no se centran tanto sobre los conocimientos cómo sobre las conductas sociales que los sujetos manifiestan en vida pública. La estrategia más adecuada para evaluar los valores, actitudes y conductas


61Nº 13 (2009)pp. 47-69


que se pretenden fomentar a través de estos programas es a través de las relaciones de convivencia de unos individuos con otros. La metodología participativa nos permite con-frontar valores y conductas distintas, estimar en qué medida son respetados los derechos de los otros, especialmente de aquellos que tienen o defienden unos valores distintos a los nuestros, y revisar el nivel de coherencia y compromiso con los principios, derechos y obligaciones que nos otorgan la categoría de ciudadanos responsables, activos y críti-cos. En definitiva, la evaluación participati-va facilita los procesos de autoevaluación y coevaluación necesarios para que los sujetos puedan evaluar sus competencias y mejorar conductas cívicas.

c) Finalmente, la finalidad de todo programa de EpC es la construcción de una sociedad más solidaria y justa. Ello requiere una colabora-ción activa en la defensa de los derechos fun-damentales de las personas, en la construc-ción diaria de los valores democráticos, y en la participación comprometida en proyectos que promuevan el desarrollo de los hombres y los pueblos. La evaluación colaborativa per-mite que todas las audiencias implicadas en un proyecto sobre ciudadanía puedan darse cuenta de su cuota de responsabilidad ante los distintos problemas sociales en este ámbito y de su nivel de compromiso personal con aquellos a quienes se les niega los derechos fundamentales. Su colaboración en los pro-pios procesos evaluativos constituye un buen indicador de cómo se entiende esta respon-sabilidad y compromiso social.

En resumen, consideramos que el MODE constituye un marco teórico pertinente y ade-cuado para realizar procesos de evaluación de programas sobre ciudadanía y convivencia. El en-foque concreto a utilizar en cada caso depende de la finalidad que promueva el programa. Lo im-portante es considerar que la evaluación en temas de ciudadanía, además de evaluar los objetivos re-lativos a programas, tiene una finalidad formativa en tanto que constituye un espacio donde todos los sujetos pueden desarrollar valores ciudada-nos. De ahí que proceda plantear la evaluación de los programas sobre ciudadanía en distintos niveles o fases hasta llegar a integrar a todos los implicados en un proceso democrático. Lo de-seable sería que podamos planificar una evalua-

ción con la máxima participación posible de los involucrados; es decir, que implique las tres fases que conlleva un proceso democrático.

Criterios metodológicos desde la perspectiva democrática

La polarización de los enfoques teóricos en dos polos extremos –convencional y participa-tivo– también ha generado un enfrentamiento entre metodologías cuantitativas y cualitativas de evaluación dado que cada una se considera propia de uno de estos enfoques. La norma im-plícita al respecto es simple: la elección de los métodos se establece de acuerdo con la teoría y propósitos de la evaluación. Métodos y teoría son difíciles de separar en evaluación precisamente porque muchas teorías se formulan como méto-dos (Stern, 2005). De hecho muchos de los de-bates teóricos en las ciencias sociales se limitan simplemente a la elección de una opción meto-dológica para recoger datos y obtener evidencias. Los enfoques positivitas conducen a la utilización de metodologías cuantitativas y los pluralistas a las metodologías cualitativas. Aunque también existen llamadas al realismo y utilizar de forma complementaria ambas metodologías, lo cierto es que, en la práctica, el enfrentamiento epistemoló-gico queda solapado y, la mayoría de las veces, el debate se limita a cuestiones de carácter puntual (Greene y Caracelli, 1997; Mabry, 2002)

Las polémicas que se establecen entre ambas metodologías no siempre están justificadas, ni desde el punto de vista teórico ni tampoco desde el práctico. La mayoría de los argumentos que se formulan a favor de una y otra parte no siempre son adecuados ya que desde la perspectiva de la filosofía de la ciencia en estas controversias se co-menten múltiples errores. Aunque existen buenas razones para apoyar el uso preferente de métodos cualitativos en la evaluación participativa ello no significa que no podamos formular hipótesis que puedan ser evaluadas con métodos cuantitativos y cualitativos (Shadish, 2005). Por otro lado, en la práctica, los límites entre ambas metodologías no siempre están bien definidos en el campo de la evaluación ya que podemos recoger datos con procedimientos claramente cualitativos (entre-vista, observación, etc.) y analizarlos cuantitati-vamente y, a la inversa, realizar análisis de datos estadísticos cuyos resultados sólo pueden ser in-terpretados de forma cualitativa.


62 Nº 13 (2009)pp. 47-69


Aunque es difícil separar am-bas metodologías, sí cabe hablar de una cierta idoneidad de algu-nos métodos sobre otros en fun-ción de la finalidad del estudio, el tipo de dato a recoger o de la fuen-te que nos lo proporciona. Los mé-todos cualitativos son más apro-piados generalmente para recoger datos sobre procesos relativos a la implementación de un programa, las opiniones y valoraciones de las audiencias o los aspectos del mis-mo que pueden ser considerados como fortalezas o debilidades. A su vez los métodos cuantitativos resultan más oportunos cuando el evaluador debe presentar eviden-cias con datos concretos sobre la eficiencia y eficacia de los progra-mas a efectos de toma de decisio-nes. En todo caso, su mayor o me-nor idoneidad según el propósito de la evaluación y la tipología de los datos y las fuentes no justifica la controversia con la que habitual-mente se presentan y, menos aún, el solapamiento del debate episte-mológico (Pawson y Tilley, 1997; Pawson y Tilley, 2001).

Teniendo en cuenta que los objetivos de la mayoría de las eva-luaciones sobre programas EpC se centra preferentemente sobre valores cívicos la elección de un marco metodológico no debe plantearse en términos de confrontación de mé-todos cuantitativos o cualitativos si no entre métodos democráticos y no democráticos (De Miguel, 1999b; Mark, 2003). Tomando como re-ferencia este principio sí procede avanzar algunos criterios de carácter metodológico que estima-mos oportuno tener en cuenta a la hora de pla-nificar diseños de evaluación coherentes con la perspectiva democrática por la que hemos optado con carácter preferente. No es nuestro propósito señalar todos los aspectos metodológicos impli-cados en un proceso participativo –aspectos que se pueden ver en otros trabajos (Schnoes, Mur-phy-Berman y Chambers, 2000; Nichols, 2002)– sino solamente incidir sobre aquellos que nos pa-recen más relevantes, caso de que pretendamos llevar a cabo una evaluación democrática. Entre estos criterios destacamos los siguientes:

i) Planificar diseños formativos.Hemos señalado que una de las funciones

más relevantes de los procesos evaluativos es fa-cilitar el aprendizaje de todos los involucrados en los mismos. Esta finalidad resulta esencial en toda evaluación participativa y debe estar presente en todas las fases del proceso dado que la función formativa –aprendizaje para todos– constituye la característica esencial en las evaluaciones de-mocráticas (Bartolomé y Cabrera, 2000). Ahora bien, para que esto suceda es necesario que en el momento de concretar el diseño de la evalua-ción y decidir la metodología que vamos a utili-zar tengamos en cuenta este criterio como marco de referencia. Para ello deberemos dar prioridad a los diseños en los que el proceso de evaluación constituye esencialmente un proceso de forma-ción, tal como se postula en todos los modelos de evaluación e investigación participativos, colabo-rativos y de investigación en la acción.

“Voy a extrañar la sombra”, Raquel Pumilla


63Nº 13 (2009)pp. 47-69


Ahora bien, la planificación de un “diseño formativo democrático” no es una tarea sencilla ya que se requiere el dominio de las caracterís-ticas propias de este tipo de diseños y, además, que su elaboración sea una tarea de todos; es de-cir, primando las decisiones grupales sobre su propia opinión de experto. Sí queremos realizar una evaluación participativa y democrática de-bemos asumir que nada puede ser ordenado “a priori” ya que todas las fases y métodos a utilizar a lo largo del proceso deberán ser decididas en-tre todos los involucrados. Aunque el evaluador tenga un marco de referencia previo sobre cómo organizar el proceso o la metodología a utilizar, necesariamente deberá escuchar y aprender de las alternativas que presenten otros implicados y, en consecuencia, optar entre todos por la de-cisión que puede ser más formativa para todos. En las evaluaciones participativas el proceso de formación no es algo añadido al proceso evalua-dor es el mismo proceso visto desde otra pers-pectiva (Rae, 1999).

Asumir este enfoque implica comenzar el proceso evaluador formando a los implicados en cada proceso concreto sobre la metodología de evaluación y los distintos métodos y técnicas de investigación y evaluación necesarios para lle-var a cabo un trabajo participativo. También es necesario concretar quién va realizar este tipo de formación y las características que debe tener en función de las diferencias culturales y lingüísti-cas que inciden en los implicados. Todas estas cuestiones deberán ser previstas en el momento de la planificación de un trabajo por el evaluador lo que no quiere decir que sean exclusivamente de su competencia, ya que es recomendable que participen otros profesionales en las tareas for-mativas. Lo importante es lograr que antes de que cada decisión a tomar a la lo largo del pro-ceso evaluativo todos los implicados tengan la información y formación necesaria para actuar de forma coherente y responsable, para ejercer lo que se ha dado en llamar el “contrapoder” de las audiencias (Floc’hlay y Plottu, 1998).

ii) Seleccionar a todos los involucrados: más allá de la representatividad estadística. Ya hemos avanzado que uno de los supues-

tos teóricos de la evaluación democrática es que “tiene en cuenta los intereses de todos frente a los intereses de algunos” lo que significa que no se puede tener una visión restrictiva sobre audien-cias y del papel que deben jugar a lo largo de todo

el proceso. La tendencia habitual a considerar a determinados sectores implicados en un progra-ma únicamente como fuentes de información o como “audiencias abstractas” no es compatible con los supuestos de una evaluación democrática que requiere la participación de todos en todas decisiones y en todas las fases del proceso, inclui-da la construcción del conocimiento. El proble-ma metodológico implícito es cómo lograr la in-clusión y participación de todos los involucrados –especialmente cuando son numerosos– y cómo identificar los intereses de aquellos que, por razo-nes diversas, no están representados en el proceso (Mertens, 1999; Ryan y DeStefano, 2000).

De ahí que la selección de los stakeholders constituye uno de los aspectos metodológicos cla-ve en las evaluaciones democráticas ya que no se trata solamente de seleccionar informantes re-presentativos sino personas que se integren en el equipo evaluador como un miembro más del equipo aportando sus conocimientos, opiniones y valoraciones a lo largo de todas las fases del mis-mo. Conjugar ambos propósitos implica que la selección no sólo puede plantearse únicamente con métodos estadísticos y sea necesario utilizar otros criterios de tipo intencional. El objetivo a lograr no sólo es que estén presentes los distin-tos sectores y sensibilidades implícitas en un pro-grama si no también que quienes vayan a formar parte del equipo evaluador estén informados so-bre lo qué se pretende hacer y cómo hacerlo, con el fin de que puedan tomar sus decisiones propias al respecto sin ningún tipo de condicionamiento. Sólo así se podrá hacer presente el “contrapoder” necesario en toda evaluación democrática.

El objetivo a lograr cuando evaluamos pro-gramas de EpC –como en cualquier otro diseño democrático– es la inclusión en el estudio de los intereses, valoraciones y puntos de vista relevan-tes de todos los implicados en el programa por encima de las relaciones de poder que se estable-cen entre las partes en cada contexto específico. Las preguntas que cabe plantear al respecto son sencillas: ¿qué intereses están presentes en la eva-luación?, ¿a qué sectores o audiencias represen-tan?, ¿cuáles han sido marginados?, ¿se justifican las razones que se utilizan para excluir determi-nadas audiencias?, ¿las audiencias seleccionadas tienen posibilidades reales de participar activa-mente en el proceso?, ¿qué formación necesita-rían para lograr su plena integración?, etc. Sí las respuestas a estas cuestiones no son plenamente satisfactorias la evaluación quedará cuestionada.


64 Nº 13 (2009)pp. 47-69


Algunos autores proponen que, cuando es impo-sible que determinadas audiencias minoritarias se puedan integrar en el proceso, el evaluador se verá obligado a asumir su papel de advocate: la voz de los de sin voz. (Greene, 1997; De Mi-guel, 2004).

iii) Utilizar técnicas reflexivas para la recogida de información. El supuesto básico en toda evaluación demo-

crática es utilizar el conocimiento y la experien-cia de todos los implicados en la construcción del conocimiento. De ahí, la importancia de que la información a recabar no sólo sea plural, es decir, que refleje la “voz” de todos los implica-dos, sino que además sea razonada en tanto que las opiniones o valoraciones que se recojan sean producto de la reflexión personal a partir de la experiencia directa que el sujeto ha tenido sobre el objeto de la evaluación. Este hecho justifica que otorguemos cierta prioridad a la utilización de algunas técnicas e instrumentos de recogida de información como más idóneos que otros para nuestros propósitos (Nichols, 2002).

No cabe duda que todas aquellas estrategias que implican una experiencia y trabajo perso-nal (diarios, autoinformes, portafolios, entrevis-tas en profundidad, etc.) o que sean producto de reflexión grupal (grupos de discusión, entrevista pública, foros,…) constituyen herramientas que posibilitan que los sujetos nos aporten “informa-ción razonada”, requisito que consideramos im-portante ya que exige previamente a los sujetos cierto grado de empoderamiento sobre la misma; es decir, un proceso de toma de conciencia per-sonal en relación con la información que emiten. La mayoría de los instrumentos estandarizados y de aplicación colectiva normalmente no facilitan un espacio de reflexión y análisis necesario para que el sujeto pueda valorar todas las dimensiones implícitas en las cuestiones que se le formulan y para tomar conciencia de cuál es su verdadera posición al respecto.

En el caso que nos ocupa EpC, esta orienta-ción hacia “técnicas reflexivas” es fundamental por dos razones. De una parte, porque el con-tenido que habitualmente debe ser objeto de la búsqueda de información no se ajusta demasiado a las técnicas estandarizadas, dado que se trata de recabar percepciones, sentimientos, motiva-ciones, conductas, etc. de colectivos y personas que, por otra parte, la mayoría de las veces per-

tenecen a minorías marginadas y que pueden te-ner problemas para entender y expresarse con los códigos de la cultura dominante. De otra, porque a la hora de recoger información en una evalua-ción democrática es muy importante primar la diversidad sobre la uniformidad con el fin de que todas las voces y todos los matices puedan estar presentes, lo que conlleva el empleo de técnicas personalizadas e instrumentos adaptados a las características propias de cada audiencia. Am-bas razones justifican que las decisiones sobre el número, tipología y adecuación a las audiencias de las técnicas reflexivas que se utilizan para re-coger información constituyan un indicador muy sensible a la hora de estimar la calidad de un di-seño democrático.

iv) El forum deliberativo como estrategia de aná-lisis.Aunque en la evaluación democrática se pue-

den utilizar métodos distintos para la codifica-ción y tratamiento de los datos recogidos, se asu-me como principio fundamental que el análisis de la información debe ser efectuado por todos y entre todos mediante procesos de diálogo y deli-beración. El objetivo que se busca es que no pre-valezca una interpretación unilateral de los datos y que el único modo de evitar un excesivo prota-gonismo técnico es someter a discusión pública toda la información recogida para que todos los involucrados hagan su propio análisis, interpre-tación y valoración. La discusión pública permiti-ría a los sujetos conocer y valorar otros puntos de vista, especialmente aquellos que representan la voz de las minorías. El problema radica en cómo generar este proceso de diálogo y deliberación en-tre las partes implicadas de manera eficaz. Existen diversas estrategias prácticas que facilitan esta ta-rea, y que deben ser objeto de atención prioritaria en las evaluaciones democráticas, entre las que procede destacar el “forum deliberativo”.

El forum deliberativo constituye una estra-tegia metodológica que permite canalizar el diá-logo y la deliberación entre grupos heterogéneos de ciudadanos que participan en un proceso eva-luativo y que manifiestan diversidad de conoci-mientos, valores y actitudes en relación al fenó-meno que es objeto de evaluación. Mediante el intercambio ordenado de distintas perspectivas y valoraciones los sujetos pueden obtener un aná-lisis más profundo y plural sobre el objeto de la evaluación y, en consecuencia, participar en las


65Nº 13 (2009)pp. 47-69


deliberaciones con actitudes más comprensivas y constructivas. El diálogo constituye, por tan-to, un método o instrumento de análisis propio de todas las metodologías participativas ya que permite hacer efectiva deliberación democrática (Greene, 2001). El evaluador actúa como la per-sona que facilita y administra esta deliberación democrática, cuidando especialmente de que to-dos puedan participar y todas las opiniones sean respetadas y valoradas más allá de la oportuni-dad o coincidencia con el sentir de la mayoría (NacNeil, 2002).

El uso de esta estrategia es especialmente re-comendable en las evaluaciones de programas de EpC ya que generalmente se trata de programas implementados en contextos multiculturales en los que no todos tenemos el mismo modelo de democracia y sociedad civil (Hanberger, 2001) y en los que participan colectivos minoritarios y desfavorecidos que no suelen tener la oportuni-dad de ser “oídos” de manera efectiva a la hora de analizar, interpretar y valorar la información quedando esta tarea casi en las manos exclusivas del evaluador y las audiencias dominantes. El fo-rum posibilita un diálogo abierto que permitirá conocer otras formas de percibir y juzgar los da-tos y un proceso de deliberación constructiva que enriquecerá nuestros conocimientos y nuestras actitudes sobre ciudadanía y convivencia con las aportaciones de “otros” que utilizan otro tipo de valores y razonamientos para comprender y ex-plicar la realidad (Ander-Egg, 1990). Constitu-ye, por tanto, una de las herramientas más útiles para hacer realidad la dimensión formativa de evaluación.

v) El consenso como método para construir evidencias. En toda evaluación el proceso de análisis debe

concluir con unos resultados. Cuando se actúa con la lógica de la evaluación democrática los resultados se presentan en forma de evidencias consensuadas; es decir, de acuerdos que se han adoptado tras el proceso de deliberación efectua-do entre todos los involucrados. Lo importante de los consensos es el carácter intersubjetivo a través del cual se construyen como “saberes compar-tidos” por todos los participantes en el proceso evaluador, saberes que en tanto constituyen patri-monio común de una colectividad también se les puede denominar como “conocimientos colecti-vos”. La mayoría de nuestras conductas sociales

están determinadas por este tipo de conocimien-tos (teorías implícitas, imágenes sociales, metáfo-ras, etc.) que las personas que pertenecemos a un determinado grupo utilizamos para interpretar, predecir y actuar dentro de la vida comunitaria. Las metodologías de investigación y evaluación de carácter participativo constituyen los proce-dimientos más adecuados para obtener los con-sensos o evidencias intersubjetivas que pueden ser considerados como conocimientos colectivos (De Miguel, 1993; Patton, 2002).

Algunos autores consideran este tipo de co-nocimientos como vulgares aludiendo a su fal-ta de objetividad frente al conocimiento obteni-do mediante el método científico. Sin embargo, desde posiciones postpositivistas no se tiene una interpretación tan rígida de la ciencia y no cabe excluir cualquier vía que nos lleve al conocimien-to de los fenómenos sociales. Al contrario, dado que los conocimientos colectivos son los que re-gulan la mayor parte de las conductas sociales de los sujetos, deberían ser objeto prioritario de análisis y valoración.

Este es igualmente el reto que deben asumir todos los procesos de evaluación de los progra-mas de EpC: incrementar el corpus teórico de cono-cimientos colectivos sobre ciudadanía y conviven-cia del que participan un conjunto de individuos y grupos a partir de los cuales regulan sus conductas sociales. La validez de este conocimiento viene dada por su carácter intersubjetivo; es decir, del grado de consenso que existe sobre el mismo en-tre las partes involucradas. Frente a la validez de los datos significativos debemos dar crédito a la validez de la “experiencia vivida” por los colec-tivos implicados (Mabry, 2003). El evaluador es el responsable de la estructuración de los proce-sos de deliberación y la utilización de métodos colectivos que permitan obtener consensos que puedan ser considerados no sólo como resultados o conclusiones del proceso si no también como conocimientos colectivos.

vi) La metaevaluación como criterio de valida-ción. Aunque siempre es recomendable efectuar

una metaevaluación sobre todo tipo de trabajos evaluativos en el caso de que estos hayan sido rea-lizados utilizando un modelo democrático esta tarea resulta imprescindible ya que es la única forma de acreditar la validez del proceso y con-trolar el papel que ha desarrollado el evaluador


66 Nº 13 (2009)pp. 47-69


a lo largo del mismo. Como en cualquier tipo de actividad, la distancia entre teoría y práctica en una evaluación democrática puede ser acusada y podemos introducir sesgos importantes en la planificación y gestión de los procesos que desvir-túen los postulados que rigen este tipo de evalua-ciones. La metaevaluación constituye la estrategia que nos va permitir comprobar si se cumplen o no los principios que determinan que una eva-luación pueda ser tipificada como democrática. Constituye, pues, un criterio de validación del proceso evaluador (Sttuffebleam, 2001).

Para llevar a cabo esta metaevaluación ac-tualmente contamos con estándares y listados de ítems que nos permiten comprobar si hemos tenido en cuenta cada una de las condiciones o requisitos necesarios en las evaluaciones demo-cráticas y el grado o nivel de cumplimiento de cada una de ellos (House y Howe, 2000). No obs-tante, es necesario tener en cuenta que la validez en los estudios interpretativos viene dada por la experiencia vivida por los implicados por lo que la aplicación de estas guías o estándares de metae-valuación debe hacerse igualmente de forma par-ticipativa. Aunque estos listados son asequibles y pueden ser utilizados con facilidad por todos los participantes es recomendable que también sean aplicados por agentes externos al propio proceso con el fin de otorgar mayor credibilidad al aná-lisis metaevaluativo (Mabry, 2002).

En el caso del tema que nos ocupa esta me-taevaluación deberá centrarse de manera especial sobre el papel desempeñado por el evaluador a lo largo de todo el proceso dado que la forma de llevar a cabo su función es determinante en una evaluación democrática. El control externo re-sulta imprescindible para detectar posibles ses-gos culturales y personales que el evaluador haya podido introducir a lo largo del proceso. El hecho de que el evaluador pertenezca a una determina-da comunidad cultural le puede llevar a enfocar los problemas de ciudadanía y las valoraciones sobre los programas desde una posición etnocén-trica propia de una cultura dominante cuando el reto es actuar de la forma más democrática posi-ble. De ahí que no sólo sea necesario validar su trabajo mediante estrategias de metaevaluación sino también asumir procesos de triangulación y revisión crítica que le ayuden a cuestionar si sus decisiones y actuaciones están sesgadas a causa del etnocentrismo propio del grupo cultural al que pertenece (De Miguel, 1999b).

El evaluador como facilitador y administrador de la deliberación democrática

El trabajo del evaluador siempre ha constitui-do objeto de análisis y reflexión. De una parte, en la medida que decide el modelo y diseño a utili-zar en un proceso evaluativo, su trabajo consti-tuye la pieza clave que determina la pertinencia y adecuación de los procedimientos metodológicos empleados en relación con el objeto y finalidad que se pretende con la evaluación. Por otra parte, la forma concreta de llevar a cabo estos procedi-mientos también constituye otro factor a tener en cuenta ya que el resultado de un trabajo eva-luativo depende del rigor y objetividad emplea-do en su realización; es decir, de los códigos de conducta que ha tenido en cuenta en el desarro-llo de su tarea profesional. (Patton, 2001; Owen, 2006). En definitiva, el evaluador es el que deter-mina que exista coherencia entre teoría y práctica, entre lo que decimos que hay que hacer y lo que realmente hacemos.

Respecto a esta cuestión todos los autores co-inciden en señalar que la clave para evaluar la co-herencia de un trabajo evaluativo es el papel que asume el evaluador en el mismo (Scriven, 2001; House, 2001b; Ryan y Schwandt, 2002). Distin-tos programas y finalidades exigen formas dis-tintas de enfocar el trabajo del evaluador lo que conlleva que deba ejercer una función o papel diferente. Las dinámicas que se han producido en los planteamientos teóricos de la evaluación durante los últimos años han generado una plu-ralidad de roles sobre el trabajo de los evaluado-res hasta el punto que el catálogo esté abierto de forma permanente. Ya hemos señalado en otro momento (De Miguel, 2004) que los nuevos en-foques evaluativos han identificado otros roles del evaluador (facilitador, agente de cambio, amigo crítico.) más adecuados desde el punto de vista democrático e, igualmente, otras competencias necesarias para poder desarrollar su trabajo co-rrectamente. Por ello, la formación del evaluador constituye una cuestión clave ya que nadie pue-de ejercer bien una tarea o desempeñar un papel para el que previamente no haya sido formado (Grasso, 2000; King, y al., 2001).

Una vez que hemos considerado la evalua-ción democrática como el modelo más pertinente para evaluar programas sobre ciudadanía debe-mos tener en cuenta que los enfoques construc-tivistas entienden el proceso evaluador como una


67Nº 13 (2009)pp. 47-69


acción reflexiva de todos los involucrados en la construcción del conocimiento sobre el objeto a evaluar. El reto, por tanto, es que el conocimiento se genere a través del diálogo, la deliberación y la negociación entre todos los involucrados lo que sitúa u otorgar al evaluador el papel de facilitador de los procesos de empoderamiento, promotor del dialogo y la negociación entre los implicados y ges-tor de la deliberación democrática. En una evalua-ción democrática el evaluador tiene que asumir el rol de administrador de la deliberación democrá-tica (NacNeil, 2002). No se trata solamente de fa-cilitar la participación de todos los involucrados en la deliberación sino también de administrar el proceso con el que todas las opiniones sean res-petadas y valoradas más allá de la oportunidad o coincidencia con el sentir de la mayoría

Asumir este rol en una evaluación democrá-tica no sólo es cuestión teórica ya que implica el domino de unas determinadas competencias téc-nicas de tipo práctico que hagan posible esta de-liberación democrática. La participación y con-ducción de grupos de discusión entre personas procedentes de sectores diversos, con culturas distintas, y con intereses en muchos casos contra-puestos, requiere que el evaluador posea una serie de competencias y habilidades prácticas específi-cas. Por ello, al margen de que las características

personales del evaluador sean más o me-nos idóneas para ejercer el rol de adminis-trador en una deliberación democrática, lo cierto es que resulta necesario que existan procesos de formación y entrenamiento de los evaluadores sobre cómo deben ejercer este nuevo rol y procesos de revisión sobre el modo de llevarlo a cabo (Smith, 2003). Aunque existen repertorios y manuales so-bre buenas prácticas que pueden orientar y controlar sí los evaluadores demuestran competencia en el “saber hacer”; desde mi punto de vista, una evaluación democráti-ca no es creíble mientras el trabajo del eva-luador no se someta a un control externo –a modo de supervisión clínica– que per-mita revisar y mejorar el papel que ejerce a lo largo de todo el proceso. De ahí que en una evaluación democrática la metae-valuación del papel del evaluador resulte imprescindible.

El problema en el caso de programas sobre ciudadanía y convivencia no acaba aquí. Del mismo modo que la práctica de la evaluación siempre está mediatizada por las características personales del evalua-

dor (Weis 1998) cuando el tema que es objeto de la evaluación son los valores cívicos –como es el caso que nos ocupa– el compromiso ético también constituye un requisito imprescindible. En la evaluación de programas de ciudadanía y convivencia no cabe la neutralidad del evalua-dor, ya que él también está comprometido ética y políticamente como ciudadano en el objeto que evalúa. Los valores que deben orientar la evalua-ción de los hechos y los fenómenos que analiza no le son ajenos dado que también forman parte de su propio esquema de valores personales. No cabe hablar de solidaridad, diálogo, tolerancia, respecto a la diversidad, defensa de los derechos humanos, etc., sin sentirse interpelado en la de-fensa de estos valores. Por ello, además de eva-luador, deberá ser un ejemplar ciudadano en el amplio sentido de la palabra.

Así pues, una evaluación democrática no sólo le exige al evaluador “saber” y “saber hacer” sino también “ser”. Ello significa plantear la evaluación como un compromiso personal con valores que no sólo promuevan “dar la palabra al ciudadano” sino también construir e incrementar una ciu-dadanía crítica que promueva la emancipación de las personas y el desarrollo de una sociedad más justa e igualitaria. Cuando hablamos de eva-luación de programas orientados a fomentar la

“Paisaje sureño”, óleoNéstor Salamero


68 Nº 13 (2009)pp. 47-69


ciudadanía y la convivencia es necesario que el evaluador se cuestione sobre a quién sirve con lo que hace y cómo lo hace. Por ello, no basta con tomar opciones a favor de las metodologías parti-cipativas y estrategias metaevaluativas pensando que éstas permitirán revisar nuestras conductas como evaluadores sino que también deberemos proponernos que los procesos evaluativos nos ayuden a aprender a conocer y mejorar nuestro compromiso ético como ciudadanos. No basta la lógica de la ciencia para dar coherencia a nuestro trabajo, necesitamos la lógica de la ética. Sólo así podremos dar sentido a lo que hacemos, cómo lo hacemos y por qué lo hacemos.

Nota

1 Ponencia presentada por el autor en el Congreso Nacio-nal y III Iberoamericano de Pedagogía. 17 al 19 de sep-tiembre de 2008. Zaragoza (España).

bibliografía

ALEXANDER, J. (1990). Las teorías sociológicas desde la Segunda Guerra Mundial. Barcelona, Gedisa.

ANDER-EGG, E. (1990). Repensando la investigación-ac-ción-participativa. Vitoria, Servicio de Publicaciones del Gobierno Vasco.

BAÑÓN, R. (2003). “La evaluación de la acción política como responsabilidad democrática”. En Bañón, R. (Com.). La evaluación de la acción y las políticas pú-blicas. Madrid, Díaz Santos.

BARTOLOMÉ, M (1997).”Panorámica general de la investi-gación sobre Educación Intercultural en Europa”. Revista de Investigación Educativa, 15 (1), 7-30.

BARTOLOMÉ, M, y al. (1999). “Diversidad y multicul-turalidad”. Revista de Investigación Educativa, 17 (2) 277-319

BARTOLOMÉ, M y CABRERA, f. (2000). “Nuevas ten-dencias en la evaluación de programas de educación multicultural”. Revista de Investigación Educativa, 18 (2), 463-479.

BARTOLOMÉ. M, y al. (2001). La construcción de la iden-tidad en contextos multiculturales. Madrid, CIDE.

BARTOLOMÉ, M. (ed.). (2002). Identidad y Ciudadanía: Un reto a la Educación Intercultural. Madrid, Narcea.

BARTOLOMÉ, M y CABRERA, f. (Coord), (2007). Cons-trucción de una ciudadanía. Madrid, MEC/Narcea

BECK, W., MAESEN, L.,THOMESE, F. y WALTER, A (2001). Social Quality: A visión for Europa. The Hague, Kluwer Internacional.

BUSTELO, M. (1999). “¿Qué tiene de específico la me-todología de la evaluación?”. En Bañón, R. (com). La evaluación de la acción y las políticas públicas. Madrid, Díaz Santos.

CABRERA, F. (2002). “Hacia un nuevo concepto de ciu-dadanía”. En Bartolomé. M. (ed.). Identidad y Ciu-dadanía: Un reto a la Educación Intercultural. Madrid, Narcea.

CANDAU, V. (2007). “Derechos humanos y educación in-tercultural”. En Practs, E. (Coord.) Multiculturalidad y educación para la equidad. Barcelona, Octaedro/OEI.

CASTRO, L., CASTRO, M. y MORALES, J. (2005). Metod-ología de las Ciencias Sociales. Madrid, Tecnos.

CHELEMSKY, E. y SHADISH, W. (1997). Evaluation for the 21 Century. London, CA: Sage.

COUSINS, J. y WHITMORE, E. (1998).“Framing participatory evaluation”. En Whitmore, E.(ed.) (1998).“Understanding and practicing participatory evaluation”. New Directions for Evaluation. San fran-cisco, Jossey-Bass Publishers.

COUSINS, J. (2003) “Utilization effects of participatory evaluation” En Kellaghan, Th.y Stufflebeam, D. (eds.). International Handbook of Educational Evaluation. London, Kluwer Academic Publishers.

DARLER-LARSEN, P. (2002). “Evaluation in an organi-zational world”. Ryan, K. y Schwandt, Th. Exploring evaluator role and identity. Greenwich, IAP.

DE MIGUEL, M. (1992). “Minorías y educación intercul-tural”.Bordón, 44 (1), 23-36.

DE MIGUEL, M. (1993).”La IAP un paradigma para el cam-bio social”. Documentación Social, 92, 91-108.

DE MIGUEL, M. (1995). “Participación ciudadana en las políticas públicas”. Aula Abierta, 66, 211-218.

DE MIGUEL, M. (1999a). “Evaluación de programas: entre el conocimiento y el compromiso”. Revista de Investi-gación Educativa, 17 (2), 345-348.

DE MIGUEL, M. (1999b). “Problemas teóricos y me-todológicos en la evaluación de programas educativos multiculturales”. En Martin, T,. y Sarrate, L. (Coords). Evaluación y ámbitos emergentes en Animación Socio-cultural. Madrid, Sanz y Torres.

DE MIGUEL, M. (2000). “La evaluación de programas so-ciales: fundamentos y enfoques teóricos”. Revista de Investigación Educativa, 18 (2), 289-317

DE MIGUEL, M. (2004).”Nuevos retos en el ámbito de la evaluación”. En Buendía, González y Pozo (Coords.). Temas fundamentales en la investigación educativa. Madrid, La Muralla.

DONALDSON, S. y SCRIVEN, M. (eds.). (2003). Evaluat-ing social programs and problems. London, Lawrence Erlbaum Associates Publishers.

fETTERMAN, D. (1994).”Empowerment Evaluation”.Evaluation Practice,15(1),1-15.

FLOC’HLAY, B y PLOTTU, E. (1998). “Democratic Evalu-ation: from empowerment evaluation to public decision-making”. Evaluation, 4 (3), 261-277.

GREENE, J. (1997).”Evaluation as Advocacy”. Evaluation Practice 18 (1), 25-37.

GREENE, J. (2001).”Dialogue in Evaluation”. Evaluation, 7 (2), 181-187.

GREENE, J. y CARACELLI, V. (1997).”Advances in mixed-method evaluation: The challenges and benefits of inte-grating diverse paradigms”. New Directions for Evalu-ation. San francisco, Jossey-Bass Publishers.


69Nº 13 (2009)pp. 47-69


GRASSO, P. (2000). “Review of building effective evalua-tion capacity: lessons from practice”. American Journal of Evaluation, 21, 385-387.

HANBERGER, A. (2001). “Policy and Program Evaluation, Civil Society, and Democracy”. American Journal of Evaluation, 22 (2), 211-228.

HOUSE, E. (1993). Professional evaluation. London, Sage.

HOUSE, E. y HOWE, K. (2000). “Deliberative democratic evaluation in practice”. En Stteflebeam, Madaus y Kel-laghan (eds). Evaluation models. New York, Kluwer Academic Publishers.

HOUSE, E. y HOWE, K. (2001a). Valores en evaluación e investigación social. Madrid. Morata.

HOUSE, E. (2001b). “Unfinished business: Causes and Values”. American Journal of Evaluation, 22 (3), 309-315.

KING, J., STEVAHN, L., GHERE, G. y MINNEMA, J. (2001). “Toward a Taxonomy of Essential Evaluator Competencies”. American Journal of Evaluation, 22 (2), 229-247.

LINCOLN, E. (2003). “Constructivist knowing, participatory ethics and responsive evaluation: a model for the 21st century”. En Kellaghan, Th.y Stufflebeam, D. (eds.). International Handbook of Educational Evaluation. London, Kluwer Academic Publishers.

MABRY, L. (2002). “Postmodern Evaluation-or Not?. Ameri-can Journal of Evaluation, 23 (2), 141-157.

MABRY, L. (2003). “In living color: Qualitative methods in educational evaluation”. En Kellaghan, Th., y Stuffle-beam, D. (eds.). International Handbook of Educational Evaluation. London, Kluwer.

MacNEIL, C. (2002). “Evaluator as Steward of Citizen De-liberation”. American Journal of Evaluation, 23 (1), 45-54.

MARK, M. (2003). “Toward a integrate view of the theory and practice of program and police evaluation”. En Donaldson, S. y Scriven, M. (ed.).Evaluating social programs and problems. London, Lawrence Erlbaum Acs. Publishers.

MERTENS, D. M.(1999).” Inclusive Evaluation: implica-tions of transformative theory for evaluation” American Journal of Evaluation, 20 (1), 1-14.

MORRIS, P. y COGAN, J. (2001). “A comparative overview: civic education across six societies”. International Jour-nal of Education Research, 35, (1), 109-123.

NICHOLS, L. (2002). “Participatory program planning: in-cluding participants and evaluators”. Evaluation and Program Planning, 25, 1-14.

O´SULLIVAN, R. (2004). Practing evaluation. A collabora-tive approach. London, Sage.

OWEN, J. (2006). Program evaluation: Forms and ap-proaches. New York, Guilford Press.

PATTON, M. (2001). “Evaluation, Knowledge Management, Best Practices, and High Quality Lessons Learned”. American Journal of Evaluation, 22 (3), 329-336.

PATTON, M. (2002). “A Vision of Evaluation that Strength-ens Democracy”. Evaluation, 8 (1), 125-139.

PAWSON, R. y TILLEY, N. (1997). Realistic Evaluation. Newbury Park, CA: Sage.

PAWSON, R. y TILLEY, N. (2001).” Realistic evaluation bloodlines”. American Journal Evaluation, 22 (3), 317-324.

PIKE, M, (2007). “The implementation and assessment of citizenship education in schools”. Educational Review, 59(2) 215-229.

PRATS, E. (Coord.) (2007). Multiculturalidad y educación para la equidad. Barcelona, Octaedro/OEI.

PRESKILL, H. y TORRES, R. (1999). Evaluative inquiry for learning in organizations. London, Sage.

RAE. L. (1999). Using evaluation in training and develop-ment. London, Kogan Page.

REBIEN, C. (1997). “Development assistance evaluation and the foundations of program evaluation”. Evaluation Review, 21 (4), 438-460

RODRIGUEZ-CAMPOS, L. (2005). Collaborative evalua-tion. Tamarac/florida, Lumina Press.

RYAN, K y DeSTEFANO, L. (2000). “Evaluation as a demo-cratic process: Promoting inclusion, dialogue and delib-eration”. New Directions for Evaluation. San francisco, Jossey-Bass Publishers.

RYAN, K. y SCHWANDT, Th. (2002). Exploring evaluator role and identity. Greenwich, IAP.

SCHNOES, C., MURPHY-BERMAN, V. y CHAMBERS, J. (2000). “Empowerment Evaluation Applied: Experienc-es, Analysis, and Recommendations from a Case Study”. American Journal of Evaluation, 21 (1), 53-64.

SCHWANDT, Th. (2003). Evaluating educational reforms. Greenwich, IAP.

SCRIVEN, M. (2001). “Evaluation: Future Tense”. American Journal of Evaluation, 22 (3), 301-307.

SHADISH, W. (2005). “Philosophy of science and the quanti-tative-qualitative debates”. En Stern, E. (ed.) Evaluation research methods. London Sage

SMITH, M. F. (2003). “The future of the evaluation profes-sion”. En Kellaghan, Th., y Stufflebeam, D.(eds.). Inter-national Handbook of Educational Evaluation. London, Kluwer Academic Publishers.

STERN, E. (ed.) (2005). Evaluation research methods. Lon-don Sage

STUffLEBEAM, D. (2001).“The Metaevaluation Impera-tive”. American Journal of Evaluation, 22 (2), 183-209.

TORNEY-PURTA, J. y al. (eds.). (1999). Civic education across countries twenty-four national case studies from IEA civic education project. Amsterdam, IEA.

WEIS, C. (1998). “Have we learned anything new about the use of evaluation ?”. American Journal of Evaluation, 19 (1), 21-33.

WHITMORE, E. (ed.) (1998). “Understanding and practicing participatory evaluation”. New Directions for Evalua-tion. San francisco, Jossey-Bass Publishers.

ZUÑIGA, R. (1992). L’evaluation dans l’action. Canadá, Press de L’Université de Montreal.

Fecha de recepción: enero 2009Fecha primera evaluación: enero 2009Fecha segunda evaluación: enero 2009

Documents

Evaluación de planes y programas de ciudadanía y … · podemos establecer algunos rasgos significativos ... asuman los principios, normas y valores que conlleva la vida en común