Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
Evaluación del programa: Evaluación del programa: Evaluación del programa: Evaluación del programa: ¿qué se ha hecho y qué nos ¿qué se ha hecho y qué nos
proponemos? proponemos?
Jordi Jordi LongásLongás (PSITIC (PSITIC –– URL)URL)
¿POR QUÉ Y PARA QUÉ EVALUAMOS?
PORQUE QUEREMOS
• Saber si el Programa CPI responde a las necesidades reales de las familiasen los territorios donde actúa.
• Conocer cómo se desarrolla el Programa CPI y analizar su evolución.
• Valorar hasta qué punto se logran los objetivos propuestos.
2
• Descubrir y comprender cual es el impacto real del Programa CPI.
PARA LOGRAR
• Rendir cuentas a todos los implicados en el Programa CPI de la efectividadde la acción desarrollada.
• Mejorar de forma continua el programa a partir de proceso continuo dereflexión y aprendizaje.
¿QUÉ EVALUAMOS?
PROGRAMACPI
Modelo de
CONTEXTO
�Refuerzo educativo�Ocio y tiempo libre
3
INFANCIA Y ADOLESCENCIA,
FAMILIAS
Modelo de acción social
OBSERVATORIO
�Ocio y tiempo libre�Atenciónpsicoterapéutica�Apoyo educativo familiar
Redes y Entidades
EVALUACIONES REALIZADAS
• Mapeos de las necesidades y recursos de los territorios.
• Autoevaluación de las redes (curso 2010-2011).2011-2012
• Diseño del plan general de evaluación.2012-2013
• Análisis de la incidencia del programa (período 2007-2012).
• Evaluación de los subprogramas de refuerzo educativo,atención psicoterapéutica y competencias parentales.2013-2014
4
atención psicoterapéutica y competencias parentales.
• Evaluación de la percepción del impacto del programa CPIdesde la perspectiva de los grupos de interés.
2013-2014
• Necesidades de los distritos y municipios de mayorvulnerabilidad a partir de indicadores socioeconómicos.
• Análisis de la evolución de la incidencia del programa.
• Evaluación de los subprogramas de refuerzo educativo yatención psicoterapéutica.
• Evaluación de impacto del programa CPI en la infancia y susfamilias a partir del estudio de casos.
2014-2016
50%
60%
70%
80%
90%
100%
Prevalente
(1) EVOLUCIÓN DE LA INCIDENCIA
Familias prevalentes en el programa (%)
0%
10%
20%
30%
40%
50%Nuevo
“La opinión de sus educadores y monitores es que a poco que se les pierda el contactodiario, se rompan los lazos afectivos que los mantienen identitariamente en la cultura dela escuela y sus valores, la influencia de otros modelos de conducta del barrio serádecisiva.” (C07)
5
30%
40%
50%
60%
70%
80%
90%
100%
Participantes según bienes y servicios (%)
30%
40%
50%
60%
70%
80%
90%
100%
Participantes según número de ayudas (%)
6
“…Una muy buena red social, una muy buena estrategia de intervención. Yo creo queestamos pasando por medio de este tipo de intervenciones de una cultura […]puramente asistencial a una cultura de servicios…”.
0%
10%
20%
30%
Bienes Servicios Bienes y Servicios
0%
10%
20%
30%
1 Tipo de Ayuda 2 Tipos de Ayuda 3 Tipos de Ayuda
4 Tipos de Ayuda 5 Tipos de Ayuda
Ayudas 0-3 años Ayudas 4-6 años. Ayudas 7-12 años.
EVOLUCIÓN DE LA INCIDENCIA (4)
7
Ayudas 13-16 años. Ayudas >17 años.
Descripción:
Investigación cualitativa con el objetivo de conocer la percepción del impacto del programaCaixaProinfancia en los diferentes territorios en los que se está implementando.
Instrumentos y fuentes de información:
� Grupos focales con familias (138 madres y padres) participantes en el programa.
� Grupos focales con profesionales (99 técnicos) que implementan el programa.
(2) PERCEPCIÓN DEL IMPACTO
� Entrevistas semi-estructuradas a agentes del territorio (29 técnicos de la administración, líderes comunitarios, expertos del sector).
Análisis de resultados
Los resultados obtenidos a partir de la triangulación de las informaciones recogidas y que muestran las regularidades en la percepción de los agentes de las diferentes ciudades. Las citas literales no son anecdóticas sino que buscan ilustrar el sentido de las opiniones representativas analizadas.
• Desarrollo escolar: mejora del rendimiento académico, adquisición de hábitos de estudio y mayor motivación.
“Yo lo que veo es que lo que les marcan también es, unas rutinas en su vida de horarios, de
organización, […] una coordinación del día a día. Yo creo que yo lo que más les ayuda a los niños es
que sean responsables, autónomos, y capaces de superar sus… sus inquietudes, vamos. Les hace
madurar.” (Familia, Bilbao)
"La suma de buenos resultados, que este año se ha llevado al extremo, el resultado ha sido
escandaloso, una diferencia de alumnos que no tenían éxito escolar ninguno y autoestima baja a
Impacto en los niños/as
escandaloso, una diferencia de alumnos que no tenían éxito escolar ninguno y autoestima baja a
acabar el curso […] promociona en este curso”. (Agente clave, Tenerife)
• Desarrollo personal y social: mejora del comportamiento y de las relaciones sociales, desarrollo de la autoestima.
“Han mejorado muchísimo, ha subido bastante las notas y no es tan tímida con grupos de niños, se
relaciona mejor. No es tan tímida. Para la de 14 años ha mejorado muchísimo, que está empezando
la adolescencia, el respeto de los demás se ve y esto le ayuda mucho en su relación. Está mejorando
muchísimo.” (Familia, Zaragoza)
• Desahogo económico por las ayudas en bienes y servicios
“Muy bien la verdad, siempre tienes de todo para los niños. Con los cheques ahora ya no tengo que
ir pidiendo a nadie”. (Familia, Mallorca)
“Que yo prefiero casi más la logopedia, por ejemplo, o los campamentos, […], que el cheque. Que el
cheque es pan para hoy y hambre para mañana…” (Familia, Bilbao)
• Incremento del apoyo social
“Pero también nos beneficia las charlas porque […] yo es el día que salgo, porque yo llevo toda la
semana con mi niño, y yo estoy deseandito que llegue el viernes, pues para reunirme, para ver a mis
amistades […] y aparte lo […] que nos van a enseñar” (Familia, Sevilla)
Impacto en las familias
amistades […] y aparte lo […] que nos van a enseñar” (Familia, Sevilla)
• Mejora de las habilidades parentales
“En mi caso que tengo tres, la vida cambia. Yo con la niña no hablaba, le gritaba… te ayudan no
solo a poner normas sino a saber hacer y pensar esto es lo más fácil y te da resultados…” (Familia, Tenerife)
• Incremento del bienestar personal
“Son miradas con otros ojos, son atendidas, viven que hay preocupación hacia ellas. […] Lo que a mí
me pasa no es único, no soy tan rara. Y eso, a nivel de autoestima ayuda un montón”. (Profesional, Bilbao)
• Cambios en los modelos y procedimientos de la acción social
“Muchas veces el Programa ha permitido mirar detrás de la persona a la que estás atendiendo
¿no? y poner también el acento en los críos, cómo están ellos, cómo se encuentran, quizás yo
creo que ha dado un toque ahí ¿sabes? y eso a nuestra entidad y yo creo que eso pues lo
valoramos positivamente. Quizás antes era más fácil quedarte en las necesidades que los
adultos planteaban.” (Profesional, Málaga)
Impacto en las entidades
12
“Ayuda un poco a sistematizar algún trabajo que ya veníamos haciendo desde hace tiempo” (Profesional, Bilbao)
“El planteamiento que hace CPI es que va un poco más allá que a niveles de calidad de
intervención hay una exigencia y un planteamiento bastante global.” (Profesional, Bilbao)
45,647,7
20
30
40
50
60
Distribución de participantes según actividad (%)
41,0
42,9
4,0
4,4
0,2
0 10 20 30 40 50
Aula Abierta (exclusivamente)
Grupo Estudio (exclusivamente)
Refuerzo Individ. …
Aula Abierta y Grupo Estudio
Aula Abierta y Ref. Individ.
Grupo Estudio y Ref. Individ.
Combinación actividades por participante (%)
(3) REFUERZO EDUCATIVO
13
5,73,2
1,5
0
10
20 0,4
7,1
Grupo Estudio y Ref. Individ.
No participan o Sin datos
96,9
3,1
Continúa
Abandona
Permanencia en el curso escolar (%)
35,1
37,3
16,9
4,9
5,8
26,8
35,1
24,2
0 5 10 15 20 25 30 35 40 45
Muy satisfactorio
Satisfactorio
Poco satisfactorio
Insatisfactorio
NS/NC
Muy satisfactorio
Satisfactorio
Poco satisfactorio
Logr
o d
e o
bje
tivo
sN
ivel
au
ton
om
ía y
h
ábit
os
de
estu
dio
Porcentaje de participantes según logro y niveles alcanzados
72,4%
61,9%
(3) REFUERZO EDUCATIVO
14
7,8
6,2
23,5
38,9
24,8
6,9
6,0
39,6
33,8
16,4
4,2
6,0
Insatisfactorio
NS/NC
Muy satisfactorio
Satisfactorio
Poco satisfactorio
Insatisfactorio
NS/NC
Muy satisfactorio
Satisfactorio
Poco satisfactorio
Insatisfactorio
NS/NC
Niv
el a
uto
no
mía
y
háb
ito
s d
e es
tud
ioN
ivel
de
com
pet
enci
as
bás
icas
Niv
el d
e in
tegr
ació
n
fam
iliar
en
din
ámic
a es
cola
r
62,4%
73,4%
Porcentaje de participantes según resultado académico y ciclo educativo
71,1
53,0 51,4
27,1
33,5
47,5
25,8 24,2
37,6
30,5
24,130
40
50
60
70
80
90
(3) REFUERZO EDUCATIVO
15
9,513,3
16,1
25,8 24,2
17,5
7,3
13,3 13,09,4
11,7 10,912,1
20,5 19,524,1
0
10
20
30
Ciclo Inicial EP Ciclo Medio EP Ciclo Superior EP 1r Ciclo ESO 2º Ciclo ESO Global
Aprueba todo Disminuye insuficientes pero no aprueba todo Mantiene nº insuficientes Aumenta nº insuficientes
65% mejora de resultados académicos
�80,6% en Ciclo Inicial de EP� 66,3% en Ciclo Medio de EP� 67,5% en Ciclo Superior de EP� 52,9% en 1r Ciclo de ESO� 57,7% en 2º Ciclo de ESO
Resultados de los participantes al final de etapas educativas (%).
21,2
37,6 38,3
28,626,8
21,4
17,0
15,0
20,0
25,0
30,0
35,0
40,0
45,0
(3) REFUERZO EDUCATIVO
16
Valoraciones positivas ( muy bien, bien y aceptable)
� 97,1% al final de Educación Primaria (6º curso) con ningún abandono
� 76,8% al final de ESO (4º curso) con el 6,3% de abandono
2,9
0,0
6,3
0,0
5,0
10,0
Muy bien Bien Aceptable Repetición Abandono
Final E. Primaria Final ESO
25,9
19,9
14,9
14,3
4,5
2,4
3,5
2,1
1,2
1,2
2,7
1,1
0 5 10 15 20 25 30
E/As.Psico.P. (exclus.)
A.Psico.P. (exclus.)
A.Psico.Fam. (exclus.)
TallerTerap.Gr. (exclus.)
E/A.Psico.P. + A.Psico.P.
E/As.Psico.P.+ A.Psico.Fam.
E/As.Psico.P.+ TallerTerap.Gr.
A.Psico.P. + A.Psico.Fam.
A.Psico.P. + TallerTerap.Gr.
A.Psico.Fam. + TallerTerap.Gr.
E/As.Psico.P. + A.Psico.P. + A.Psico.Fam.
E/As.Psico.P. + A.Psico.P. + TallerTerap.Gr.
Combinación actividades por participante (%)
“(…) el modelo es muy cerrado.Quince sesiones más quincesesiones y no puedes repetir yesto supone una dificultad. (…)Si no hay un psicólogo enplantilla el modelo esprácticamente imposible”
(4) ATENCIÓN PSICOTERAPÉUTICA
17
1,1
0,7
0,2
1,2
4,2
E/As.Psico.P. + A.Psico.P. + TallerTerap.Gr.
E/As.Psico.P. + A.Psico.Fam. + TallerTerap.Gr.
A.Psico.P. + A.Psico.Fam.+ TallerTerap.Gr.
Todas las modalidades
Sin datos
Eval/Asesoramiento Psicológico Pers.
At. Psicoterap. Personalizada
At. Psicoterap. Familiar
Taller Terap. grupal
2012-13 45,9 34,4 25,4 19,5
2013-14 42,1 32,9 25,4 23,4
45,9
34,4
25,419,5
42,1
32,9
25,4 23,4
05
101520253035404550
Distribución de participantes según actividad
prácticamente imposible”(Profesional, Valencia)
“El programa es más flexible delo que parece y a veces lasflexibilidades que permite sondesconocidas por algunosprofesionales.”(Profesional, Madrid)
80,1
5,3
14,6
Planificada No planificada
Sin datos
Permanencia/ finalización atención (%)
48,8
46,1
59,6
32,7
61,0
31,3
27,2
0 10 20 30 40 50 60 70
Relación
Conducta
Ámbito emocional
Interacción social
Estructura familiar
Aprendizaje
Adaptación
Motivos de la atención psicoter. (%)
(4) ATENCIÓN PSICOTERAPÉUTICA
18
33,1
40,8
13,3
4,0
8,9
0
5
10
15
20
25
30
35
40
45
Muy satisfactorio
Satisfactorio Poco satisfactorio
Insatisfactorio Sin datos
Logro de los objetivos previstos (%)
“La niña tiene apoyo psicológicoporque tiene un problema deatención, que en diversos momentosde su trayectoria vital, ha constituidoun problema, que parece ya casisuperado” C9
20,8Otros
73,9%
RDQD16
Diapositiva 18
RDQD16 Potser aquest gràfic es podria treure i centrar només aquesta diapositiva al èxit del subrprograma en tant que hi ha un elevat percentatge de finalitzacions de teràpies planificades i de valoracions positives del "logro" d'objectius.Roser De Querol Duran; 14/09/2015
� Resultados altamente positivos dentro de la dificultad que comporta verificar el asentamiento de los logros en las acciones psicoterapéuticas.
� Riesgo de “psicologización” y necesidad de integrar el subprograma a planes de acción social integrales.
� Interés de la terapia familiar y grupal más que la individual.
� Interés de equipos multidisciplinares especializados.
(4) ATENCIÓN PSICOTERAPÉUTICA
� Interés de equipos multidisciplinares especializados.
19
� Servicio de intensidad suficiente: apuesta por la efectividad del subprograma y la necesidad de evitar dependencias, aceptando las limitaciones de toda intervención.
• Evolución incidencia
• Impacto programa en experiencias “piloto” (18)2017
• Evolución incidencia
• Impacto programa mediante “traza” (en la medida que se
PROPUESTA EVALUACIÓN FUTURA
20
• Impacto programa mediante “traza” (en la medida que se acumulen nuevos indicadores).
• Niveles vulnerabilidad y bienestar
• Rendimiento escolar
• Logro objetivos
• Correlaciones resultados/ acciones desarrolladas
• Resultados por subprogramas
• Análisis resultados por territorios y redes
• Funcionamiento de las redes territoriales
• Diseño del modelo (para su actualización)
2018…
• Variables sociodemográficas
• Factores de riesgo
• Factores protectores (por ámbitos)
SOCIO-DEMOGRÁFICOS
Y VULNERABILIDAD
• Programas en los que se participa
• Objetivos de logroPLANES DE TRABAJO
SISTEMA DE INDICADORES
21
• Indicadores de logroRESULTADOS DE
LOS PROGRAMAS
• De todos los participantesRENDIMIENTO
ESCOLAR